Важный момент: организаторы явно пытались убрать легко нагугливаемые вопросы и пишут про процедуру удаления "Searchable questions" и про приватный удержанный набор против "натаскивания/хака бенчмарка".
Поэтому реплика "LLM это просто справочная система" является бредом, даже если часть успеха - это память/паттерны из данных, HLE проектировали так, чтобы "просто поиск" не решал задачу.
тест это тест на тип европейского типа академических знаний
Что это за термин? Плюс хочу заметить, что он собирался глобально экспертами по множеству дисциплин, и специально задумывался как широкий междисциплинарный экзамен.
К тому же, мой вопрос по HLE касался предыдущего разговора с NeriaLab, как доказательство того, где LLM явно лидируют, как аргумент NeriaLab на его повсеместные тезисы о крутости КСА в сравнении с LLM, я не утверждал нигде, что тот кто не пройдет HLE не обладает сознанием или интеллектом.
Вот с момента нашего последнего диалога, только в другом материале, Вы, что-нибудь узнали о когнитивно-символьных системах, хотя бы ради праздного любопытства?! Я думаю что нет и даже не пытались
Конечно, вы же не привели мне результаты их прохождения HLE, как я вас просил. Хотя получил такой безосновательный ответ:
его проходят когнитивно-символьные и нейро-символьные системы с ядром КСС
Я вас попросил доказать ваши же утверждения, а получил "дальнейший спор мне не интересен" и что-то вроде психологизации оппонента в виде “узость кругозора”, "Когда … не хватает знаний … ему проще всего". Очень аргументировано.
Если контекст () содержит конечное или просто кодируемое количество информации, то его можно записать в виде строки символов - то есть представить как текст. Тогда выражение:
где смысл () зависит от текста () и контекста (), можно формально переписать так:
где () - это расширенный вход, включающий и исходный текст (), и текстовое описание контекста ().
В этом плане “невозможность переложить в текст” недоказана, и вообще звучит странно, потому что кодирование информации в символы тривиально.
Но я согласен с тем, что существую некоторые подводные камни. и из одного лишь языкового поведения часто нельзя однозначно восстановить, к чему именно относятся слова.
уже тогда было математически доказано: простая аппроксимация функций и наращивание весов без логического ядра никогда не приведет к пониманию смысла
Не можете ли привести, пожалуйста, это доказательство, потому что если мы можем смысл представить в виде функции в лебеговом пространстве, то всё ровно наоборот.
Нет, не можете - причина не в тексте. Поинтересуйтесь тем, как думают слепо-глухо-немые от рождения. Возьмите за пример жизнь Хелен Келлер
Так я и не говорю что мышление равно тексту/языку, я говорю о проекции интеллекта на "бумагу". Да и пример плохой, она таковой стала не от рождения, а в детстве.
Где и в чем эффективны? Что простая задача, что сложная, требует вычисления на видеокарте - это уже не эффективное расходование вычислительных ресурсов, а расходы растут по экспоненте
Человеку много где дороже платить, чем за электричество для видеокарт.
Кто сказал? Уже лярды вбуханы в OpenAI
Так в том то и суть, я говорю про само количество денег, а не про прибыльность.
Назовите хоть одну интеллектуальную задачу где LLM лидирует, увы но нет таких.
Humanity's Last Exam
Ну и все таки, когда вы ответите другому комментатору:)
Тут есть один очень интересный момент. Если мы интеллект можем переложить на текст, и этот текст имеет некоторую функцию в лебеговом пространстве, то LLM теоретически могут это воссоздать. На практике не факт, так как мы ограничены ресурсами, но суть в том, что сейчас они показывают свою некоторую эффективность где это необходимо, ну если не считать ai слоп.
Теперь перенесемся к КСА, если они теоретически так же могут воссоздать человеческий интеллект, но на практике это сделать сложно, так как требует хорошей проработки по вашим же словам(ну и это очевидно из того, что лидером является пока что LLM в финансовом плане), то в чем смысл? Ну типо окей, и то и то может интеллект теоретически воссоздать, но при этом LLM показывают результат, а КСА пока что нет как видим, а значит тогда с чего бы на них обращать пристальное внимание инвесторам и прочим кто создаёт стартапы. Доказательств того, что они придут к AGI быстрее - нет, а значит где увидеть, что они лучше LLM, только исходя из ваших красивых речей?
То есть, если нет огромного финансирования, хайпа и прочего, что очевидно было бы, если бы они обогнали на большинстве задач LLM, то с чего они должны быть лучше?
Мне вот в очередной раз интересно, если эта архитектура настолько крута, где конкруент OpenAI, или вы считаете, что не найдутся люди, которые не захотят на ней наживится, ну или те, кто не захочит получать большие деньги для ее развития, если они очень идейные?
Большая часть всех текущих LLM на базе трансформера. А значит анализировать нужно через эту архитектуру.
А при его анализе мы можем понять, что фундаментальных проблем в контексте LTM, что бы помнить произвольную длину контекста - нет. А статические веса вот вообще не проблема. Фундаментально можно расти параметры и обучать.
У LLM не может быть LTM, т.к. это фундаментальное ограничение
А вот и нет: теоретически трансформер может эффективно работать с произвольной длиной при некоторых модификациях. А значит, фундаментальных ограничений нет.
Да, стандартный трансформер страдает от затухающего внимания, и якобианы даже при нулевом входе затухают линейно всегда при росте последовательности и ограниченной норме логитов. А вот когда мы разрешим им быть произвольными, эта фундаментальная проблема исчезает. Конечно, появляется проблема в том, что трансформер не будет нормально работать вне обучаемой длины, но с точки зрения математики (собственно, что и является фундаментом) проблемы нет, так как мы можем обучать на той длине, которая при неограниченных ресурсах всегда будет равна нашей необходимой длине.
Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.
Я вас в очередной раз прошу показать хоть какие-то результаты на простейших бенчмарках. Говорить можно что угодно, но где результат?
К примеру, если где-то используют эти архитектуры, но при этом они не покорили большую массу (так как после релиза chatgpt думаю нашлись бы те, кто бы захотел провернуть тоже самое, но с более "лучшей" архитектурой) - значит скорее всего они выгодны для узкого спектра задач, а не широкого.
Если я Вам дам ссылки, бенчмарки и прочее, Вы мне не будете верить - мало ли - придумал.
Как вы удобно за меня все решили.
А вообще, под эту ситуацию подходит это.
Потому что, доказательства работы LLM как хорошего инструмента в определенных областях найти легко. И я могу подкреплять ими свои слова, а вот ваши утверждения остаются просто утверждениями.
Я лично не против что бы там что-то уделало что-то, я хочу взглянуть, а действительно ли это так, без тестов можно говорить что угодно. А вот вы мне показалось напротив, везде принижаете LLM, хотя опять же, не нужно принижать инструмент только за то, что он способен выполнять определенные задачи, и претендует на пост будущего AGI. Доказательств того, что это невозможно - нет.
Не могли бы вы тогда предоставить независимые источники подтверждающие эти слова? Или это просто субъективная оценка?
Как вы интересно завлекаете в свою секту людей. Особенно занимательно, чем подкрепляется это мнение:
Важный момент: организаторы явно пытались убрать легко нагугливаемые вопросы и пишут про процедуру удаления "Searchable questions" и про приватный удержанный набор против "натаскивания/хака бенчмарка".
Поэтому реплика "LLM это просто справочная система" является бредом, даже если часть успеха - это память/паттерны из данных, HLE проектировали так, чтобы "просто поиск" не решал задачу.
Что это за термин? Плюс хочу заметить, что он собирался глобально экспертами по множеству дисциплин, и специально задумывался как широкий междисциплинарный экзамен.
К тому же, мой вопрос по HLE касался предыдущего разговора с NeriaLab, как доказательство того, где LLM явно лидируют, как аргумент NeriaLab на его повсеместные тезисы о крутости КСА в сравнении с LLM, я не утверждал нигде, что тот кто не пройдет HLE не обладает сознанием или интеллектом.
Очень удобная позиция:)
Конечно, вы же не привели мне результаты их прохождения HLE, как я вас просил. Хотя получил такой безосновательный ответ:
Я вас попросил доказать ваши же утверждения, а получил "дальнейший спор мне не интересен" и что-то вроде психологизации оппонента в виде “узость кругозора”, "Когда … не хватает знаний … ему проще всего". Очень аргументировано.
Формально я говорил про это:
Если контекст (
) содержит конечное или просто кодируемое количество информации, то его можно записать в виде строки символов - то есть представить как текст. Тогда выражение:
где смысл (
) зависит от текста (
) и контекста (
), можно формально переписать так:
где (
) - это расширенный вход, включающий и исходный текст (
), и текстовое описание контекста (
).
В этом плане “невозможность переложить в текст” недоказана, и вообще звучит странно, потому что кодирование информации в символы тривиально.
Но я согласен с тем, что существую некоторые подводные камни. и из одного лишь языкового поведения часто нельзя однозначно восстановить, к чему именно относятся слова.
Не можете ли привести, пожалуйста, это доказательство, потому что если мы можем смысл представить в виде функции в лебеговом пространстве, то всё ровно наоборот.
Видимо он хотел показать масштаб работы.
Покажите тогда их результаты на этом тесте. Где они его проходят.
Так я и не говорю что мышление равно тексту/языку, я говорю о проекции интеллекта на "бумагу". Да и пример плохой, она таковой стала не от рождения, а в детстве.
Человеку много где дороже платить, чем за электричество для видеокарт.
Так в том то и суть, я говорю про само количество денег, а не про прибыльность.
Humanity's Last Exam
Ну и все таки, когда вы ответите другому комментатору:)
Тут есть один очень интересный момент. Если мы интеллект можем переложить на текст, и этот текст имеет некоторую функцию в лебеговом пространстве, то LLM теоретически могут это воссоздать. На практике не факт, так как мы ограничены ресурсами, но суть в том, что сейчас они показывают свою некоторую эффективность где это необходимо, ну если не считать ai слоп.
Теперь перенесемся к КСА, если они теоретически так же могут воссоздать человеческий интеллект, но на практике это сделать сложно, так как требует хорошей проработки по вашим же словам(ну и это очевидно из того, что лидером является пока что LLM в финансовом плане), то в чем смысл? Ну типо окей, и то и то может интеллект теоретически воссоздать, но при этом LLM показывают результат, а КСА пока что нет как видим, а значит тогда с чего бы на них обращать пристальное внимание инвесторам и прочим кто создаёт стартапы. Доказательств того, что они придут к AGI быстрее - нет, а значит где увидеть, что они лучше LLM, только исходя из ваших красивых речей?
То есть, если нет огромного финансирования, хайпа и прочего, что очевидно было бы, если бы они обогнали на большинстве задач LLM, то с чего они должны быть лучше?
Мне вот в очередной раз интересно, если эта архитектура настолько крута, где конкруент OpenAI, или вы считаете, что не найдутся люди, которые не захотят на ней наживится, ну или те, кто не захочит получать большие деньги для ее развития, если они очень идейные?
Большая часть всех текущих LLM на базе трансформера. А значит анализировать нужно через эту архитектуру.
А при его анализе мы можем понять, что фундаментальных проблем в контексте LTM, что бы помнить произвольную длину контекста - нет. А статические веса вот вообще не проблема. Фундаментально можно расти параметры и обучать.
А вот и нет: теоретически трансформер может эффективно работать с произвольной длиной при некоторых модификациях. А значит, фундаментальных ограничений нет.
Да, стандартный трансформер страдает от затухающего внимания, и якобианы даже при нулевом входе затухают линейно всегда при росте последовательности и ограниченной норме логитов. А вот когда мы разрешим им быть произвольными, эта фундаментальная проблема исчезает. Конечно, появляется проблема в том, что трансформер не будет нормально работать вне обучаемой длины, но с точки зрения математики (собственно, что и является фундаментом) проблемы нет, так как мы можем обучать на той длине, которая при неограниченных ресурсах всегда будет равна нашей необходимой длине.
Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.
Расстояние Минковского.
Я вас в очередной раз прошу показать хоть какие-то результаты на простейших бенчмарках. Говорить можно что угодно, но где результат?
К примеру, если где-то используют эти архитектуры, но при этом они не покорили большую массу (так как после релиза chatgpt думаю нашлись бы те, кто бы захотел провернуть тоже самое, но с более "лучшей" архитектурой) - значит скорее всего они выгодны для узкого спектра задач, а не широкого.
Как вы удобно за меня все решили.
А вообще, под эту ситуацию подходит это.
Потому что, доказательства работы LLM как хорошего инструмента в определенных областях найти легко. И я могу подкреплять ими свои слова, а вот ваши утверждения остаются просто утверждениями.
Ключевое слово - думаю.
Я лично не против что бы там что-то уделало что-то, я хочу взглянуть, а действительно ли это так, без тестов можно говорить что угодно. А вот вы мне показалось напротив, везде принижаете LLM, хотя опять же, не нужно принижать инструмент только за то, что он способен выполнять определенные задачи, и претендует на пост будущего AGI. Доказательств того, что это невозможно - нет.