Вот с момента нашего последнего диалога, только в другом материале, Вы, что-нибудь узнали о когнитивно-символьных системах, хотя бы ради праздного любопытства?! Я думаю что нет и даже не пытались
Конечно, вы же не привели мне результаты их прохождения HLE, как я вас просил. Хотя получил такой безосновательный ответ:
его проходят когнитивно-символьные и нейро-символьные системы с ядром КСС
Я вас попросил доказать ваши же утверждения, а получил "дальнейший спор мне не интересен" и что-то вроде психологизации оппонента в виде “узость кругозора”, "Когда … не хватает знаний … ему проще всего". Очень аргументировано.
Если контекст () содержит конечное или просто кодируемое количество информации, то его можно записать в виде строки символов - то есть представить как текст. Тогда выражение:
где смысл () зависит от текста () и контекста (), можно формально переписать так:
где () - это расширенный вход, включающий и исходный текст (), и текстовое описание контекста ().
В этом плане “невозможность переложить в текст” недоказана, и вообще звучит странно, потому что кодирование информации в символы тривиально.
Но я согласен с тем, что существую некоторые подводные камни. и из одного лишь языкового поведения часто нельзя однозначно восстановить, к чему именно относятся слова.
уже тогда было математически доказано: простая аппроксимация функций и наращивание весов без логического ядра никогда не приведет к пониманию смысла
Не можете ли привести, пожалуйста, это доказательство, потому что если мы можем смысл представить в виде функции в лебеговом пространстве, то всё ровно наоборот.
Нет, не можете - причина не в тексте. Поинтересуйтесь тем, как думают слепо-глухо-немые от рождения. Возьмите за пример жизнь Хелен Келлер
Так я и не говорю что мышление равно тексту/языку, я говорю о проекции интеллекта на "бумагу". Да и пример плохой, она таковой стала не от рождения, а в детстве.
Где и в чем эффективны? Что простая задача, что сложная, требует вычисления на видеокарте - это уже не эффективное расходование вычислительных ресурсов, а расходы растут по экспоненте
Человеку много где дороже платить, чем за электричество для видеокарт.
Кто сказал? Уже лярды вбуханы в OpenAI
Так в том то и суть, я говорю про само количество денег, а не про прибыльность.
Назовите хоть одну интеллектуальную задачу где LLM лидирует, увы но нет таких.
Humanity's Last Exam
Ну и все таки, когда вы ответите другому комментатору:)
Тут есть один очень интересный момент. Если мы интеллект можем переложить на текст, и этот текст имеет некоторую функцию в лебеговом пространстве, то LLM теоретически могут это воссоздать. На практике не факт, так как мы ограничены ресурсами, но суть в том, что сейчас они показывают свою некоторую эффективность где это необходимо, ну если не считать ai слоп.
Теперь перенесемся к КСА, если они теоретически так же могут воссоздать человеческий интеллект, но на практике это сделать сложно, так как требует хорошей проработки по вашим же словам(ну и это очевидно из того, что лидером является пока что LLM в финансовом плане), то в чем смысл? Ну типо окей, и то и то может интеллект теоретически воссоздать, но при этом LLM показывают результат, а КСА пока что нет как видим, а значит тогда с чего бы на них обращать пристальное внимание инвесторам и прочим кто создаёт стартапы. Доказательств того, что они придут к AGI быстрее - нет, а значит где увидеть, что они лучше LLM, только исходя из ваших красивых речей?
То есть, если нет огромного финансирования, хайпа и прочего, что очевидно было бы, если бы они обогнали на большинстве задач LLM, то с чего они должны быть лучше?
Мне вот в очередной раз интересно, если эта архитектура настолько крута, где конкруент OpenAI, или вы считаете, что не найдутся люди, которые не захотят на ней наживится, ну или те, кто не захочит получать большие деньги для ее развития, если они очень идейные?
Большая часть всех текущих LLM на базе трансформера. А значит анализировать нужно через эту архитектуру.
А при его анализе мы можем понять, что фундаментальных проблем в контексте LTM, что бы помнить произвольную длину контекста - нет. А статические веса вот вообще не проблема. Фундаментально можно расти параметры и обучать.
У LLM не может быть LTM, т.к. это фундаментальное ограничение
А вот и нет: теоретически трансформер может эффективно работать с произвольной длиной при некоторых модификациях. А значит, фундаментальных ограничений нет.
Да, стандартный трансформер страдает от затухающего внимания, и якобианы даже при нулевом входе затухают линейно всегда при росте последовательности и ограниченной норме логитов. А вот когда мы разрешим им быть произвольными, эта фундаментальная проблема исчезает. Конечно, появляется проблема в том, что трансформер не будет нормально работать вне обучаемой длины, но с точки зрения математики (собственно, что и является фундаментом) проблемы нет, так как мы можем обучать на той длине, которая при неограниченных ресурсах всегда будет равна нашей необходимой длине.
Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.
Я вас в очередной раз прошу показать хоть какие-то результаты на простейших бенчмарках. Говорить можно что угодно, но где результат?
К примеру, если где-то используют эти архитектуры, но при этом они не покорили большую массу (так как после релиза chatgpt думаю нашлись бы те, кто бы захотел провернуть тоже самое, но с более "лучшей" архитектурой) - значит скорее всего они выгодны для узкого спектра задач, а не широкого.
Если я Вам дам ссылки, бенчмарки и прочее, Вы мне не будете верить - мало ли - придумал.
Как вы удобно за меня все решили.
А вообще, под эту ситуацию подходит это.
Потому что, доказательства работы LLM как хорошего инструмента в определенных областях найти легко. И я могу подкреплять ими свои слова, а вот ваши утверждения остаются просто утверждениями.
Я лично не против что бы там что-то уделало что-то, я хочу взглянуть, а действительно ли это так, без тестов можно говорить что угодно. А вот вы мне показалось напротив, везде принижаете LLM, хотя опять же, не нужно принижать инструмент только за то, что он способен выполнять определенные задачи, и претендует на пост будущего AGI. Доказательств того, что это невозможно - нет.
Вы так пишите, будто это болезнь. Если это инструмент, и он вполне неплохо работает, например проходит AIME 2025 на 100%, то в чем проблема? Если уж и критиковать, то прилагать бенчмарки чего-то другого, что бы опирается формально на что-то, иначе возникает риск предвзятости.
На неё работают лучшие инженеры и программисты
Если в openai, google или xAI занимаются LLM, то там автоматом не лучшие?
Очень удобная позиция:)
Конечно, вы же не привели мне результаты их прохождения HLE, как я вас просил. Хотя получил такой безосновательный ответ:
Я вас попросил доказать ваши же утверждения, а получил "дальнейший спор мне не интересен" и что-то вроде психологизации оппонента в виде “узость кругозора”, "Когда … не хватает знаний … ему проще всего". Очень аргументировано.
Формально я говорил про это:
Если контекст (
) содержит конечное или просто кодируемое количество информации, то его можно записать в виде строки символов - то есть представить как текст. Тогда выражение:
где смысл (
) зависит от текста (
) и контекста (
), можно формально переписать так:
где (
) - это расширенный вход, включающий и исходный текст (
), и текстовое описание контекста (
).
В этом плане “невозможность переложить в текст” недоказана, и вообще звучит странно, потому что кодирование информации в символы тривиально.
Но я согласен с тем, что существую некоторые подводные камни. и из одного лишь языкового поведения часто нельзя однозначно восстановить, к чему именно относятся слова.
Не можете ли привести, пожалуйста, это доказательство, потому что если мы можем смысл представить в виде функции в лебеговом пространстве, то всё ровно наоборот.
Видимо он хотел показать масштаб работы.
Покажите тогда их результаты на этом тесте. Где они его проходят.
Так я и не говорю что мышление равно тексту/языку, я говорю о проекции интеллекта на "бумагу". Да и пример плохой, она таковой стала не от рождения, а в детстве.
Человеку много где дороже платить, чем за электричество для видеокарт.
Так в том то и суть, я говорю про само количество денег, а не про прибыльность.
Humanity's Last Exam
Ну и все таки, когда вы ответите другому комментатору:)
Тут есть один очень интересный момент. Если мы интеллект можем переложить на текст, и этот текст имеет некоторую функцию в лебеговом пространстве, то LLM теоретически могут это воссоздать. На практике не факт, так как мы ограничены ресурсами, но суть в том, что сейчас они показывают свою некоторую эффективность где это необходимо, ну если не считать ai слоп.
Теперь перенесемся к КСА, если они теоретически так же могут воссоздать человеческий интеллект, но на практике это сделать сложно, так как требует хорошей проработки по вашим же словам(ну и это очевидно из того, что лидером является пока что LLM в финансовом плане), то в чем смысл? Ну типо окей, и то и то может интеллект теоретически воссоздать, но при этом LLM показывают результат, а КСА пока что нет как видим, а значит тогда с чего бы на них обращать пристальное внимание инвесторам и прочим кто создаёт стартапы. Доказательств того, что они придут к AGI быстрее - нет, а значит где увидеть, что они лучше LLM, только исходя из ваших красивых речей?
То есть, если нет огромного финансирования, хайпа и прочего, что очевидно было бы, если бы они обогнали на большинстве задач LLM, то с чего они должны быть лучше?
Мне вот в очередной раз интересно, если эта архитектура настолько крута, где конкруент OpenAI, или вы считаете, что не найдутся люди, которые не захотят на ней наживится, ну или те, кто не захочит получать большие деньги для ее развития, если они очень идейные?
Большая часть всех текущих LLM на базе трансформера. А значит анализировать нужно через эту архитектуру.
А при его анализе мы можем понять, что фундаментальных проблем в контексте LTM, что бы помнить произвольную длину контекста - нет. А статические веса вот вообще не проблема. Фундаментально можно расти параметры и обучать.
А вот и нет: теоретически трансформер может эффективно работать с произвольной длиной при некоторых модификациях. А значит, фундаментальных ограничений нет.
Да, стандартный трансформер страдает от затухающего внимания, и якобианы даже при нулевом входе затухают линейно всегда при росте последовательности и ограниченной норме логитов. А вот когда мы разрешим им быть произвольными, эта фундаментальная проблема исчезает. Конечно, появляется проблема в том, что трансформер не будет нормально работать вне обучаемой длины, но с точки зрения математики (собственно, что и является фундаментом) проблемы нет, так как мы можем обучать на той длине, которая при неограниченных ресурсах всегда будет равна нашей необходимой длине.
Не на всех, даже если отсчёт на архиве открыть, то там написано, что Common crawl, при чем только по последним годам, также книги/энциклопедии, 230 млрд токенов для кода и синтетику для математики.
Расстояние Минковского.
Я вас в очередной раз прошу показать хоть какие-то результаты на простейших бенчмарках. Говорить можно что угодно, но где результат?
К примеру, если где-то используют эти архитектуры, но при этом они не покорили большую массу (так как после релиза chatgpt думаю нашлись бы те, кто бы захотел провернуть тоже самое, но с более "лучшей" архитектурой) - значит скорее всего они выгодны для узкого спектра задач, а не широкого.
Как вы удобно за меня все решили.
А вообще, под эту ситуацию подходит это.
Потому что, доказательства работы LLM как хорошего инструмента в определенных областях найти легко. И я могу подкреплять ими свои слова, а вот ваши утверждения остаются просто утверждениями.
Ключевое слово - думаю.
Я лично не против что бы там что-то уделало что-то, я хочу взглянуть, а действительно ли это так, без тестов можно говорить что угодно. А вот вы мне показалось напротив, везде принижаете LLM, хотя опять же, не нужно принижать инструмент только за то, что он способен выполнять определенные задачи, и претендует на пост будущего AGI. Доказательств того, что это невозможно - нет.
Вы так пишите, будто это болезнь. Если это инструмент, и он вполне неплохо работает, например проходит AIME 2025 на 100%, то в чем проблема? Если уж и критиковать, то прилагать бенчмарки чего-то другого, что бы опирается формально на что-то, иначе возникает риск предвзятости.
Если в openai, google или xAI занимаются LLM, то там автоматом не лучшие?
Ну так по их результатам он и прав:)
Берём SSM, состояние и будет по сути, для модели памятью о тексте.