Comments 32
Честно говоря, меня очень обескураживают комментарии к этой статье. И ваш тоже.
Кто-то начинает мне писать, что LLM != ИИ. Ну моя статья, собственно, об этом. Я писал о нейросетях вообще, и о том, что эволюция их архитектуры в сторону гибкости - слагаемое пути к AGI. Еще я указываю на то, что сам Эталон (человеческий разум) - вызывает много вопросов и очевидно имеет множество чисто технических ограничений по сравнению с машиной, что точно останется неизменным в ближайшее время. Но комментаторы пишут что угодно, кроме комментов на тему, которую я хотел подсветить и обсудить. Мне очень интересно, сколько комментаторов прочитало что-то кроме заголовка. Нейросети с выделением сути этого материала явно справляются лучше, я проверял.
А если AGI ещё не существует, если даже с полным определением возникают вопросы, то как вы пришли к этому утверждению? :)
Но что нужно, чтобы AI стал настоящим AGI?
Нужно объединить и замкнуть в себе (архитектурно) те три базовых фактора, о которых я писал выше: Грубую Силу, Качество и Эффективность.
Эмуляция визуализации логики и размышления, не то же самое, что наличие этой логики.
Был пример с 9.09 и 9.1, ллм упорно говорил, что 9.09 больше, пока его не 'натренировали' на правильный ответ, хотя здесь явно видно отсутствие логики в ллм, и наоборот - если человек понимает принцип десятичных дробных, то он не будет ошибаться в этой задачи. Отсюда вывод, если на логику десятичных дробных нужно дополнительно 'обучать', то чему вы ее вообще обучали, на гиговатах потраченной энергии?
ЛЛМ будет тупить на любой новой логической задачи, пока его на эту задачу не натренируют,.
А с чего вы взяли, что у человека не эмуляция? По современным научным представлениям, этот вопрос никак нельзя считать закрытым. Для ИИ также доступен и внешний инструментальный контроль, как и самостоятельное до-обучение в процессе, необходимость которого определяется обратным распространением ошибки. Никаких фундаментальных лимитов я тут не вижу. Я и говорю о том, что все ИИ начали воспринимать именно как статичную LLM-модель, а это не совсем корректно уже даже сейчас.
Человек тоже не рождается с правильным пониманием десятичной записи, ему также нужно обучение. Конкретно в этом примере, дело может быть в том что правильный ответ зависит от контекста. Если речь например о датах или версиях программы, 9.09 будет больше чем 9.1.
Только недавно сделал пример, как текущее обучение любых моделей это зло. Тут есть исходники примера, где можно самостоятельно убедиться в этом:
Проблема в том, что есть устоявшееся мнение, что чем больше данных дадим при обучении, тем лучше модель обобщит и поймет. Это в корне неверно. Более того. это с большой вероятностью приведет к артефактам и проблемам у самой модели (вроде 6 пальцев, искажения в синтезе речи или каких-то проблем генерации в LLM).
На самом деле, намного важнее постепенное увеличение энтропии данных. Если это совместить с постепенным расширением модели, то можно сократить время обучения от 100 до десятков тысяч раз, при этом существенно увеличив качество обучения.
Выше пример был сделан, как следствие доказанных теорем (готовлю к публикации).
Я к тому, что сейчас "гиговаты потраченной энергии" просто сжигаются в пустую из-за отсутствия понимания и устоявшихся ошибочных выводах, как минимум об обучении.
Если уверены что у специалистов отсутствует понимание, а вы знаете как лучше, обучите свою модель и напишите статью. Станете знаменитым как Хинтон, Ле Кун или Крижевский. Страна должна знать своих героев.
Если вы думаете, что ЛЛМ, это ИИ - нет, это не так. Это ИИ только в значении, 'продам, за дорого'. Или обучение ИИ, это как обучение человеков? Нет - в ЛЛМ нету вообще логики, и обучение - это подбор параметров нейросети.
Можно найти скрины примеров про '9.09<>9,10', там видно, что ЛЛМ знает про десятичные дроби, но не понимает и не применяет это знание.
Произошла типичная подмена понятий - то что 'продают', как ИИ, это ЛЛМ-чатбот. Да, в чем-то полезный, но от этого интелектом, и зачатками логики он не стал. АГИ - вроде должен быть уже тот интелект, но нет, ЛЛМ в него не эволюционирует. Хотя, инструменты ЛЛМ (кластеризация, генерация), вполне могут использоваться, как и другие программы.
Конечно зло. В данном примере вы обучаете модель по сути токенизации.
Следующая стадия - Q/A, обучение с целью находить паттерны токенов.
Человек же, учится не так. Он читает книгу, разбивает предложения на контексты, ищет в них смыслы по типу: причина - следствие, из этого делает вывод.
А "текущее зло" придумали для того, чтобы обучать модели автоматически.
Но, ведь никто не мешает усложнять имеющийся инструмент. Просто воспользуйтесь этим как бустом, сделайте "добро"
Какая токенизация? Там написано выше, фразы тексты и так далее. токенизатор тоже указан. Даже детский лепет это не слоги, это слова. Вы вообще не поняли смысла того, что написано выше.
а что в вашем примере на скриншоте делает LLM если не зубрит последовательность встречаемых букв в тексте? Может учится отвечать на математический вопрос (узнает что пальцев у человека 5)?
Смысл понял написанного понял, а к чему ваш пост - не понял (но рад буду почитать что вы намерены изобрести вместо имеющихся подходов)
LLM (модели больших языков) — это не путь к AGI (общему искусственному интеллекту), а тупик. Они имитируют разум через текст, но не понимают физику, причинность или взаимодействие с миром. Для AGI нужен другой подход, а именно:
Модель мира:
AGI должен понимать физику, время, объекты. Например, как ребёнок знает, что мяч падает или катится.
Целеполагание:
Он должен хотеть что-то, ставить цели, планировать и учиться. Просто отвечать — не хватает мотивации.
Неправильное сравнение мозга и ИИ:
Мозг учится через взаимодействие, а не только через текст. LLM не могут имитировать это.
Простите, а где я пишу, что путь это именно LLM?
да отлично ИИ - ллм умеет ставить цели!
промежуточные цели и планирование - аж набегом. и вы можете сколько угодно говорить что это не то
но. из ничего не получается ничего. целеполагание у человека тоже не берется из вакуума. в основном все наши жизненные цели, поставленные осознанно через сознание это промежуточные цели для задач заданных вне сознания - размножиться и не сдохнуть. эти цели человек и другие животные получили эволюционно (все кто их не имел сдохли и не размножились)
ИИ же не биологический, он не мутирует и не эволюционирует так как мы. откуда ему взять цель извне своего "сознания"-коробочки? только от человека. а дальше он отлично может понаставить себе промежуточных целей и даже задать целей другим инстансам ИИ, которые тоже понаставят себе промежуточных целей
то как облачный ИИ уже сейчас интуитивно понимает законы физики сидя у себя в коробочке в цоде не имея физического тела, а чисто находя паттерны в огромных объемах данных - это уже чудо. это как вслепую попадать в яблочко из лука, имея представление только о примерном направлении к мишени.
Я уверен, что кто-то уже запустил систему, которая при наличии кучки агентов и песочниц уже пишет улучшенную версию себя с помощью эволюционного алгоритма. И таких умельцев, я уверен, уже несколько.
Нюанс статей и комментариев "за" и "против" LLM в том, что в момент публикации они уже устарели. Часто вижу посты типа "а вот некая llm допустила такую вот глупую ошибку". Когда это было? Как давно развиваются системы? Я думаю, что LLM июля 25 года и января 25 года на совершенно разном уровне. Так зачем упоминать собития прошлого года и, тем более, двух-трех летней давности.
Думаю что раз нейросети построены на математических формулах вероятностного вычисления, то путь к чему то более качественному (скачек) произойдет только тогда/если люди смогут запихнуть ИИ модель в квантовый компьютер.
Помните историю про то почему человек не летает как птица? У Чехова кажется? Так вот и ИИ не будет думать как НИ. С другой стороны пока и с Икаром напряженка. ЛЛМ это просто очередной extender для нас.
Честно говоря, меня очень обескураживают комментарии к этой статье. И ваш тоже.
Кто-то начинает мне писать, что LLM != ИИ. Ну моя статья, собственно, об этом. Я писал о нейросетях вообще, и о том, что эволюция их архитектуры в сторону гибкости - слагаемое пути к AGI. Еще я указываю на то, что сам Эталон (человеческий разум) - вызывает много вопросов и очевидно имеет множество чисто технических ограничений по сравнению с машиной, что точно останется неизменным в ближайшее время. Но комментаторы пишут что угодно, кроме комментов на тему, которую я хотел подсветить и обсудить. Мне очень интересно, сколько комментаторов прочитало что-то кроме заголовка. Нейросети с выделением сути этого материала явно справляются лучше, я проверял.
Честно говоря... я тоже не ах. Мне сильно кажется что вы смотрите на Интеллект, и тот и тот, с не-той-стороны. )) А так как Чукча не писатель, Чукча - Читатель, то все что остается пихать в комментариях в "другую сторону". Так что не обессудьте ))
Автор статья отличная в плане философии в научной обёртке видно по вам что глубоко думающий вы человек. Вопрос как считаете если машина может с очень высокой вероятностью прогнозировать будущие которые могут привести к событиям есть ли в этом информационная сила ? P.S> считаю если машине дать возможность осознания краткосрочных прогнозов и зациклить она сможет своего рода получить ту самую силу которая сможет вокруг менять мир материальный.
Нужно реализовать динамическое выделение групп специализированных нейронов, некую внутреннюю сеть "субагентов", обмен информации между которыми, происходит с использованием эффективных внутренних протоколов и прямых связей.
Как же бредово как и вся статья... Описали все очевидные вещи.
Это уже работает в ИИ и называется эксперты например в deepseek3. И что оно стало AGI?
Существующие нейросети не могут решить задачу по физике за 8 класс (правда, олимпиадную) - проверено неоднократно, могу выложить еще раз. Многие люди этого тоже не могут, но некоторые могут и именно с ними нужно сравнивать способности нейросетей
Сигнал может проходить только через определенные последовательности нейронов, и прямые связи между группами нейронов в разных областях - физически невозможны.
Там еще есть таламус. Через него, если упрощенно, "всё связано со всем". А "прямые связи" между кортикальными колонками довольно ограничены и больше для технического низкого уровня, чем для коммуникации между нейрональными ансамблями.
Три слагаемых AGI