Как работает генеративный ИИ на примере калейдоскопа (метафоры)

[ira126785]

Слово "калейдоскоп" зацепило - сама так описывала процесс генерации текста. Фух, ради этой статьи на Хабре зарегилась:)

[rt001]

Спасибо за отзыв и за то, что не пожалели времени на регистрацию :)

[MaxOnFF]

Отличное сравнение! Доступно и наглядно объяснили, в чем реальные ограничения современных LLM. Разделяю ваш здоровый скепсис. Будущее ИИ — за его физическим воплощением. Только «тело» даст системе настоящее понимание мира.

[st---v]

Но ведь люди тоже генерируют много слов, букв и подобного. Но это не делает наш вид разумным.

[BigBrother]

Модель не выполняет арифметические операции, как калькулятор, если попросить сложить 2 + 3. Вместо этого она сливает воедино лучики "2", "+", "3"

2+3 может быть действительно реально найти в Интернет.
Но меня заинтересовало. Дал пример позаковыристее, вроде
235789,36×785401,87
Попросил дать ответ с точностью до второго знака после запятой. ChatGPT где-то нашел все-таки верный ответ.

[Kopilov]

Видимо понял контекст и передал задачу нужному агенту. Алиса тоже может и погоду рассказать, и свет включить — это не из обучающей выборки данные

[rt001]

Здесь подробно расписано как это работает

[TheNightflyer]

Лично меня беспокоит больше не ограниченность современных LLM, а изначально неверный путь их развития. Выберут ли люди правильный, с учетом успешной коммерциализации существующих моделей? Сильно сомневаюсь, по крайней мере в обозримом будущем. Я очень боюсь застоя и "стереотипности" в этой сфере и часто провожу аналогии с исследованием космоса, когда тягу к познанию загнали в рамки прикладных задач и коммерции.

[st---v]

почему неверный путь развития? ведь в нынешнем своём виде они крайне полезны, при правильном применении

[rt001]

Никто и не говорит, что в LLM нет пользы. Никто не говорит, что нужно все бросить и больше ничего не делать.

Неверный путь развития здесь в том смысле, что LLM не приведет к сверхразуму, хоть сколько увеличивай количество видеокарт, ветвь тупиковая для такого результата. Тот же OpenAI это прекрасно понимает.

Понятие AGI постоянно размывается. Если раньше (10-15 лет назад) под этим подразумевали почти что сверхразум (ASI), то теперь плавно смещают в сторону эффективного софта.

Если кто-то задаст вопрос где же ваш сверхразум, который вы обещали, им ответят, что вы просто изначально все не так поняли, мы не говорили, что AGI это сверхразум.

Это просто бизнес.

[ExoticHadron]

Lucy in the sky with diamonds. Надо ж такое придумать.

[rt001]

Версия про стохастического попугая или умный Т9 вам нравится больше?

[phenik]

Стохастический попугай скорее шутка) Самое лучшее представление о ЯМ, и ИНС вообще, как о универсальных стохастических аппроксиматорах. На этот счет имеется множество доказанных результатов. Аппроксимирующая, авторегрессивная функция с миллиардами параметров, которые настраиваются в процессе обучения. Сразу понятно почему ЯМ иногда правильно выдают результаты, иногда нет, приближенно, а иногда откровенно врут. Именно поэтому, как вы и правильно заметили в статье, они имитирует мышление с помощью вычислений. В мозге "вычисления" аналоговые, физические, асинхронные, распределение, реализованные на электрохимическом биологическом субстрате (только метафорически напоминающем фоннеймановскую архитектуру вычислителей ИНС), который к тому же динамически меняется в ходе этих "вычислений".

[rt001]

В этой метафоре я сознательно избегал таких "страшных" слов, как аппроксимация, авторегрессия, градиентный спуск и обратное распространение ошибки)))

Но там это все есть в виде процесса

[nakesreong]

сравнивать ллм с калейдоскопом это как сравнивать Моцарта с котом, который ходит по пианино )