Как превратить стохастический ИИ в детерминированную машину

[stas_makarov]

Спасибо за статью! Вроде бы и логичные вещи, но хорошо, когда все систематизировано.

[stepigal]

Читайте книгу, там полный текст

[Amabi]

Большой Лайк!

[jetnet]

Надо будет закинуть книгу в GPT для генерации /skill:stratum-* Или кто-то уже сделал?

[stepigal]

еще никто не делал и я сам занят написанием второй книги, дерзайте :)

[LinkToOS]

Никогда не пишите фразы типа «Подумай шаг за шагом» или «Используй метод дерева мыслей». Ваши текстовые инструкции вступают в жесткий конфликт с нативными механизмами, зашитыми прямо в веса модели. Это как пытаться учить гроссмейстера двигать фигуры.

У меня сложилось впечатление, что подобные абстрактные инструкции модель игнорирует, или они влияют только на оформление результата, мало влияя на его суть. На затраченные токены такие “мусорные инструкции” конечно влияют негативно.

[stepigal]

Да, я пишу никогда этого не делать, но тем не менее методы, которые это делают в PPEF я описываю. Потому что у каждого своя голова что делать с шурупами - закручивать или молотком...

По поводу "игнорировать" скажу точно - модель физически не может игнорировать ни одного слова из вашего промпта, об этом написано в главе 40 Как из короткого запроса получается длинный ответ. Вы написали ей инструкцию «Подумай шаг за шагом» и она выполняет это.

[LinkToOS]

модель физически не может игнорировать ни одного слова из вашего промпта

Речь не о том что модель выбрасывает что-то из промпта, а о том что в процессе прохождения через слои, вес отдельных входящих токенов падает ниже порога влияния на суть запроса. Все влияние ограничивается оформлением результата. Например при добавлении в промпт слов “Подумай хорошо”, к ответу может быть добавлено “Я хорошо подумала”. Но не более того. На “глубину размышлений” и “логику модели” эта часть промпта не повлияет.

Вы написали ей инструкцию «Подумай шаг за шагом» и она выполняет это.

Она отформатирует текст на выходе, как будто генерация выполнялась шаг за шагом. Это вариант оформления.

[stepigal]

С первым соглашусь, но цепочка мыслей (Chain-of-Thought, CoT), те самые "шаг за шагом" все еще работают в обычных моделях. Только модели с рассуждением делают "шаг за шагом" уже не по промпту, а в процессе рассуждений.

[AndreyD-72]

Спасибо за статью.  НО… Ошибочен сам термин ИИ. Он верен только если расшифровывать аббревиатуру как Искусственный Идиот.

В данное время со стороны разработчиков есть огромное желание выдать желаемое за действительное. Никакого интеллекта в широком смысле нет. Так уж вышло, что в последнее время я плотно пообщался с разными ИИ.  И пришел к выводу - к работе с ИИ нужно допускать исключительно людей с развитым критическим мышлением. Как то, не помню на какой запрос нейронка выдала выжимку из учебника. И это натолкнуло меня на мысль, я написал альтернативную гипотезу зарождение и строения Земли, переосмыслил фактор Луны, и все в общем то, от зарождения до настоящего времени. Гугл через час вывел статью на первое место в выдаче, но алгоритмы Хабра посчитали, что уникальный тест  сгенерирован ИИ и зарубил размещение. И самое смешное, если бы Вашу статью выкладывал новичок, Хабр посчитало бы что статья написана ИИ.  Поэтому буду благодарен за приглашение от авторитетного участника, чтобы статья пробила песочницу. Если кто-то захочет выдать приглашение, с удовольствием скину в личку адрес анонса на Хабре и адрес блога, где находится оригинальная статья. Я сам не могу доказать машине, что я не машина.

[stepigal]

Эта статья лишь краткая выжимка из книги чтобы ознакомить с книгой. В самой книге я пишу о том что такое на самом деле ИИ и как это работает. Читайте книгу.

И да, я на Хабре новичок, это первая моя статья, но Хабр ее опубликовал, не посчитал за ИИ.