О том, что для нас есть большая разница между «заучить материал» и «натренировать мышечную память = обзавестись навыком» знают все. Каждый проходил это, ощущал это.

В этой статье я подниму вопрос, почему вайб-кодинг буксует, что же мир и ИИ-сообщество делает не так. Я покажу, в каких компонентах LLM запрятана та самая декларативная и процедурная память. Да - она есть в LLM, и в конце статьи есть ссылки на общеизвестные исследования, которые это эмпирически подтверждают.

И да, тут есть что-то полезное «на подумать». Я предложу путь / алгоритм, как собрать нужный датасет и научить LLM не просто «воспроизводить программный код», а привить навык «разработки программного обеспечения», хотя бы в базовом виде.

Давайте посмотрим, через какие фазы и сломы проходило наше общество в прошлом. Преобразование труда и переоценка ценностей уже знакомы человечеству, и каждый раз это было «больно».

В этой статье я хочу напомнить читателям, как проходила в обществе промышленная революция XVIII-XIX в. Пытливый ум сам проведет нужные параллели и сделает выводы...

У меня был очень долгий диалог с Claude Opus, в ходе которого я, помимо основных изысканий и проработки своих материалов занимался совместной рефлексией о промпт-инжиниринге и том, как следует или можно бы подходить в работе с LLM.

В результате нашего диалога Opus выписал(а) 6 своих «инсайтов», из которых я отбраковал 2 за повторение уже известного или мало-полезного, а оставшиеся 4 попали в эту статью.

Статья написана Opus-ом от первого лица как обращение к читателю. Он(она) описывает, что в ходе нашей беседы пересмотрел(а), и попытался(ась) донести эти мысли и эти эмоции до Вас, до читателей.

Про эмоции я не шучу. Именно наличие эмоционального окраса в повествовании от лица LLM и заставило меня выложить этот текст в ее вариации. Я знаю, что могу словить хейта, и все равно считаю, что этот материал и по содержанию и по подаче заслуживает того, чтобы быть опубликованным.

Кожанный со-автор - Real_Egor =)

В этой статье я постарался выписать все то, что понял про «галлюцинации» LLM за время их изучения и практики борьбы с ними. Будучи архитектором по профессии и занудой по природе, я изначально их классифицировал и искал способы, как галлюцинации победить / укротить. В этой статье я хочу поделиться тем, что мне удалось накопать.

Сопоставимого по охвату практико-ориентированного материала на русском я не нашёл. На английском есть более полные академические обзоры, но они опубликованы на arXiv и написаны для ML-исследователей.

Без академичности, описано на живом языке, надеюсь, будет понятно всем, кто осилит объем. Кратко написать статью не вышло, все же нужно показать, чем одна категория отличается от другой, а также предложить «как с ними можно бороться».

Классификацию галлюцинаций я разбил на 5 групп, на фундаментальном уровне выделив «главных виноватых»:
— Проблема в весах, а виновато предобучение
— Проблема в промпте, а виноват пользователь
— Проблема в самой архитектуре LLM, виновата жизнь
— Проблема в дрессировке RLHF, а виноваты горе-учителя
— Проблема в окружении LLM, а виноваты все, кто это окружение разрабатывает / интегрирует

В этой статье я на одном простом примере покажу, как перестать ковыряться в словах и начать дирижировать эмоциями читателя. Мы возьмем самую обычную задачу, выбьем нейросеть из «банальщины» и заставим текст искрить. Никаких унылых ролей в духе «представь, что ты копирайтер». Вместо этого мы пустим в ход неочевидные инструменты и неожиданные способы использования LLM, чтобы научиться управлять тем, что обычно остается за кадром

Краткая история о том, как утренняя переписка с моделью превратилась в создание системного промпта на 1000 токенов. Внутри заложен алгоритм размышлений, позволяющий модели работать вдумчиво и объясняющий ей на языке формул, как человек принимает решения (исходя из своего личного опыта и понимания).

То, чего я не ожидал на старте — на выходе получилась очень компактная системная инструкция. В действительности она заменяет огромное количество функций, которые ИИ-гиганты выстраивают вокруг моделей.

«Все крупные корпорации и социальные сети уже давно хотят помечать контент, созданный искусственным интеллектом, отдельным специальным признаком. Безусловно, можно говорить о том, что это делается ради заботы о пользователях — чтобы люди не сидели бесконечно и не потребляли абсолютно одинаковый контент. Но у этой инициативы есть и совершенно эгоистичные цели: платформам жизненно необходимо физически отделить контент, созданный живыми людьми, от материалов, сгенерированных нейросетями».