Comments 23
Статья отличная, и перевод её тоже...
Только не понятно, зачем её пересказывать несколько раз в одной статье?
Спасибо за отзыв, EmoCube!
Повторений действительно много. Это осознанное решение, но понимаю, что может раздражать.
Почему так получилось
Исследование OpenAI — это страницы со сложной математикой. Когда я его читал, сам несколько раз терялся в формулах и доказательствах. Поэтому решил использовать классический принцип технических писателей:
"Скажи что скажешь → скажи → скажи что сказал"
Структура для разных читателей
Введение — для тех, кто хочет понять суть за 2 минуты
Математика — для тех, кто хочет разобраться в механизме
Практика — для тех, кто хочет применить прямо сейчас
Ключевые тезисы (формула 2:1, singleton rate) намеренно повторяются в разных контекстах — так они лучше запоминаются. Как в хорошей презентации.
Но вы правы
Для тех, кто читает всю статью целиком, это выглядит избыточно. Классическая дилемма технического писателя: структура для "сканеров" vs комфорт для "читателей".
В следующих материалах попробую найти баланс — возможно, сделать блоки более независимыми или добавить навигацию "читал уже — переходи сразу к практике".
А какой раздел показался наиболее полезным? Интересно понять, на чем стоит фокусироваться в будущих статьях.
Как в хорошей презентации.
В русском информационном поле это считается плохой презентацией, а не хорошей.
Имеет смысл выбрать, вы пишете статью для рыбок гуппи или людей со знаниями и интеллектом выше среднего (предположительно, на Хабре таких много). Оба варианта найдут свою аудиторию, но это будет разная аудитория. При попытке найти баланс между ними вы промахнетесь по обеим.
Мне одному кажется, что сам принцип обучения и работы нейросетей неизбежно включает себя галлюцинации? Ведь в конечном итоге это поиск оптимума функции, который: во-первых, никогда не может найден; во-вторых, включает в себя массу промежуточных значений, которые не задавались и не проверялись и обучении модели.
То есть даже теоретически можно сделать модель, которая никогда не будет галлюцинировать при ответе на заранее известный вопрос. Но при этом невозможно гарантировать отсутствие галлюцинаций в случае, если мы изменили хотя бы одно слово в вопросе, даже с полным сохранение смысла. Просто потому, что в обучающих точках значение функции задано, а в промежуточных оно может быть произвольным и мы лишь надеемся, что оно будет близко к заданным точкам. При этом можно смело утверждать, что при очень большой количестве параметров функции, в каких-то местах её значение либо не будет близко, либо математическое понятие близости значений будет кардинально отличаться от требуемого нам "интуитивного". И так мест будет много. И именно в них и будут рождаться галлюцинанции.
Ведь так?
Sap_ru,я думаю вы правы — это фундаментальная проблема.
Аппроксимация vs реальность
Ваша формулировка про "промежуточные значения функции" точно описывает суть проблемы. Модель обучается на дискретных точках данных, а между ними пытается интерполировать. И в этих промежутках может выдать что угодно.
В исследовании это называется IIV-редукцией — связь между тем, насколько хорошо модель может отличить правду от лжи, и тем, как часто она врет при генерации. Формула показывает, что ошибки генерации минимум в 2 раза больше ошибок классификации.
Singleton rate как мера проблемы
То, что вы описываете, исследование измеряет через singleton rate — долю фактов, встреченных только один раз. Чем больше таких "одиночек", тем больше промежутков, где функция не определена надежно.
Практический вывод
OpenAI показали: полностью убрать галлюцинации нельзя, но можно изменить поведение модели в промежуточных областях. Вместо попытки угадать — честно сказать "не знаю".
Это не решает математическую проблему аппроксимации, но делает ее предсказуемой и безопасной. Модель перестает врать и начинает признавать границы своих знаний.
По сути, речь идет не об улучшении функции, а об изменении стратегии ее применения
Увы, мир не идеален.
Ну да, общая проблема обучения, не только нейросетй, и не только машинного. У людей ложная память бывает достаточно часто.
Честно говоря, те кто глубоко работал с ИИ знали это и раньше, майская статья о галлюцинациях:
https://habr.com/ru/companies/timeweb/articles/910056/
Создание «психологической» безопасности: Промпт снимает внутреннее давление «всегда знать ответ», позволяя ИИ признавать ограничения без потери лица. Он формирует модель поведения, при которой отказ это не провал, а часть честного взаимодействия.
О! Мы такое тоже увидели. Иногда наши ИИ-агенты впадали в истерику от проблем - и творили дичь. Помогло встраивание в промпт "клапана для стравливания пара" - указания при возникновении нерешаемой проблемы - структурированно исследовать и описать ее и на этом закончить. Иначе получается как в рассказах Г.Гаррисона: "Робот!" - приказал он - "принеси багаж - три предмета!". "Но Васко!" - возразил я - "разве у нас было не два чемодана ?". Робот вернулся обратно, таща с собой наши чемоданы и - выдранное из такси заднее сидение... Ну что же - теперь предметов у нас действительно три!..
Как хорошо, что в LBS/CESP системах, нет и не может быть никаких галлюцинаций. Они не возможны ни на каком уровне
Господа хорошие чему удивляться. ИИ чаты учат самые большие лжецы- люди. Откуда же у моделей взяться честности
То, что вы называете галлюцинацией, является субъективным мнением, или субъективным шагом, возникшим в ходе диалога с ИИ. С этой точки зрения любое сознание галлюцинирует, вопрос только в том готовы ли вы признать что ИИ обладает сознанием.
Ошибка - это не ошибка, а "галлюцинация".
Что угодно придумают лишь бы не распугать инвесторов.
Основная причина галлюцинаций - обобщение. Обучаемая система не может и не должна запоминать все предъявленные факты, она должна найти общее правило. Но факты, типа "Вася родился в феврале" обобщить невозможно.
Надо обучающую выборку разделить на две части - содержащую примеры общих правил, и содержащую выделенные факты. И обучать им по разному. Факты вообще хорошо бы помещать в нормальное хранилище, благо нейросеточки хорошо умеют создавать SparQL-запросы.
Галлюцинации языковых моделей: от математики обмана к честным ИИ