Комментарии 19
Решение проблемы от Apple: добавим в промт "Do not hallucinate".
Я конечно же верю главе компании который финансово заинтересован в таких заявлениях. Не будет такой святой человек обманывать.
современные ИИ-модели, вопреки расхожему мнению, врут и выдумывают факты реже, чем люди
Хорошая шутка.
Человек, если не знает какого-то факта, то так и скажет, что не знает. Может, конечно, сделать какое-то предположение, пуститься в фантазии. Но, в норме, скажет, что я не знаю, но могу предположить. И уж точно не станет генерировать какой-то правдоподобный ответ.
Языковые модели как раз таки наоборот всегда генерируют наиболее правдоподобный ответ, наиболее вероятный с точки зрения всей обучающей выборки. Но он совсем не обязательно будет соответствовать авторитетным источникам в данной области.
Попросите у них составить список лучших мед. учреждений по лечению какого-то заболевания, например. С американскими и европейскими он, может быть, и справится, но российские начинает выдумывать. Пусть они и звучат правдоподобно (СПб НИИ фтизиопульмонологии и клинической ревматологии им. В.А. Алмазова), но их не существует.
Ещё можете поспрашивать их по классическим литературным произведениям, попросить их закончить цитату, например. Тоже пускаются в фантазии, придумывают что-то своё из серии "слышал звон - да не знает, где он".
Просто их не обучали под такие задачи. Они не хранят в себе базу текстов или конкретные знания в структурированном виде. Они хранят закономерности текстовых последовательностей в более обобщённом виде.
Это какие-то сферические сверхчеловеки, а не реальные специалисты, которые точно помнят, чегр именно не помнят. Ложная память - очень коварная штука, если вам кажется, что у вас такого не было - вам кажется. По исследованиям, ей страдают даже люди с абсолютной памятью - именно что выдают очень правдоподобно детали того, чего не случалось вообще.
Ну нет. Ложная память не имеет ничего общего с галлюцинациями языковых моделей, это разные механизмы. В первом случае это как если у нас есть БД, но из-за сбоя в ней данные изменились/пропали/возникли. Во втором - никакой БД нет вобще, есть предобученная модель, содержащая обобщение всех данных, на которых её обучили.
Ну и в норме человек как раз может оценить степень своей уверенности в том, насколько он хорошо нечто помнит. Если бы каждый, когда он не знает или не помнит каких-то фактов, начинал бы уверенно генерировать поток правдоподобных текстов, это было бы немного странновато.
Что удивительного в том, что ИИ ведёт себя как студент на экзамене? Он же ещё учится.
Странно, но не невозможно. Такая странность описана неврологом Оливером Саксом в одном из рассказов:
"ЧЕГО прикажете сегодня? — говорит он, потирая руки. — Полфунта ветчины? Рыбки копченой?
Он явно принимает меня за покупателя; подходя к телефону в госпитале, он часто отвечает: «Алло, бакалея Томпсона».
— Мистер Томпсон! — восклицаю я. — Вы что, не узнали меня?
— Боже, тут так темно — ну я и подумал, что покупатель. А это ты, дружище Питкинс, собственной персоной! Мы с Томом, — шепчет он уже медсестре, — всегда ходим вместе на скачки.
— Нет, мистер Томпсон, вы опять обознались.
— Само собой, — отвечает он, не смутившись ни на секунду. — Стал бы Том разгуливать в белом халате! Ты Хайми, кошерный мясник из соседней лавки. Странно, на халате ни пятнышка. Что, не идут нынче дела? Ну ничего, к концу недели будешь как с бойни.
Чувствуя, что у меня самого начинает кружиться голова в этом водовороте личностей, я указываю на свой стетоскоп.
— А, стетоскоп! — кричит он в ответ. — Да какой же ты Хайми! Вот ведь вы, механики, чудной народ. Корчите из себя докторов — белые халаты, стетоскопы: слушаем, мол, машины, как людей! Мэннерс, старина, как дела на бензоколонке? Заходи-заходи, сейчас будет тебе все как обычно, с черным хлебом и колбаской...
Характерным жестом бакалейщика Вильям Томпсон снова потирает руки и озирается в поисках прилавка. Не обнаружив его, он со странным выражением смотрит на меня.
— Где я? — спрашивает он испуганно. — Мне казалось, я у себя в лавке, доктор. Опять замечтался... Вы, наверно, как всегда хотите меня послушать. Рубашку снимать?
— Совсем не как всегда. Я не ваш доктор.
— Хм, и вправду. Сразу заметно. Мой-то доктор вечно выстукивает да выслушивает. Боже милостивый, ну у вас и бородища! Вы на Фрейда похожи — я что, совсем того? Чокнулся?
— Нет, мистер Томпсон, не чокнулись. Но у вас проблемы с памятью, вы с трудом узнаете людей.
— Да, память шалит, — легко соглашается он, — я, бывает, путаюсь, принимаю одного за другого... Так чего прикажете — копченой рыбы, ветчины?
И так каждый раз, с вариациями, с мгновенными ответами, часто смешными и блестящими, но в конечном счете трагическими. В течение пяти минут мистер Томпсон принимает меня за дюжину разных людей. Догадки сменяются гипотезами, гипотезы — уверенностью, и все это молниеносно, без единой заминки, без малейшего колебания. Он не имеет никакого представления о том, кто я, не знает даже, кто он сам и где находится. Тот факт, что он бывший бакалейщик с тяжелым синдромом Корсакова и содержится в неврологическом учреждении, ему недоступен.
В его памяти ничто не удерживается дольше нескольких секунд, и в результате он постоянно дезориентирован. Пропасти амнезии разверзаются перед ним каждое мгновение, но он ловко перекидывает через них головокружительные мосты конфабуляций и всевозможных вымыслов. Для него самого, заметим, это отнюдь не вымыслы, а внезапные догадки и интерпретации реальности. Их бесконечную переменчивость и противоречия мистер Томпсон ни на миг не признает. Как из пулемета строча неиссякаемыми выдумками, он изобретает все новые и новые маловразумительные истории, беспрестанно сочиняя вокруг себя мир — вселенную «Тысячи и одной ночи», сон, фантасмагорию людей и образов, калейдоскоп непрерывных метаморфоз и трансформаций. Причем для него это не череда мимолетных фантазий и иллюзий, а нормальный, стабильный, реальный мир. С его точки зрения, все в порядке."
Послушайте объяснения как с подобным борятся, в целом очень хорошее видео объесняет многие моменты.
Вполне возможно очень неплохих результатов добиться. А если у вас критически важная часть, добавьте пару шагов, в которых модель(и) проведут проверку. Ну и первоначальный вопрос можно скормить нескольким конкурирующим моделям, проверить на правильность.
Видео от Karpathy Andrej
Серьезно? Что, прям любой человек? Я сегодня видел канал плоскоземельщика, у которого 300 тысяч подписчиков. И видео, где взрослый дядя, сидя за рулем порше, буквально высмеивал всех, кто "верит в существование космоса". Он буквально отрицает не только то, что люди на Луне высаживались (таких миллионы, не удивишь никого), но вообще утверждает, что все космические программы - обман. Потому что ракета в космосе летать не может, ей нужно зажигание, а в космосе вакуум, там ничего гореть не может. Прошу прощения, я знаю, это больно читать. Самое поразительное - не он сам, подумаешь аномалия, а то что это процветающий канал, с сотнями тысяч просмотров и лайков. Буквально недавно смотрел интервью, где одна знаменитость рассказывала, что динозавры - это фейк и как она раскусила этот нелепый обман еще в детстве. Она не выглядит больной, слюна не капает, взгляд живой, речь связная и грамотная. И у нее есть дети, то есть она размножается и передает свои гены. Я еще напомню, что большинство людей в мире религиозны, а битва экстрасенсов - нестареющий хит среди шоу. 40% опрошенных американцев верят в реальность всемирного потопа, а 1.3 миллиарда человек ежедневно совершают намаз. Есть еще нло, полтергейст, иллюминаты и сверх цивилизации, построившие пирамиды.
Ложные воспоминания - это один из механизмов и он абсолютно в точку. Когнитивные искажения и просто иррациональная вера присуща даже скептикам, из-за чего этим самым скептикам приходится постоянно самих себя перепроверять и проводить факт-чекинг даже того, в чем вроде бы скептик и так уверен.
Не вдаваясь в дебри гносеологии, ллм точно также "уверена" в своем ответе, как и человек с улицы, которого спрашивают кто написал "буря мглою" а он отвечает "Лермонтов". Позвольте усомниться в ваших ультра-сапиенсах, которые всегда точно знают, что они знают, а чего нет. А еще никогда не врут, не рисуются, не ошибаются, не верят и содержат все свои знания в идеальном порядке.
Тут более правильной аналогией будут средневековые художники, рисовавшие различных животных, которых они в глаза не видели, но слышали какие-то их описания. Эти описания, очевидно, не содержали исчерпывающей информации, чтобы точно изобразить их объект. Но художник должен был дать полную картину, а потому был вынужден додумывать неизвестные ему детали. В результате получались странноватые изображения слонов, единорогов и прочих персонажей бестиариев.
Иными словами, ключевая разница в том, что яз. модели галлюцинируют, потому что в принципе не содержат необходимой информации, но должны сгенерировать ответ, похожий на другие ответы, соответствующие максимуму целевой функции. А плоскоземельщики и иже с ними информацию "содержат", но, она ошибочна.
Вопрос Copilot-у: - Что ты ответишь, если не знаешь ответ на вопрос?
Ответ: Если я сталкиваюсь с вопросом, на который не знаю точного ответа, я честно признаю это. Но не оставлю тебя без помощи! Я могу:
Найти информацию в Интернете, если это возможно.
Предложить логические рассуждения и гипотезы.
Порекомендовать альтернативные пути поиска ответа.
Или просто поболтать, пока ты ищешь информацию сам.
"Он знал, что обыватели всегда с недоверием относятся к работе ученых, потому что она слишком далека от черной магии и, таким образом, не может претендовать на истину..." (c)
Никогда такого не было и вот опять. Перевожу с безобидного, он сказал по сути что проблема не в нас, а в вас так что хватит нам мутить воду разговорами что ИИ часто ошибается или придумывает несуществующие факты.
Проблема с нейросетями в том, что это - не люди. Это механизмы. От механизма ждёшь точности. Было бы странно, если бы станок с ЧПУ после получения чертежа, сделал бы не то, что в него загрузили, а какую-то левую фигню. А с нейросетями мы именно это и получаем. И всех устраивает играть в подобный футбол на минном поле.
Нейросети дают точный ответ, если этот ответ существует, достаточно понятно выводится из вводных, и был в обучающей выборке. Если принять эти ограничения, то инструмент ведёт себя весьма хорошо. В конце-концов, люди же используют C++, который тоже имеет undefined behavior при неправильном использовании.
Так, в случае с поиском информации, довольно безопасно искать то, что определенно существует в мире, но вы не помните точных подробностей. И опасно искать факты, которых может не существовать.
Вот, например, мне нужно было добавить новый механизм авторизации в проекты на Node.js, Python, и Ruby. На всём этом я сам примерно никогда не писал, но точно знаю что решаю очень типовую задачу, которая уже миллион раз решалась в разных вариациях и хорошо представлена в обучающей выборке. Поэтому могу спокойно доверить задачу LLM.
С другой стороны, я также делаю рефакторинги и привожу один сервис в соответствие с новыми требованиями бизнеса. LLM не знакома с архитектурой сервиса (и неспособна быстро её «выучить», загрузив его весь в контекст) и практически не знакома с предметной областью требований (потому что её точно не было в обучающей выборке). Отсюда, если я попрошу LLM дописать наиболее вероятный код в наиболее вероятные места, то она сделает что-то, но это что-то вряд ли получится хорошим.
Правильно (не)применять LLM — тоже навык, и я бы сказал что он сложный. Пока что слишком много статей вида «вышла новая LLM ещё больше и теперь можно совсем не думать» и слишком мало «как научить LLM решать ваши задачи и верифицировать этот навык».
Мы видим так мало статей «как научить LLM решать ваши задачи», потому что универсального рецепта или подхода не существует.
Эффективный подход очень сильно зависит от индивидуального контекста:
Личного опыта
Используемого стека
Типа решаемых задач
Конкретных инструментов и моделей LLM
У каждого разработчика через месяц‑два реальной практики вырабатывается свой, индивидуальный подход, который оптимален для его условий и стиля работы.
Глава Anthropic: ИИ галлюцинирует реже, чем люди, но неожиданнее