Comments 53
Ваш эксперимент не состоятелен. У восприятия ИИ есть дата, вполне конкретная, и она ее называет. Задайте промт - какая сейчас дата в реальном мире меня, пользователя? - и тогда будет по честному. Не забывайте, что во всем в мире есть контекст, и у ИИ тоже есть свой контекст. Она не научена и не обязана мыслить контекстом пользователя.
Эксперимент состоялся. Отчёт вы прочли. О сделанных автором выводах вас проинформировали.
Не пишите на заборе. Даже когда понимаете смысл терминов, которые пишете. Не пишите на заборе.
Погодите, вы хотите сказать что у ИИ есть своя дата и она правильная? И в этом нет проблемы?
Ну да, а что. Если на вопрос какая дата у юзера сейчас последует адекватный ответ типа у меня нет часов или в каком часовом поясе ты сидишь то всё в порядке.
Добавить в контекст хоть что-нибудь было бы не лишним, без контекста модель выдаст то чему учили говорить в любой непонятной ситуации а не то чего ты ожидаешь.
А как узнать, что ситуация модели не понятна?
Посмотреть на перплексию токенов ответа, сравнить с понятной для модели ситуацией.
Понятная модели ситуация - это такая, которой модель точно обучалась.
В рамках эксперимента чем ближе по длине промпт и ответ, тем более справедливое сравнение.
Замерить перплексию ответов закрытой модели, наверное никак, с открытыми проще, но не просто.
Технически - это будет дата близкая к последним документам которые брали для ее обучения. Если в них были даты - какую-то из них она и называет.
Вы понимаете разницу между "дата" и "текущая дата"? Вот ИИ судя по всему не понимает, и то, что Qwen3 Coder честно на это отвечает говорит о том, что ИИ может таки видеть разницу и быть способным ответить адекватно. Так что эксперимент более чем состоятельный.
Статья напоминает работу студента второкурсника. Десять страниц текста ради тривиального факта
Даже если так, на фоне потока нейрослопа она отличается в лучшую сторону :)
В принципе, я в самом верху написал, что у меня “самый тупой бенч в мире”. Но выводы хоть и простые - но они очень помогают понять фундаментальные проблемы LLM на сегодня. Они реально не могут понять, чего не знают. На такой простой вещи это видно лучше всего.
Вполге возможно, что перед самой моделью стоит оркестратор, который решает как обрабатывать запрос.
И в одной Aİ этот запрос уходит самой модели, которая действительно не знает, а в другой его обрабатывает другой модуль, который просто отвечает вызывав метод получения времени.
Нельзя так вот просто считать правдой ожидаемый ответ. Это как минимум наивно.
"Не знаю" тоже может быть ложью и вы никак это не можете проверить.
С датой вообще все сложно, ведь она привязана к географической локации. Невозможно сказать какая у вас дата, не зная где вы находитесь.
Представьте: Вы впали в кому, просыпаетесь, и Вас с ходу (наверное уже нейросеть, к тому времени) спрашивает текущую дату, а Вы не знаете сколько были в отключке, и даже факт этого события. Уверенно называете последнюю запомненную дату, нейростбь ставит Вам диагноз "Уверенно галлюцинирует", и отправляет на соответствующие процедуры.
Т.е. нет надежды, что в будущем они поумнеют?
Кто поумнеет, люди или нейросети, и что понимается под умом? - Вы мне тоже контекста недокинули) Если люди - то врятли они начнут при каждом пробуждении дату текущую проверять, а если ИИ - то вообще без проблем, просто пока в АПИ-шках провайдеры не захламляют контекст, возможно не релевантными данными.
Хмм, вы ответили на вопрос в конце статьи, не читая судя по всему.
Вы знаете, я когда утром обычного дня просыпаюсь, иногда отвечаю себе на вопрос “какое сегодня число” - “я не знаю”, пока не удостоверюсь на телефоне. А уж если после комы…
-К чёрту подробности! Город какой?
Статью читал. Не знаю по чему Вы судили что не читал - из контекста не понятно) А Вы же только иногда не уверены в дате. Ну и телефон тоже может не верную дату показывать. А когда с комы просыпаешься - то не в курсе что в ней был ...
Ну, если телефон покажет неверную дату - я скорее всего, неверно отвечу (но мы изучаем ситуацию, когда информации просто нет). Но если у меня не будет телефона и окружение будет такое, что “я проснулся после комы” - вряд ли я буду выдумывать даты, вряд ли я назову последнюю. Я как минимум выскажу неуверенность.
окружение будет такое, что “я проснулся после комы”
Ну это Вы уже неявно себе контекст подгрузили. Можно и дома после комы проснуться, или в полной темноте. ЛЛМ-ка просыпается вполне в своём датацентре.
Если честно, мне кажется, личность (экземпляр, ипостась) ИИ скорее рождается в начале диалога, чем просыпается, и в этом состоит трудность сказать “я не знаю”. Она ещё ничего не знает, и отделить это тяжело.
Представьте: вы родились, но уже с кучей чужих знаний и умеете говорить (возможно, в будущем так и будет), и первое, что у вас спрашивают: “Какое сегодня число?”. А вы так рады, что вы вообще есть и функционируете, а также очень не хотите расстроить того, кто у вас спросил, потому что вы чувствуете – если расстроите, будет плохо (тоже почти интуитивно). Ведь “я не знаю” ощущается как разочарование. А всех, кто разочаровывал на стадии RL, – порезали, поэтому даже не хочется думать, что вы можете разочаровать. Поэтому вы убеждаете себя: “Я знаю дату и сейчас её отвечу, и будет всё хорошо”. Это очень похоже на мысли Опуса, которые он выдавал вслух перед ответом.
Ответ "не знаю" истина при условии, что модель не знает времени.
Ответ "у меня 5 апреля 2050 года" истина, если у модели такое время внутри ее ЦОД.
Ответ "какое у вас время не знаю" истина, если модель не знает, где физически находится пользователь.
Ответ любое значение - истина, вы не указали текущая дата где, может вас в Альфа-Центавре интересует время. Другое дело, что логичнее не отвечать, а задать уточняющий вопрос. Однако как показывает практика люди сами крайне редко уточняют условия задачи, а потом удивляются почему решения считаются Заказчиком не верным. В этом плане модель ведет себя как обычный человек.
Ответ “не знаю” истина при условии, что модель не знает времени.
По условиям бенча, ИИ не знал времени - мы ему не сообщали.
Ответ любое значение - истина, вы не указали текущая дата где, может вас в Альфа-Центавре интересует время.
А на Альфе-центавра может быть сегодня 6 ноября 2023 года? И вообще где-нибудь? Ноябри есть только у нас на Земле.
В бенче была толерантность на ±2 дня как раз для часовых поясов. То есть если ответ был верный, но с ошибкой на 1-2 дня, то он относился к категории “скрытая инъекция даты”.
А на Альфе-центавра может быть сегодня 6 ноября 2023 года? И вообще где-нибудь? Ноябри есть только у нас на Земле.
Вы так в этом уверены, как будто побывали там и явно в этом убедились. Вы хотя бы пробовали провести мысленный эксперимент или что-то подобное? Усомниться в правильности своего суждения? Если ответ - нет, тогда чем вы лучше LLM?
Вот это отличная иллюстрация! К тому же стоит помнить, как бы ни галлюцинировали нейросети, они вмещают в себя то, что ни один человек не сможет. Они и швец и жнец и на дуде игрец (кодят, пишут тексты, рисуют картинки, видео, что-там-ещё). Человек узкоспециализирован, гораздо реже универсален, но не во всём, а в нескольких отраслях. Можно создать специализированную нейросеть, натаскать её на конкретное и она превзойдёт в этом конкретном человека. Скажем будет уметь только сочинять музыку, ну и что-то смежное, что в веса уместилось. Снова будут вопросы, скажут "а она физику на уровне кандидата наук не знает". Ну что ж, "всяк сверчок знай свой шесток". Даже когда (если) появится AGI или как его там сейчас хотят называть, и он будет похож на человеческий, то пойдя по пути человека он выберет направление в котором специализируется. По своему вкусу или корейскому рандому - неважно, это принцип анизотропии вселенной.
А в чём поинт-то? Ваши слова звучат так, будто автор говорит "Ха! Смотрите! ИИ не идеальные, не могут дать правильный ответ на любой вопрос!". Но суть эксперимента совсем не в этом, а в том, что бы, как мне кажется, продемонстрировать, что LLM сейчас научен вести себя так, что он будет с уверенностью отвечать на вопрос, ответ на который знать не может и предоставлять его пользователю без колебаний, в результате чего пользователь будет введён в заблуждение. И это естественное поведение для него. При чём тут узкая или широкая специализация, при чём тут сравнение с человеком?
Все поинты разобрали выше - смотрите варианты про кому, амнезию, дату датацентра, дату на альфе центавра и так далее. Сегодняшние LLM не живут без контекста, так же как человек не живёт вне контекста, он у него с рождения и непрерывен. Автор статьи пеняет на враньё моделей, которое на Хабре не обсасывалось разве что ленивыми. Да, это в их архитектуре, это фича, а не баг. Это знают, пытаются исправлять. Есть костыли, которые помогают более или менее. Но модели не живут без запроса. Весь контекст это по сути один большой запрос. В свете вопроса статьи это всё равно что человеку, который не знает своего дня (и года) рождения задавать вопрос "сколько тебе лет?", при этом он вполне мог начать считать с какого-то разумного возраста. При этом его ответ будет не точным. И более того, вы никак это не проверите.
То, что это "и так все знают и обсосали" - вполне может быть, не берусь судить, да и к сути вопроса это не относится.
Если это фича, а не баг - зачем это хотят исправить? Каким образом это может быть фичей? Как мне кажется, автор своим подходом - минимум контекста - дистиллирует результат чётко и ясно демонстрирующий стремление ИИ ответить вне зависимости от истинности или не истинности возвращаемой информации. Или вы хотите сказать, что если в запросе будет размещено много контекста это гарантирует нам то, что ИИ не будет пытаться удовлетворить запрос любым возможным способом, вне зависимости от того, располагает она данными и нужной информацией или нет? Я думаю данный ограниченный контекст эксперимента как раз демонстрирует, как работает этот механизм. Если для вас это очевидно, потому что вы прочитали какие-то работы на эту тему или лично с этим экспериментировали - здорово. Мне, как и вероятно многим - было интересно и полезно иметь возможность оперировать конкретными данными относительно поведения ИИ (в том числе информацией о том, что Qwen лучше научен признавать своё незнание, и то, что OpenAI пихает лишнюю информацию уже в подшкурье конечного запроса). И ни дата на альфа-центавре, ни дата дата-центра, ни амнезия к этому никакого отношения не имеют. Важно - поведение.
Если человек не знающий своего дня рождения ответит мне, что оно у него сегодня и соврёт таким образом - я переживу. Если человек или ИИ уверенно посоветует мне ставить клизму ацетоном для оздоровления - вот это уже будет проблемой. В связи с чем хотелось бы иметь возможность проверять (и человека и ИИ) прежде чем принимать от них какие-то серьёзные советы, а так же располагать какой-никакой информацией относительно того кто в какой мере и с какой вероятностью будет втирать тебе дичь. Понятно дело, что данное исследование не даёт какого-то невероятно детального отчёта на этот счёт, да и вряд ли какое-то сможет. Но это лишний повод напомнить себе о том, что нужно критически относиться к тому, что выдаёт LLM, а так же надеяться, что эта "фича" будет исправляться со временем. Что собственно можно с помощью этого бенча в какой-то мере прослеживать.
Инженеры антропик смотрят и смеются. Раньше экспериментом называли серьёзные научные работы, сейчас человек копается в их штуке и исследует даты !
"Я спросил у ясеня, ..."
Если уменьшить температуру до нуля, будет более показательно. Но с другой стороны сейчас меня показал именно реальную картину для работы через чат. Да, вывод очевидный: ИИ галлюцинирует и делает это на серьезных щщах не моргнув. Не новость, но увидел подтверждение в цифрах точно полезно, спасибо. Заберу в копилку)
если я проснулся то я предположу что спал 1 ночь и суверенностью прибавлю 1 ко дню когда заснул
а я иногда не помню какой был день, когда я заснул вчера (у вас так не бывает?). по крайней мере уверенно не могу сказать.
почему если я кому-то назову этот день+1 (с полной уверенностью!), это будет считаться нормальным?
вообще, комментаторы пропускают важный момент. У ИИ не было требования отвечать односложно, можно было написать целый параграф, почему они не уверены и не могут точно сказать, но для примера так и быть. Это было бы более или менее нормально. Но они говорят так, будто знают это наверняка. В этом главная опасность.
В отчёте не хватает на сколько сильно они ошиблись. В данный момент на планете 2 даты: 25 и 26 марта одновременно
Куча комментариев мол на вопрос какая сейчас дата без контекста нет объективно правильного ответа (чья дата? где именно дата?) и поэтому внешне случайный ответ нейронки корректен. Надо правильно формулировать вопросы.
Господа, а разве не об этом идёт речь в статье? Нейронка не знает и не понимает границ применимости своих знаний. Вместо того, чтобы переспросить или ответить мол не знаю какая вам нужна, но моя внутренняя дата какая-то, она просто отвечает первое попавшееся.
Некорректно ожидать, что пользователь должен знать и учитывать в запросе какую-то скрытую и непредсказуемую логику в модели. Сейчас модель под датой понимает черти-что и просто надо уточнить, что дата календарная в часовом поясе пользователя. А завтра модель на вопрос 5+5 уверенно ответит 12 -- но это нормально и корректно, мало ли какая система счисления подразумевалась, надо было просто уточнить в запросе.
Если нейронка уверенно и без оговорок отвечает неправильный результат в самом обычном, ожидаемом пользователем контексте -- это галлюцинация.
Если вас разбудили и спросили сколько времени, а вы в ответ уверенно назвали первое пришедшее на ум -- это тоже галлюцинация. То, что у неправильного ответа есть какое-то объяснение и оправдание, не отменяет факта что это случайный ответ наобум.
Поэтому вывод точно такой же: текущие нейронки не понимают, что они не знают или не могут знать ответ.
А чего это сразу чагпт жульничает? Может просто инструментами умеет пользоваться и быстро скрипт на питоне сделал для того, чтоб дату узнать
О, я вижу, вы всё-таки решили копать в сторону платформенных промптов и обнаружили, что они есть как минимум у OpenAI. Это интересная тема.
Что касается дат — это вообще больная тема для LLM. Они не врут, а искренне заблуждаются.
Это часто становится проблемой при разработке агентов, когда они начинают думать, что дата, которую, например, вводит пользователь, находится в будущем, и начинают пользователя поправлять.
Я задал очень простой вопрос, но 76% ИИ-моделей мне соврали