Можно ли доверять LLM как экспертам. Рассматриваю на примере ответов нейросетей с использованием поиска

[Dreams_and_magic]

Так можно или нельзя?

[Kamil_GR]

) не больше, чем результатам поисковых запросов.

[Dreams_and_magic]

То, что нейросеть просто суммаризирует результаты поиска, как бы давно известно:)

[Kamil_GR]

Неочевидный факт.

Upd: многие предполагают, что ответ LLM это результат размышлений и оценки тысяч фактов, а не вольный пересказ единичного оплаченного творчества сеошника.

[Dreams_and_magic]

Вы переоцениваете сеошников. В суммаризацию попадают вовсе не те результаты, которые вы получите при гуглении.

[Kamil_GR]

У Клода те.

Можно оценить по его поисковому запросу, выдаче, и результатам самостоятельного поиска в brave

[Sap_ru]

Нельзя. Каждый раз, когда я пытаюсь с помощью LLM получить ответ на нетривиальный вопрос, ответа на который она изначально не знает, то получается полный всеобемлющих ужас. И никакой гуглёж её не спасает - она находит какой-нибудь первый попавшийся совершенно левый, но очень авторитетный источник, в котором есть ответ на другой, но чем-то схожий вопрос, и начинает черпать от туда вдохновения для своего бреда. И как её потом не заставляй читать мануалы или гуглить более аккуратно, она всё всё равно будет люто галлюцинировать.

Верхом бреда был случай, когда мне было лень читать 20 страниц достаточно маразматического манула к утилите "dar" и был очень простой вопрос, который возникает примерно у каждого, кто первый раз этой тулзой пользуется (писали её очевидный психи, кстати). Но по разными причина ответа на этот вопрос нет на первой странице результатов гугла (именно потому, что авторы - мягко говоря специфичные люди).
Так как ответ сходу не нашёлся, а манулал вызвавал рябь в глазах и присутпы головной боли, то дай-ка, думаю, попрошу LLM прочитать мануал, погуглить примеры и сэкономить мне время... Ага, щаз.
Три!!! Три часа я с ней бился в попытке получить правильный ответ. Мне уже просто из спортивного интереса было интересно это сделать. Ну простой же вопрос. И Мануал доступен. Куча примеров и информации гугулится. Может я сам дурак и как-то не так запросы строю, нужно же разобраться на будующее. Но нет. Совершенно никаким образом из неё нельзя добыть правильный ответ - только если ты его уже знаешь и последовательно тыкаешь её в галлюцинации. Тогда на пятой галлюцинации она сдаётся и даёт ответ. И ничего с этим не поделать.

И так с каждым неочевидным впросом. Я бы минут за 15 ответ бы нагуглил. Ну за пол часа, если совсем что-то сложное. Я с LLM это всегда сплошной поток галлюцинаций и непредсказуемой количество времени.
- Вот ответ.
- Ой, не работает? Тогда вот так.
- Ой, опять не работает? Тогда три раза подпрыгните и два раза присвистните - обязательно поможет.
- Вы, совершенно правы, я галлюцинирую - не поможет. Вот правильный ответ.
- Вы совершенно верно заметили, что этот ответ я уже давала и он неверный. Извините за галлюцинацию. Вот понастоящему верный ответ.
- Как вы верно заметили, этот ответ не на заданый вопрос и относится к другой теме. Вот правильниый ответ.
- Я снова галлюцинирую. Хорошо, что вы это заметили. На этот раз даю точныей ответ:...
- Простите, опять что-то пошло не так. ...
....

И каждый же бредовый ответ будет с какими-то "подтверждающими ссылками". И если ты ответа не знаешь, то как баран пробуешь её бредовые рекомендации одну за другой. Ну, или лезешь их проверять в интеренете и всё равно тратишь время. И к моменту, пока она что-то вразумительное выдаст, ты уже и сам всё загуглил и разобрался.

Тривиальные вопросы - запросто. Но на трививльные вопросы я и сам ответы знаю и за минуту нагуглить могу.

[disnous]

Вместо всей статьи можно было просто написать капсом слово "Нет" и не растекаться "мыслию по древу", зато на одну бесполезную статью про ИИ стало бы меньше

[Kamil_GR]

Можно, если бы я не уважал читателей, и высказывал своё мнение. Бога нет, деньги зло, теория относительности ошибочна и так далее.

Впрочем, ваш комментарий удивительным образом соответствует своему содержанию.

[disnous]

Не совсем понял к чему пассаж про "уважение читателей"
Касаемо "высказывать мнение" - именно по причине существования статьи и высказывания вашего мнения, на нее пришел я и высказал свое мнение))

[Kamil_GR]

Просто безосновательно высказать мнение это не уважение. Развернуть причины, которыми оно обусловлено, необходимое требование

[disnous]

Не кажется, что это переливание из пустого в порожнее?
Общеизвестный факт - нейросети не могут без галлюцинаций, додумывают и стараются угодить, нежели реально работают с фактами.
Сотни статей про это написано, мелкий текст в любом ИИ-чате существует.
ИМХО - Хабр и так полон статей на эту тему, а человек неискушенный вряд ли полезет на Хабр ради этого. Эффект Даннинга-Крюгера, как никак.

[Kamil_GR]

В статье этого нет

Общеизвестный факт - нейросети не могут без галлюцинаций, додумывают и стараются угодить, нежели реально работают с фактами.

[disnous]

Зато есть в множестве других статей, которые кратно подробней расписывают что, как и почему.

Переформулирую свой изначальный комментарий - какая ценность вашей статьи, (по вашему мнению) относительно множества других по этой же теме?

[Kamil_GR]

Другие статьи это проблема других авторов.

В своей статье я оценил как много своего вносит LLM в ответы, требующие интернет поиска. Выяснилось что мало.

Статей по этой теме я не видел.

[disnous]

Принято, спасибо за пояснение)

[vldmrmlkv]

У вас вывод строится только на одном промпте, но нет сравнения разных промптов. От этого разве не зависит точность ответа? В данном случае, например, нет критериев оценки провайдеров. Я при использовании LLM просто так редко уже спрашиваю, использую с начала эту же LLM для улучшения промпта, начиная с простого запроса + запрос улучшить промпт для более точного ответа, иногда в несколько заходов с ручными правками.

[Kamil_GR]

Цель была не идеальный промпт и идеальный ответ. А открытый запрос даже без требования поиска и оценка ответа и источников

[vldmrmlkv]

Возможно я не так понял.

задаю вопрос непосредственно LLM

Это значит напрямую модели, без системных промптов, не в окне чата на сайте провайдера LLM?

[Kamil_GR]

Нет.. это значит не в Гугле, не в Яндексе... А просто LLM (приложение или веб версия без разницы)