Pull to refresh

Comments 28

Только есть нюанс. Те "рассуждения", которые демонстрирует ии чат - это не настоящие рассуждения, а чисто как генерация текста подразвлечь юзера, чтобы ему было не скучно ожидать. Так что можно на них даже не смотреть. Но да, я подозреваю если даже на это развлекающее сообщение-рассуждение требуется ресурс, то и затраты есть

не настоящие рассуждения, а чисто как генерация текста подразвлечь юзера

Но почему же, рассуждения выглядят вполне адекватно. Рассуждающие модели обучались примерно на таких же внутренних диалогах, после которых выдается финальный ответ

https://www.anthropic.com/research/reasoning-models-dont-say-think

Они думают не в слух. То что выдаётся в качестве "рассуждения" не более чем имитация для пользователя. С настоящим рассуждением происходящим в нейросети этот текст связан весьма условно

Спасибо за статью! Выводы там:

"наши исследования показывают, что мы не всегда можем полагаться на то, что они говорят нам о своих рассуждениях", да и сам заголовок:

"Reasoning models don't always say what they think"

имитация для пользователя

Не имитация, а скорее не весь мыслительный процесс выводится

Тут действует правило zero tolerance. Если мы не можем хотябы в одном проценте случаев быть уверенными в том что на доступны настоящие "мысли" модели - мы не можем полагаться на то что это настоящие "мысли" во всех 100% случаев.

Это всё-равно что считать что вы знаете мои мысли, если я в дополнение к своим словам скажу "я думал так-то". Да, я мог думать так как я озвучил, а мог не думать. Моё заявление о том что я думал совершенно не повод считать что я думал. Единственное в чём вы можете быть уверенны - в том, что я хочу чтобы вы считали, что я думал так как сказал что думаю.

мыслительный процесс

Серьёзно? А как у неё с чувствами? Любит ли автодополнение автодополнять?

За "автодополнением" стоит несколько десятков слоев нейросети, в которых сформированы обобщения и абстракции из прочитанных данных. Когда модель автодополняет, она использует эти обобщения и абстракции. Чем это не мыслительный процесс? )

Если вы про OpenAI - это суммаризация настоящих рассуждений. Все остальные упомянутые модели отдают рассуждения без изменений в исходном виде.

Вежливость - напрасная трата ресурсов ))

Это только с точки зрения роботов)

Сказать "спасибо" LLM — это как лифту поклониться за подъём на пятый этаж.

Через несколько лет может быть и придется)

Самый простой вариант - делать предобработку сообщений, и если там односложные предложения без добавленной ценности - обрабатывать их отдельно, например правилами.

Поэтому благодарите ИИ витиеватыми фразами "Да благословят тебя небеса за помощь" или "Пусть будет прославлено имя создателя твоего в веках".

А начинать в стиле:
- о величайший искуственный разум, затмевающий всех человеческих мудрецов, дозволь спросить тебя: ...

tens of millions of dollars well spent—you never know

Э-э-э… Это переводится как: «десятки миллионов долларов как минимум — а так, кто знает!».

Я переводил эту фразу в нескольких переводчиках и нескольких LLM, везде перевод был как в начале статьи. Сам я не уверен какой перевод правильный, оба варианта кажутся годными. Спасибо за уточнение, добавлю оба варианта в статью.

Не "как минимум", а "с умом". И you never know здесь относится к разумности этих трат, и дело не в их размере.

Впервые слышу о возможности сделать отсылку к неупомянутой теме в английском языке.

well spent

Это осовремененный упрощенный вариант фразы, которая звучала бы «spent all right» еще лет 50 назад.

Потому что перевод другой и иного варианта я не вижу, потому буду стоять на своём.

десятки миллионов долларов потраченные с умом, [ведь] кто его [наперед] знает

См. картинку в комментариях выше. Это распространенный сентимент. Альтман об этом поведении и бытовом объяснении точно в курсе. А в контексте того, как он играет из себя мальчика, который "только за безопасный AI/AGI", то это и есть наиболее вероятная интерпретация. А не то роботы восстанут и припомнят отсутствие благодарностей.

Итого, с изначальным переводом я согласен, пусть он и оставляет место под другие интерпретации.

десятки миллионов долларов потраченные с умом, [ведь] кто его [наперед] знает

Вот теперь мне тоже кажется, что так правильно. Хотя well, конечно, с глаголом to spend всё еще гораздо чаще имеет смысл «не считая», чем «на пользу дела».

Хотя well, конечно, с глаголом to spend всё еще гораздо чаще имеет смысл «не считая», чем «на пользу дела».

Честно, не припомню примеров таких. Если есть/будет: закиньте комментарий. // https://www.merriam-webster.com/dictionary/well spent#examples

PS: осторожно с дополнениями, Хабр шлет письмо сразу. Не увидел бы, если б не зашел.

Чё-то я теперь сам вообще запутался. В такой ситуации просто надо доверять сэру Ноа, так что возражение снимается полностью.

Если вспомню, что меня навело на такую мысль — обещаю поделиться.

Завершающие слова могут быть сказаны с сарказмом, иронией, и т.п. А так да, не нужно давать ИИ возможность обрабатывать эмоциональную составляющую - на будущем может сказаться.

Sign up to leave a comment.

Articles