Комментарии 20
Наверное комментарий не в тему - я пользуюсь бесплатной версией. Но как же чат меня задолбал своими размышлениями!
То он пишет что так подумал, потом этак, а потом что-то прямо противоположное подумал. Хорошо хоть не рассказывает что у него было на завтрак. Это он спецом побольше текста нагенерировать старается?
Просто не читайте этот текст. Он нужен для каких-то особых применений ЛЛМ, а не для обычного использования. Эта программа так работает.
Рассуждения раньше показывались маленьким шрифтом, теперь их вообще скрыли.
Речь о том, что уже в середине финального ответа может произойти переобувание в воздухе.
Это у вас ЛЛМ странная. Или промпт такой.
У ЛЛМ вообще ровно обратная проблема. Они одну мысль повторяют много раз за ответ.
Да нет же, обычный чатгпт и Клод. Просто это редко бывает, не каждый запрос, а где-то один из 10.
В случае с Клодом обычно мой промт "найди ошибки в проекте". И иногда в отчёте может быть уверенное описание ошибки, а потом "ой точно, это не ошибка, потому что на самом деле...".
Если бы нейросетки могли найти все настоящие ошибки с одного промта я бы был с теми кто говорит что нас всех заменят. Вы хотите слишком много, они так не могут. Ручками и головой работать надо. Сетки только помогают, а не делают работу за вас.
Все не могут, но уменьшить количество ошибок могут. И исходно речь была именно переобувании в воздухе именно в процессе вывода отчёта (то есть у нейронки была возможность подумать перед генерацией сообщения). Нашла ошибки - молодец, не нашла ошибку - тоже понимаемо. А финальный отчёт "тут вот такая и такая ошибка, вот поэтому и вот с такими последствиями... хм... на самом деле тут нет ошибки" немного странно.
Потому что модели так обучают. В них заложено достаточно правильная логиках сомнений. Это приводит к тому что вместо того что бы верить вам или себе на слово, они перепроверяют логику во время размышления.
То есть что бы проанализировать вариант - им его нужно написать. Вы же не можете отбросить "неверный" вариант не вспомнив и не подумав про него - модели делают так же - проговаривают варианты, складывают за и против, после чего делают финальный шаг.
Насколько я понимаю, как раз внутренние «размышления» сейчас уже вообще довольно давно не показываются — вроде как для того, чтобы усложнить «дистилляцию» (слово-то какое, прямо в барную тематику). Другое дело, если у вас именно ответ «раздувается». Это действительная проблема — особенно при условии, что там уже почти экологическая инициатива за сокращение расхода токенов на повестке.
Раньше так делать было нельзя, но сейчас с режимом размышления под ковром просто начинай свои сессии с промта "Отвечай максимально коротко".
Он ответит что-то типа "Понял", и можешь начинать работать.
Пользуюсь этим способом в deepseek для быстрого получения справочной инфы.
Можно предположить что многие пользователи гоняют режим High там, где он совершенно не нужен - для каких-то простых вопросов, общения. Система это понимает и переводит на медиум.
Система это понимает и переводит на медиум.
Ну оке:
— Обвиняемый, объясните суду, почему в вашем баре клиентам вместо заказанного виски подавали разбавленный?
— Понимаете, ваша честь, можно предположить, что многие клиенты заказывают крепкий алкоголь там, где он совершенно не нужен — просто посидеть, пообщаться. Бармен это понимает и разбавляет.
— Но они же заплатили за виски!
— Ну так они же не напиваться пришли. Зачем им такая крепость?
Если речь идет о платной версии, то да.
жаль. Я уже успел: :)
— Удобный пример, в котором переключение действительно выглядит разумным. Кому-то из посетителей бара крепкий виски и правда может быть не нужен. Только вот даёт ли это основания начать бодяжить его для всех — на усмотрение бармена? Или всё же не о клиентах владелец бара заботится? ;)
А можно построить диалог наоборот: вопрос кажется простым, но по ходу разговора выясняется, что весь чат-контекст требует серьёзного анализа, а там уже downgrade.
Причём в вашем примере система удобно переключается внутри чата, когда пользователь явно тратит ресурсы попусту. А по факту пользователи жалуются и на сброс High до Medium при открытии нового чата, когда никакой сложности нового запроса система ещё оценить в принципе не могла.
Я тогда не стал комментировать ваше «Система это понимает и переводит на медиум», но теперь придётся. Какая именно система это ✌️понимает✌️? Индусы на пол-ставки? High, Medium, Instant или какой-то отдельный дешёвый LLM-маршрутизатор? Достаточно ли у такого маршрутизатора интеллекта, чтобы надёжно отличать действительно простые задачи от тех, которые лишь выглядят простыми? А если для такой оценки нужны серьёзные вычисления, то в чём экономический смысл?!
И главное: откуда вообще надежда, что переключение происходит ради пользы пользователя, а не ради увеличения маржи за счёт снижения себестоимости? Ведь экономический интерес поставщика услуги здесь вполне очевиден, в отличие от предполагаемой заботы о том, какой режим пользователю «на самом деле» нужен.
многие пользователи гоняют режим High там, где он совершенно не нужен
Я заплатил за High и пока лимитов нет буду использовать High для любых вопросов.
А сбрасывает скорее всего при большой нагрузке, у гугла так раньше было, он модель сам менял (в итоге я ее скриптом зафиксировал), ну и сейчас у того же гугла effort у аргона слетает на low всегда.
PS: У chatgpt я такого не видел, но это все фиксится пользовательскими скриптами которые сам chatgpt и напишет. Вообще, с декабря халява закончится и у чата будет общий лимит с кодексом, так что вся новость звучит сомнительно.
В целом следовало ожидать. Если не ошибаюсь, компания же в следующем году хотела выйти на IPO? Плюс, эта неуспешная кампания Тибо, от которой OAI ещё больше потеряли свою репутацию. Столько скандалов, это войдёт в историю ИИ индустрии...
По размышлениям и кризису памяти, стоило упомянуть также и Pro аккаунты. По идее они в отдельной квоте сидят, а на практике получают ровно тот же самый сценарий :)
и даже в процессе уже начатого разговора.
А как пользователь узнает о смене уровня размышлений “в процессе начатого разговора”? Уровень отображается в рабочем окне, или надо лезть в настройки?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
OpenAI сбрасывает режим «размышлений» ChatGPT с High на Medium