Обновить

Что на самом деле лежит в зашифрованном блоке рассуждений Claude: разбираем signature по байтам

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели9.6K
Всего голосов 3: ↑3 и ↓0+5
Комментарии4

Комментарии 4

Переключение моделей легитимная фича, было бы странно терять при этом все рассуждения. Так что взлом через хайку своих сессий должен работать и закрыть его невозможно.

Возможно для вас станет новостью, но размышления модели действуют ровно 1 ход. То есть секвенция thinking1 text2 делает ход. В следующем ходе модели дают только text2 и модель возвращает thinking3 text4. Это легко подсмотреть в калькуляции расходов по кэш токенам.

Таким образом при переключении модели в саму модель поступают только text1...textN блоки в качестве input (грубо)

Единственное что стоит упомянуть, что Fable 5 может сделать thinking1 thinking2. Это следующий этап сокрытия модели в качестве защиты от дистилляции.

Я в курсе - чаще всего мысли никуда не передаются, но в исходной статье написано иначе

Поэтому Anthropic, OpenAI и Google перестали отдавать рассуждения в открытом виде: пользователь видит короткое причесанное саммари, а полная запись возвращается клиенту зашифрованным блоком. Состояние диалога сервер у себя не хранит, поэтому этот блок клиент обязан приложить к следующему запросу, чтобы модель "вспомнила", о чем думала.

Значит при переключении модели мысли прошлой модели перейдут к новой.

Вы правы в том, что Антропик и другие владельцы при вправе использовать эту информацию как им угодно: вставлять в модель или нет их дело.

Я предполагаю, с шифрованием блока история следующая: если после thinking блока идёт tool call, то api возвращается клиенту в режиме "выполни тулу", и клиент должен отдать ответ тулы следующим вызовом апи. То есть получается такой блок:

Апи1 thinking1 toolCall2 возврат

Клиент выполняет тулу

Апи2 thinking1 toolCall2 toolResult3...

И вот как раз тут и нужно шифрование. Блок расшифровывается на сервере серверным ключом и инжектится в историю. В обратном случае модель не будет знать ЗАЧЕМ она выполняла тулу. Нормально объяснил?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации