Обновить

К возможности описания клиентских процессов в чатах с LLM / ноосвиками как случайных процессов:

Кроме штатного случайного выбора продолжения на выходе последнего слоя трансформера при ненулевой температуре, дополнительную вариативность траектории обработки конкретного задания в пространстве активаций вносит организация вычислений в LLM: число одновременно обрабатываемых запросов, точность представления чисел, оборудование и т.д. (He & TML, 2025; Kasa et al., 2026). Возникающие из-за этого малые расхождения могут как гаснуть в слоях трансформера, так и лавинообразно расти (Islam et al., 2026). Особыми усилиями по организации вычислений можно добиться их полной воспроизводимости (He & TML, 2025), но при обычной эксплуатации даже при нулевой температуре одно и то же задание может приводить к разным ответам (He & TML, 2025). У исследованной в (Yuan et al., 2025) рассуждающей модели стандартное отклонение доли правильных ответов на множестве вариантов организации вычислений оказалось около 9%. Так что даже без учета штатной случайности проекция LLM-беседы на пространство активаций вполне допускает стохастическое описание.

Поведенчески, как отражение стохастичности процессов в ноосвиках, была введена характеристика семантическая энтропия (СЭ) (Farquhar et al., 2024). LLM многократно отвечает на один и тот же вопрос, ответы группируются по смыслу, и мерой неопределённости служит разброс между смысловыми группами. Так отстраивается характеристика именно ансамбля траекторий в пространстве активаций, а не одного прогона. Притом Kossen et al. (2024) показали, что уровень СЭ может быть оценён и по активациям одной траектории: их проекция на выявленную ось семантической энтропии позволяла предсказывать, является ли этот уровень высоким или низким. Получается, что контейнер LLM-беседы несёт в себе сведения о вариативности своих продолжений.

Теги:
0
Комментарии0

Дело о длинном тире

Невероятные приключения здравого смысла среди борцов с ИИ

Сатирическая история о творчестве, бдительности и людях, которые точно знают, как сделать лучше.

Осторожно: может пострадать ваш здравый смысл.

Дело о длинном тире

Публикации