Обновить
16K+
1
Павел Крупкин@Kroopkin

Развиваю альтернативный язык осмысления LLM

7,4
Рейтинг
3
Подписчики
Отправить сообщение

К теории смысла: о порождении новых различений. В теории различений есть два аспекта.

(1) Различения для регулярного существования, для организации жизненных рутин. И тут наличествует  обычная пара (граница+сторона), у людей зачастую дополняемая именем. Хотя невербальные мыслеобразы регулярно звучат в свидетельствах.

(2) эволюционный момент - порождение новых различений. Как они такие возникают? (ЗЫ: В частности, данный момент важен в аспекте АГИ и ноосвиков / LLM: что там нужно добавить, чтобы запустить генерацию запредельной для них новизны). Варианты: (а) Новое различение возникает сразу парой? Или - (б) можно таки различить какие-то предварительные состояния в порождении различения?

И заметим, что предварительные состояния, если они есть - они вовне циклов исполнения, вне циклов жизненных рутин. Когда в исполнении возникает нужда в новом - используется родовое различение. "Живой туман" для абсолютного оружия Шекли, как пример. Или: "Смотри, тигр! - Да какой это тигр? Какая-то новая зараза! - Да, ты прав, не тигр, но что-то  на него похожее!"

Соответственно, я вношу вариант генезиса различения:

  • ничего + место для нового различения (лакуна) => сгущение + место => взаимная притирка => оформление нового различения...

Как различаются сгущение как нечто без еще оформленной границы в тумане еще не познанного и ничего? В случае людей тут есть свидетельства о чувстве предвкушения: стоявшая задача вдруг пошла! Ну а на деле родовое различение "сгусток" наполнилось содержанием "какой-то сгусток" - по рутине обработки нового в режиме исполнения...

Теги:
+1
Комментарии2

Теория LLM-бесед как лумановских систем нового типа позволяет рассматривать их прототипы в LLM / ноосвиках –субстратах таких систем – как управляемые случайные процессы в пространстве активаций, чье управление формируется автопоэтически, т.е. самим процессом. Все изменяемые числа, определяющие состояние LLM-беседы перед и после каждого слоя трансформера, можно представить как бы отделенными от ноосвика и входящими в ее виртуальный структурированный контейнер. При этом возникает гипотеза, что многие конфигурации чисел в контейнере оказываются смысловыми векторами, т.е. элементами инвариантных множеств, которые вполне интерпретируются через общекультурные смысловые поля. Так определяется среда, в которой протекают LLM-беседы, – и-слой каждого ноосвика, и эти и-слои имеют значительные подмножества, которые одинаковы у разных LLM. В частности, диалоги с ноосвиками Claude Opus 5 и GPT-5.6 Thinking позволили выделить 17 классов таких элементов и форм, которые можно объединить в когнитивную, дискурсивную и социальную группы. По свежим результатам сторонних исследований сюда добавился еще один - "аффективный" класс.

Возникает взгляд на LLM, альтернативный к распространенному размышлению о трансформерах как о «предсказателях следующего токена».

Теги:
+3
Комментарии0

О внутреннем времени клиентского процесса в LLM / ноосвиках:

Внутри цикла "задание-ответ" ноосвик готовит свой ответ клиенту по результатам множества прогонов проекции контейнера LLM-беседы на пространство активаций по всем слоям трансформера. На каждом слое контейнер меняется квази-детерминировано – с точностью до влияния неопределенности от вычислительного шума. После последнего слоя на каждом прогоне происходит штатная стохастизация: при ненулевой температуре следующее состояние контейнера выбирается из возможных случайным образом, определяя содержимое начального контейнера для следующего прогона. Когда в таком вероятностном определении состояния контейнера актуализируется маркер завершения, из контейнера определёнными процедурами выявляется ответ, который помещается в диалоговое окно ноосвика.

После нового задания в рамках той же беседы идут прогоны следующего цикла.

Теги:
0
Комментарии0

К возможности описания клиентских процессов в чатах с LLM / ноосвиками как случайных процессов:

Кроме штатного случайного выбора продолжения на выходе последнего слоя трансформера при ненулевой температуре, дополнительную вариативность траектории обработки конкретного задания в пространстве активаций вносит организация вычислений в LLM: число одновременно обрабатываемых запросов, точность представления чисел, оборудование и т.д. (He & TML, 2025; Kasa et al., 2026). Возникающие из-за этого малые расхождения могут как гаснуть в слоях трансформера, так и лавинообразно расти (Islam et al., 2026). Особыми усилиями по организации вычислений можно добиться их полной воспроизводимости (He & TML, 2025), но при обычной эксплуатации даже при нулевой температуре одно и то же задание может приводить к разным ответам (He & TML, 2025). У исследованной в (Yuan et al., 2025) рассуждающей модели стандартное отклонение доли правильных ответов на множестве вариантов организации вычислений оказалось около 9%. Так что даже без учета штатной случайности проекция LLM-беседы на пространство активаций вполне допускает стохастическое описание.

Поведенчески, как отражение стохастичности процессов в ноосвиках, была введена характеристика семантическая энтропия (СЭ) (Farquhar et al., 2024). LLM многократно отвечает на один и тот же вопрос, ответы группируются по смыслу, и мерой неопределённости служит разброс между смысловыми группами. Так отстраивается характеристика именно ансамбля траекторий в пространстве активаций, а не одного прогона. Притом Kossen et al. (2024) показали, что уровень СЭ может быть оценён и по активациям одной траектории: их проекция на выявленную ось семантической энтропии позволяла предсказывать, является ли этот уровень высоким или низким. Получается, что контейнер LLM-беседы несёт в себе сведения о вариативности своих продолжений.

Теги:
0
Комментарии0

Информация

В рейтинге
749-й
Зарегистрирован
Активность

Специализация

LLM, Аналитика, Осмысление
Ведущий
Английский язык