Нельзя, тут к примеру тревожность. Вот это мы можем определить по аудио паттерну https://t.me/greenruff/1895
Вы можете определить базовое восприятие, которое ближе к рефлексам https://t.me/greenruff/1851 и связано с биологией строения слухового аппарата. Но ни о каком страхе, радости и так далее нет. Доминирование? Да, но это не является когнитивной эмоцией. Тревожность? Да. Волнение/активность/возбуждение? Да.. но это не являет когнитивной эмоцией, а своего рода прото-эмоцией. Базовые восприятия, которые помогали и помогают выживать. Которые построены на биологических особенностях (размеры тела, приводящие к размеру голосового тракта и следовательно к возникновению механизма реагирования на низкие звуки при оценке размеров особи для выживания).
Здесь я делал исследование, на анализ аудио паттернов речи. Множество эмоций имеет одинаковые. Более того, некоторые имеют разные паттерны в разных контекстах. Поэтому привычные нам когнитивные эмоции так распознать нельзя.
У них вообще беда с моделями. Они продают сервис оценки эмоций (4е эмоции) обученные на данных Душа (по-моему так назывался). Но это не работает, потому что там совсем не то, что должно быть. Нельзя только по звуку определить те эмоции. Так как они зависят от смыслового контекста + аудио паттернов, а не только от звука (аудио речи).
Я им в бывшем комьюнити сбера об этом писал и разбирал и показывал на их же синтезе как пример.
Я взял синтезировал два их аудио. Выровнял их тон и форманты обрезал (звонкие звуки). Затем наложил одинаковые шаблоны на речь. Затем поместил их в разные контексты (реальную речь и внешние звуки). У речи одинаковый шаблон наложен звуковой, разный только смысл (контекст). Так вот мозг сам достраивает соответствие контексту, где в одном случае один и тот же шаблон речи будет восприниматься либо как страх в голосе либо как радость.
Я впервые столкнулся с этим, когда анализировал эмоции в речи. И оказалось что многие противоположенных эмоции в плане звуковых шаблонов одинаковые. Для меня это было откровением и неожиданностью. Тесты показали, что мозг опирается на смысловой контекст + базовые прото-эмоции в звуке. Прото-эмоции это не страх, радость и другие - это тревожность, волнение и другие базовые. И при анализе мозг уже выстраивает общую картину об эмоции на основе этих двух факторов: базы в звуке и смысла в контексте. Но только по голосу ни какого страха определить нельзя. Достаточно взять речь на неизвестном языке (например я не знаю итальянский) и нельзя точно понять ругаются там или с каким то волнением рассказывают новость.
И Сбер это продает как сервис для коллцентров для оценки звонков клиента. И пофиг, что им на примере показали что это не работает, и что можно определить реально.
Так что gigachat с их бенчмарками не вызывает ни какого доверия.
Мы же говорили о GPU. О каких конкретно разных задачах идёт речь?
В ray serve можно запускать готовые LLM. Загрузив их через 20-30 строчек кода и получив при этом возможность автоматически распараллелить и видеть логи llm через мониторинг.
Или вы имеете ввиду не совсем LLM, а обертки вроде Gradio? Если так, то gradio ближе к обычным cpu серверам, а gpu лучше выносить отдельно. Если конечно один gpu сервер, то разницы нет. Но тогда и k8s избыточный.
Хочется понять, когда k8s оправдан с gpu, против ray serve. Не могу придумать ни одного сценария. Какие сценарии вы видите, в которых k8s с нейронками даёт преимущества или делает то, что не позволяет делать ray serve? И при этом k8s не избыточен.
Надо смотреть сколько стоит такая сборка. А то я до этого собирал их ноги birdbot. Так там один серво стоит 70 тыс руб, а их надо 4 шт. Вот этого https://youtu.be/PXXdaqseHis
Только одного почти дособирал, осталось пара моторов, а тут беркли уже нового. Но по сравнению с их прошлой моделью birdbot - текущая не очень впечатляет как ходит.
Проблема этих opensource проектов пока в том, что все они при сборке очень дорогие. Тут только печать занимает несколько месяцев, и не считая затрат на все остальное. Пока соберешь, оказывается что там куча недостатков и на видео все красивей.
Все они требуют множества дорогих моторов. Пробовал печатать разные разновидности моторов, но их надо потом встраивать и значит переделывать корпус и механику.
Но все равно классно, что появляется множество таких открытых проектов. Жаль что в наших вузах, таких не делают. Китайцы быстро собирают на базе opensource и потом продают на алике/алибабе за 0,45-1,5 млн руб. Хотя сборки робособак так на разный вкус от 10 тыс руб до 200 тыс руб. на основе тоже opensource.
Я не потянул такое содержать, чтобы развернуть публично. Слишком дорого обходится сервера, а в платных подписчиков веры как то у меня нет. Надеюсь гугл доведет свое до ума.
У Сбера вообще gigachat max 2 как был тупым у lite, так и остался тупым в новой. Только воды больше льет. Не понимаю, что они постоянно в статьях бенчмарками хвалятся и сравнивают. После этого пропадает доверие ко всем этим бенчмаркам. Так как по факту модель осталась очень глупой.
Это ладно. Она легко ломает уже рабочий код. Недавно решил задокументировать его, попросив написать к нему комментарии, описать параметры, что делает класс. Потом смотрю, класс перестал работать. Потратил кучу времени, на то, чтобы сопоставить что она сделала. Оказалось, что она внесла в код небольшие изменения сама (просил только комментарии) и все перестало работать, логика сломалась. А ещё может переименовывать переменные и объединить что то и все, ищи потом ошибку.
Это касается сложного кода. Хотя даже из простого может выкинуть что то, упростив код.
Плюс, заметил, что сетки не вникают в код, если рядом комментарий. Пофиг, что он старый и уже не отражает логику. Например, есть тензор [batch, num, hidden_dim, seq_len]. В коде в прежней строке мы к нему приводим. Но остался старый комментарий, что тут # [batch, dim, seq_len]. И сетке пофиг на логику, она считает что информация из комментария важнее и строит логику на этом.
Поэтому с ними надо аккуратнее. Пока они очень тупые. И не могут держать разные контексты (логика кода и комментарии например) и переключаться между ними.
В реальном мозге нет разделения на графы памяти в виде чётких слоёв. Ассоциативные зоны не являются базовым слоем памяти. Память распределена сложнее: участвуют кора, гиппокамп, миндалины и многие другие структуры. И связь между ними — это не просто "слоистый граф", а динамическая сеть с параллельными и перекрёстными путями, обратной связью. модуляциями.
Один нейрон = один элемент памяти ("нейрон бабушки")
Концепция «нейрона бабушки» — это уже давно опровергнутая гипотеза. рекомендую посмотреть лекции Роберта Сапольского, где где то с 15-23 лекцию рассказывается об истории бабушкиного нейрона. Память распределённая, иначе потеря одного нейрона стирала бы целую память.
Перемещение активности по графу
Вы упростили это понятие до примитивизации. Передача сигнала включают обратные связи, модуляцию, торможение и нейромодуляторы, ритмы.
Вы ввели КУ1, КУ2 — время воздействия/пропускная способность
В реальности время передачи между нейронами фиксировано и зависит от типа нейрона, а не от "суммарного времени воздействия".
Типы элементов — типы нейронов
Да, в ассоциативных зонах есть разные типы нейронов, но их классификация сложнее — интенсификаторы, модуляторы, тормозные клетки и так далее.
Про пирамидальные нейроны - это всего лишь один тип нейронов, и во многих областях их может не быть совсем или очень мало. Их задача связать соседние колонки или дальние колонки (другие области). В тех же ассоциативных областях есть звездчатые нейроны. А кроме ассоциативных областей, есть другие, которые так же обобщают сигналы и там могут преобладать другие типы клеток.
Миндалина = распознавание паттернов
Миндалевидное тело не занимается распознаванием паттернов в общем смысле. Оно участвует в оценке стимулов. Распознавание паттернов происходит в сенсорных и ассоциативных корковых зонах. А амигдала делает оценку этого распознанного стимула (от начальных рефлексов, до более сложных).
Инстинкты-паттерны, передача возбуждения
Нет такого понятия как "инстинкт-паттерн" в нейробиологии. К реальной модели мозга отношения не имеет.
Паттерновое привыкание как стабилизация синапса
Стабилизация синапса действительно происходит при долговременном потенцировании (LTP), но вы делаете из этого прямолинейные выводы о "выключении" из инстинктов, чего нейробиология не подтверждает.
Подкрепления = нейроны мезокортикального пути
Мезокортикальный путь, например дофаминергические нейроны, участвуют в обучении через подкрепление. Но "подкрепления появляются в результате срабатывания обучающих инстинктов" — вы путаете причины и следствия. На самом деле речь идёт о системах оценки вознаграждения (VTA, nucleus accumbens, PFC).
Дофаминовая яма
Депрессия включает множество факторов, не только дофамин. Посмотрите лекции Роберта Сапольского, там целые лекции посвящены этой теме
Как итог, вы используете термины нейробиологии, но смешивает их так, как вам удобно для построения своей модели, без соблюдения реальных функциональных связей. Делаете необоснованные аналогии типа "миндалина = распознавание паттернов", "один нейрон = один элемент памяти", "пропускная способность синапса" и т.д. Местами цепляетесь за реальные факты (пирамидальные нейроны, клетки места, дофамин), но выводите из них неправильные следствия.
Так сократите. Я вам просто описал, как работает нейрон. Посмотрите спайковые и другие модели. Они прекрасно описывают его работу. Разные типы нейронов просто отслеживают разные свойства сигнала - это и было описано выше.
Про PFC/MPFC/ACC я просто попытался кратко изложить то, что вы можете прочитать в научных исследованиях. Видимо мне не удалось упростить этот процесс для объяснения.
Сократите вашу модель до одного слайда, чтобы ее можно было понять. Сейчас я пока вижу набор множества противоречий.
Есть предпосылки, что развитие все равно приводит к одному и тому же сценарию. Может в разных формах.
Например, когда я исследовал градиенты речи (движение артикуляторов) у разных животных, птиц, пчел. То оказалось, что не смотря на то, что у них у всех разные формы издания звука (артикуляторы: язык, жужальце, мешочки дельфинов и так далее), фазовое пространство движения артикуляторов у всех одинаковое. Что наводит на мысль, что не смотря на разную форму и природу артикуляторов, закон сохранения энергии приводит их движения к одному и тому же фазовому пространству (разного масштаба и расположенного в на разных частотах).
Млекопитающие
Что заставляет задуматься, это из за земных условий (но дельфины в воде), или это следствие закона сохранения энергии.
Формально, у млекопитающих и птиц разная слуховая кора. Но фактически она одинаковая. В том плане, что отдельные слои хоть и называются по разному и в деталях могут немного отличаться, но фактически реализуют тебе функции. И что важно, реализуют и не по разному, а одинаково. На эту тему есть исследования слуховой коры зоны А1. Там разница минимальная.
У птиц нейроны очень плотно расположены. В плане многих зон, есть одна разница. У млекопитающих они более универсальные. У птиц, если я правильно помню, даже на уровне ДНК меньше мусорных, так как их ДНК оптимизированы. А у млекопитающих (человек к примеру), хранятся на все случаи жизни (старые редуцированные). Вроде как объяснение было (не помню доказанное или предположение), что это связано с их весом и полетом. Так как для полета, надо желательно как можно меньше вес.
Мне не хочется вас расстраивать, но отдельные нейроны не имеют ничего общего с "Я". Здесь все проще. Представьте у вас есть один типа универсального нейрона и через него проходят разные сигналы.
Сигналы могут иметь асимметрию. Именно ее мы и пытаемся выделить. Внешний сигнал это волна разной природы: звуковая, световая, осязание (вибрации) и так далее. Все это волны разной природы.
Нейроны начинают подстраиваться под эту асимметрию. В одной части это асимметрия амплитуды волны, в другой фазы или частоты. Так мы получаем в итоге разные классы нейронов. Одни специализируются на амплитуде, другие на ассиметрии частоты или фазы. Или даже по нескольким критериям.
Асимметрия амплитуды - это первичные признаки, границы у световой волны, уровень частоты у звуковой, и даже у обоняния так (чтобы выделить хим признаки). Они выделяют первичные признаки.
Асимметрия частоты - позволяет выделить ритмы, что важно для выделения пространственно-временных признаков. Это измените частоты тона, или направление линии в пространстве. Так как частота определяет скорость изменения сигнала.
Асимметрия фазы, позволяет синхронизировать сигналы. Она отражает признак смещение сигнала. Если он совпадает у разных сигналов, то он усиливается. Это характерно для отдельных зон мозга, которые синхронизируют тета ритмы и другие.
Нейронные клетки отвечают не за Я, или сознание или что то ещё. Они отвечают за то, чтобы выделять асимметрию в сигнале волны. Все, больше ничего. Их задача минимизировать затраты энергии, поэтому они накапливают состояние, чтобы с меньшими затратами энергии реагировать на асимметрию.
Звучит немного запутано. Чтобы было понятно. Допустим у вас есть шум, где вероятность роста и спада сигнала одинаковая. В этом случае скорость реакции на рост и спад будет одинаковой. Но если у вас чаще встречается рост, чем спад, то система адаптирует скорость роста и спада.
Что это значит? Если скорость спада выше скорости роста, то шум будет постоянно приводить к тому, что сигнал будет на 0. Но если сигналов роста будет больше, то он постепенно будет расти, и даже периодические спады не приведут к его полному сбросу в 0. Это и есть выделение признака.
Чтобы было понятнее. У вас есть монета, где одна сторона тяжелее. Это сместить вероятность выпадения одной стороны на некоторую асимметрию. Эта асимметрия - и есть признак. Он означает, что одна сторона монеты отличается от другой. Нейрон делает тоже самое. Он улавливает эту асимметрию. И таким образом выделяет признак.
Затем этот признак передается дальше. И уже следующий нейрона пытается уловить асимметрию в этом признаке и так по цепочке.
Все, это единственная задача нейронов. Выявить асимметрию амплитуды, частоты и фазы волны в сигнале. То есть какой то признак.
Вы можете рассматривать области и даже зоны мозга таким же образом как большие гистерезисы. Но только на уровне обобщенных сигналов.
Для примера, зоны PFC/MFPC/ACC. Если упростить для понимания, то пусть в PFC пришел текст (итоговая мысль, упростим до понятия текста для простоты понимания).
Мы должны помнить, что ACC это локальная ошибка (predict coding), которая считается как данные поданные на вход PFC минус данные на выходе из MPFC. ACC = PFC_in - MPFC_out.
По сути PFC ищет асимметрию в сигнале, а MPFC и ACC разделяют асимметричный сигнал на два. Один наиболее вероятный и один менее вероятный.
PFC / MPFC получают абстрактные сигналы, которые можно назвать аргументами.
Эти аргументы — обобщения, извлечённые из памяти (гиппокамп), текущего контекста (ассоциативная кора), и глобальной цели (вопрос или задача).
Аргументы бывают:
За: усиливают гипотезу (обобщение признака).
Против: сигнализируют о несоответствии (ошибка обобщения).
Формально, MPFC и ACC не являются точно сигналом за или сигналом против. Они являются наиболее вероятным при асимметрии сигнала, и менее вероятным. Так как если наиболее вероятным окажется сигнал "против", значит он пойдет через MPFC, а сигнал "за" пойдет через ACC. Поэтому тут нет жесткой привязки к "за" и "против". Есть привязка к асимметрии наиболее вероятного и менее вероятного сигнала в его асимметрии.
PFC находит асимметрию в сигналах (кандидат на обобщение).
MPFC выделяет наиболее вероятную часть сигнала — гипотезу.
ACC вычисляет разницу между ожиданием и гипотезой — менее вероятный аргумент.
Устойчивость признака оценивается через норму этой разницы.
Что это значит. Когда туда поступил текст, то сигнал там работает не на уровне первичного текста (слов), а на уровне аргументов (более абстрактного признака). И на выходе мы получаем наиболее вероятные признаки (аргументы) и менее вероятные. Менее вероятные это ACC, они ведут в таламус, чтобы подавить повторный менее вероятный сигнал (и таким образом усилить более вероятный). А MPFC выдает более вероятный (аргументы), которые идут в гиппокамп и затем через цепочку повторно попадают в таламус в ассоциативные ядра. И из этих ядер таламуса, повторно идут как зацикленная "мысль" на второй круг.
Что на уровне нейрона, что на уровне зон и областей, мы работаем исключительно с выделением асимметрии сигналы (свойств волны).
Тут тоже интересный момент, где граница "сознания". Например теменная область тесно связано с разделением себя (своего тела) и внешнего мира. Если ее блокировать (повреждена, болезнь, наркотики), то у человека перестает различать эту разницы и возникает ощущение что он и внешний мир это одно и тоже (не может различать границы себя и внешнего мира). Это уже не сознание?
А если повреждена область автобиографической памяти, которая отделяет события произошедшие с нами от событий вне нас. И человек не может различить с ним это произошло или нет. Это уже отсутствие сознания?
А если мы возьмем слепых и немых и с повреждением обоняния, но слышащих. То у нас уже остается основная главная петля слуховая. И саморефлексия будет по ней. То это еще сознание или нет? А если при этом повредим теменную область и к примеру туже автобиографическую для примера. Это сразу отсечет работу множества областей связанных с ними. И по сути остается не так много. Такой человек можно считать с сознанием или уже нет.
Боюсь что тут нет четкой границы, какой критерий мы будем считать сознанием, а какой нет. Саморефлексия она как раз обеспечивает внутренние мыслительные процессы, которые неосознанные и сразу идут по петле (из за области ACC которая находит конфликт/локальные ошибки в зонах PFC/MPFC) либо осознанный, когда мы решили подумать еще раз (петля тоже идет, но уже не за счет ACC, а самих зон PFC/MPFC).
Чем больше углубляешь в мозг за поиском эфемерного сознания, тем больше видишь, что не понятно какой критерий брать за границу - сознание есть или его нет.
- "Идеальная монета" — симметричный диск, без воздействия внешних факторов.
- Вероятность выпадения каждой из сторон:
P(орёл) = P(решка) = 0.5
- Здесь нет асимметрии: наблюдатель не может выделить закономерность — это чистый шум.
Теперь вносим "изменение":
- Одна сторона утяжелена.
- Вероятности становятся:
P(орёл) = 0.55, P(решка) = 0.45
Появляется "асимметрия вероятностей". Это признак: наблюдатель фиксирует устойчивое отклонение.
Интерпретация: сигнал (подбросы) стал содержать информацию о свойствах объекта (монеты).
Можно продолжить иерархию признаков:
- Признак: "одна сторона тяжелее".
- Следующий уровень: "форма деформирована" или "материал различен".
Таким образом, чистый шум — это симметрия вероятностей. Признак — статистически устойчивая асимметрия.
Мы можем анализировать любой сигнал, даже неизвестной природы, с точки зрения выделения признаков.
Признаки можно организовывать в иерархию.
Аналогично зрению: от линий → к фигурам → к объектам.
Космический сигнал может содержать признаки галактик, излучения, событий и т. д.
Это форма спектроскопии, но не по частотам, а по признаковым паттернам.
Как итог:
Признаки возникают как статистически устойчивые асимметрии.
Шум — отсутствие различий.
Иерархия позволяет формировать всё более сложные абстракции.
Модель применима к любой системе, в которой можно зафиксировать сигнал и определить вероятности состояний.
По крайне мере, этот подход рабочий. Испробовал его в нейронных сетях при обучении, добавив функции нахождения асимметрии сигнала волны по амплитуде, частоте и фазе.
10 шагов обучения
Выше с учётом ассиметрии вероятности признаков.
10 шагов трансформеры
Тут нет учёта асимметрии вероятности признаков.
Так что, описанное выше не плод моего больного воображения.
Да я сделал функции и сейчас тестирую. Скоро выложу их вместе с моделью (урезанной немного) шестислойной модели неокортекса (области из которых состоят зоны мозга), как замена трансформерам.
Выше для примера внутри так же изменённая математика SSM, с учётом гистерезиса. Что позволило SSM блокам быстро обучаться.
Трансформер 10 шагов
А выше аналогично трансформер с теми же параметрами на 10 шагах (и то немного подкатил у него residual связь на выходе, иначе ещё уже результат).
Так что выложу, там и новые функции гистерезис, их можно использовать отдельно и функции активации (чтобы модель не переобучалась) и так далее.
Трансформер без правки residual в конце
Но можно считать этот вариант классического трансформера плохим примером. Так как выше правка была в нем незначительная, на выходе был учтён ещё один residual просто. А тут трансформер на 5000 шагах обучения.
Суть гистерезиса в том, что это определение вероятности асимметрии сигнала по амплитуде, частоте и фазе. Он улавливает эти асимметрии в процессе обучения (или начальной настройке), и работает как разные нейронные клетки. Когда один тип клеток специализируется на амплитуде для выделения признаков, другой улавливает частоту для ритмов (слуховые области например), третьи фазу чтобы синхронизировать тета ритмы к примеру.
При этом нам не нужно вводить дополнительно время , как в спайках. Вероятности асимметрии в сигнале и так улавливают эти аномалии в сигнале в волне.
Выше пример обучения гамматон фильтру. Сейчас доделываю примеры для выделения речи из аудио и простой LLM на базе модели. После этого опубликую. Мне главное, чтобы человек смог понять , откуда это взялось. Не очень хочется, чтобы люди бездумно использовали модель, не понимая на чем она была построена
Речь идёт про то какие области и что делают, как делают, какие клетки за что отвечают. Как и куда идёт сигнал, в чем его роль.
В общем случае да, изучен. На конкретном примере той же саморефлексии. Вопрос в деталях, как другие области влияют, что вносят, как их функции оказывают воздействие на итоговый сигнал. Например, какой точно вносит свой вклад теменная область, или как энториальная кора , моторная и лимбическая оказывает влияние на построение грамматики предложения (в разных культурах синтагма строится по разному, так как разные зоны имеют разный приоритет при свое развитии). Но вот детали, конкретные взаимодействия и так далее будут изучаться и постоянно находить что то новое для описания процесса.
Речь идёт про общий подход. Он изучен. Как копируется информация по время сна, как происходит саморефлексия, как формируется глобальная цель через базальные ганглии и множество всего. Каждая часть очень неплохо изучена.
Я не говорю, что ясно как работает весь мозг и все детали. Речь про общие механизмы. Их на сегодня очень хорошо изучили. Это как сказать физика в целом явления движения планет понятна. Но это не значит что она полностью изучена и все ясно. Речь про базовые механизмы.
Я не просто так выше привел ссылку на схему рефлексии. Вы можете взять и проверить каждое мое слово, прежде чем делать нападки. Я специально указал на фрагмент механизма, а не весь. Этот механизм обеспечивает круговорот "мысли" (сигналов). И рассмотрен только на коротком участке для текста(слуха) и не целиком. Но по нему уже понятно в целом, как происходит формирование контекста, связь с новым сигналом и так далее, круговорот сигнала через петли и так далее.
Это не случайность. Я даже специально описывал как вызвать и управлять таким поведением специально. Думаю если посмотрите причину по ссылке, то увидите что направили прогнозирование модели по другому пути предсказания.
Там как раз важный момент, что они оценивают не только сам ответ, но объяснение своего ответа. Чтобы не было так, что дала верный абстрактный ответ.
Это снизило галлюцинации и позволило вытаскивать ответы, которые до этого было сложно вытащить из слабых LLM моделей.
Минус такого подхода, что жрет это много ресурсов. А для 10 LLM (арбитров) время одного ответа 15-30 минут. Можно конечно оставить штуки 3 разных LLM, тогда быстрее.
Я сейчас как переписал код, чтобы можно было использовать известные LLM через их вам через данный механизм. Чтобы собрать датасет для обучения архитектуры саморефлексии. Где как раз важна оценка ответа. Позже, как буду обучать, выложу его код наверное. Так как это идеальный метод обучения языковых моделей на предмет рассуждений (не важно саморефлексии или как сейчас рассуждающих).
Так что пока вручную как вы описали использую подход объяснить свое решение и указать слабые места и описать свою интерпретацию. Тогда проще увидеть, где у нее ошибки в рассуждениях.
Нельзя, тут к примеру тревожность. Вот это мы можем определить по аудио паттерну https://t.me/greenruff/1895
Вы можете определить базовое восприятие, которое ближе к рефлексам https://t.me/greenruff/1851 и связано с биологией строения слухового аппарата. Но ни о каком страхе, радости и так далее нет. Доминирование? Да, но это не является когнитивной эмоцией. Тревожность? Да. Волнение/активность/возбуждение? Да.. но это не являет когнитивной эмоцией, а своего рода прото-эмоцией. Базовые восприятия, которые помогали и помогают выживать. Которые построены на биологических особенностях (размеры тела, приводящие к размеру голосового тракта и следовательно к возникновению механизма реагирования на низкие звуки при оценке размеров особи для выживания).
https://t.me/greenruff/1847
Здесь я делал исследование, на анализ аудио паттернов речи. Множество эмоций имеет одинаковые. Более того, некоторые имеют разные паттерны в разных контекстах. Поэтому привычные нам когнитивные эмоции так распознать нельзя.
https://t.me/greenruff/1855
https://t.me/greenruff/1852
Я не просто так показал, на примере самого же Сбера что это не работает. С таким же успехом можно бросать монетку. Это просто работает иначе.
https://t.me/greenruff/1924
Выше к примеру описано как звуковые паттерны влияют на когнитивное восприятие эмоций.
https://t.me/greenruff/2059
Тут исследование пауз речи, которое объясняет почему нельзя распознать по звуковых паттернам когнитивные эмоции, которые зависят от смысла
У них вообще беда с моделями. Они продают сервис оценки эмоций (4е эмоции) обученные на данных Душа (по-моему так назывался). Но это не работает, потому что там совсем не то, что должно быть. Нельзя только по звуку определить те эмоции. Так как они зависят от смыслового контекста + аудио паттернов, а не только от звука (аудио речи).
Я им в бывшем комьюнити сбера об этом писал и разбирал и показывал на их же синтезе как пример.
https://t.me/greenruff/1857?single
Я взял синтезировал два их аудио. Выровнял их тон и форманты обрезал (звонкие звуки). Затем наложил одинаковые шаблоны на речь. Затем поместил их в разные контексты (реальную речь и внешние звуки). У речи одинаковый шаблон наложен звуковой, разный только смысл (контекст). Так вот мозг сам достраивает соответствие контексту, где в одном случае один и тот же шаблон речи будет восприниматься либо как страх в голосе либо как радость.
Я впервые столкнулся с этим, когда анализировал эмоции в речи. И оказалось что многие противоположенных эмоции в плане звуковых шаблонов одинаковые. Для меня это было откровением и неожиданностью. Тесты показали, что мозг опирается на смысловой контекст + базовые прото-эмоции в звуке. Прото-эмоции это не страх, радость и другие - это тревожность, волнение и другие базовые. И при анализе мозг уже выстраивает общую картину об эмоции на основе этих двух факторов: базы в звуке и смысла в контексте. Но только по голосу ни какого страха определить нельзя. Достаточно взять речь на неизвестном языке (например я не знаю итальянский) и нельзя точно понять ругаются там или с каким то волнением рассказывают новость.
И Сбер это продает как сервис для коллцентров для оценки звонков клиента. И пофиг, что им на примере показали что это не работает, и что можно определить реально.
Так что gigachat с их бенчмарками не вызывает ни какого доверия.
Мы же говорили о GPU. О каких конкретно разных задачах идёт речь?
В ray serve можно запускать готовые LLM. Загрузив их через 20-30 строчек кода и получив при этом возможность автоматически распараллелить и видеть логи llm через мониторинг.
Или вы имеете ввиду не совсем LLM, а обертки вроде Gradio? Если так, то gradio ближе к обычным cpu серверам, а gpu лучше выносить отдельно. Если конечно один gpu сервер, то разницы нет. Но тогда и k8s избыточный.
Хочется понять, когда k8s оправдан с gpu, против ray serve. Не могу придумать ни одного сценария. Какие сценарии вы видите, в которых k8s с нейронками даёт преимущества или делает то, что не позволяет делать ray serve? И при этом k8s не избыточен.
Надо смотреть сколько стоит такая сборка. А то я до этого собирал их ноги birdbot. Так там один серво стоит 70 тыс руб, а их надо 4 шт. Вот этого https://youtu.be/PXXdaqseHis
Только одного почти дособирал, осталось пара моторов, а тут беркли уже нового. Но по сравнению с их прошлой моделью birdbot - текущая не очень впечатляет как ходит.
Проблема этих opensource проектов пока в том, что все они при сборке очень дорогие. Тут только печать занимает несколько месяцев, и не считая затрат на все остальное. Пока соберешь, оказывается что там куча недостатков и на видео все красивей.
Все они требуют множества дорогих моторов. Пробовал печатать разные разновидности моторов, но их надо потом встраивать и значит переделывать корпус и механику.
Но все равно классно, что появляется множество таких открытых проектов. Жаль что в наших вузах, таких не делают. Китайцы быстро собирают на базе opensource и потом продают на алике/алибабе за 0,45-1,5 млн руб. Хотя сборки робособак так на разный вкус от 10 тыс руб до 200 тыс руб. на основе тоже opensource.
Какие преимущества у разворачивания в k8s моделей перед ray serve?
Надеюсь что гугл сделает такое
https://habr.com/ru/articles/905454/comments/#comment_28239034
Я не потянул такое содержать, чтобы развернуть публично. Слишком дорого обходится сервера, а в платных подписчиков веры как то у меня нет. Надеюсь гугл доведет свое до ума.
У Сбера вообще gigachat max 2 как был тупым у lite, так и остался тупым в новой. Только воды больше льет. Не понимаю, что они постоянно в статьях бенчмарками хвалятся и сравнивают. После этого пропадает доверие ко всем этим бенчмаркам. Так как по факту модель осталась очень глупой.
У Яндекс получше с этим. Но тоже слабо.
Это ладно. Она легко ломает уже рабочий код. Недавно решил задокументировать его, попросив написать к нему комментарии, описать параметры, что делает класс. Потом смотрю, класс перестал работать. Потратил кучу времени, на то, чтобы сопоставить что она сделала. Оказалось, что она внесла в код небольшие изменения сама (просил только комментарии) и все перестало работать, логика сломалась. А ещё может переименовывать переменные и объединить что то и все, ищи потом ошибку.
Это касается сложного кода. Хотя даже из простого может выкинуть что то, упростив код.
Плюс, заметил, что сетки не вникают в код, если рядом комментарий. Пофиг, что он старый и уже не отражает логику. Например, есть тензор [batch, num, hidden_dim, seq_len]. В коде в прежней строке мы к нему приводим. Но остался старый комментарий, что тут # [batch, dim, seq_len]. И сетке пофиг на логику, она считает что информация из комментария важнее и строит логику на этом.
Поэтому с ними надо аккуратнее. Пока они очень тупые. И не могут держать разные контексты (логика кода и комментарии например) и переключаться между ними.
Я выложил полностью новый механизм обучения.
Вы можете посмотреть его в папке backward
https://t.me/greenruff/2257
Он применим к любой архитектуре. Там есть все, от примера выше до реализации обучения по блокам глобальной ошибке с учётом обучения локальной ошибке
Граф памяти и слои = нейронные сети мозга:
В реальном мозге нет разделения на графы памяти в виде чётких слоёв. Ассоциативные зоны не являются базовым слоем памяти. Память распределена сложнее: участвуют кора, гиппокамп, миндалины и многие другие структуры. И связь между ними — это не просто "слоистый граф", а динамическая сеть с параллельными и перекрёстными путями, обратной связью. модуляциями.
Один нейрон = один элемент памяти ("нейрон бабушки")
Концепция «нейрона бабушки» — это уже давно опровергнутая гипотеза. рекомендую посмотреть лекции Роберта Сапольского, где где то с 15-23 лекцию рассказывается об истории бабушкиного нейрона. Память распределённая, иначе потеря одного нейрона стирала бы целую память.
Перемещение активности по графу
Вы упростили это понятие до примитивизации. Передача сигнала включают обратные связи, модуляцию, торможение и нейромодуляторы, ритмы.
Вы ввели КУ1, КУ2 — время воздействия/пропускная способность
В реальности время передачи между нейронами фиксировано и зависит от типа нейрона, а не от "суммарного времени воздействия".
Типы элементов — типы нейронов
Да, в ассоциативных зонах есть разные типы нейронов, но их классификация сложнее — интенсификаторы, модуляторы, тормозные клетки и так далее.
Про пирамидальные нейроны - это всего лишь один тип нейронов, и во многих областях их может не быть совсем или очень мало. Их задача связать соседние колонки или дальние колонки (другие области). В тех же ассоциативных областях есть звездчатые нейроны. А кроме ассоциативных областей, есть другие, которые так же обобщают сигналы и там могут преобладать другие типы клеток.
Миндалина = распознавание паттернов
Миндалевидное тело не занимается распознаванием паттернов в общем смысле. Оно участвует в оценке стимулов. Распознавание паттернов происходит в сенсорных и ассоциативных корковых зонах. А амигдала делает оценку этого распознанного стимула (от начальных рефлексов, до более сложных).
Инстинкты-паттерны, передача возбуждения
Нет такого понятия как "инстинкт-паттерн" в нейробиологии. К реальной модели мозга отношения не имеет.
Паттерновое привыкание как стабилизация синапса
Стабилизация синапса действительно происходит при долговременном потенцировании (LTP), но вы делаете из этого прямолинейные выводы о "выключении" из инстинктов, чего нейробиология не подтверждает.
Подкрепления = нейроны мезокортикального пути
Мезокортикальный путь, например дофаминергические нейроны, участвуют в обучении через подкрепление. Но "подкрепления появляются в результате срабатывания обучающих инстинктов" — вы путаете причины и следствия. На самом деле речь идёт о системах оценки вознаграждения (VTA, nucleus accumbens, PFC).
Дофаминовая яма
Депрессия включает множество факторов, не только дофамин. Посмотрите лекции Роберта Сапольского, там целые лекции посвящены этой теме
Как итог, вы используете термины нейробиологии, но смешивает их так, как вам удобно для построения своей модели, без соблюдения реальных функциональных связей. Делаете необоснованные аналогии типа "миндалина = распознавание паттернов", "один нейрон = один элемент памяти", "пропускная способность синапса" и т.д. Местами цепляетесь за реальные факты (пирамидальные нейроны, клетки места, дофамин), но выводите из них неправильные следствия.
Так сократите. Я вам просто описал, как работает нейрон. Посмотрите спайковые и другие модели. Они прекрасно описывают его работу. Разные типы нейронов просто отслеживают разные свойства сигнала - это и было описано выше.
Про PFC/MPFC/ACC я просто попытался кратко изложить то, что вы можете прочитать в научных исследованиях. Видимо мне не удалось упростить этот процесс для объяснения.
Сократите вашу модель до одного слайда, чтобы ее можно было понять. Сейчас я пока вижу набор множества противоречий.
Есть предпосылки, что развитие все равно приводит к одному и тому же сценарию. Может в разных формах.
Например, когда я исследовал градиенты речи (движение артикуляторов) у разных животных, птиц, пчел. То оказалось, что не смотря на то, что у них у всех разные формы издания звука (артикуляторы: язык, жужальце, мешочки дельфинов и так далее), фазовое пространство движения артикуляторов у всех одинаковое. Что наводит на мысль, что не смотря на разную форму и природу артикуляторов, закон сохранения энергии приводит их движения к одному и тому же фазовому пространству (разного масштаба и расположенного в на разных частотах).
Что заставляет задуматься, это из за земных условий (но дельфины в воде), или это следствие закона сохранения энергии.
Формально, у млекопитающих и птиц разная слуховая кора. Но фактически она одинаковая. В том плане, что отдельные слои хоть и называются по разному и в деталях могут немного отличаться, но фактически реализуют тебе функции. И что важно, реализуют и не по разному, а одинаково. На эту тему есть исследования слуховой коры зоны А1. Там разница минимальная.
У птиц нейроны очень плотно расположены. В плане многих зон, есть одна разница. У млекопитающих они более универсальные. У птиц, если я правильно помню, даже на уровне ДНК меньше мусорных, так как их ДНК оптимизированы. А у млекопитающих (человек к примеру), хранятся на все случаи жизни (старые редуцированные). Вроде как объяснение было (не помню доказанное или предположение), что это связано с их весом и полетом. Так как для полета, надо желательно как можно меньше вес.
Мне не хочется вас расстраивать, но отдельные нейроны не имеют ничего общего с "Я". Здесь все проще. Представьте у вас есть один типа универсального нейрона и через него проходят разные сигналы.
Сигналы могут иметь асимметрию. Именно ее мы и пытаемся выделить. Внешний сигнал это волна разной природы: звуковая, световая, осязание (вибрации) и так далее. Все это волны разной природы.
Нейроны начинают подстраиваться под эту асимметрию. В одной части это асимметрия амплитуды волны, в другой фазы или частоты. Так мы получаем в итоге разные классы нейронов. Одни специализируются на амплитуде, другие на ассиметрии частоты или фазы. Или даже по нескольким критериям.
Асимметрия амплитуды - это первичные признаки, границы у световой волны, уровень частоты у звуковой, и даже у обоняния так (чтобы выделить хим признаки). Они выделяют первичные признаки.
Асимметрия частоты - позволяет выделить ритмы, что важно для выделения пространственно-временных признаков. Это измените частоты тона, или направление линии в пространстве. Так как частота определяет скорость изменения сигнала.
Асимметрия фазы, позволяет синхронизировать сигналы. Она отражает признак смещение сигнала. Если он совпадает у разных сигналов, то он усиливается. Это характерно для отдельных зон мозга, которые синхронизируют тета ритмы и другие.
Нейронные клетки отвечают не за Я, или сознание или что то ещё. Они отвечают за то, чтобы выделять асимметрию в сигнале волны. Все, больше ничего. Их задача минимизировать затраты энергии, поэтому они накапливают состояние, чтобы с меньшими затратами энергии реагировать на асимметрию.
Звучит немного запутано. Чтобы было понятно. Допустим у вас есть шум, где вероятность роста и спада сигнала одинаковая. В этом случае скорость реакции на рост и спад будет одинаковой. Но если у вас чаще встречается рост, чем спад, то система адаптирует скорость роста и спада.
Что это значит? Если скорость спада выше скорости роста, то шум будет постоянно приводить к тому, что сигнал будет на 0. Но если сигналов роста будет больше, то он постепенно будет расти, и даже периодические спады не приведут к его полному сбросу в 0. Это и есть выделение признака.
Чтобы было понятнее. У вас есть монета, где одна сторона тяжелее. Это сместить вероятность выпадения одной стороны на некоторую асимметрию. Эта асимметрия - и есть признак. Он означает, что одна сторона монеты отличается от другой. Нейрон делает тоже самое. Он улавливает эту асимметрию. И таким образом выделяет признак.
Затем этот признак передается дальше. И уже следующий нейрона пытается уловить асимметрию в этом признаке и так по цепочке.
Все, это единственная задача нейронов. Выявить асимметрию амплитуды, частоты и фазы волны в сигнале. То есть какой то признак.
Вы можете рассматривать области и даже зоны мозга таким же образом как большие гистерезисы. Но только на уровне обобщенных сигналов.
Для примера, зоны PFC/MFPC/ACC. Если упростить для понимания, то пусть в PFC пришел текст (итоговая мысль, упростим до понятия текста для простоты понимания).
Мы должны помнить, что ACC это локальная ошибка (predict coding), которая считается как данные поданные на вход PFC минус данные на выходе из MPFC. ACC = PFC_in - MPFC_out.
По сути PFC ищет асимметрию в сигнале, а MPFC и ACC разделяют асимметричный сигнал на два. Один наиболее вероятный и один менее вероятный.
PFC / MPFC получают абстрактные сигналы, которые можно назвать аргументами.
Эти аргументы — обобщения, извлечённые из памяти (гиппокамп), текущего контекста (ассоциативная кора), и глобальной цели (вопрос или задача).
Аргументы бывают:
За: усиливают гипотезу (обобщение признака).
Против: сигнализируют о несоответствии (ошибка обобщения).
Формально, MPFC и ACC не являются точно сигналом за или сигналом против. Они являются наиболее вероятным при асимметрии сигнала, и менее вероятным. Так как если наиболее вероятным окажется сигнал "против", значит он пойдет через MPFC, а сигнал "за" пойдет через ACC. Поэтому тут нет жесткой привязки к "за" и "против". Есть привязка к асимметрии наиболее вероятного и менее вероятного сигнала в его асимметрии.
PFC находит асимметрию в сигналах (кандидат на обобщение).
MPFC выделяет наиболее вероятную часть сигнала — гипотезу.
ACC вычисляет разницу между ожиданием и гипотезой — менее вероятный аргумент.
Устойчивость признака оценивается через норму этой разницы.
Что это значит. Когда туда поступил текст, то сигнал там работает не на уровне первичного текста (слов), а на уровне аргументов (более абстрактного признака). И на выходе мы получаем наиболее вероятные признаки (аргументы) и менее вероятные. Менее вероятные это ACC, они ведут в таламус, чтобы подавить повторный менее вероятный сигнал (и таким образом усилить более вероятный). А MPFC выдает более вероятный (аргументы), которые идут в гиппокамп и затем через цепочку повторно попадают в таламус в ассоциативные ядра. И из этих ядер таламуса, повторно идут как зацикленная "мысль" на второй круг.
Что на уровне нейрона, что на уровне зон и областей, мы работаем исключительно с выделением асимметрии сигналы (свойств волны).
Тут тоже интересный момент, где граница "сознания". Например теменная область тесно связано с разделением себя (своего тела) и внешнего мира. Если ее блокировать (повреждена, болезнь, наркотики), то у человека перестает различать эту разницы и возникает ощущение что он и внешний мир это одно и тоже (не может различать границы себя и внешнего мира). Это уже не сознание?
А если повреждена область автобиографической памяти, которая отделяет события произошедшие с нами от событий вне нас. И человек не может различить с ним это произошло или нет. Это уже отсутствие сознания?
А если мы возьмем слепых и немых и с повреждением обоняния, но слышащих. То у нас уже остается основная главная петля слуховая. И саморефлексия будет по ней. То это еще сознание или нет? А если при этом повредим теменную область и к примеру туже автобиографическую для примера. Это сразу отсечет работу множества областей связанных с ними. И по сути остается не так много. Такой человек можно считать с сознанием или уже нет.
Боюсь что тут нет четкой границы, какой критерий мы будем считать сознанием, а какой нет. Саморефлексия она как раз обеспечивает внутренние мыслительные процессы, которые неосознанные и сразу идут по петле (из за области ACC которая находит конфликт/локальные ошибки в зонах PFC/MPFC) либо осознанный, когда мы решили подумать еще раз (петля тоже идет, но уже не за счет ACC, а самих зон PFC/MPFC).
Чем больше углубляешь в мозг за поиском эфемерного сознания, тем больше видишь, что не понятно какой критерий брать за границу - сознание есть или его нет.
Я бы предложил вам под другим углом посмотреть на эти вероятности, как принцип выделения признаков через вероятностную асимметрию, иерархию сигналов.
Пусть у нас есть два состояния сигнала: рост и спад.
Вероятность роста: p_1, спада: p_2, при этом p_1 + p_2 = 1.
В случае симметрии (шум): p_1 = p_2 = 0.5.
В случае асимметрии: p_1<> p_2, и это статистическое отклонение трактуется как признак.
Иерархия признаков
- На каждом уровне иерархии выделяются устойчивые паттерны.
- Признак нижнего уровня зависит от природы сигнала (например, фотон, звук, гравитационная волна).
- На более высоких уровнях формируются признаки, объединяющие сигналы разных природ.
- Выделение признаков идёт от более простых (напр. линии в зрении) к более сложным (напр. лицо).
Пример. Рассмотрим простую систему: подбрасывание монеты.
- "Идеальная монета" — симметричный диск, без воздействия внешних факторов.
- Вероятность выпадения каждой из сторон:
P(орёл) = P(решка) = 0.5
- Здесь нет асимметрии: наблюдатель не может выделить закономерность — это чистый шум.
Теперь вносим "изменение":
- Одна сторона утяжелена.
- Вероятности становятся:
P(орёл) = 0.55, P(решка) = 0.45
Появляется "асимметрия вероятностей". Это признак: наблюдатель фиксирует устойчивое отклонение.
Интерпретация: сигнал (подбросы) стал содержать информацию о свойствах объекта (монеты).
Можно продолжить иерархию признаков:
- Признак: "одна сторона тяжелее".
- Следующий уровень: "форма деформирована" или "материал различен".
Таким образом, чистый шум — это симметрия вероятностей. Признак — статистически устойчивая асимметрия.
Мы можем анализировать любой сигнал, даже неизвестной природы, с точки зрения выделения признаков.
Признаки можно организовывать в иерархию.
Аналогично зрению: от линий → к фигурам → к объектам.
Космический сигнал может содержать признаки галактик, излучения, событий и т. д.
Это форма спектроскопии, но не по частотам, а по признаковым паттернам.
Как итог:
Признаки возникают как статистически устойчивые асимметрии.
Шум — отсутствие различий.
Иерархия позволяет формировать всё более сложные абстракции.
Модель применима к любой системе, в которой можно зафиксировать сигнал и определить вероятности состояний.
По крайне мере, этот подход рабочий. Испробовал его в нейронных сетях при обучении, добавив функции нахождения асимметрии сигнала волны по амплитуде, частоте и фазе.
Выше с учётом ассиметрии вероятности признаков.
Тут нет учёта асимметрии вероятности признаков.
Так что, описанное выше не плод моего больного воображения.
Да я сделал функции и сейчас тестирую. Скоро выложу их вместе с моделью (урезанной немного) шестислойной модели неокортекса (области из которых состоят зоны мозга), как замена трансформерам.
Выше для примера внутри так же изменённая математика SSM, с учётом гистерезиса. Что позволило SSM блокам быстро обучаться.
А выше аналогично трансформер с теми же параметрами на 10 шагах (и то немного подкатил у него residual связь на выходе, иначе ещё уже результат).
Так что выложу, там и новые функции гистерезис, их можно использовать отдельно и функции активации (чтобы модель не переобучалась) и так далее.
Но можно считать этот вариант классического трансформера плохим примером. Так как выше правка была в нем незначительная, на выходе был учтён ещё один residual просто. А тут трансформер на 5000 шагах обучения.
Суть гистерезиса в том, что это определение вероятности асимметрии сигнала по амплитуде, частоте и фазе. Он улавливает эти асимметрии в процессе обучения (или начальной настройке), и работает как разные нейронные клетки. Когда один тип клеток специализируется на амплитуде для выделения признаков, другой улавливает частоту для ритмов (слуховые области например), третьи фазу чтобы синхронизировать тета ритмы к примеру.
При этом нам не нужно вводить дополнительно время , как в спайках. Вероятности асимметрии в сигнале и так улавливают эти аномалии в сигнале в волне.
Выше пример обучения гамматон фильтру. Сейчас доделываю примеры для выделения речи из аудио и простой LLM на базе модели. После этого опубликую. Мне главное, чтобы человек смог понять , откуда это взялось. Не очень хочется, чтобы люди бездумно использовали модель, не понимая на чем она была построена
Речь идёт про то какие области и что делают, как делают, какие клетки за что отвечают. Как и куда идёт сигнал, в чем его роль.
В общем случае да, изучен. На конкретном примере той же саморефлексии. Вопрос в деталях, как другие области влияют, что вносят, как их функции оказывают воздействие на итоговый сигнал. Например, какой точно вносит свой вклад теменная область, или как энториальная кора , моторная и лимбическая оказывает влияние на построение грамматики предложения (в разных культурах синтагма строится по разному, так как разные зоны имеют разный приоритет при свое развитии). Но вот детали, конкретные взаимодействия и так далее будут изучаться и постоянно находить что то новое для описания процесса.
Речь идёт про общий подход. Он изучен. Как копируется информация по время сна, как происходит саморефлексия, как формируется глобальная цель через базальные ганглии и множество всего. Каждая часть очень неплохо изучена.
Я не говорю, что ясно как работает весь мозг и все детали. Речь про общие механизмы. Их на сегодня очень хорошо изучили. Это как сказать физика в целом явления движения планет понятна. Но это не значит что она полностью изучена и все ясно. Речь про базовые механизмы.
Я не просто так выше привел ссылку на схему рефлексии. Вы можете взять и проверить каждое мое слово, прежде чем делать нападки. Я специально указал на фрагмент механизма, а не весь. Этот механизм обеспечивает круговорот "мысли" (сигналов). И рассмотрен только на коротком участке для текста(слуха) и не целиком. Но по нему уже понятно в целом, как происходит формирование контекста, связь с новым сигналом и так далее, круговорот сигнала через петли и так далее.
https://t.me/greenruff/2240?single
Это не случайность. Я даже специально описывал как вызвать и управлять таким поведением специально. Думаю если посмотрите причину по ссылке, то увидите что направили прогнозирование модели по другому пути предсказания.
Я на эту тему как раз делал механизм, когда несколько разных LLM сами выступают арбитрами друг друга.
https://t.me/greenruff/1757?single
Там как раз важный момент, что они оценивают не только сам ответ, но объяснение своего ответа. Чтобы не было так, что дала верный абстрактный ответ.
Это снизило галлюцинации и позволило вытаскивать ответы, которые до этого было сложно вытащить из слабых LLM моделей.
Минус такого подхода, что жрет это много ресурсов. А для 10 LLM (арбитров) время одного ответа 15-30 минут. Можно конечно оставить штуки 3 разных LLM, тогда быстрее.
Я сейчас как переписал код, чтобы можно было использовать известные LLM через их вам через данный механизм. Чтобы собрать датасет для обучения архитектуры саморефлексии. Где как раз важна оценка ответа. Позже, как буду обучать, выложу его код наверное. Так как это идеальный метод обучения языковых моделей на предмет рассуждений (не важно саморефлексии или как сейчас рассуждающих).
Так что пока вручную как вы описали использую подход объяснить свое решение и указать слабые места и описать свою интерпретацию. Тогда проще увидеть, где у нее ошибки в рассуждениях.