Comments 20
Что делает ИИ-систему хорошей в математике?
Подключение к ней Maple или MATLAB.
Я всегда скептически относился к идее «чем больше параметров, тем умнее модель» — и вот подтверждение. Особенно понравилась аналогия с «искусственным сомнением»: похоже, ИИ наконец-то научили перепроверять себя, как это делают люди.
@g_coll а как думаете, такой подход можно применить, скажем, в генерации кода? Чтобы модель не просто писала, но и сразу тестировала каждый блок?
Так не "наконец научили" - это ровно то, как работают все "думающие" модели - просто выполняют полный перебор, на каждом шаге проверяя, не угадан ли ответ.
Думаю нет, как минимум из-за кучи зависимостей разных версий итд (если мы про реальные проекты). Не получится каждый кусок кода перепроверять
Делал код в DeepSeek. Если указать, что надо тестить, то тестирует.
Искусственному разуму ОКР быть? Даёшь нейроневрастеников!
Оно может и к пользе, но когда же законы робототехники программировать станем?
Тут есть интересный момент.
1) префронтальная зона имеет несколько областей: держит разные контексты в памяти, корректирует ошибку контекстов.
2) в мозге механизм коррекции ошибки в целом одинаково реализован, но разными способами. Локальная слой 6 неокортекса - предсказание шума нейронов, глобальная коррекция глобальной базальными ганглиями через выработку дофамина для нормализации гомеостаза организма. Но вот как префронтальная кора корректирует ошибку в контексте пока плохо изучено.
3) как формируется речи и текст
https://www.youtube.com/watch?v=4RnyT3wv6AM
Тут в начале видео есть про то, что частые звуки зависят от уровня шума. То есть наша речь и текст и их вероятность это следствия упорядочивания вероятных сигналов с разным уровнем шума. Сначала на уровне звука, затем сочетания звуков, затем слов и так далее. Понятие уровня шума все сильнее абстрагируется, но это тот же шум (чем ниже вероятность, тем хаотичные колебания значений).
Я к тому, что механизм коррекции ошибки в рассуждениях должен быть построен на той же коррекции ошибки шума. Но не совсем понятно, как это устроено на верхнем уровне.
4) у нас есть области, которые получают итоговые выходы сигналов от всех и в обратную корректируют входной сигнал. Минимизируя шум, и выделяя значимый сигнал.
По сути весь текст и речь, это упорядочивание сигнала по вероятности (чем вероятнее, тем более стабильный) и убирание из него шума.
5) например есть петля гистерезис, она на всех уровнях. Ее суть, что скорость роста накопления суммарного сигнала медленнее, чем скорость его падения. Поэтому шум отсеивается из за постоянных колебаний, а важный признак в сигнале постепенно расчет.
Понять бы, как все эти знания применить в контексте само рефлексии. Задача которой, отсеять шум и оставить важный сигнал. Переводя на нормальный язык, оставить наиболее вероятные сигналы. Это своего рода коррекция локальной ошибки в рассуждениях.
Есть данные, что dorsolateral PFC отвечает за поддержание контекста в рабочей памяти, а anterior cingulate cortex (ACC) — за отслеживание ошибок и конфликтов между контекстами.
Пока неясно, как именно происходит коррекция ошибки контекста. Вероятно, через сравнение ожидаемого результата (выбранного контекста) с входными сигналами и наличие "конфликта", который ACC распознаёт как ошибку и инициирует переключение или пересчёт контекста. Возможно, через нечто вроде глобального сигнала “предсказание не совпало” с временным подавлением предыдущего паттерна.
На базовом уровне — в сенсорике — шум можно предсказать буквально как вероятность колебаний. На когнитивном уровне шум — это непредсказуемость идей, рассуждений, ожиданий.
Чем ниже вероятность — тем выше "шум" в смысле нестабильности паттерна. То есть неуверенное рассуждение — это шумное рассуждение. И задача саморефлексии — подавить эти шумные колебания, выделив устойчивые.
И вот тут самая интересная часть — как применить это к архитектуре или процессу мышления.
Возможный механизм:
Каждый “контекст рассуждения” = локальное предсказание.
Префронтальная кора (или аналог в LLM/AGI) запускает несколько таких параллельных "петель рассуждения".
Каждая петля накапливает устойчивость сигнала (по типу гистерезиса).
Если предсказания нестабильны (шумны) — они "гаснут", если устойчивы — усиливаются.
Итоговая мысль — та, которая выжила в условиях внутреннего шума и получила больше устойчивости.
Можно сказать, что саморефлексия — это итеративный отбор устойчивых паттернов в условиях внутреннего шума. Префронтальная кора — мета-контроллер, который проверяет устойчивость паттерна во времени, а не просто точность на одном шаге.
Реализация self-debugging в архитектуре рассуждения. Вот базовая идея:
Модель генерирует несколько вариантов рассуждений (гипотез).
Каждый вариант пропускается через фильтр гистерезиса — устойчивость при повторной генерации/вариациях.
Те, кто выдержали несколько итераций и остались стабильными, усиливаются.
Остальные "гаснут" как шум.
Можно представить это как LLM с короткой памятью, сравнивающей свои рассуждения с предыдущими и отклоняющей те, которые нестабильны.
Вот только вопрос , как это правильно реализовать на уровне архитектуры. Пока открытый.
Есть близкие направления:
Predictive processing в когнитивной науке: восприятие и мышление как непрерывное предсказание и корректировка.
Cognitive conflict monitoring (Botvinick et al.): префронтальная кора отслеживает конфликт между ожиданием и реальностью.
Text coherence models в NLP: модели оценивают связность текста и могут служить “оценкой стабильности”.
И нащупать бы идею
1) на каком уровне формализовать данные как сигнал, что считать выделенным сигналом с которым мы будет работать на уровне рассуждений
2) можем ли на основе этого сигнала делать предсказания, чтобы повторно подав цепочку скорректировать ее на основе сделанных предсказаний или надо создавать дополнительную модель, которая бы училась делать эти предсказания (склоняюсь к дополнительной модели аналог нейронные петли (reentrant circuits) пересылают сигнал в круг, каждый раз уточняя его. )
3) как на основе предсказаний скорректировать повторно поданный сигнал.
Формальное, этот механизм есть даже на низком уровне в областях мозга, которые непрерывно могут рефлексировать подавая прежний сигнал на вход и таким образом все сильнее очищая его от шума, пока сигнал не будет идеально выделен. Поэтому мозг работает всегда.
Я бы выделил две важные особенности:
Для оценки рассуждений мы должны работать со следующим уровнем сигнала в иерархии, а не с базовыми токенами. То есть мы должны преобразовать полученный текст в новый тип сигнала, который обобщает до уровня, который нужен для оценки рассуждений.
На новом уровне происходит такое же обобщение и выделение признаков, которые затем выделяются, обобщаются и выделяют корректирующее предсказание. Затем эта модель должна подаваться на вход в исходную LLM для повторного прогона сигнала.
Обобщая эту модель:
Она получает на вход текст и обобщает его в сигналы верхнего уровня иерархии (термины или что она решит важным). Затем выдает на выход это обобщение, которое поступает повторно на вход LLM. Тут же происходит предсказание локальной ошибки между обобщённым входом этой модели и предсказаным. Эта локальная ошибка модулирует вход данной модели на следующем шаге рассуждений.
Это напоминает петли реэнтрантной обработки в мозге (Edelman, Felleman & Van Essen и др.)
Разработка ИИ без изучения нейрофизиологии -- это тупик.
Создание искусственных сомнений значительно повышает точность математических вычислений ИИ