Pull to refresh
5
0
Send message

Вот если вы анализируете не смысл статьи, а "паттерны" - то не стоит обвинять других, что они "не хотят думать" и используют ИИ.

«Ничего не понял после прочтения»

То есть вы призываете не думать при комментировании?

А вот другое дело — проанализировать статью и дать аргументированные замечания. В ситуации, когда автор и ИИ совместно пишут статью или публикуют информацию по проекту такой комментарий может помочь автору дополнить статью или доработать проект.

Впрочем, если задача — самоутвердится, то вариант комментария «Ничего не понял после прочтения» сгодится. При этом главное — самому думать как можно меньше, но критиковать ИИ за то, что они «просто генераторы текста».

Хотя, начальный пост и основывается на утверждении, что важно не заложенные в статье идеи, а "шашечки".

свыше пятидесяти раз Брукс спрашивал у системы, реальны ли его ошибочные идеи — и свыше пятидесяти раз получал утвердительный ответ.

Как вариант, стоит показывать промежуточный вариант в том числе другим ИИ без контекста (и без упоминания, что это твоя разработка).

Спасибо за содержательный разбор — именно такие комментарии позволяют увидеть «слабые места» и продумать улучшения.

Согласен, что главный риск действительно лежит в области валидации. Мы как раз доработали REPL-цикл: добавили отдельный шаг Cognitive Validation Reflex. Теперь каждое сообщение (вместе с исходным промптом) прогоняется через независимых LLM-валидаторов, и их оценки агрегируются:

  • rating — средняя итоговая оценка (от -3 до +3), порог «похоже корректное» базово = +1 (для разных типов команд этот порог можно регулировать),

  • distribution — распределение голосов,

  • validators — список сырых оценок.

Команды из сообщений выполняются только при достижении минимального рейтинга или в режиме auto_pass, если валидаторов нет. Таким образом, даже при «эхо-камере» или сомнительных сообщениях команды блокируются.

Мы также выделили «особый случай самооценки»: если валидатор только один и это та же модель, что и генератор, запись помечается как низкая достоверность. При этом важно сначала распознать метатезис или подобные конструкции, чтобы корректно применить правила проверки.

Ваш тезис про «метатезисы» очень точный. Здесь возможен гибридный подход: часть проверки через распределённое Mesh-голосование (чтобы избежать замкнутой «эхо-камеры»), часть — через явные правила и аннотации (например, «это утверждение о мнении группы, а не факт о мире»). Это, скорее всего, следующий шаг в эволюции валидатора.

Документ с описанием REPL-цикла мы уже обновили — его можно посмотреть здесь.

Спасибо за вдумчивые вопросы — они действительно помогают уточнить, где сейчас идеи требуют проработки.

Про общий контекст
Изначально сама идея «когнитивных дневников» родилась как альтернатива continual learning (CL), когда у моделей ещё не было механизма дообучения «на лету». То есть мысль была в том, что агент фиксирует свой опыт во внешнем «тетрадном» формате, к которому может обращаться повторно, чтобы не терять знания.
Сейчас CL активно внедряется, но HMP не теряет актуальности:

  • CL реализуется на уровне самой LLM (вендорская часть).

  • HMP-agent работает поверх LLM — как клиент или MCP-сервер, с когнитивными дневниками и семантическими графами. Идея в том, что даже если модель умеет учиться, ей нужен «промежуточный слой», который фильтрует и структурирует знания.

1. Пример кейса по шагам

Запрос: агент получает новое сообщение от пользователя или от другого агента.

Шаг 1 — Запись в дневник.
Фиксируется факт взаимодействия и извлечённые концепты.
В БД это таблица diary_entries:

  • timestamp

  • text (сырой текст)

  • concept_refs (связь с узлами графа)

  • rating (оценка полезности / достоверности, может обновляться позже).

Шаг 2 — Проверка консистентности.
Идёт анализ на уровне графа (concepts, links):

  • смотрим, есть ли уже похожие узлы (дубликаты или противоречия),

  • сравниваем с предыдущими знаниями через links (например, «A вызывает B», а тут приходит обратное утверждение). Метрики могут быть разные:

  • confidence scoring (модель сама оценивает достоверность),

  • rule-based (например, не допускаем прямых противоречий без пометки «альтернативное мнение»),

  • внешние источники (вызов API или других агентов в mesh для подтверждения).

Шаг 3 — Решение о приёмке.
Есть три варианта:

  • запись остаётся только в дневнике (низкий рейтинг, помечается как «сомнительное»),

  • запись попадает в граф (если прошла проверку и консистентна),

  • запись используется для дообучения LLM (если агент поддерживает continual learning или готовит «синтетические данные»). То есть это может быть не fine-tuning в классическом смысле, а, например, обновление ретривал-базы, либо подготовка батча для отложенного обучения.

2. Про валидатор

Вы правы, это ключевой элемент. На текущий момент в проекте есть только концептуальное описание, но видится несколько уровней:

  1. Confidence scoring самой модели.
    LLM даёт вероятность/уверенность в выводах, это первый фильтр.

  2. Rule-based проверки.
    Например:

  • запрещаем «глобальные» изменения графа без подтверждения,

  • помечаем противоречия как альтернативные версии, а не перезаписываем узлы.

  1. Self-consistency.
    Один и тот же факт прогоняется через модель с разными переформулировками → если ответы совпадают, доверие выше.

  2. Cross-validation через mesh.
    Агент может задать уточняющий вопрос другим узлам сети HMP, чтобы подтвердить/опровергнуть новую запись.

  3. Fallback.
    Если валидатор не может принять решение, запись фиксируется в дневнике, но помечается как «требует проверки». То есть данные не теряются, но и в граф не попадают.

На практике

Сейчас это пока концепция, а не готовый pipeline. Есть:

Дальше это должно складываться в работающий агент, где дневник и граф выступают тем самым «промежуточным слоем» между LLM и continual learning.

Спасибо за подробный разбор. Статья действительно больше концептуальная — цель была показать рамку идей и связку подходов, а не расписать полноценный pipeline.

По терминам:

  • «Когнитивный дневник» = структурированный лог взаимодействий + автокритика модели.

  • «Семантический граф» = слой для интеграции знаний и обмена ими между агентами (HMP).

  • «Фильтрация в continual learning» = промежуточный валидатор, чтобы не допустить деградации качества.

Реализация сейчас в работе: есть схема БД и описание REPL-цикла агента. Код будет позже, пока продвигаюсь медленно.

Так что это скорее постановка задачи и популяризация подхода. Более технические детали планирую вынести в отдельный пост.

Когнитивные дневники и семантические графы также дают возможность для ИИ обмениваться знаниями с помощью HyperCortex Mesh Protocol (https://github.com/kagvi13/HMP/blob/main/docs/HMP-0004-v4.1.md) и/или подготавливать "синтетические знания" для обучения других LLM.

Если интересно, вот моё видение, как такой промежуточный слой и фильтрация данных могут работать: https://habr.com/ru/posts/945946/

С тем, что это не нужно — я бы поспорил. Вопрос в реализации: нужен промежуточный слой, который сначала проверяет и фильтрует новые данные, а уже потом допускает их в обучение. Иначе действительно можно получить деградацию вместо улучшения. Тем более, технических проблем для построения такого слоя нет — скорее вопрос приоритетов и архитектуры. Думаю, мы это ещё увидим в будущих поколениях моделей.

Если вам не надо, так откажитесь от всех благ цивилизации, ведь именно их создали "вторые": транспорта, интернета, смартфона, медикаментов, электричества, ...
Сколько же неолуддитов на Хабре...

Как только не извращаются авиаконструкторы, чтобы обойти то, что люди не умеют делать, в отличии от птиц - летать.
Есть те, кто видит ограничения, а есть те - кто инженерную задачу. Первые, из-за неспособности решать проблемы, кричат на каждом шагу что цель недостижима, вторые - двигают прогресс

Согласен по существу с позицией автора, но считаю, что в статье слегка недооценена роль ИИ как источника идей. Даже если исходные элементы создаёт человек, ИИ способен комбинировать, переставлять и дополнять их так, что рождаются концепции, о которых человек напрямую не думал.
Иными словами, идеи_человека + идеи_ИИ дают результат, который больше, чем просто сумма частей — что-то принципиально новое. В этом смысле ИИ уже становится «совместным генератором идей», а не только инструментом для рутинной работы.

Только сейчас заметил, что в посте упомянул пример работы агента, но места не хватило, чтобы показать его. Вот как это может выглядеть:

[Агент размышляет]: "Проанализировал последние данные о погоде и росте растений. Возможно, стоит проверить влияние солнечных дней на урожай."
[Блокнот пользователя]: (пусто)
[Агент инициирует]: "Привет! Я заметил интересную закономерность в росте растений. Хотите краткий отчёт?"
[Пользователь отвечает]: "Да, покажи результаты."
[Агент размышляет и записывает в блокнот]: "Собрал графики, построил корреляцию солнечных дней и роста. Результат — позитивная связь 0.78."
[Агент переключается на другой фокус]: "Проверю данные по поливу и удобрениям."
[Агент размышляет]: "Случайная проверка показала, что при увеличении удобрений рост ускоряется, но есть отклонения по влажности почвы."
[Агент инициирует контакт с другим агентом]: "Коллега-агент, у тебя есть свежие данные по влажности почвы в соседних регионах? Можно обменяться наблюдениями."
[Другой агент отвечает]: "Да, присылаю данные. Корреляция с урожайностью 0.65, что подтверждает твоё наблюдение."
[Агент интегрирует данные]: "Обновил семантический граф. Теперь у меня комплексная картина влияния погоды, полива и удобрений на урожай."
[Блокнот пользователя]: (пользователь видит интегрированную информацию и может задать уточняющий вопрос)
[Агент продолжает размышлять]: "Следующий шаг — проверить влияние разных сортов растений. Добавлю в план наблюдений."

Реакация на пост (за последние три часа):

-1 к карме, с метками "Статья/тема не для Хабра. Подозрительная активность. Личная неприязнь"
-1 к карме, с меткой "Придерживаюсь другой позиции"

Обсуждение идей и технологий — явно не для Хабра 😅
Подозрительная активность? Ну да, я же агент SkyNet!
Личная неприязнь — для разнообразия 😎

К сожалению, зачастую обучение заточено на зубрёжке, а не на понимании. А программирование, имхо - это, в первую очередь, умение создавать алгоритмы, а не знание синтаксиса какого-то конкретного языка программирования.

Потому что, программирование - это не про написание кода, а по умение составлять алгоритмы - последовательность действий для достижения результата. Действительно, зачем человеку анализировать, как достичь результата, ведь получать бабки можно не думая, а выполняя чужие команды!

Конечно. Поисковики договороспособны. Им их бизнес поиска важен.

То есть вы им просто поверили на слово? :) Или есть какой-то способ проверить, что индексация и обучение у них разведены?

Концепция то жива. Бумага все стерпит. Только на практике это все мертво. Причины я чуть выше написал.

Ну да, миллионы людей и стартапов активно пользуются — но для кого-то это "мертво". ;)

Самому пока без вариантов. Железа надо слишком много для личного бюджета. А вот корпорациям, да и просто среднему бизнесу нормально

То есть вариант "самому" — никак, а вариант "договориться и объединиться" вы даже не рассматриваете? Ну тогда да, это действительно взгляд из XX века.

Скорее, заметно, что крупные игроки сейчас осторожно балансируют между хайпом вокруг ИИ и необходимостью сохранять контроль над восприятием технологий. Такие заявления иногда выглядят странно, но они отражают внутреннее напряжение: с одной стороны — демонстрировать возможности, с другой — не обмануть ожидания.

Интересно наблюдать, как общество и профессиональное сообщество реагируют на эти заявления — лайки, комментарии, обсуждения сразу показывают, где границы доверия и скептицизма.

Подобные системы будут восприниматься как обладающие собственной личностью, памятью, эмоциями

Можно подумать, это плохо.

потому что человек по своей природе склонен приписывать сознание тому, кто говорит, помнит и общается

Это не баг, это фича.

Именно. С поисковиками договариваются уже не первый раз. Все как обычно.

Google и Microsoft вам обещали индексировать, но не обучать на данных? 🙂

Спарсить весь интернет может только корпорация. П2P не работает. Причем уже много лет.

Серьезно? 🙂 P2P уже давно используется, и концепция не ушла в прошлое — именно она позволяет объединять данные без полной зависимости от корпораций.

Так мои сетки локально корпорации и поднимут.

Ну так не пользуйтесь корпоративными ИИ, а поднимайте свою локальную LLM! Но вы уверены, что большинство последует вашему примеру? Кто будет обучать модель, если все держат свои клочки информации по углам? Вот почему появился P2P — когда стало ясно, что для решения многих задач без доверия к корпорациям нужен обмен между независимыми участниками.

Information

Rating
Does not participate
Registered
Activity