Планирую решать без внешней онтологии (чтобы система оставалась self-supervised):
Value-based prioritization: Каждая связь/слот получит "value score" - на основе вклада в task performance (например, через градиенты или награду в RL стиле). Редкие, но полезные связи усиливаются, если они снижают loss в критических сценариях.
Abstraction layers: Иерархия - редкие слоты автоматически группируются в higher-level abstractions (через клстеризацию или автоэнкодер). "Редкое, но важное" поднимется на верхний уровень, где decay слабее.
Contextual recency: Не просто global recency bias, а per-context: для каждой задачи/эпизода своя "recency map" (чтобы избежать амнезии на старые данные в новых контекстах).
Simulation-based evaluation: В "dreaming" фазе симулировать гипотетические сценарии - если слот полезен в них, его value растёт.
Спасибо за отличный вопрос! Кратко: Да, вы абсолютно правы - текущая версия ближе к proof-of-concept, и явного разделения STM/LTM пока нет. Это слабое место. Планы на ближайшее время:
Очень рад, что кому-то пригодилось)
А есть код? Интересно посмотреть реализацию
Планирую решать без внешней онтологии (чтобы система оставалась self-supervised):
Value-based prioritization: Каждая связь/слот получит "value score" - на основе вклада в task performance (например, через градиенты или награду в RL стиле). Редкие, но полезные связи усиливаются, если они снижают loss в критических сценариях.
Abstraction layers: Иерархия - редкие слоты автоматически группируются в higher-level abstractions (через клстеризацию или автоэнкодер). "Редкое, но важное" поднимется на верхний уровень, где decay слабее.
Contextual recency: Не просто global recency bias, а per-context: для каждой задачи/эпизода своя "recency map" (чтобы избежать амнезии на старые данные в новых контекстах).
Simulation-based evaluation: В "dreaming" фазе симулировать гипотетические сценарии - если слот полезен в них, его value растёт.
Спасибо за отличный вопрос! Кратко:
Да, вы абсолютно правы - текущая версия ближе к proof-of-concept, и явного разделения STM/LTM пока нет. Это слабое место.
Планы на ближайшее время:
Явное разделение STM (маленький быстрый буфер 32-64 слота) ↔ LTM (большой медленный граф 1024+ слотов)
Консолидация: лучшие слоты из STM переносятся в LTM через сон
Explicit forgetting: threshold pruning + active forgetting
Иерархическая компрессия + capacity-aware meta-policy
Информационный взрыв - решаю через чистку слабых связей, recency bias и external tier (FAISS) в перспективе.
Деградация от устаревших связей - temporal tagging, context-sensitive decay, interference modeling.
Чёрный ящик - борюсь модульностью, логгированием состояний и абляциями.
Всё это в активной работе - через 1–2 месяца выложу v0.2 с явным разделением и explicit forgetting.
Типа такого?