Comments 27
По моей давней гипотезе, память у человека организована иерархически. В оперативной памяти хранится краткое описание и «ссылки» на более подробное воспоминание о воспоминании в более долговременной памяти. Когда человек вспоминает, он по краткому описанию находит воспоминание о воспоминании, «подгружает» его, а затем «подгружает» еще более подробное воспоминание и т.д. Если же человек в оперативной памяти потерял «ссылку» на древо воспоминаний, то он начисто забывает, что тогда происходило. Конечно, я не специалист по человеческой памяти и понятия не имею, как на самом деле она организована, но такую систему памяти, по идее, можно организовать для ИИ.
Организацию памяти и ее взаимодействие с сознанием хорошо описывают Константин Анохин в теории "когнитома" и Майкл Грациано в теории "динамик внимания". Мой очень вольный пересказ для коллег-программистов: https://youtu.be/dDpSqmfdOe8
Спасибо. Вы хорошо объясняете. Чувствуется опыт.
Клубок смыслов из которых как из лего состоит наше понимание ситуации (Например понимание кода) интересное объяснение нашего мышления. Хотя и не факт, что совсем правильное. В смысле оно правильное так как помогает нам ориентироваться в том как устроенно мышление. Это хорошая аналогия, так как помогает нам. Но на самом деле все же может быть устроенно как-то намного сложнее. Точной и проверенной теории о мозге я же правильно понимаю, что нет?
Краткие описания или краткие смыслы лежат в нащей оперативной памяти (в кеше как у вас) . Это в наших описаниях практически похоже. Отличие одно у Вас из долговременной памяти как то непонятно как достаются другие смыслы в кеш, а у меня смыслы связаны ссылками не только между собой, но есть множество ссылок на смыслы в долговременной память. И мозг в кеш подгружает смыслы непонятно как но по ссылкам в кеше.
Еще один интересный момент. Мозг в кеше хранит тысячи связанных смыслов. Но не связанных понятий не связанных слубков смыслов не более 5. Я не могу концентрировяться одновременно на вспышках на солнце и на коде для работы. Для каждой задачи необходимо минуты полчаса час чтоб подгрузить смыслы в кеш. Просто говоря надо сконцентрироваться.
Точной и проверенной теории о мозге я же правильно понимаю, что нет?
Работы Майкла Грациано и Константина Анохина довольно неплохи. Картина "в целом" более-менее понятна, но есть много сложностей с деталями, особенно с системами внимания и подкрепления.
Отличие одно у Вас из долговременной памяти как то непонятно как достаются другие смыслы в кеш
Потому что в мозгу нет "долговременной" и "кратковременной" памяти как разных, отделенных друг от друга штук. То, что ты называешь "долговременной памятью" - это сами смыслы. Физические связи между нейронами. "Коги" и их связи в терминологии Анохина. А "кратковременная память" - это их активация.
Потому что в мозгу нет "долговременной" и "кратковременной" памяти как разных, отделенных друг от друга штук.
В смысле гипотоламус и его роль в долговременной памяти зря обсуждается? :-) Шутка. Конечно в мозг не поставишь планку памяти 32гб производства Hynix. Архитектура мозга совершенно другая. Но помним мы примерно 15 минут жизни в краткосрочной памяти и вспоминаем что то из долговременной. Как это устроенно на уровне "железа" мозга я не знаю. И в контексте обсуждаемой темы меня это даже не сильно истересует. Просто читать разбираться даже в научпопе по этой теме это время . Надеюсь что имющейся инфы, когда то прочитанной, хватит на первое время. Так то я сейчас хочу не понять как мозг устроен, а протестировать идею на имеющихся нейросетях. Но вот для общения для разговоров о мозге инфы у меня мало. Надеюсь простите меня? Может попозже почитаю ваши ссылки и можно будет вернуться к теме конкретно мозга. Хорошо?
Кажется, стоит посмотреть в сторону RAG
Ну что такое RAG я с трудом понимаю. А иерхаическия память резюме о резюме кажется легко понятной и легко осуществимой. Это раз.
Во вторых RAG не избавит от деградации истории. Что нейросеть помнила контекст и не спотыкалась на противоречиях в истории можно воспользоваться трюком. Просим нейросеть составить резюме истории. Очищаем историю и подгружаем резюме. Трюк я только недавно придумал и еще не оттестировал хорошо как работает.
Ну что такое RAG я с трудом понимаю
Поискать в базе данных по тексту запроса и скормить перед запросом с пометкой "вот еще посмотри что по этому вопросу в базе есть". Это если вкратце.
Поискать в базе это эмбендинг? или поиск как у гугла? Или просто sql like?
"эмбеддинг" - это числовое представление "выжимки" из текста. "Вектор", как их еще называют. Они используются, потому что, в отличии от текста, их можно сравнивать друг с другом на предмет "похожести". То есть имея вектор текста запроса от пользователя и векторную базу данных, в которой сохранены векторы миллионов фрагментов текста из базы знаний, можно быстро найти все фрагменты, которые "похожи" на запрос пользователя. Иначе сравнение текста с другими текстами займет бесконечно много времени. То есть просто вопрос оптимизации поиска.
Ну я читал описание эмбеддинга. Просто те описания у меня трудно связывались с теми клубками смыслов что есть у меня. Ваше определение полегче. Хотя ничего такого не сказали отличного от того что я читал. Но тут есть непонятки. Насколько я понимаю RAG это и есть эмбеддинг.
"вот еще посмотри что по этому вопросу в базе есть"
То есть так то в нейросеть LLM можно подать результаты любого поиска по любой базе данных. И тут несогласовка. То есть RAG это эмбеддинг плюс подача результата поиска в нейросеть...
Вообщем тут путаница у меня, так как не работал с RAG достаточное кол-во времени и нет соотвествующего клубка смыслов. Так то с RAG работать я пока не планирую и сильно вдаваться вам и мне может и нет смысла. Хотя на погружении в тему на контакте клубков смыслов по моему основная масса идей и возникает. Для меня RAG это что-то модное у програмистов нейросетей. И они по моему пихают RAG туда куда без него можно обойтись. Долговременная память у нейросети же не обязательно RAG? Но RAG эмбеддинг имеет смысл когда объем базы данных сильно большой. А вот база данных ИИ агента, который, как я хочу, работал со мной на моем компе, не может быть очень большой. Я просто столько данных не накоплю. То есть это больше контекста в 4000 токенов и память нужно чтоб переключать контекст для LLM, но и не и миллиарды точенов чтобы нужен был эмбеддинг.
Вот. По прежнему советуете RAG? Или можно обойтись?
Обыватели перепридумали RAG с knowledge base ))
Прежде чем писать подобные статьи потратили бы время на поиск и вопрос к той самой LLM для которой вы придумали то что уже давно есть.
Спросил у LLM knowledge base Что это
Знательная база (или "knowledge base" на английском) — это систематизированная коллекция информации, которая предназначена для хранения, организации и управления знаниями в определённой области. Знательные базы часто используются в различных сферах, таких как:
Техническая поддержка: Содержат инструкции, справочные материалы и решения для распространённых проблем, чтобы помогать пользователям и сотрудникам находить информацию без необходимости обращения в службу поддержки.
Базы данных: Используются для хранения структурированной информации, которая может быть легко извлечена и обработана.
Искусственный интеллект: Знательные базы могут использоваться для обучения и поддержки систем искусственного интеллекта, обеспечивая их необходимыми данными для ответа на вопросы или предоставления рекомендаций.
Образование: Могут включать учебные материалы, статьи и исследования, которые помогают ученикам и преподавателям в процессе обучения.
Знательная база может быть статической или динамической, обновляясь по мере появления новой информации. Она полезна для организации знаний и улучшения доступа к ним.
Что то knowledge base это общее определение баз данных. Промпт-память конечно база данных, но несколько специфичная. Или вы хотите сказать контректно промпт-память уже где-то озвучивалась?
Посмотрите в сторону мультиагентных систем. На том же crew ai можно завести всю обёртку в сотню строк кода (примеры есть в сети) и далее уже делать конкретного агента (возможно и не одного, а целую сеть агентов), который будет реализовывать вашу идею с памятью. Тем более там уже есть агенты, что работают с RAG, и вашу идею можно развить с их использованием.
Это не поможет в реализации ядра вашей идеи, но облегчит работу и позволит не думать об обвязке.
Видел один похожий проект https://github.com/mem0ai/mem0
А чем вам GPTs в OpenAi не подходят? Изначальный пропт и база знаний. Но насколько я понимаю к этой модели по апишуе нельзя обратиться.
Есть проект cognee - https://www.cognee.ai/ Чем-то напоминает
Интересно, но тоже мало информации и €1970 в месяц ужасть просто :-).
Сейчас в документацию заглянул.
Заявка
Действуя подобно мозгу , он использует передовые методы машинного обучения, чтобы имитировать то, как люди воспринимают, обрабатывают и применяют данные, объединяя полученную информацию в «воспоминания».
На мой взгляд не очень соответсвует просто разбиению данных на кусочки и поиску по этим кусочкам. У каждого свои гипотезы как работает мозг. Разбиение данных на кусочки чем-то мне не нравиться. Слишком примитивный взгляд.
Посмотрим может в комментариях еще точки зрения и их реализации подкинут.
Есть код на гитхаб, он открыт
CodeGraph у них полезная штука.
CodeGraph — это граф знаний , который моделирует кодовую базу на нескольких уровнях детализации. Он выходит за рамки простого индексирования кода: он фиксирует сущности и отношения внутри и между репозиториями.
Хотелось аналог реализовать. Но сложно. Ну исходный код хорошо но это еще не значить что за него не надо платить.
Лицензия на использование Cognee с открытым исходным кодом
Минимум 8,5 евро в месяц. Плюс за доступ к сетевым LLM надо платить.
Во вторых открытый код еще не значит что у меня хватить желания и ресурсов в нем разобраться. Плюс чтобы не завязнуть в кодировании надо соберать совместимую среду.
У идеи должна быть цель, делать что-то полезное это не цель, а время провождения.
Шутка интересная, но не понятная. А какой должна быть цель? Кроме как делать что-то полезное.. Ах да еще же можно захватить мир. Но без поработать это пустые фантазии, а настолько поработать я как то не готов :-).
Вы удивитесь, но цель может быть даже сделать что-то бесполезное. Зависит от того, как приоритеты расставить :)
А если по теме, то на векторизации вы все равно потеряете значительную часть контекста. Да, чисто из спортивного интереса это прикольно, но изначально большее контекстное окно - это в разы лучше, чем перекидывание информации кусками, с неизбежными потерями.
AIOverAI: искусственный интеллект поверх искусственного интеллекта