Comments 15
Я смотрю на всю эту "мышиную возню" вокруг: трансформеров, RAG и прочих "патчей" для LLM и понимаю, всё это костыли. Разработчики берут идеи из проверенных когнитивных архитектур вроде Soar, где контекст, логика и смысл заложены в саму структуру системы и пытаются их "натянуть" на LLM. Они не понимают главного: настоящий интеллект строится не на предсказании слов, а на архитектуре, способной работать с символами, целями и внутренними моделями мира. А у нас пока просто очень умный автодополнитель, обёрнутый в технологию прошлого века.
Очередное нытьё про то, какие LLM плохие, и какие символьные методы из 1985 года хорошие.
Объясни тогда, почему LLM дают результаты, а символьные методы в ИИ сдохли ещё в 90-х?
Цепляться сейчас с отчаянием обречённого за провалившиеся 30 лет назад парадигмы ИИ - это тупо и бесполезно.
Давайте на это шире посмотрим. Живой разработчик это тот же LLM. Без кодовой базы под рукой, IDE с автокомплитом и возможности глянуть в доку тоже напишет некомпилируемую хрень.
Принципиальное отличие оно в том, что разработчик сам понимает, когда надо дернуть внешние данные, а RAGом пытаются напичкать до выполнения задачи. Примерно, как если закрыть программиста в комнате без интернета и заставить писать программу в блокноте, но перед этим дать ему десяток вырванных страниц с учебника по питону, и пару файлов с проекта. Повезет - ему этих данных хватит. Не повезёт, - штош, придется додумать, как могла б выглядеть функция, с которой раньше дела не имел, и, которая в эти страницы не попала
Вангую, что все начнёт нормально работать, когда модель сама будет запрашивать доп данные в процессе генерации, и понимать, когда неспособна выдать надёжный ответ. Условно, не вырывать страницы с учебника до задачи, а листать учебник в процессе выполнения
Попробуйте сделать на soar рабочий инструмент и зарелизить его. И вы всё поймете. Не будет удивления, почему люди возятся с трансформерами и RAG
А зачем? В нашей команде, с гибридом LBS/CESP, очень даже хорошо живется: не ошибается; быстро работает; требует мало ресурсов, т.к. изначально учитывалась разработка для прохождение самого строгого теста Тьюринга; модульный; понимает контекст и смыслы, т.к. работаем не с токенами, а со словоформами при помощи лингвистики, дискурс-анализа, онтологии и т.д.
Хитро, конечно. Предлагаете soar, а сами используете LBS/CESP. Предположу, что речь про Logic Based System/Contextual Embeddings/Symbolic Processing
А ещё предположу, что доменное покрытие узкое, расширять очень долго и много сил. Работает наверняка средне. Ясное дело, что это гипотеза без подтверждений (вы ведь не покажете), но и вы могли преувеличить, не так ли?
Много сил? Да, это точно. Зато потом работает как часы. Мы же проверяем всю работу со специалистами: психологи, философы, математики, и т.д. Каждый логический/когнитивный блок требует проверки конкретным специалистом. Работает далеко не средне. Покажем, как только доделаем "глобальные" сервера - тогда продукт полностью будет готов.
Скажите пожалуйста , где-то можно следить за новостями о вашем проекте ?
Помимо нашего проекта, есть еще куча проектов на базе LBS и CESP систем. Если человек себя считает настоящим исследователем ИИ, то он должен знать о таких проектах, а не быть "самозванцем": "Я Исследователь ИИ, но знаю только о LLM"
Осталось буквально пару дней подождать. Мы откроем 3х месячные вебинары с обучением (будут представлены документы, технологии, полная демо того, что работает + еженедельно будут гости из "мира ИИ", которым можно будет задавать вопросы) + произойдёт расширение команды в разных странах: Япония, Россия, Германия, Бразилия.
в моем случае RAG нормально заработал только когда в quadrant загрузил вектора в виде 1 чанк = 1 текстовый файл (пришлось ипользовать Gemini с его 1 млн токенов), иначе от нашинкованых на куски чанков толку мало, т.к. таблица за 2025 год может оказаться отрезанной от заголовка "отчет 2025". С исходниками кода та же история.
Потому что чанки должны быть не обособленными, а взаимосвязанными, да хотя бы по имени файла, но можно ещё расширять. Тогда можно будет и за 2025 год и за 2024 год таблицы прикрепить и вместе с именем файла / суммаризацией подтягивать. Тогда будет понятно что отчёт по Q4 в двух чанках это Q4 от двух разных годов.
Опять бесполезная вода. Хабр превращается в помойку
А для тех, кто хочет попробовать Graph RAG для больших кодовых баз в действии - могу порекомендовать https://www.CodeAlive.ai - граф вызовов и иерархию типов мы, кстати, строим детерминированно через старый добрый LSP. Можно попробовать как на своих проектах, так и на опенсорсных, заранее проиндексированных.
Я пробовал рэг для теста мне зашло. Нарезал чанки поменьше поставил пересечение побольше и залил учебник.
Супер, если не грузить ллм сложными вопросами а задавать краткие и ёмкие она и отвечает кратко и ёмко идеально по учебнику
Хватит дообучать ИИ — дайте ему контекст