Полностью согласен! Вот пример на скрине когда модель из postporcess запихала в один ответ разнородную информацию из снипеттов, и галлюцинации это боль, т.к. составить хороший промт это 90% успеха попадания в промт+снипетты. Сейчас подкручиваю слой модели судьи для оценки качества ответов и системных промтов
теоретические выкладки для тех кто реализует свои RAG системы. В статье описаны грабли на которые я наступил при проектировании и как сделать так чтобы агент хорошо понимал смысл экосистемы 1С.
"«Роман, ты сделал такую классную тестовую систему! А напиши всё-таки документацию, как ей пользоваться, чтобы другие могли её запускать и не отвлекать тебя» " - тут автор оговорочку забыл приписать, зачастую такие просьбы не входят в рабочее время, как бы просят в не рабочее время написать мануал. В чем собственно проблема сделать СТО задачу с наивысшим приоритетом и мануал будет готов! Лукавишь автор!
В целом "рыба гниет с головы!". Какой СТО был в команде, такой и результат на выходе. Не надо, как говорится, перекладывать на незаменимых сотрудников.
а если я трек слушаю несколько раз и на макс.громкости он учитывается в рекомендациях как самый лучший? Нет конечно. А вот в spootify это учитывается и подмешиваются близкие треки.
а как ты решил проблему с модификпцией configuratuiondumpinfo.xml? Файл тяжёлый для любой Ide с ангентами и в 100% агент просто разваливает файл когда пишет туда новые элементы с нужными uuid. А внесение изменений там нужно если в конфе используются перекрестеные ссылки, например создали ПВХ, и где-то используем ссылку на характеристику этого ПВХ. Я не смог победить это.
У себя использую не инструменты для создания правильных xml, а ресурсы. У протокола mcp по мимо tools, есть ещё resourses. Любая Ide при подключении mcp сразу загружает все ресурсы mcp.
И в ресурсах создал набор правил как правильно создавать xml с правильной структурой xsd: формы. отчёты, обработки, скд, soap и. т. п.
Схемы xsd получал скрипом из разных конфигураций (ут, унф, зуп, бп, ерп, ух, консолидация и. т. п. ). И при таком сценарии я не смог получить полные схемы xsd которые покрывают 100%.
где ссылки на mcp? Я так тоже могу сказать - у меня самые крутые mcp под 1с и они делают за меня все! В статье одна вода с голыми цифрами. Автор! Дай конкретику!
PS. Использую свои mcp но и они глячат. Идеальных вариантов нет.
context windows - это технология когда мы нашли чанк, потом приклеиваем к нему +-10 ближайших чанков. Если конечно в каждый чанк передавать структуру разделов материала.
как строются чанки: есть ли связи по объектам метаданных, есть ли Ast дерево метаданных? Есть ли реранкер? Есть ли ограничение на размер чанков выдаваемых модели или отдаём все как есть забивая контексте окно? Или просто тупо режем на чанки и отдаём модели кучу инфы?
уже начали вычислить и банить юзеров пожизненно.
а что это даст? Даже с подменой ты будешь ходить по API key, а цену антропик взвентил до небес. 250$ за 1млн.токенов.
сумку как у Dua Lipa находит?)))
Полностью согласен! Вот пример на скрине когда модель из postporcess запихала в один ответ разнородную информацию из снипеттов, и галлюцинации это боль, т.к. составить хороший промт это 90% успеха попадания в промт+снипетты. Сейчас подкручиваю слой модели судьи для оценки качества ответов и системных промтов
теоретические выкладки для тех кто реализует свои RAG системы. В статье описаны грабли на которые я наступил при проектировании и как сделать так чтобы агент хорошо понимал смысл экосистемы 1С.
Не понимаю как при таком алгоритме точка оказалась отброшенной? По сути на графике отсеялись чанки с score < 0.3
"«Роман, ты сделал такую классную тестовую систему! А напиши всё-таки документацию, как ей пользоваться, чтобы другие могли её запускать и не отвлекать тебя» " - тут автор оговорочку забыл приписать, зачастую такие просьбы не входят в рабочее время, как бы просят в не рабочее время написать мануал. В чем собственно проблема сделать СТО задачу с наивысшим приоритетом и мануал будет готов! Лукавишь автор!
В целом "рыба гниет с головы!". Какой СТО был в команде, такой и результат на выходе. Не надо, как говорится, перекладывать на незаменимых сотрудников.
плюс в карму поставил)
а о заряжен батарейки никто не подумал)))
а если я трек слушаю несколько раз и на макс.громкости он учитывается в рекомендациях как самый лучший? Нет конечно. А вот в spootify это учитывается и подмешиваются близкие треки.
А это вот Ваше tinyML - покушать батарейку))
тот случай когда подключил redis и уже назвал бекэнд микросервисной архитектурой)))
а как ты решил проблему с модификпцией configuratuiondumpinfo.xml? Файл тяжёлый для любой Ide с ангентами и в 100% агент просто разваливает файл когда пишет туда новые элементы с нужными uuid. А внесение изменений там нужно если в конфе используются перекрестеные ссылки, например создали ПВХ, и где-то используем ссылку на характеристику этого ПВХ. Я не смог победить это.
У себя использую не инструменты для создания правильных xml, а ресурсы. У протокола mcp по мимо tools, есть ещё resourses. Любая Ide при подключении mcp сразу загружает все ресурсы mcp.
И в ресурсах создал набор правил как правильно создавать xml с правильной структурой xsd: формы. отчёты, обработки, скд, soap и. т. п.
Схемы xsd получал скрипом из разных конфигураций (ут, унф, зуп, бп, ерп, ух, консолидация и. т. п. ). И при таком сценарии я не смог получить полные схемы xsd которые покрывают 100%.
где ссылки на mcp? Я так тоже могу сказать - у меня самые крутые mcp под 1с и они делают за меня все! В статье одна вода с голыми цифрами. Автор! Дай конкретику!
PS. Использую свои mcp но и они глячат. Идеальных вариантов нет.
context windows - это технология когда мы нашли чанк, потом приклеиваем к нему +-10 ближайших чанков. Если конечно в каждый чанк передавать структуру разделов материала.
прямо обидно за Postgre + pgvector что там можно хранить только сказку про колобка).
Не хватает тех. деталей: какая llm для чанков, используется ли реранкер, context windows и. т. п.
это уже что-то! А то обычно выложат проекты с передачей голых чанков в модель и удивляются что она так много кушает токенов.
как строются чанки: есть ли связи по объектам метаданных, есть ли Ast дерево метаданных? Есть ли реранкер? Есть ли ограничение на размер чанков выдаваемых модели или отдаём все как есть забивая контексте окно? Или просто тупо режем на чанки и отдаём модели кучу инфы?
какая модель используется для чанков? Это же очень дорогая операция.
Потратить 1 млн. на клавиатуру с нейросетью??? Вот же люди скучно живут! "И спустился с небес он. И глаголил всем “СЛОВО” это “слово”..."
В описании репозитория на github полное описание расширения и что оно умеет. Статью не стал перегружать лишними буквами.
https://github.com/asweetand-a11y/serena
вот проект с ast деревом под 1с.