Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 12
Развернул на своем сервере. Так надёжнее
Отличный способ автоматизации. n8n использовали облачный или селф-хостед?
Для загрузки документов сделали отдельный веб интерфейс?) интересный метод!
а как Клод режет текст на куски? Особенно пдф
Отличная статья, прочитал с интересом! Особенно ценен инсайт про то, что качество документации важнее качества RAG. По сути, data is still king, просто теперь данные нужно структурировать под новые способы потребления. Идея что в документации уже должен быть ответ на любой вопрос - это сдвиг парадигмы для технических писателей.
Несколько вопросов и мыслей.
По поиску: смотрели ли в сторону гибридного подхода, BM25/keyword search плюс reranker поверх векторного? На специфичных терминах и артикулах точное совпадение часто работает лучше эмбеддингов. Или на вашем объёме в 50 документов разница несущественна?
По картинкам: сейчас есть мультимодальные эмбеддинги вроде ColPali, которые могли бы убить самый болезненный ручной процесс сопоставления. Не пробовали?
Про Agent SDK от Anthropic очень интересно ваше мнение. Я в нескольких проектах использовал, и это магия: в 95% случаев делает именно то что нужно, даже без детальных инструкций. Особенно если правильно подобраны MCP и скормлено достаточно контекста. У вас в n8n уже есть зачатки агентности, не думали развить?
И вопрос про локальную модель: почему именно она? Понимаю аргументы про данные и надёжность, но по моему опыту локальные LLM это главные убийцы разработки. Много думаешь о железе, всё упирается в GPU, нет возможности итеративно развиваться. Сейчас время экспериментов, даже в энтерпрайзе. Не рассматривали бесплатный тир OpenRouter или подобное? Скорость у вас и так 20-40 секунд, внешний API вряд ли будет хуже.
И ещё интересно: какой процент ресурсов компании занимает поддержка? Пытаюсь понять масштаб проблемы которую решает бот.
Благодарю за честный разбор с граблями и инсайтами!
Отличные вопросы, СПАСИБО!
Пошел думать. Видимо - родилась тема для отдельной статьи.
Понял, что до статьи по мотивам - доберусь не скоро. Вот короткие ответы:
Про реранкер и гибридный поиск. Если честно, когда я представляю на какие круги мне надо будет зайти с этими штуками, то пока не готов даже думать о них. В AI агенте n8n я попросил сделать второй заход с переформулировкой вопроса, если ответ первого с низкими score, но пока не рассказал как это делать. Так что, следующий шаг - в AI Агента добавить контекстом термины и попросить обогащать запрос в RAG этими терминами.
Да, на 50 документах - пока все это не имеет смысла.
С картинками такая тема. Пока я просто подкидываю картки из логического блока. Сопоставляется это ручками очень быстро - видно где прилетели из PDF “мусорные” картинки (не пронумерованные) и туда вставляется "пустая" картинка. Сопоставлять с LLM - отдельная сложная история.
Про Agent SDK от Anthropic услышал - буду изучать тему. От n8n к своей агентской системы шаг - как прыжок в космос. Ресурсы на разработку вырастут х100. Это будет совсем другая история. Но, факт в том, что да - нужна более мощная система агентская чем n8n.
Про локальную модель. Да, следующим этапом я просто подключил… DeepSeek chat. В статье рисунок 4 - это как раз простое обходное решение с внешней моделью. Qwen - просто был экспериментом. На локальной модели все печально медленно, но очень хотелось попробовать именно локальную модель.
Из наблюдений: промпт отточенный на qwen 8b хорошо работает в DeepSeek chat. Наоборот - работает так себе.
Про метрики. Поиск по 50 невычитанным документам занимает время, а главное, раздражает. Теперь все картики оттуда прилетают в чат. Дальше можно скопировать или переслать дальше.
Пока просто повысилось качество и изменился подход. О количественных показателях говорить не приходится.
Благодарю за ответы и что поделились своим опытом!
Желаю успехов в вашем деле!
Добрый день! Огромное спасибо за то, что поделились опытом!
Скажите, пожалуйста, не думали развернуть локально llm от Сбера? Он вроде с русскоязычными достаточно хорошо работает.
И пожалуйста, если будете допиливать - делитесь статьями. Очень Ваш слог заходит. И задачи немного похожие - думаю как пилить чат-бот по внутренней документации (у нас бюджетное учреждение, на внешку в llm совсем ходить нельзя). При этом из оборудования тоже только игровой комп)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
AI & RAG. Помощник по техническим вопросам систем управления освещением