Как стать автором
Обновить

Общаемся с базой знаний: как мы улучшили точность генеративных ответов LLM с помощью собственного RAG

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров8.7K
Всего голосов 7: ↑5 и ↓2+3
Комментарии10

Комментарии 10

Не ожидал в конце статьи увидеть свой калькулятор :D приятная пасхалка, спасибо и успехов!

Это потому, что мы сидим в Телеграм в одном чате, мы там его и увидели)

Тенденция - стартапы создают продукты на базе AI моделей или AI сервисов, а затем крупные поставщики AI сервисов создают аналогичный функционал, уничтожая стартапы (спасибо за идеи).

Например, OpenAI API есть Fine-tuning, в котором сделал нечто похожее на ваше решение - дообучение модели (GPT3.5/4.0) на внутренних (ваших) документах. fine-tuning
Сложно сказать, насколько удачно их реализация расширения модели, но есть.

Вы описали proprietary решение, но опасность работы с вами - вы небольшой поставщик, можете закрыть бизнес с бОльшей вероятностью чем крупный.

Резюмируя: красивое решение, но бизнес завязывать на ваше решение я бы побоялся.

Я согласен в целом с вашей аргументацией.
А сегодня OpenAi выпустил на своем DevDay еще и обновление модели и поддержку RAG официально (хотя она там была и ранее).
Но все же наше решение лучше минимум по тонкости настройки под клиента и установке в контур заказчика без утечек данных.

Можно ответить так: скорее средний бизнес будет выбирать качество и цену, а крупный - надежность. Далее, если нам удастся вырасти в клиентах, в медиа, репутации - то и крупный подтянется и перестанет бояться.
Примеров этому много, и в ИТ индустрии, и в других

Интересует вопрос как обстоят дела если данные грязные, не структурированные. CSV файлы?
Не тестировали на логах предыдущих чатах, может ли это работать в виде "отвечай на эти вопросы, как бы на них до этого ответил оператор службы поддержки"?

Ваш вопрос в целом об ответах по табличным данным - при этом не очень важно как они выражены, в виде разделителей как в csv, или визуальными границами как в docx.

Сейчас официально поддержки ответов по таблицам нет - эта фича может работать, но нестабильно, и лучше на простых таблицах, чем на сложных (с большим числом колонок, пустыми ячейками иногда и тп.)
В течение трех месяцев планируется выпуск VisualQA agent - и там ответ по таблицам будет, и не только.

По поддержке промтинга: вообще ваш кейс лучше работает если обучить свою модель, тогда модель будет понимать стиль.
Без обучения это тоже будет работать, но хуже - потому что собственно модель не знает что такое "оператор службы поддержки" - отчасти она будет считать этим стилем те ответы, которые в файле уже есть, тогда ок.

Интересный у Вас подход, спасибо за статью!

"Сделали собственный векторный поиск." - т.е. обучили свою кастомную модель для векторизации текстов, правильно? Или есть ещё какие-то лайфхаки в этой части.

Да, обучили свою модель, там несколько хаков есть, и в модели и в других местах. Но конечно не хочется их раскрывать - наверное небольшие компании не смогут это повторить, а вот большие, с кем мы и конкурируем могут попробовать, а нам бы этого не хотелось)

Захар, здравствуйте. В одной из ваших прошлых статей, а именно "Распознавание радиотехнических сигналов с помощью нейронных сетей" вы пишете, что для распознавания, в качестве признаков можно ввести статистические параметры сигналов. В частности, вы рассматриваете мат.ожидание, ско, эксцесс и асимметрию.
Как вы считаете, можно ли использовать эти же статистические параметры сигналов, как входные признаки для модели распознавания радиоэлектронных помех с помощью методов машинного обучения?

Здравствуйте! .

Если у Вас стационарный сигнал и помеха, то можно использовать различные численные параметры распределения, т.е. описать функцию распределения с помощью начальных и центральных моментов можно еще добавить спектральные/кепстральные коэффициенты.
Если нестационарный и т.е. стат. параметры меняются во времени, можно оценивать эти параметры скользящим окном, а результат уже подать на LSTM, GRU или трансформер.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории