Приветствую! В среднем запросы обрабатываются 10–20 секунд с момента отправки до получения ответа. При наличии нескольких параллельных вопросов они обрабатываются последовательно, через очередь, поэтому не замедляют друг друга. То есть при частоте 1 запрос в 30 секунд и реже проблем на нашем текущем железе не будет.
Специально метрики не собирали. На старте ориентировались в первую очередь на качество ответов и общую загрузку, но результаты не фиксировали, поскольку тогда нам было важно только понять, удовлетворяет ли решение потребности. Сейчас уже ведем статистику по запросам: сам вопрос; по какой документации он был задан; удалось ли найти ответ.
Конкретно Qwen3.6 не пробовали, так как она еще не вышла на тот момент, но тестировали много других. Основной плюс GPT-OSS для нас — небольшой вес самой модели и, как правило, меньший вес контекста относительно других популярных моделей. Для нас важнее, чтобы в памяти параллельно могли существовать основная модель и эмбеддер. В таком случае при каждом новом запросе не нужно выгружать основную модель для загрузки эмбеддера, что дает значительный выигрыш в скорости при параллельных запросах.
С моделями на 30–35b приходится либо выгружать эмбеддер / основную модель на каждый запрос, что замедляет работу сильнее, чем смена модели, либо ужимать контекст, а это может влиять на качество ответа на сложные вопросы с несколькими источниками данных.
Качества же GPT-OSS нам достаточно, так как на результат сильнее влияет правильная выборка чанков из документации, чем уровень размышления модели. От нее требуется лишь сформировать ответ из данных на «человеческом» языке по шаблону.
Привет! Нет, всё делится алгоритмом. В случае, когда нет возможности сохранить целостность блока (блок > N символов), семантику позволяет сохранить перекрытие текста внутри блоков. Еще хранится информация о пути к конкретному блоку (включая родительские блоки), чтобы был понятен контекст этих данных
Документы экспортируются из базы знаний в HTML, затем из этих файлов удаляются JS и CSS элементы, а HTML разбивается по заголовкам разделов на смысловые блоки (абзац или таблица). Если блок выходит большой, он делится на более мелкие, с перекрытием. Также сохраняется информация о том, к какому разделу относится блок, чтобы можно было вытаскивать более полный контекст. Затем удаляются HTML теги и полученные чанки с помощью e превращаем в векторы
По объёмам, загрузка документов производилась отдельными разделами документации по 500-1000 штук за раз, по времени это занимало часа 2. Сейчас, когда все документы уже в векторной базе, обновляются только те документы, для которых в базе знаний появилась новая версия. Это происходит каждую ночь и не занимает много времени
Добрый день! Да, агенты - это уже другой уровень, но мы постепенно берём и его. Сейчас, например, прорабатываем возможность вызова инструментов и последовательного использования нескольких LLM для решения сложных задач.
Для нас важно соблюдать баланс между простотой и безопасностью продукта, поэтому если понимаем, что можем реализовать что-то своими силами и это не займёт много времени, то стараемся не использовать сторонние решения. Поэтому кроме n8n остальные элементы у нас самописные
Информация
В рейтинге
Не участвует
Откуда
Санкт-Петербург и область, Россия
Дата рождения
Зарегистрирована
Активность
Специализация
Руководитель направления IT инфраструктуры и автоматизации
Приветствую! В среднем запросы обрабатываются 10–20 секунд с момента отправки до получения ответа. При наличии нескольких параллельных вопросов они обрабатываются последовательно, через очередь, поэтому не замедляют друг друга. То есть при частоте 1 запрос в 30 секунд и реже проблем на нашем текущем железе не будет.
Добрый день!
Специально метрики не собирали. На старте ориентировались в первую очередь на качество ответов и общую загрузку, но результаты не фиксировали, поскольку тогда нам было важно только понять, удовлетворяет ли решение потребности. Сейчас уже ведем статистику по запросам: сам вопрос; по какой документации он был задан; удалось ли найти ответ.
Конкретно Qwen3.6 не пробовали, так как она еще не вышла на тот момент, но тестировали много других. Основной плюс GPT-OSS для нас — небольшой вес самой модели и, как правило, меньший вес контекста относительно других популярных моделей. Для нас важнее, чтобы в памяти параллельно могли существовать основная модель и эмбеддер. В таком случае при каждом новом запросе не нужно выгружать основную модель для загрузки эмбеддера, что дает значительный выигрыш в скорости при параллельных запросах.
С моделями на 30–35b приходится либо выгружать эмбеддер / основную модель на каждый запрос, что замедляет работу сильнее, чем смена модели, либо ужимать контекст, а это может влиять на качество ответа на сложные вопросы с несколькими источниками данных.
Качества же GPT-OSS нам достаточно, так как на результат сильнее влияет правильная выборка чанков из документации, чем уровень размышления модели. От нее требуется лишь сформировать ответ из данных на «человеческом» языке по шаблону.
Привет! Нет, всё делится алгоритмом. В случае, когда нет возможности сохранить целостность блока (блок > N символов), семантику позволяет сохранить перекрытие текста внутри блоков. Еще хранится информация о пути к конкретному блоку (включая родительские блоки), чтобы был понятен контекст этих данных
Документы экспортируются из базы знаний в HTML, затем из этих файлов удаляются JS и CSS элементы, а HTML разбивается по заголовкам разделов на смысловые блоки (абзац или таблица). Если блок выходит большой, он делится на более мелкие, с перекрытием. Также сохраняется информация о том, к какому разделу относится блок, чтобы можно было вытаскивать более полный контекст. Затем удаляются HTML теги и полученные чанки с помощью e превращаем в векторы
По объёмам, загрузка документов производилась отдельными разделами документации по 500-1000 штук за раз, по времени это занимало часа 2. Сейчас, когда все документы уже в векторной базе, обновляются только те документы, для которых в базе знаний появилась новая версия. Это происходит каждую ночь и не занимает много времени
И да, все эти процессы автоматизированы)
Добрый день! Да, агенты - это уже другой уровень, но мы постепенно берём и его. Сейчас, например, прорабатываем возможность вызова инструментов и последовательного использования нескольких LLM для решения сложных задач.
Для нас важно соблюдать баланс между простотой и безопасностью продукта, поэтому если понимаем, что можем реализовать что-то своими силами и это не займёт много времени, то стараемся не использовать сторонние решения. Поэтому кроме n8n остальные элементы у нас самописные