Этому товарищу (fable), лучше заранее говорить, что бы больше 2-3 субагентов не запускал.
Попросил его провести аудит проекта небольшого и ушел, а он запустил 115 субагентов и за 6 минут съел 5 часовой лимит х20. Opus таким расточительством не занимается
То что нормализацию делаете в . md правильно. Прогоняйте через ИИ чтобы переписывала документы в нужный под чанкер формат. Тогда сразу двух зайцев убьете, - нормализация и с алгоритмом чанкования не будете париться. Сами свой универсальный чанкер под свою документацию напишете.
С bpmn , диаграммами я не сталкивался лично, не подскажу. А так берите опенсорс qwen3-4b эмбеддер, смотрите метрики, реранкер тоже можете попробовать квена взять 0.6b. Зафиксируйте метрики на базовом квене и lora делайте на своих доках. У меня разные метрики выросли уже на 50-300% , на дообученном эмбеддере и реранкере. Но возможно вас и сырой гибрид с бм25 устроит. В любом случае каждый домен и пул документов как правило требует длительного тестирования и метрик. RAG нормальный без этого не построить.
Начните с бм25, реранкера(если его еще нет). Возможно этого хватит для выполнения ТЗ. Cohere 3.5 можете на опенроутере или российском провайдере-прокладке попробовать. Т.к иногда с ру серверов cohere отбивает 403
Да, раньше пробовал коробочные решения. Но там нет гибкости, нет возможности метаинфу к докам креплять и прочего. Это как раз подходит для того чтобы просто найти похожие фрагменты, но аналитики и диагностики ИИ на базе этой, система не даст. Достаточно примитивная
Ну хорошо 200B тянет. Пусть и 500b тянет. Насколько это в проде практично использовать или хотя бы как тестовую среду? В плане скорости. Вот есть допустим MoE Qwen235b, при входящем контексте в 200к токенов, сколько займет проглатывание контекста и какая будет скорость генерации? Даже если упереться во все оптимизации и трюки, аля https://inllm.ru/inferens/optimizaciya-inferensa#pagedattention-и-vllm
Ловишь майнер, достаешь флешку с dr.web с надеждой что ты умный и думаешь на шаг вперед, вставляешь > запускаешь, а он, - "Обновите меня! Без обновлений не могу, скачайте с офф сайта новую версию". А офф сайт и браузер крашатся майнером, который на два шага вперед:)
Человек который придумает реально элегантную память для агента и в целом RAG, станет кумиром. Это реальная боль.. Казалось бы пол года бился за красивые recall и прочее, перебрал десятки моделей БЯМ, реранкеров, эмбеддеров, добавил бм25, накатил еще граф сверху, но как только к системе нужно подключить другой отдел своей же компании с немного другим форматом документации, ее объёмом и структурой, все идет через одно место и нужно снова проводить тесты, гонять метрики и молиться чтобы ранее рабочий алгоритм не отвалился.
Но одну истину я уяснил, если объём и формат документации позволяют сделать через библиотекаря(навигатора, роутера), лучше сделать так. Это прослеживается более адекватно, а не надежда на вектора, это одна точка отказа - LLM, а не три - LLM, embedding, reranker. Не нужно БД лишние держать. Но это не всегда серебряная пуля и нужно реально гонять тесты, как я вначале сказал. Так что ждем гения, который даст такую пулю🙂
А так да, даже на сервер по SSH не сразу зашла, а пришлось мягко промптить. При этом лимиты она явно больше чем х2 жрет от 4.8. Я на х20 сижу давно на одном проекте и знаю хорошо сколько ест, х5-х8 на глаз. Х2 там не пахнет.
Сделайте уже какую нибудь хотя бы ИИ модерацию постов. Ну серьёзно, noname ресурс, без авторских авторитетных постов, без репутации, на сайте которого даже бургер свёрстан криво, предлагает курсы по 50к.
V4 Pro 970р за миллион токенов? Шта? В 8-10 раз дешевле, если вы конечно не роль апи прокладок имеете ввиду, которые свой фиксированный процент берут за маршрутизацию запросов юзера к опенроутеру и обратно с конской наценкой, коих развелось уже вагон и маленькая тележка.
Гемини включает 🔦
Этому товарищу (fable), лучше заранее говорить, что бы больше 2-3 субагентов не запускал.
Попросил его провести аудит проекта небольшого и ушел, а он запустил 115 субагентов и за 6 минут съел 5 часовой лимит х20. Opus таким расточительством не занимается
Спасибо!
То что нормализацию делаете в . md правильно. Прогоняйте через ИИ чтобы переписывала документы в нужный под чанкер формат. Тогда сразу двух зайцев убьете, - нормализация и с алгоритмом чанкования не будете париться. Сами свой универсальный чанкер под свою документацию напишете.
С bpmn , диаграммами я не сталкивался лично, не подскажу. А так берите опенсорс qwen3-4b эмбеддер, смотрите метрики, реранкер тоже можете попробовать квена взять 0.6b. Зафиксируйте метрики на базовом квене и lora делайте на своих доках. У меня разные метрики выросли уже на 50-300% , на дообученном эмбеддере и реранкере. Но возможно вас и сырой гибрид с бм25 устроит. В любом случае каждый домен и пул документов как правило требует длительного тестирования и метрик. RAG нормальный без этого не построить.
Начните с бм25, реранкера(если его еще нет). Возможно этого хватит для выполнения ТЗ. Cohere 3.5 можете на опенроутере или российском провайдере-прокладке попробовать. Т.к иногда с ру серверов cohere отбивает 403
Спасибо!
Да, с вашим количеством документов подход явно иной. Это статья скорее для таких же как я, чтобы не городили оверкил там, где не нужно🫡
Извините, я какую задачу может решить модель 1b, если мы не про реранкеры/эмбеддеры ?! Генерация текста? Это можно и без модели решить
Да, раньше пробовал коробочные решения. Но там нет гибкости, нет возможности метаинфу к докам креплять и прочего. Это как раз подходит для того чтобы просто найти похожие фрагменты, но аналитики и диагностики ИИ на базе этой, система не даст. Достаточно примитивная
Спасибо, Интересно!
А вы думали тоже самое делать с моделями по крупнее? Qwen 8-14b или MoE 35b?
Ну хорошо 200B тянет. Пусть и 500b тянет. Насколько это в проде практично использовать или хотя бы как тестовую среду? В плане скорости. Вот есть допустим MoE Qwen235b, при входящем контексте в 200к токенов, сколько займет проглатывание контекста и какая будет скорость генерации? Даже если упереться во все оптимизации и трюки, аля https://inllm.ru/inferens/optimizaciya-inferensa#pagedattention-и-vllm
Насколько эти спарки и прочее юзабельны?
Это было в прошедшем) сейчас я понимаю и про слои, куда-сколько и про движки инференса и прочее. Тогда опыта было 0
Ловишь майнер, достаешь флешку с dr.web с надеждой что ты умный и думаешь на шаг вперед, вставляешь > запускаешь, а он, - "Обновите меня! Без обновлений не могу, скачайте с офф сайта новую версию". А офф сайт и браузер крашатся майнером, который на два шага вперед:)
Вот лучше бы это нашли как обойти.
Человек который придумает реально элегантную память для агента и в целом RAG, станет кумиром. Это реальная боль.. Казалось бы пол года бился за красивые recall и прочее, перебрал десятки моделей БЯМ, реранкеров, эмбеддеров, добавил бм25, накатил еще граф сверху, но как только к системе нужно подключить другой отдел своей же компании с немного другим форматом документации, ее объёмом и структурой, все идет через одно место и нужно снова проводить тесты, гонять метрики и молиться чтобы ранее рабочий алгоритм не отвалился.
Но одну истину я уяснил, если объём и формат документации позволяют сделать через библиотекаря(навигатора, роутера), лучше сделать так. Это прослеживается более адекватно, а не надежда на вектора, это одна точка отказа - LLM, а не три - LLM, embedding, reranker. Не нужно БД лишние держать. Но это не всегда серебряная пуля и нужно реально гонять тесты, как я вначале сказал. Так что ждем гения, который даст такую пулю🙂
Лендинги без цензуры делает😁
А так да, даже на сервер по SSH не сразу зашла, а пришлось мягко промптить. При этом лимиты она явно больше чем х2 жрет от 4.8. Я на х20 сижу давно на одном проекте и знаю хорошо сколько ест, х5-х8 на глаз. Х2 там не пахнет.
Поставил ради интереса, спасибо, здорово работает🫡 хоть и один конфиг из 20 только полностью валидный в моём случае
Сделайте уже какую нибудь хотя бы ИИ модерацию постов. Ну серьёзно, noname ресурс, без авторских авторитетных постов, без репутации, на сайте которого даже бургер свёрстан криво, предлагает курсы по 50к.
V4 Pro 970р за миллион токенов? Шта? В 8-10 раз дешевле, если вы конечно не роль апи прокладок имеете ввиду, которые свой фиксированный процент берут за маршрутизацию запросов юзера к опенроутеру и обратно с конской наценкой, коих развелось уже вагон и маленькая тележка.
Почему. Поставят nano локальную и все.
До опуса 4 дотянется релизов через 30. Казалось бы самая крупная часть рынка у Альтмана, денег больше всего, а за антропиком не поспевает
Создали фикус