Grok сейчас действительно один из самых щедрых бесплатных вариантов: без жёстких лимитов на инструменты и запросы, с автоматическим веб-поиском, когда нужно, и заметным прогрессом и уникальными фишками - ещё пару месяцев назад он был ощутимо слабее. Раньше я тоже считал GPT-4o/5 Plus + copy-paste в IDE абсолютной имбой и исправно платил подписку. А потом попробовал Cursor + Claude Opus за 20 $/мес - и понял, что это новый стандарт для разработки. Мир ускоряется, и это круто. Кто ещё недавно был на вершине - DeepMind в 2023-м, Gemini в начале 2024-го… Я вот всё жду, когда Алиса внезапно выстрелит и всех удивит, став AGI-предводительницей :) Звучит как шутка, но в нашей сфере возможно всё.
Классная статья. Читал её до того, как начал работать в сопровождении. Сейчас уже не работаею, перечитываю статью - как всё до боли знакомо, особенно отсутствие нормального тестирования))) Всё через боль, локальные выезды, anydesk и вечные гипотезы с догадками. Про smoke-тесты ты лихо написал, у кого-то про них и не слышали даже)
Могу лишь дополнить как далеки разработчики между своими диагностиками по логам и тому, что реально происходит у клиента. Код рефакторится, проблема не решается. Проще самому разработчиком стать и написать правильный код, чем донести кодеру паттерны проявления багов и их причинно-следственную связь дабы не допустить повторяющихся проблем в будущих фичах и доработках :) В целом, работа не пыльная, местами скучноватая, местами интересная.
блин, ява такая сложная, но кажется такой супер-универсальной... Автору 22 года, а темы актуальные в статьях, мейнстримовые, откуда столько сил учиться и держать темп?) Я имею ввиду, что темы, как по мне, очень актуальные и нужные, не какое-то там решение годовалой давности, которое есть у всех, а именно то, чего не хватает всем в данный момент, по крайней мере у нас в РФ.
субъект–отношение–объект - это делают семантические энкодеры внутри эбеддинговых NLP. (sbert.net).
Reasoning - это про LLM и к их pretraining(instructions)+finetuning
Извлечение графа знаний - А если у меня RAG без Графов?
А в чем проблема сгенерировать вопросы в другой LLM?)
Вопросы берутся из логов по-хорошему.
Вопросы должны быть релевантны.
CRAG (проверка по человеческим эталонным ответам), Self-CRAG (проверка retrieval с выдачей LLM как с эталоном) - %% текста из чанков topN сравнивается c выдачей LLM генерации на их основе. очень важно, чтобы чанки не обрезались.
Генерация типов вопросов - Это точно проверка RAG (RETRIEVAL) а не LLM?
Вопрос к Сберу, когда у нас появятся русские эмбеддинг+реранкер модели в связке для dense+sparse+dot под русский язык? Вроде железо есть для файнтюна, датасеты есть, а open-sourse моделей 0-13B нету. Был sber-ruBert когда-то, но уже неактуальный стал.
Андрей, ты моим кумиром становишься. Когда ты писал про RAG, я о нём только узнал, и сейчас уже эксперт по RAGу.
Теперь с этой статьи я уже понимаю как java работает) все очень схоже с питоном для NLP, только java - под devops) Спасибо, очень хорошие знания для нубов Не хватает только красивой таблицы как памятки твоих методик. Вот только java совсем не торкает )))
Спасибо за личный опыт в статье. Очень полезно. Все бы такие инсайды кидали сюда) Ру-Коммьюнити хочу по ML, а не эти буржуйские-безликие-глобальные-унифицированные github и discord. У нас в стране своя реальность.
Не подскажете, может есть такие?) Типа "форумы" аля закрытый форум banki.ru, который закрылся недавно. Группироваться надо - это полезная тема)
Статья стала откровением для меня, и ведь правда. Рукоделие - лекарство от серой жизни. Теперь стали понятны мои навязчивые странные побуждения к шитью, лепке и рисованию. Пойду, паяльник куплю, что ли, а то не-поайтишному.
Как оказалось... Векторизация-индексация-реранкер-модели-мультимодели -- всё фигня! Главное в доках - это Чанки. От массивных чанкеров к тонким: Langchain(на хайпе)-llamaindex-Tiktokenizer(1love).
Абзацы пункты таблицы все в один target_tokens limit умещаем. overlap 25% от target limit. Но не слишком большой, а то индексикация плохой будет; при малых пунктах/абзацах/таблицах - склеиваем чанки, но чтобы не больше target_tokens по токенам была сумма; слишком большие абзацы ушедшие за лимит аккуратно разделяем между предложениями. слишком маленькый target_tokens - плохой эндпоинт и большой вес модели, лаги, необходимость повторном ретривере.
Еще с таблицами отдельный вопрос. Можно pdftotext/pdfminer.six если сканы хорошие, либо ocrmupdf (нагрузка на vram) А можно CV легенькое как-то подцепить... Это к вопросу о хорошей предобработке даты
LLM в дизайне - ни о чем. И еще долго будет ниочем. Картинки котиков, это не векторные изображения с возможностью правок. ЗЫ: Люди - сволочи. Человек проект жизни открыл - заминусили. Поделился горем - залайкали
А в чем проблема предварительно pdf подготовить в .ps через тот же OCR вне RAG? Вся суть rag, что вся база данных актуальной должна быть., чтобы не глючить, а выдавать четкий конкретный ответ по запросу.
Какая же ты умничка, br0mberg. Очень структурно и красиво оформлено, а самое главное - та тема, которую неохотно все внедряют из-за неведения и слабого представлнния всего потенциала четкой RAG
Единственное, взята в пример конкретная внедренная структура, парсинг и очистка может быть совсем иная. Векторность так же можно через llm обучить , но с геммором. Все зависит от поставленных задач, величины базы данных и железа) Но суть статьи - RAG must have. Куда донатить за статью?)
Grok сейчас действительно один из самых щедрых бесплатных вариантов: без жёстких лимитов на инструменты и запросы, с автоматическим веб-поиском, когда нужно, и заметным прогрессом и уникальными фишками - ещё пару месяцев назад он был ощутимо слабее. Раньше я тоже считал GPT-4o/5 Plus + copy-paste в IDE абсолютной имбой и исправно платил подписку. А потом попробовал Cursor + Claude Opus за 20 $/мес - и понял, что это новый стандарт для разработки. Мир ускоряется, и это круто. Кто ещё недавно был на вершине - DeepMind в 2023-м, Gemini в начале 2024-го… Я вот всё жду, когда Алиса внезапно выстрелит и всех удивит, став AGI-предводительницей :) Звучит как шутка, но в нашей сфере возможно всё.
Попробуйте мой Hybrid RAG. Чистый Torch. Релевантные ответы по регуляторке 100/100. Справился лучше, чем gpt5plus + docs connector + deep research. Акцент на понимание и рефразер промта, а не на красивую структуру ответа.
kam1k88/GOST1k: Локальный AI-ассистент, который помогает находить и делать структурированные ответы по запросу на основании детерминированной загруженной информации в документах.
Классная статья. Читал её до того, как начал работать в сопровождении. Сейчас уже не работаею, перечитываю статью - как всё до боли знакомо, особенно отсутствие нормального тестирования))) Всё через боль, локальные выезды, anydesk и вечные гипотезы с догадками.
Про smoke-тесты ты лихо написал, у кого-то про них и не слышали даже)
Могу лишь дополнить как далеки разработчики между своими диагностиками по логам и тому, что реально происходит у клиента. Код рефакторится, проблема не решается. Проще самому разработчиком стать и написать правильный код, чем донести кодеру паттерны проявления багов и их причинно-следственную связь дабы не допустить повторяющихся проблем в будущих фичах и доработках :)
В целом, работа не пыльная, местами скучноватая, местами интересная.
блин, ява такая сложная, но кажется такой супер-универсальной...
Автору 22 года, а темы актуальные в статьях, мейнстримовые, откуда столько сил учиться и держать темп?) Я имею ввиду, что темы, как по мне, очень актуальные и нужные, не какое-то там решение годовалой давности, которое есть у всех, а именно то, чего не хватает всем в данный момент, по крайней мере у нас в РФ.
подписался на гитхаб :)
Мощная статья о наболевшем. Заставила пересобрать резюме и пересмотреть подачу компетенций.
HR-сферу пора перезапускать с нуля. Сам подумывал протестировать новые подходы подбора, не опираясь на устаревшие шаблоны.
LinkedIn давно стал платформой сертификаций и точечных профессий, формирующих целостный профиль.
HH пошел в SMM и PR через "Сетку" и tenchat, но не решает главного - отсутствует верификация навыков и актуальная классификация.
Результат - 1000 откликов на вакансию и ноль смысла.
Я как дилетант, не видившего prod в масштабе: почему не LanceDB? Почему clickhouse? 1k cores AI triggers о_0
Спасибо за наглядный опыт. Как делать не надо - я понял 😁
Все, что тут написано, про LLM бэкграунд больше.
RAG ≠ RAG+LLM
RAG = NLP+VectorsDB(dataset)
субъект–отношение–объект - это делают семантические энкодеры внутри эбеддинговых NLP. (sbert.net).
Reasoning - это про LLM и к их pretraining(instructions)+finetuning
Извлечение графа знаний - А если у меня RAG без Графов?
А в чем проблема сгенерировать вопросы в другой LLM?)
Вопросы берутся из логов по-хорошему.
Вопросы должны быть релевантны.
CRAG (проверка по человеческим эталонным ответам), Self-CRAG (проверка retrieval с выдачей LLM как с эталоном) - %% текста из чанков topN сравнивается c выдачей LLM генерации на их основе. очень важно, чтобы чанки не обрезались.
Генерация типов вопросов - Это точно проверка RAG (RETRIEVAL) а не LLM?
В общем моя претензия - причем тут RAG вообще?
рекоммендую базу
по RAG
1) NirDiamant/RAG_Techniques
2) Hybrid Search Revamped - Building with Qdrant's Query API - Qdrant
3) MUVERA: Making Multivectors More Performant - Qdrant
4) kam1k88/GOST1k: Поиск по документам
по NLP (Sentence Transformers + Embeddings )
1) Quickstart — Sentence Transformers documentation - там же и finetune и прочее. Методы обучения схожие с LLM
Вопрос к Сберу, когда у нас появятся русские эмбеддинг+реранкер модели в связке для dense+sparse+dot под русский язык? Вроде железо есть для файнтюна, датасеты есть, а open-sourse моделей 0-13B нету. Был sber-ruBert когда-то, но уже неактуальный стал.
Андрей, ты моим кумиром становишься. Когда ты писал про RAG, я о нём только узнал, и сейчас уже эксперт по RAGу.
Теперь с этой статьи я уже понимаю как java работает) все очень схоже с питоном для NLP, только java - под devops) Спасибо, очень хорошие знания для нубов Не хватает только красивой таблицы как памятки твоих методик. Вот только java совсем не торкает )))
А сейчас все под java стандартизировано уже?
БАЗА
https://github.com/NirDiamant/RAG_Techniques
LightRAG включен в RAG-Anything
https://github.com/HKUDS/LightRAG
LightRAG/README.md at main · HKUDS/LightRAG
RAG-Anything/README.md at main · HKUDS/RAG-Anything
https://github.com/HKUDS/RAG-Anything
Спасибо за личный опыт в статье. Очень полезно. Все бы такие инсайды кидали сюда) Ру-Коммьюнити хочу по ML, а не эти буржуйские-безликие-глобальные-унифицированные github и discord. У нас в стране своя реальность.
Не подскажете, может есть такие?) Типа "форумы" аля закрытый форум banki.ru, который закрылся недавно. Группироваться надо - это полезная тема)
Статья стала откровением для меня, и ведь правда. Рукоделие - лекарство от серой жизни. Теперь стали понятны мои навязчивые странные побуждения к шитью, лепке и рисованию. Пойду, паяльник куплю, что ли, а то не-поайтишному.
Как оказалось... Векторизация-индексация-реранкер-модели-мультимодели -- всё фигня! Главное в доках - это Чанки. От массивных чанкеров к тонким: Langchain(на хайпе)-llamaindex-Tiktokenizer(1love).
Абзацы пункты таблицы все в один target_tokens limit умещаем. overlap 25% от target limit. Но не слишком большой, а то индексикация плохой будет; при малых пунктах/абзацах/таблицах - склеиваем чанки, но чтобы не больше target_tokens по токенам была сумма; слишком большие абзацы ушедшие за лимит аккуратно разделяем между предложениями. слишком маленькый target_tokens - плохой эндпоинт и большой вес модели, лаги, необходимость повторном ретривере.
Еще с таблицами отдельный вопрос. Можно pdftotext/pdfminer.six если сканы хорошие, либо ocrmupdf (нагрузка на vram) А можно CV легенькое как-то подцепить... Это к вопросу о хорошей предобработке даты
LLM в дизайне - ни о чем. И еще долго будет ниочем. Картинки котиков, это не векторные изображения с возможностью правок.
ЗЫ: Люди - сволочи. Человек проект жизни открыл - заминусили. Поделился горем - залайкали
Почитайте про RAG Flow. . RAG на двух видюхах (моделях) самообучающийся.
И ждем новую статью)
Done
А в чем проблема предварительно pdf подготовить в .ps через тот же OCR вне RAG? Вся суть rag, что вся база данных актуальной должна быть., чтобы не глючить, а выдавать четкий конкретный ответ по запросу.
Какая же ты умничка, br0mberg. Очень структурно и красиво оформлено, а самое главное - та тема, которую неохотно все внедряют из-за неведения и слабого представлнния всего потенциала четкой RAG
Единственное, взята в пример конкретная внедренная структура, парсинг и очистка может быть совсем иная. Векторность так же можно через llm обучить , но с геммором. Все зависит от поставленных задач, величины базы данных и железа) Но суть статьи - RAG must have. Куда донатить за статью?)
Что-то я не пойму, а где на изображении планета сама? Вот этот сгусток оранжевый? Планеты-то самой не видать за газо-пылевым облаком