Обновить
4
Павел Мохляков@gametwix

Пользователь

4
Подписчики
Отправить сообщение

AI-агенты, давайте сами. Как научить AI-агента искать информацию по базе, не задействуя датасеты

Уровень сложностиСредний
Время на прочтение12 мин
Охват и читатели8.5K

Что, если я скажу, что для обучения AI-агентов вам вообще не нужны датасеты? Не надо их собирать, валидировать, размечать. Достаточно развернуть двух агентов на компактной модели Qwen2.5-3B или 7B, запустить их где-нибудь у себя или в облаке, дать им базу знаний и наблюдать за циклом «AI учит сам себя», попивая кофеек :)

В середине января 2026 года на Hugging Face опубликовали исследование по фреймворку Dr. Zero (DeepResearch-Zero) для самообучения агентов (ссылка на GitHub там тоже имеется). Фишка: в этом подходе агенты самообучаются с нуля без участия человека и показывают результаты, сопоставимые с полностью контролируемыми поисковыми агентами. Для вашего удобства я написал обзор исследования и дополнил его пояснениями. Приглашаю почитать обо всем этом под катом.

Читать далее

Используем несколько нейронок безопасно и через единый интерфейс. Инструкция по внедрению LiteLLM

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели21K

Есть несколько очевидных проблем с LLM: утечка конфиденциальных данных и кода, компрометация токенов, зависимость от внешних провайдеров. О них знают все, но это никого не останавливает. Даже если руководитель решит перестраховаться и не выделит деньги на LLM, сотрудники купят подписку сами и продолжат ими пользоваться, потому что это удобно. Есть и менее очевидные сложности: например, одна команда может потратить все токены, и их придется докупать.

Привет, я Павел Мохляков. Вообще я Data Science-инженер в Cloud.ru, но сегодня решил, почему бы не рассказать как с помощью LLM-шлюза можно использовать несколько LLM через один API и при этом снизить риск утечки данных, контролировать расходы и соблюдать требования №152-ФЗ. Кроме того, покажу пример тестового подключения и объясню, что делать на каждом этапе.

Сразу оговорюсь, что статья будет полезна, скорее всего, инженерам, архитекторам, да и просто человекам-оркестрам из средних и малых компаний, которым нужно относительно быстро и безопасно внедрить у себя LLM. А вот для крупного бизнеса или, например, КИИ явно нужно что-то другое — посерьезнее и понадежнее.

Читать далее

Как я экономлю на инференсе LLM-модели в облаке и не теряю в качестве

Время на прочтение7 мин
Охват и читатели12K

Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно. И, вполне вероятно, столкнулись с одной из типичных проблем:

«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».

«Платим за A100, а реально используем лишь 30% ее мощности».

Привет, я Павел, ML-инженер в Cloud.ru. И я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.

Сегодня на примере настройки фреймворка VLLM покажу, как запускать крупные языковые модели без переплат за GPU. Мы разберемся, как VLLM распределяет vRAM, какие его параметры действительно влияют на потребление памяти и производительность, и как с их помощью гибко управлять балансом между затратами, скоростью и качеством модели.

Читать далее

Информация

В рейтинге
Не участвует
Откуда
Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность