Pull to refresh
16K+
7
Кирилл Гришанин@rnbparty

Основатель WB—Tech

45
Rating
26
Subscribers
Send message

Открытые LLM в продакшене: 8 выводов о llama.cpp, Gemma и Qwen

Level of difficultyMedium
Reading time19 min
Reach and readers17K

Об открытых языковых моделях написано много — и почти все статьи посвящены знакомству, в лучшем случае — «медовому месяцу» использования. Бенчмарки, рейтинги «лучших моделей года», полевые тесты на одной задаче, руководства. Гораздо реже говорят, что происходит потом: как ведет себя модель спустя месяцы непрерывной работы, где и почему начинает сбоить, что ломается под нагрузкой и какие инженерные решения постепенно вытесняют первоначальные представления о том, «как надо». 

В WB-Tech мы занимаемся тем, что разворачиваем и сопровождаем открытые модели и агентные системы в собственной инфраструктуре — для внутренних задач и для заказчиков. Это классификация и обогащение входящих заявок, обработка документов, диалоговые системы с вызовом инструментов и другие сценарии, где LLM становятся частью бизнес-процесса, явно выходя за рамки демонстрационных возможностей модели. 

Большинство наших клиентов приходят к локальному развертыванию не из любопытства, а из практической необходимости. Для одних вынос данных во внешний API запрещен требованиями безопасности, другим, экономика облачных моделей перестает нравиться на больших объемах. Поэтому вопрос «зачем держать модель у себя» оставим за скобками: конфиденциальность данных, предсказуемая стоимость при объемах и независимость от чужого API уже давно стали аксиомой в пользу самостоятельного хостинга для целого ряда задач.

Интереснее другое: что меняется после того, как модель начинает жить в продакшене, когда выясняется, что большая часть инженерной работы связана вовсе не с выбором LLM и приходится заново принимать решения об инференсе, промптах, агентной оркестрации, структуре ответов, управлении контекстом, параметрах генерации и даже хранении самих весов модели. 

Читать далее

Юнит-экономика LLM в 2026: о чем молчит прайс OpenAI и почему ваш расчет устареет через полгода

Level of difficultyMedium
Reading time28 min
Reach and readers6.9K

В течение последнего года мы запустили несколько продуктов с LLM-решениями на борту. При этом, несмотря на различия в моделях и масштабе, у них, у всех была общая черта — расчет стоимости использования ИИ-фичи на старте расходился с реальностью: иногда — в несколько раз, но, всегда — в сторону увеличения бюджета.

Сценарий был примерно таким: стоимость одного активного пользователя в ИИ-ассистенте на момент сметы выглядела отлично, мы закладывали ее в финансовую модель, защищали бюджет, запускали проект. А через полгода в проде реальная цена была уже в разы выше, несмотря на то, что все делалось «правильно»: кэширование, маршрутизация, мониторинг.

Этот материал о том, где и почему бюджет расходится с рекламной моделью. Статья получилась большой и подробной: в ней будут рабочие формулы, таблицы с расчетами, примеры ловушек и советы по оптимизации. 

Если читать лень, и нужен вывод, то вот он: декларативный прайс модели сам по себе никогда не даст точного ответа на вопрос, сколько будет стоить LLM-инструмент в разработке. Реальная экономика складывается из контекста, ретраев, RAG-пайплайна, кэширования, поведения пользователей, динамики нагрузки и постоянных изменений в самих моделях. Поэтому считать нужно не стоимость запроса в вакууме, а стоимость сценария — и регулярно пересчитывать ее заново. 

Если же хотите разобраться, как заявленные 0,06 доллара за запрос превращаются в реальные 0,15 доллара, читайте дальше!

Читать далее

Что такое Gemma 4: обзор новой LLM от Google

Level of difficultyMedium
Reading time25 min
Reach and readers20K

2 апреля 2026 года Google DeepMind выпустила Gemma 4. В отличие от GPT, Claude и Gemini, GigaChat и других облачных API, это открытая модель: ее можно бесплатно скачать и запустить на собственном сервере, ноутбуке и даже смартфоне, используя в коммерческих целях без ограничений и лицензионных отчислений. 

Впервые открытая LLM практически сравнялась по качеству с лидерами облачного рынка, сохранив при этом «любительские» требования к оборудованию: с одной стороны, флагманская Gemma 4 31B, которая входит в тройку сильнейших открытых моделей (по версии Arena AI), помещаясь на GPU уровня RTX 4090. С другой — младшая Gemma 4 E2B, занимающая около 1,5 ГБ и способная эффективно работать без интернета, прямо на смартфоне. 

Именно этот диапазон — от локального AI на мобильном устройстве до корпоративных RAG-систем и серверной аналитики — делает Gemma 4 одной из самых интересных open-source-моделей 2026 года. Интересных настолько, что в ряде клиентских проектов, которые требуют внедрения локальной LLM, мы уже используем Gemma 4, заменив ею Ollama. 

Вот на этой ноте, предлагаем свой взгляд на то, как устроено семейство Gemma 4, чем новые модели отличаются от предыдущих версий, насколько конкурентоспособны на фоне GPT, Claude, Qwen, DeepSeek и GigaChat и сколько стоит их локальное развертывание. 

Читать далее

Что такое RAG-система? Полный разбор от теории до продакшена

Level of difficultyMedium
Reading time28 min
Reach and readers24K

Что такое RAG-система? Retrieval-Augmented Generation — «генерация, дополненная извлечением»: так называют архитектурный подход, при котором модель усиливает ответы, динамично дополняя внутренние знания актуальной информацией из внешних источников. В практическом смысле: RAG — это способ увеличить релевантность ответов языковой модели без хлопот с переобучением.

В этом материале: как устроена RAG, чем базовый подход отличается от продвинутого, какие задачи такая архитектура решает и сколько стоит ее внедрение. К концу текста у вас будет четкое понимание: а нужна ли RAG-система вашей компании и с чего начать, если да.

Читать далее

ИИ в корпоративной Jira или лиса в курятнике: новый вызов для DevSecOps-инженеров

Level of difficultyMedium
Reading time6 min
Reach and readers5.6K

25 февраля 2026 года Atlassian вывела в открытую бету «агентов в Jira». Теперь они практически наши коллеги: видны на доске как исполнители, на равных участвуют в рабочих процессах, а вызывать их можно прямо в комментариях через @mention. Параллельно Atlassian выпустила Rovo MCP Server GA — хостированный сервер, который дает совместимым AI-клиентам (Claude, Cursor, Gemini CLI и др.) защищенный доступ к Jira и Confluence.

Читать далее

Jira для HR-отдела: база данных о сотрудниках и автоматизации управления персоналом

Level of difficultyMedium
Reading time7 min
Reach and readers6.6K

Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.

В данной статье приведу пример организации досок Jira с использованием автоматизаций, которые помогают сэкономить прорву времени HR-специалисту.

Читать далее

Проверка продуктовых гипотез и поиск первых B2B клиентов

Level of difficultyEasy
Reading time8 min
Reach and readers3.3K

Вы только что разработали новый продукт и готовы начать его продажу, но не знаете, как найти первых B2B-клиентов? Или у вас есть гипотеза о том, что ваш продукт будет востребован на рынке, но вы не знаете, как ее проверить? Рассказываем об охоте за проспектами, о подводных камнях при проверке продуктовых гипотез и поиске первых B2B-клиентов.

Читать далее

Information

Rating
172-nd
Date of birth
Registered
Activity