Обновить
16K+
6
Кирилл Гришанин@rnbparty

Основатель WB—Tech

44
Рейтинг
26
Подписчики
Отправить сообщение

Открытые LLM в продакшене: 8 выводов о llama.cpp, Gemma и Qwen

Уровень сложностиСредний
Время на прочтение19 мин
Охват и читатели16K

Об открытых языковых моделях написано много — и почти все статьи посвящены знакомству, в лучшем случае — «медовому месяцу» использования. Бенчмарки, рейтинги «лучших моделей года», полевые тесты на одной задаче, руководства. Гораздо реже говорят, что происходит потом: как ведет себя модель спустя месяцы непрерывной работы, где и почему начинает сбоить, что ломается под нагрузкой и какие инженерные решения постепенно вытесняют первоначальные представления о том, «как надо». 

В WB-Tech мы занимаемся тем, что разворачиваем и сопровождаем открытые модели и агентные системы в собственной инфраструктуре — для внутренних задач и для заказчиков. Это классификация и обогащение входящих заявок, обработка документов, диалоговые системы с вызовом инструментов и другие сценарии, где LLM становятся частью бизнес-процесса, явно выходя за рамки демонстрационных возможностей модели. 

Большинство наших клиентов приходят к локальному развертыванию не из любопытства, а из практической необходимости. Для одних вынос данных во внешний API запрещен требованиями безопасности, другим, экономика облачных моделей перестает нравиться на больших объемах. Поэтому вопрос «зачем держать модель у себя» оставим за скобками: конфиденциальность данных, предсказуемая стоимость при объемах и независимость от чужого API уже давно стали аксиомой в пользу самостоятельного хостинга для целого ряда задач.

Интереснее другое: что меняется после того, как модель начинает жить в продакшене, когда выясняется, что большая часть инженерной работы связана вовсе не с выбором LLM и приходится заново принимать решения об инференсе, промптах, агентной оркестрации, структуре ответов, управлении контекстом, параметрах генерации и даже хранении самих весов модели. 

Читать далее

Юнит-экономика LLM в 2026: о чем молчит прайс OpenAI и почему ваш расчет устареет через полгода

Уровень сложностиСредний
Время на прочтение28 мин
Охват и читатели6.9K

В течение последнего года мы запустили несколько продуктов с LLM-решениями на борту. При этом, несмотря на различия в моделях и масштабе, у них, у всех была общая черта — расчет стоимости использования ИИ-фичи на старте расходился с реальностью: иногда — в несколько раз, но, всегда — в сторону увеличения бюджета.

Сценарий был примерно таким: стоимость одного активного пользователя в ИИ-ассистенте на момент сметы выглядела отлично, мы закладывали ее в финансовую модель, защищали бюджет, запускали проект. А через полгода в проде реальная цена была уже в разы выше, несмотря на то, что все делалось «правильно»: кэширование, маршрутизация, мониторинг.

Этот материал о том, где и почему бюджет расходится с рекламной моделью. Статья получилась большой и подробной: в ней будут рабочие формулы, таблицы с расчетами, примеры ловушек и советы по оптимизации. 

Если читать лень, и нужен вывод, то вот он: декларативный прайс модели сам по себе никогда не даст точного ответа на вопрос, сколько будет стоить LLM-инструмент в разработке. Реальная экономика складывается из контекста, ретраев, RAG-пайплайна, кэширования, поведения пользователей, динамики нагрузки и постоянных изменений в самих моделях. Поэтому считать нужно не стоимость запроса в вакууме, а стоимость сценария — и регулярно пересчитывать ее заново. 

Если же хотите разобраться, как заявленные 0,06 доллара за запрос превращаются в реальные 0,15 доллара, читайте дальше!

Читать далее

Что такое Gemma 4: обзор новой LLM от Google

Уровень сложностиСредний
Время на прочтение25 мин
Охват и читатели20K

2 апреля 2026 года Google DeepMind выпустила Gemma 4. В отличие от GPT, Claude и Gemini, GigaChat и других облачных API, это открытая модель: ее можно бесплатно скачать и запустить на собственном сервере, ноутбуке и даже смартфоне, используя в коммерческих целях без ограничений и лицензионных отчислений. 

Впервые открытая LLM практически сравнялась по качеству с лидерами облачного рынка, сохранив при этом «любительские» требования к оборудованию: с одной стороны, флагманская Gemma 4 31B, которая входит в тройку сильнейших открытых моделей (по версии Arena AI), помещаясь на GPU уровня RTX 4090. С другой — младшая Gemma 4 E2B, занимающая около 1,5 ГБ и способная эффективно работать без интернета, прямо на смартфоне. 

Именно этот диапазон — от локального AI на мобильном устройстве до корпоративных RAG-систем и серверной аналитики — делает Gemma 4 одной из самых интересных open-source-моделей 2026 года. Интересных настолько, что в ряде клиентских проектов, которые требуют внедрения локальной LLM, мы уже используем Gemma 4, заменив ею Ollama. 

Вот на этой ноте, предлагаем свой взгляд на то, как устроено семейство Gemma 4, чем новые модели отличаются от предыдущих версий, насколько конкурентоспособны на фоне GPT, Claude, Qwen, DeepSeek и GigaChat и сколько стоит их локальное развертывание. 

Читать далее

Что такое RAG-система? Полный разбор от теории до продакшена

Уровень сложностиСредний
Время на прочтение28 мин
Охват и читатели24K

Что такое RAG-система? Retrieval-Augmented Generation — «генерация, дополненная извлечением»: так называют архитектурный подход, при котором модель усиливает ответы, динамично дополняя внутренние знания актуальной информацией из внешних источников. В практическом смысле: RAG — это способ увеличить релевантность ответов языковой модели без хлопот с переобучением.

В этом материале: как устроена RAG, чем базовый подход отличается от продвинутого, какие задачи такая архитектура решает и сколько стоит ее внедрение. К концу текста у вас будет четкое понимание: а нужна ли RAG-система вашей компании и с чего начать, если да.

Читать далее

ИИ в корпоративной Jira или лиса в курятнике: новый вызов для DevSecOps-инженеров

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели5.6K

25 февраля 2026 года Atlassian вывела в открытую бету «агентов в Jira». Теперь они практически наши коллеги: видны на доске как исполнители, на равных участвуют в рабочих процессах, а вызывать их можно прямо в комментариях через @mention. Параллельно Atlassian выпустила Rovo MCP Server GA — хостированный сервер, который дает совместимым AI-клиентам (Claude, Cursor, Gemini CLI и др.) защищенный доступ к Jira и Confluence.

Читать далее

Jira для HR-отдела: база данных о сотрудниках и автоматизации управления персоналом

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели6.6K

Погрешности в учете рабочего времени и оплате труда, несистематизированный подход к онбордингу и развитию сотрудников, недостаток контроля за выполнением задач и сроками, неудовлетворительное взаимодействие с сотрудниками и отсутствие обратной связи, отсутствие инструментов для анализа продуктивности работы сотрудников — это самые неочевидные ошибки в управлении персоналом, но при этом они оказывают прямое влияние на бизнес.

В данной статье приведу пример организации досок Jira с использованием автоматизаций, которые помогают сэкономить прорву времени HR-специалисту.

Читать далее

Проверка продуктовых гипотез и поиск первых B2B клиентов

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели3.3K

Вы только что разработали новый продукт и готовы начать его продажу, но не знаете, как найти первых B2B-клиентов? Или у вас есть гипотеза о том, что ваш продукт будет востребован на рынке, но вы не знаете, как ее проверить? Рассказываем об охоте за проспектами, о подводных камнях при проверке продуктовых гипотез и поиске первых B2B-клиентов.

Читать далее

Информация

В рейтинге
182-й
Дата рождения
Зарегистрирован
Активность