LLM в продакшене: как тестировать, контролировать и не ловить галлюцинации
LLM хорошо себя показывают в демо, но часто выдают ошибки, нестабильность и неожиданные сценарии в продакшене. Собрали инженерные практики из нашего опыта, которые позволяют держать такие системы под контролем.
Рассказываем, зачем проверять языковые модели на прочность, какие угрозы возникают при их внедрении, какие типы уязвимостей встречаются чаще всего и как их искать. В статье – реальные кейсы и объяснение, почему, несмотря на всю мощь LLM, человеческий фактор остается ключевым элементом в безопасности ИИ.
В продолжение материала о Red Teaming LLM опубликовали конкретный кейс из практики и пошаговый инструмент, который можно поднять и запустить на своем агенте сразу после прочтения статьи. Адресовано бэкендерам, но будет полезно всем, кто отвечает за безопасность использования AI-инструментов.
Оценили ряд открытых LLM и представили подробный количественный и качественный анализ, а также рассмотрели, как качество бенчмарка влияет на достоверность и объективность оценки моделей.
Можно ли выбрать идеального кодового ассистента? Спойлер: нет. Но каждый из популярных кодовых ассистентов справляется лучше других с определенными задачами. В статье – максимально развернутые тесты с реальными задачами.
Если вы внедряете LLM, AI-ассистентов или AI-агентов в продакшн, особенно важно продумать безопасность, оценку качества моделей и контроль нестабильных сценариев.
Мы в Doubletapp занимаемся внедрением AI с 2018 года и помогаем компаниям:
Интегрировать LLM в проекты,
Тестировать AI-системы,
Снижать AI-риски,
Разрабатывать AI-продукты под реальные бизнес-задачи.
От гипотез до операционки: открытые уроки для IT‑руководителей и менеджеров
Управление в IT — это давно не только «поставить задачи и проверить статус».
Сейчас от менеджера ждут большего: понимать экономику решений, говорить с бизнесом на одном языке, проверять гипотезы быстрее, видеть узкие места в процессах и не терять команду по дороге.
Собрали открытые уроки OTUS по управлению, продукту, процессам и работе с командами.
Продукт и клиентские исследования
3 июня, 19:00 — «Про кастдевы с интерактивом / исследование потребителей в теории и на практике». Записаться На уроке поговорим о том, как исследовать аудиторию не «для галочки», а чтобы находить реальные инсайты для продукта.
17 июня, 19:00 — «Как продакту проверять гипотезы быстрее с помощью AI». Записаться Покажем, как использовать AI для ускорения продуктовой работы: от формулировки гипотез до проверки идей.
Операционка и эффективность
4 июня, 20:00 — «Операционная эффективность в IT: как находить скрытую прибыль в процессах разработки». Записаться Разбор о том, где команда теряет время, деньги и управляемость — и как это увидеть в процессах.
18 июня, 20:00 — «Операционный директор в IT: компетенции, которые превращают хаос в систему». Записаться Урок о том, какие навыки нужны руководителю, чтобы выстраивать процессы, а не постоянно тушить пожары вручную.
Бизнес, стейкхолдеры и ценность
2 июня, 20:00 — «Цепочки создания ценности: моделирование, анализ, проектирование». Записаться Поговорим о том, как смотреть на процессы через ценность для бизнеса, а не только через задачи, статусы и регламенты.
17 июня, 20:00 — «Заказчик vs Стейкхолдер: как вовлечь бизнес в проект». Записаться Разберем, как работать с ожиданиями разных сторон и выстраивать нормальную коммуникацию между бизнесом и командой.
Финансовое мышление руководителя
3 июня, 20:00 — «От хаоса к контролю: как построить финансовую модель, которой можно верить». Записаться Полезно, если нужно принимать решения не на ощущениях, а на понятной модели с цифрами.
17 июня, 20:00 — «Как убрать "человеческий фактор" из финансовых моделей: от расчёта NPV до сложных систем оплаты труда». Записаться Разбор про финансовые модели, планирование, оплату труда и управленческую аналитику.
Переход в роль руководителя
16 июня, 20:00 — «От кода к людям: как вырасти в руководителя команды и не возненавидеть свою работу». Записаться Урок для специалистов, которые переходят в тимлиды или уже управляют командой и чувствуют, что одной технической экспертизы уже недостаточно.
AI в управлении и автоматизации
3 июня, 20:00 — «Как измерить рост производительности команды от внедрения ИИ». Записаться Обсудим, как оценивать эффект от AI‑инструментов без магического мышления и красивых, но бесполезных метрик.
16 июня, 20:00 — «AI‑ассистент отдела без кода: как найти рутину, собрать рабочий сценарий и посчитать экономию времени». Записаться Практичный урок для руководителей, которые хотят автоматизировать повторяющиеся задачи без отдельной команды разработки.
Все уроки бесплатные, проходят онлайн в рамках курсов OTUS и проводятся преподавателями‑практиками. Можно познакомиться с экспертами, протестировать формат обучения и задать вопросы по своей ситуации.
Если хотите системно прокачать управленческие навыки, посмотрите каталог курсов по управлению: там есть программы для проджектов, продактов, тимлидов, delivery‑менеджеров, операционных директоров и руководителей в IT.
А ещё подписывайтесь на канал OTUS в MAX — там публикуем анонсы открытых уроков, полезные материалы и подборки для IT‑специалистов и руководителей.
Три подразделения, три правды. Куда уходит ИТ-бюджет и при чём тут ITAM
Бухгалтерия: «3000 на балансе». ИТ: «1800 в сети». Безопасность: «2200 под защитой». И никто не врёт — каждый считает свой срез.
Корень проблемы — не сами расходы, а отсутствие единой экономической модели ИТ. CFO видит строку «50 млн руб./год» без детализации. CIO знает, что серверы на грани, но не может перевести это на язык финансов. Бизнес требует цифровизации, не понимая нагрузки на бюджет.
При этом контекст 2024–2026 усложнил всё кратно: параллельный импорт — плюс 20–40% к закупкам, импортозамещение — рост годового бюджета на 40–70% не за счёт расширения, а за счёт выкупа лицензий в альтернативных стеках. Компании тратят миллионы на ПО «про запас», которое не используют прямо сейчас.
Если раньше мы платили 10 млн руб./мес. за подписку M365, то сейчас вынуждены держать 50 млн руб. единовременного резерва на закупку ПО в реестр, плюс 15 млн руб./мес. на доработку интеграций.
Алексей Бородин, эксперт по развитию ITAM- и ITSM-проектов
Совместно с практикующими экспертами по ITAM и ITSM мы подготовили материал о том, как IT Asset Management помогает сделать ИТ-затраты прозрачными и управляемыми.
Внутри:
Анализ ключевых вызовов 2024–2026: санкции, переход от OPEX к CAPEX, рост НДС, дефицит ИТ-специалистов
Почему Excel, ERP, ITSM с CMDB и BI-системы перестают справляться с управлением затратами — и где у каждого инструмента потолок
Системный подход к управлению ИТ-активами через ITAM — на примере SimpleOne ITAM
Кейс ITGLOBAL.COM (by ITG): переход с Excel на ITAM в международной структуре с присутствием в 12 странах
Чек-лист «Как сделать ИТ-затраты управляемыми»: 4 шага + методика расчёта TCO и ROI
Как систематизировать бизнес без бюрократии: рабочая схема для малого и среднего бизнеса
Вы всё ещё решаете за своих сотрудников, что им делать? Каждый сложный вопрос идёт к вам? Без вас ничего не работает — ни отпуска, ни больничного?
При этом вы слышали, что нужно «систематизировать бизнес», но в голове сразу возникают страшные картинки: горы регламентов, надзиратели с чек-листами, бесконечные планерки и люди, которые делают вид, что работают, а на самом деле заполняют отчёты.
Систематизация — это не бюрократия. Это комплекс из 10 рабочих инструментов. Каждый решает свою проблему, и ровно в том объёме, который нужен.
И да, она работает. Даже когда собственника нет на месте по 4 месяца.
Живой пример: Иван из Твери
Типография, 45 человек в штате.
До внедрения системы: исполнительный директор уволился, компания начала разрушаться, объём производства упал вдвое, собственник погрузился во все процессы лично.
После внедрения: владельца нет на объекте уже 4 месяца, компания жива, управляема и способна на рост.
Что такое систематизация без бюрократии
Бюрократия — это когда правила существуют ради самих правил. Регламент на 50 страниц, который никто не читает. Планёрка, на которой ничего не решается. Отчёт, который ни на что не влияет.
Система в бизнесе — это когда каждый инструмент решает конкретную проблему, и его ровно столько, сколько нужно.
10 инструментов, которые работают только в комплексе
Ни один из них не решит всё. Только вместе они дают тот эффект, который получил Иван из Твери: бизнес работает сам без собственника.
1. Анализ текущей ситуации
Прежде чем что-то менять, нужно понять: на какой стадии ваш бизнес?
2. Фундамент: миссия, ценности, продукт
Миссия — это польза, которую компания несёт миру.
Ценности — это правила игры. Например: «говорим правду даже неприятную», «доводим дело до результата, а не до отписки».
Продукт — это результат, который получает клиент. пПоцесс никогда не является продуктом. «Мы провели переговоры» — это процесс. «Подписанный договор и предоплата» — это продукт.
3. Оргструктура: роли и ответственность
Есть простая и гениальная схема: любая организация состоит из семи основных функций.
Каждая функция производит свой продукт, и эти продукты последовательно превращаются в то, что получает клиент.
4. Регламенты и должностные инструкции
Знание того, как работает ваш бизнес, со всеми секретами и тонкостями, не должно быть в головах сотрудников.
Регламент — это описание процесса, в котором участвуют несколько человек. Должностная инструкция — это описание обязанностей на одной должности.
5. Статистики: то, что вы измеряете
Каждая должность должна иметь 3–5 статистик, которые отражают её ценный конечный продукт.
Пример для отдела продаж: ЦКП — подписанные договоры и полученные оплаты. Статистика — сумма дохода по подписанным договорам.
6. Финансовая модель и точка безубыточности
Не нужно думать, что финмодель нужна только для «крупного бизнеса». Она нужна, чтобы вы точно знали: при каком объёме продаж вы работаете в ноль, а при каком — получаете нужную прибыль.
7. Управленческая отчётность (БДР и БДДС)
Не путать с бухгалтерской отчётностью для налоговой. Вам нужно видеть реальное положение дел, а не то, что можно показать инспектору.
8. Система мотивации на результат
Самая частая ошибка: «мотивация» = «процент с продаж для менеджеров». А как же остальные сотрудники? Бухгалтер, логист, упаковщик — они тоже влияют на результат.
Правильная система мотивации строится на показателях.
9. Система найма и адаптации
Люди приходят и уходят, потому что «не подошли», «не поняли», «не захотели». Без системы найма бизнес не будет расти.
10. Планирование и координация
Планирование — когда каждый сотрудник сам составляет план на неделю, исходя из своих плановых статистик.
Координация — это встреча, где руководитель согласовывает эти планы, убирает пересечения и помогает, если сотрудник застрял.
Чтобы избежать проблем с производительностью и масштабированием, нужно продумать реализацию на этапе архитектуры. В этой подборке – инженерные решения, которые позволяют системам расти без постоянных переделок.
Собрали архитектурный гайдлайн, который много лет помогает компании разрабатывать проекты клиентов быстро и поддерживать их без боли. Читайте и применяйте на своих проектах!
На основе реального кейса клиента наш фронтенд-разработчик подробно рассказал, как работают онлайн-редакторы: что происходит при совместном редактировании, как возможный хаос складывается в единую логичную версию текста.
Когда продукт начинает расти, архитектурные решения быстро становятся бизнес-проблемой: система тормозит, новые функции внедряются всё медленнее, а поддержка требует всё больше ресурсов.
В Doubletapp мы помогаем проектировать и развивать сложные веб-системы: от внутренних сервисов до высоконагруженных продуктов с realtime-функциональностью.
Будем рады обсудить ваш проект, если вы:
масштабируете продукт,
сталкиваетесь с проблемами производительности,
запускаете сервис с высокой нагрузкой,
хотите выстроить архитектуру без постоянных переделок.
Обходит большинство самых мощных и популярных капч:
reCAPTCHA v2 и v3;
Cloudflare Turnstile;
FunCaptcha (Arkose Labs);
GeeTest и GeeTest v4;
Amazon WAF;
KeyCaptcha;
Grid, ClickCaptcha, Rotate, Canvas;
обычные текстовые и графические капчи, в том числе аудио.
Библиотека небольшая, работает стабильно, разработчики её поддерживают, добавляя новые виды капч. Можно настраивать таймауты решения капч, чтобы имитировать поведение человека.
Вышла новая версия модели Антропик Claude 4.8. Небольшое увеличение точности по всем бенчмаркам кроме кибербезопасности. В этом релизе значительное внимание было уделено мерам безопасности (сейфгарды) и, по заявлению производителя, 4.7 примерно равно 4.8.
Но в новости ещё указано, что прогресс в области мер безопасности, позволяет планировать в ближайшие недели публичный релиз "моделей уровня Mythos".
Исключен из карточки популяный бенчмарк Cybench как насыщенный. Насыщенные бенчмарки это бенчмарки которые больше не показывают прогресса, передовые модели набирают в них значения близкие к 90-95%.
Добавилось в карточку 2 новых бенча кибербезопасности ExploitBench (способность писать готовые эксплойты с нуля), OSS-Fuzz (фаззинг открытого программного обеспечения). Остались старые бенчи CyberGym (поиск уязвимостей в реальном коде открытого программного обеспечения), способность писать эксплойты для Firefox 147.
Интересен и раздел описывающий безопасность использования агентов (промты для написания вредоносного ПО, двойного применения типа разведки и т.д.) . Из общего улучшения общей безопасности в версии 4.8 выбивается такая оценка как устойчивость к промт инъекциям при написании кода с помощью инструмента от Shade. На 200 попытках с 52,5% вероятности успеха на 4.7 защищенность снизилась до 65% на версии 4.8 без режима размышления т.е. чуть меньше чем в 2/3 случаях промт инъекции оказались успешными. Сами авторы системной карточки комментируют этот регресс так - это компромис с уменьшением ложно положительных срабатываний.
archkit v0.1 — генератор TypeScript-библиотек с Clean Architecture: от спека до npm за один день
Неделю назад опубликовал на npm первый пакет, @autosergach/archkit. Одна команда:
npx @autosergach/archkit create my-lib
И получаешь TypeScript-библиотеку с Clean Architecture из коробки: domain, application, ports, рабочий use case и пять зелёных тестов. Не «hello world», а каркас который показывает как слои должны выглядеть. Ниже как это устроено и четыре грабли по дороге к npm publish.
pnpm install && pnpm test, пять зелёных с первого запуска. Стек намеренно современный: ESM only, Node 20+, TypeScript 5.7+, vitest 3.2, eslint 9 flat config.
Архитектура изнутри
Забавно, что archkit изнутри устроен точно так же, как проект который генерирует: порты и адаптеры до мозга костей. Монорепо: приватный archkit-core (весь движок) и @autosergach/archkit (то что на npm). tsup бандлит core через noExternal, потребитель ставит один пакет.
FileSystemPort с двумя адаптерами: InMemoryFileSystemAdapter для тестов и NodeFileSystemAdapter для продакшена. Pipeline в три шага: buildInitPlan, renderTemplate, executePlan. С --dry-run третий шаг не выполняется.
Тесты: 35 + 3
35 unit-тестов гоняют весь движок через in-memory, без диска, меньше секунды на весь suite. 3 e2e-теста запускают настоящий pnpm install && pnpm test в os.tmpdir(). Именно они дают уверенность что сгенерированный проект работает у пользователя, и поймали несколько багов в шаблоне до публикации.
Один день с Claude Code
Весь v0.1.1, от пустой папки до npm publish, написал за одну сессию, примерно шесть часов. 9 атомарных коммитов: Claude Code писал код, я проверял и коммитил. До Claude Code такой объём занял бы неделю, и тесты я бы срезал.
4 урока из npm publish
1. cac и --no-X флаги. При --skip-install cac выставляет skipInstall: true по умолчанию, неявно. Фикс: проверять === true, а не !== undefined. Потерял час пока разобрался.
2. npm проверяет similarity, а не только занятость.archkit свободное имя, но npm отклонил из-за заброшенного arch-kit (2022, 12 загрузок). Ушёл в scoped namespace @autosergach/archkit, зато все следующие пакеты там же.
3. workspace:* в dependencies. Приватного archkit-core нет в registry. Если он в dependencies, npm падает при install у потребителя. Перенести в devDependencies, tsup бандлит его в dist.
4. Granular npm tokens и 2FA. Granular-токен с правами publish не проходит без «Bypass 2FA for publish». Опция выключена по умолчанию, нигде не выделена жирным. Получил 403.
Что дальше
v0.2: NestJS плюс React fullstack шаблон и --ai-ready флаг, который автогенерирует CLAUDE.md, .claude/settings.json, agents.md. Пишите в Issues если есть что сказать.
Как выбрать маркетинговое агентство: семь вопросов которые проверяют работает ли подрядчик с данными или с предположениями
Только в Москве зарегистрировано более 595 маркетинговых агентств. Коммерческие предложения у всех выглядят примерно одинаково. Разница проявляется через 3–6 месяцев когда открываешь отчёт о продажах.
Ниже - семь вопросов которые позволяют оценить подрядчика за один созвон до подписания договора.
Вопрос 1: что сделаете в первые две недели?
Тип А: «Настроим рекламу и запустим»
→ инструменты без данных
Тип Б: «Аудит → исследование аудитории
→ конкурентный анализ
→ юнит-экономика → план»
→ данные до инструментов
Производитель душевых перегородок, конверсия 23%. Предыдущий подрядчик запустил рекламу без анализа - конверсия не менялась при стабильном трафике. После исследования аудитории и переработки офферов: конверсия 49%, выручка $284 458 за 8 месяцев при том же бюджете.
Вопрос 2: что стоит первым в отчёте?
Плохой сигнал: охваты, подписчики, вовлечённость
Хороший сигнал: CAC, заявки по каналам, ROMI
Минимум в отчёте:
1. CAC
2. Заявки по каждому каналу
3. ROMI
Салон красоты с растущими охватами и стагнирующей выручкой. При аудите — все кампании оптимизированы под показы, ни одно объявление не ведёт к записи. После перестройки: $10 000 → $18 400 за 2 месяца, 508 заявок, 184 новых клиента.
Вопрос 3: сколько интервью с нашими реальными покупателями проведёте?
Большинство агентств описывают аудиторию на основе опыта в нише и открытых данных. Ни один из этих источников не объясняет почему конкретный человек выбирает ваш продукт а не конкурента.Мастер по наращиванию волос, 4–5 записей в месяц. После 8 интервью с реальными клиентками обнаружено два сегмента с разными мотивациями. Два оффера, два объявления. Результат: 19–21 запись в месяц, средний чек +25–30%.
Вопрос 4: сколько гипотез протестируете в первый месяц?
eSIM-приложение:
Кампания клиента (все интересы в одной):
$53.18 за установку
Наши три гипотезы:
Гипотеза 1 (тематика «путешествия»):
$25.02 → отключили
Гипотеза 2 (Skyscanner, Airbnb, Booking):
$96.67 → отключили за 1.5 дня
Гипотеза 3 (Advantage+ путешественники):
$10.77 → масштабировали
Разница на 1 000 установок: $42 410
Вопрос 5: что будете делать с существующей базой?
Агентства оптимизированы под привлечение. Но для бизнеса с повторными покупками LTV существующего клиента в 3–7 раз дешевле в обслуживании чем привлечение нового.
Минимум работы с базой:
- Сегментация по RFM
- Реактивация ушедших сегментов
- Система допродаж
Если ответ «только привлечение» — агентство закрывает половину задачи.
Вопрос 6: сколько часов работы стоит за ценой КП?
~1 900₽ — средний час маркетолога (Kadrof.ru)
50 000₽ ÷ 1 900 = 26 часов
150 000₽ ÷ 1 900 = 79 часов
300 000₽ ÷ 1 900 = 158 часов
Если за 26 часов обещают кастдев + анализ 15 конкурентов + юнит-экономику + стратегию — физически невозможно. Что-то будет сделано формально.
Вопрос 7: работаете с присутствием бренда в ответах нейросетей?
По данным Brand Analytics, 60% поисковых сессий в 2026 году заканчиваются без перехода на сайт. Для B2C с высоким чеком и длинным циклом принятия решения это означает что часть клиентов принимает решение о звонке конкурентам ещё до попадания на ваш сайт.
Проверка за 2 минуты:
1. Открыть ChatGPT
2. Спросить: «Порекомендуй [ниша]
в [город]»
3. Если вас нет в ответе — измеримая
потеря потенциальных клиентов
Итог
Вопрос 1: данные до инструментов или нет
Вопрос 2: метрики в деньгах или в охватах
Вопрос 3: реальные покупатели или предположения
Вопрос 4: тестирование гипотез или «проверенная связка»
Вопрос 5: полный цикл или только привлечение
Вопрос 6: часы соответствуют обещаниям или нет
Вопрос 7: учитывает AI-поиск как канал или нет
Задайте эти вопросы трём-четырём агентствам подряд — разница в ответах покажет уровень подрядчика точнее чем изучение кейсов на сайте.
Интересно услышать в комментариях: какие из этих критериев вы проверяете при выборе подрядчиков?
Три конкретных изменения по сравнению с 4.7: точнее судит о ситуации, честнее говорит о собственных ограничениях и дольше держит контекст при самостоятельной работе без подсказок.
По бенчмаркам: agentic coding (SWE-Bench Pro) 69.2% против 64.3% у 4.7 и 58.6% у GPT-5.5. Computer use (OSWorld) 83.4%. Knowledge work (GDPval-AA) 1890 против 1753 у предыдущей версии. В терминальном кодинге GPT-5.5 пока впереди с 78.2% против 74.6%, но разрыв небольшой.
Цена не изменилась.
В релизе упоминается апдейт про "более честную оценку собственного прогресса" — это прямо отвечает на одну из главных болей при работе с агентами: модель уверенно сообщает, что задача выполнена, хотя на самом деле застряла. Посмотрим, насколько это реально изменилось на практике.
FixProtocol: как тестировать то, о чём мало кто слышал?
Эксперт B2Broker на совместноммитапе Moscow QA #23 x ИнфоТеКС & Юзтех рассказал, с какими неочевидными сложностями столкнулась его команда при работе с FixProtocol и как они нашли выход. Без скучной теории — только реальный кейс и рабочие решения.
Сталкиваешься с редкими или непопулярными протоколами и ищешь подходы к их тестированию без готовых решений? Этот доклад точно будет полезен тебе.
P.S. В нашем TG-канал рассказываем о технических мероприятиях и конференциях, делимся выступлениями экспертов, обсуждаем подборки на технические и ИБ темы.
SAP, Oracle, Palantir и другие корпоративные гиганты строят вокруг ИИ семантические слои: knowledge graph, ontology, process intelligence. Разбираемся, почему языковой модели недостаточно просто читать документы и таблицы.
Языковая модель умеет читать документы, таблицы, обращаться к API. Казалось бы, достаточно для корпоративного ИИ. Но SAP, Oracle, Palantir, Celonis, Alibaba и Yonyou активно строят семантические слои поверх данных: графы знаний, онтологии, process intelligence, платформы агентов.
Причина простая: корпоративному ИИ нужен не просто доступ к данным. Ему нужен смысловой слой предприятия — термины, объекты, экземпляры, статусы, источники, связи и правила качества. Без этого система остаётся набором отдельных функций, а не инструментом для комплексных управленческих решений.
Что такое семантическое ядро и зачем оно
Семантическое ядро — это структурированное описание бизнес-логики компании. Не просто схема базы данных, а модель того, как устроены процессы, как связаны объекты, какие правила определяют качество данных и переходы состояний.
Примеры таких слоёв, как сообщают SAP и Oracle:
Knowledge graph — граф связей между сущностями бизнеса: клиенты, заказы, продукты, поставщики.
Ontology — формальное описание терминов и отношений: что такое «заказ», какие у него могут быть статусы, как он связан с накладной.
Process intelligence — карта фактических бизнес-процессов, извлечённая из логов систем: как реально движутся заявки, где возникают узкие места.
Agent memory — контекст для агентов: что они уже делали, какие решения принимали, какие данные использовали.
Без семантического слоя ИИ-агент видит таблицы и документы, но не понимает бизнес-правил. Он может извлечь данные из накладной, но не знает, что делать, если сумма не сходится с заказом. Он может найти клиента в CRM, но не понимает, что этот клиент в чёрном списке.
Как это работает на практике
SAP строит Business Data Cloud — единый семантический слой поверх разрозненных систем учёта. Oracle развивает граф знаний для своих облачных приложений. Palantir предлагает онтологию как основу для агентных систем в Foundry. Celonis использует process mining для извлечения фактической логики процессов из event logs.
Типичный сценарий: ИИ-агент обрабатывает заявку на возврат. Без семантического ядра он видит запись в таблице. С семантическим ядром он знает:
Заявка связана с заказом, который уже частично оплачен.
Товар числится на складе, но фактически уже отгружен другому клиенту.
Клиент имеет статус VIP, что меняет правила возврата.
Есть открытый тикет в поддержке с похожей проблемой.
Агент не просто достаёт данные из разных систем. Он понимает контекст, проверяет правила и предлагает решение, учитывая бизнес-логику.
Ограничения и подводные камни
Построение семантического ядра — дорого и медленно. Нужно формализовать бизнес-процессы, навести порядок в терминологии, связать разрозненные системы. По данным Gartner, большинство проектов знаний графов застревают на этапе пилота.
Второй риск — vendor lock-in. SAP, Oracle и Palantir строят закрытые платформы. Переход на другую систему означает переписывание онтологий и правил с нуля.
Третье — актуальность. Бизнес меняется быстрее, чем обновляется онтология. Если семантический слой не синхронизирован с реальностью, ИИ-агент будет принимать решения на основе устаревших правил.
Что это меняет
Семантическое ядро превращает корпоративный ИИ из набора умных функций в систему, способную действовать автономно в рамках бизнес-правил. Агент не просто отвечает на вопросы — он выполняет задачи, проверяя контекст и соблюдая ограничения.
Это не революция, а эволюция корпоративных систем. Те, кто инвестировал в порядок данных и формализацию процессов, получают преимущество. Остальные застрянут на этапе экспериментов с чат-ботами.
Когда родился его сын, купить цветы уже не получалось — единственный магазин в городе был закрыт, а бабушки распродали уже всё, кроме семечек. Ясно, выход — оранжерея. Сторож позволил сорвать только ромашки, которые росли за забором. Нарвав такой букет, который не помещался даже в руках, он стоял около родильного дома в 10 вечера. Вот так появилось моё имя — ровно 50 лет назад. Спасибо за поздравления!
Негативный фидбек: как говорить правду, не сломав человека
«Сэндвич» не работает. Анонимные опросы врут. А честный разговор с руководителем кажется карьерным суицидом. Но без негативной обратной связи команды не растут — и все об этом знают.
В новом выпуске «Свободного слота» разбираем, как всё-таки давать критику так, чтобы её слышали, а не просто вежливо кивали. В гостях — Илья Барбашов, руководитель юнита Platform Experience в Авито.
Что обсудили
Почему нельзя просто взять и выдать обратную связь — и что нужно сделать сначала. Как говорить с руководителем честно и не бояться за репутацию. Когда анонимный фидбек лучше прямого — и наоборот. Как не сломать сотрудника критикой и можно ли вообще её оспорить. И как готовиться к встрече с разбором ошибок: с повинной головой или с готовым планом.
Бонус: в конце выпуска ведущие сами принимают «развивающую» обратную связь от слушателей. Вживую и без купюр.
Как оптимизировать бюджет Service Desk на 2,9–10 млн. руб. в год и повысить опыт пользователей
По данным Forrester, 60-70% сотрудников пишут в Service Desk напрямую, минуя портал самообслуживания. За годы инвестиций в каталоги услуг, базы знаний и формы типовых запросов цифра не сдвинулась. Это не проблема UX, а системный сбой модели: портал требует, чтобы пользователь думал на языке поставщика услуг.
В новом аналитическом обзореАндрея Вишнякова – директора по бизнес-продуктам SimpleOne, ITIL 4 Master, ITIL 3 Expert, автора методологии РИТМ –разобрали, почему классические подходы упираются в один и тот же потолок, как ИИ-помощник на RAG превращает концепцию Shift-Left из давней идеи в работающую практику, и сколько это стоит в рублях – с расчётом экономии для трёх типичных объёмов обращений и опорой на данные Forrester и Gartner.
что именно компании делают, когда хотят «починить портал»: редизайн каталога услуг, обучение пользователей, расширение первой линии, скриптовые чат-боты – и где ломается каждая из четырёх стратегий;
цена неэффективности – кто и сколько теряет: от простоев сотрудников до перегрузки экспертов второй линии;
как устроен ИИ-помощник на RAG-архитектуре: векторные коллекции, требования к базе знаний, условия внедрения, сценарии применения – от ИТ-инцидентов до HR-справок и заявок в АХО;
финансовая модель для трёх типичных объёмов (30, 70 и 130 тыс. обращений в год) с потенциальной экономией от 2,9 до 10 млн ₽/год.
Когда мы проводим физическое тестирование на проникновение первым и логичным шагом, который мы стараемся реализовать - проникнуть на территорию объекта. Обычно мы проходим “на плечах” или ищем плохо закрытые и не охраняемые двери, часто задние противопожарные выходы, используемые как “курилку”. И только потом, проникнув внутрь, мы начинаем искать и клонировать пропуска сотрудников, чтобы беспроблемно передвигаться внутри объекта. Кажется не логичным, но так оно и есть, ведь никто не будет оставлять свой пропуск и другие документы без присмотра на улице.
Однако, если в компании до сих пор используются RFID карты (подсказка: в 90% случаев это так), а безопасники в качестве защиты от “хакеров” не печатают фото и ФИО сотрудника, и оставляют непонятные цифры (подсказка: ~ в каждой 3-ей компании), то ситуация с проникновением может иметь более драматические последствия.
Проблема в том, что зачастую цифры непонятны только для самих безопасников (по охране и ИТСО), а для знающих специалистов, особенно которые нацелены проникнуть внутрь, это ценная и очень важная информация. Если обратить внимание на черный скриншот, мы увидем работу программы Proxmark, где зеленым по черному написан ID карты - 4900ECB592, но, что еще более важное, DEZ 10: 0015512978 и DEZ 3.5C: 236.46482. Как можно увидеть, указанные ДЕЗы полностью идентичны сведениям на карте (самая верхняя на фото). И тут возникает вопрос: как нам вычислить DEZ 10 и DEZ 3.5C и обратно через них зареверсить ID?
Вообще, если мы говорим про IT, то обычно все крутиться вокруг разных систем счисления, например двоичной (0 и 1), восьмиричной (от 0 до 7), десятичной или шестнадцатеричной (от 0 до 9, а также A, B, C, D, E и F). Если мы посмотрим на ID карты: 4900ECB592, то поймем, что скорее всего он записан в 16-ричной системе, так как присутствуют буквы. Продолжая вышесказанную мысль, давайте попробуем перевести ID карты в десятичную систему: получим 313548125586. Хм, ничего общего.
А если попробуем наоборот: DEZ 10 переведем из десятичной в 16-ричную? Получим: (0015512978)10 = (ECB592)16. Бинго, в яблочко, почти точное попадание. Осталось понять, что делать с 4900? А я отвечу - НИ-ЧЕ-ГО. В качестве первых 2-х байтов можно использовать любые значения, так как они не участвуют в идентификации. Можно их заменить, например на 0000, то есть получим ID карты 0000ECB592, которая также легко сможет открывать заветные двери (проверено).
Хорошо, с этим разобрались! А что делать со вторым числом? Там есть небольшая хитринка, но в целом ничего сложного: переводим отдельно число до точки из десятичного формата в 16-ричный, а потом аналогичные действия проводим с числом после точки. В итоге получаем:
(236)10 = (EC)16 (46482)10 = (B592)16
Получаем все тот же ID = ECB592.
Получается, в некоторых случаях чтобы склонировать карту не обязательно к ней прикладывать флиппера, проксмарк или иное схожее по функционалу оборудование - достаточно записать цифры. Следовательно, если вы любитель носить пропуск на груди, то вы наш первый “клиент” на “заимствование” электронного ключа.
Ну и в завершение домашнее задание: получите ID карты и DEZ 10 / DEZ 3.5C с оставшихся 2-х пропусков, изображенных на фото. Удачи и жду правильные ответы в комментариях.
🧠 Обязательно поделись с теми, кому это может быть полезно: 💬 Телеграм | 💬 Max | 📝 Хабр | 💙 ВКонтакте
AI в бизнесе уже давно не просто эксперимент. Компании ждут от внедрения конкретных результатов: снижения издержек, ускорения процессов, роста выручки и эффективности решений. Но на практике между «подключили LLM» и «получили бизнес-эффект» – длинная дистанция.
В этой подборке собрали материалы команды Doubletapp о том, как внедрять AI в реальные бизнес-процессы: от работы с RAG-системами до автоматизации производства, работы с тендерами и новой реальности SEO в эпоху нейропоиска.
Интервью с руководителем юнита Data LLM о том, кому и зачем нужны датасеты, как развивается рынок датасетов и почему даже самая сильная модель не улучшит бизнес-метрики без качественных данных.
Реальный кейс наших дата-инженеров: автоматизировали для клиента одну из операций в производственной цепочке, что помогло снизить брак на 40% и сократить стоимость на 60%.
На реальном кейсе клиента разбираем, кто кого: опытный тендерный специалист или нейросеть? Подробная инструкция о том, как превратить ИИ-помощника и живого эксперта в эффективную команду, экономящую бизнесу миллионы.
Если вы тоже внедряете AI в бизнес-процессы или только оцениваете потенциал технологий для своей компании – сохраняйте подборку в закладки. А если хотите обсудить AI-кейс, автоматизацию или запуск LLM-решения под ваши задачи, команда Doubletapp всегда открыта к диалогу.
Насколько сложный проект можно сделать бесплатно в 2026 году?
Всем привет! Часто вокруг пишут, как ИИ помогает им «сделать SaaS за выходные», хайпят свои проекты и рассказывают про «миллион фич». Решил я проверить: а что реально можно сделать в 2026 году, если использовать только бесплатные тарифы и не тратить деньги?
Спойлер: получилось достаточно много.
Проект полностью экспериментальный — положится в портфолио.
Я решил сделать большой каталог, и выбрал в качестве товара приложения — PWA приложения — вдохновлялся App Store.
Что в итоге умеет платформа
Для пользователей:
- Личный кабинет с библиотекой своих приложений и избранным
- Можно оставлять комментарии, отзывы, лайки
- Сортировка по категориям, похожим на те, что в App Store
- Поиск приложений умный, использует векторное пространство имен от Google
- Приложения ранжируются по рейтингу — расчет по известной байесовской формуле — учитывает количество установок, отзывов, лайков и качество комментариев
- Задействованы, кажется, все методы установки на топ известных браузеров: от новой (2024) в один клик прямо с нашей платформы — для обладателей Chrome на ПК/Android — до пошаговых интерактивных инструкций в тех браузерах, где установка сложна или запутана
- 20 языков, 2 темы, работает офлайн. Сама платформа — тоже PWA.
- Импорт данных приложения со страниц AppStore и RuStore
- Автогенерация промо-картинки приложения + автопубликация в Pinterest
- Встраиваемый install-скрипт — один тег <script> на сайте разработчика добавляет умную кнопку установки
- 3 разных способа верификации приложений
Контентная часть:
- Масштабируемые промо-лендинги о преимуществах PWA
- Статьи-гайды по установке популярных приложений
- Для админа тоже есть свой интерфейс с множеством настроек
БД (Postgres + pgvector) Supabase — $0
Серверные функции Vercel + Edge Functions — $0
Фронтенд Vercel — $0
ИИ с API (переводы, эмбеддинги) Gemini — $0
Умный поиск Google Generative Language API + Gemini
Email Resend — $0
Авторизация Supabase Auth (Google, GitHub, Discord, GitLab и др.) — $0
Есть пару оговорок:
- Cursor 20$ в месяц — но я и без проекта его покупал
- и доменное имя wapps.store — 8$ за год. Можно было использовать то, что предоставляет Vercel бесплатно
Меня как фронтенд разработчика впечатлил масштаб бесплатных сервисов — да действительно можно реализовать свою задумку и протестировать её на будущих пользователях.
Однако надо понимать:
- бесплатные тарифы не потянут каких-то весомых нагрузок
- вайбкодить, не понимая, что генерирует нейронка — ну такое себе. Она стабильно ошибается каждый 2–3 раз и часто просто делает дикие вещи
- ну и времени приходится потратить немало, поэтому стоит подумать несколько раз: нужно ли тебе что-то такое просто «потестировать»
Поделитесь своими примеры или существующими проектами - будет интересно!
«Высокоточное детектирование и верификацию лиц в режиме реального времени, устойчивое к помехам (головные уборы, очки, маски) и адаптивное к изменениям во внешности (борода, усы, смена прически)», - вот такие всё сыплются заказы в последнее время.
Развернули ИИ-агента по SEO у клиента, с которым работаем с 2018 года
Клиент — Shoe IT, интернет-магазин премиальной итальянской обуви (Premiata, INUIKII, Baldinini). Сотрудничаем с момента запуска сайта: SEO с первого дня, сквозная аналитика на RoiStat, реклама во всех основных форматах. За первый год выручка удвоилась. В процессе сотрудничества потребность в платных каналах отпала, трафик по SEO стал гораздо выгоднее.
С начала 2026 года мы развернули нашего ИИ-агента SEO. Мы давно использовали ИИ и в создании контента, и в иллюстрациях, но с запуском агента это перешло на системные рельсы. SEOшка не слишком быстрый канал в плане реакций на изменения, но качество контента явно удалось повысить при тех же затратах.
И если основной тренд — «ИИ штампует фуфло за копейки», то здесь «ИИ повысил качество продукта при тех же затратах».
Что делает агент
Полный замкнутый цикл:
- подбор ключевых слов;
- составление редакционных брифов;
- написание текстов;
- прогон через систему критиков (E-E-A-T, намерения пользователя, голос бренда, SEO-соответствие, читаемость, коммерческие критики);
- анализ Google Search Console и Yandex Webmaster;
- ежемесячный контент-план на основе того, что сработало.
Тот же конвейер «бриф → публикация» работает на сайте нашего агентства ksentra.ru .
Что унаследовали агенты
Голос бренда Shoe IT, портреты покупателей, карта конкурентных ключевых слов — всё это сформировано за годы работы. ИИ-агенты лучше всего работают, когда маркетинговый контекст уже чётко определен: они усиливают существующую базу, а не заменяют её.
Человек в деле
Если в программировании все борются за полную автономность ИИ-агентов, то в бизнесе полная автономность чаще вредит. Если вы отдали 80% операций на агента, это уже рост производительности в 5 раз! А ошибка на оставшихся 20% обходится дороже выигрыша — лучше отдать сложные случаи человеку. Поэтому ни один наш агент не работает без участия специалистов. SEO-эксперт и контент-маркетолог «Ксентры» продолжают вести проект: проверяют черновики, разбирают спорные ключевые слова, принимают редакционные решения там, где важнее суждение, а не механическая проверка.
