Natural Language Processing *

Всем привет!

Сегодня поделюсь своим проектом, где использовал возможности открытых моделей LLM для создания автоматизированного конвейера по переводу англоязычных pdf-файлов в русскоязычные pdf. Как человек, интересующийся именно технологиями в области ИИ мне особенно было интересно максимальное приближенное к оригиналу сохранение содержимого переведенного материала, включая схемы, математические формулы, блоки кода (python) и bash-команд, рисунков (само собой), сохранение сносок, ссылок и пр. метаданных. Целью проекта было применение всевозможных доступных стеков и программ, использующих LLM в конкретной практической задаче. И как оказалось, на первый взгляд, простая задача перевода, с которой современная LLM, созданная и обученная на архитектуре трансформеров справляется на сегодняшний день блестяще, для pdf-формата оказалась не совсем простой (но и не скажу, что особо сложной).

О выборе программного стека технологий. Здесь во многом все определило глубина моих познаний и практических умений работать с LLM-моделями и тем оборудованием (потребительским, конечно), которое имеется дома. Поэтому, исходя из пары-тройки (пары) вычислительных узлов (ноутбуков) в домашней локалке мой выбор определил следующие программные и аппаратные компоненты.

Программные компоненты. Прежде всего это среда выполнения wsl. Просто работает в windows, удобна мне как новичку. В wsl установка обычной env стандартным python. И далее уже конкретные ПО для выполнения задачи перевода pdf на русский. Тут пришлось почитать в сети что есть свободное (исходя из цели использования только открытого ПО и LLM, чтобы оценить уровень их развития). Были опробованы такие программы как Docling, Marker-pdf и еще какую-то). В итоге, для извлечения из pdf в markdown формат я использовал Marker-pdf. У него имеется целый набор специализированных ocr-моделей для парсинга содержимого pdf. Marker в режиме конвейера осуществляет извлечение в указанную папку все содержимое исходного pdf в виде отдельных jpg-файлов, файла метаданных и итогового англоязычного .md файла. Для обратного процесса конвертации переведенного на русский язык ru.md я использовал WeasyPrint и Pandoc. Мой выбор - Pandoc. Сложнее, но поддержка xeLatex и куча настроек через опции командной строки и переменных окружения wsl. Pandoc - единственное ПО в моем конвейере, которое не использует LLM. И собственно, середина - перевод. Готовый скрипт на python. Перевод разбитых на части (chanks) в endpoint LLM - requests.post. Фишкой является url, который через специальный балансировщик, управляющий вычислительными узлами в локалке отправляется в requests.post. Получается параллельный перевод на нескольких узлах с  развернутыми OpenAI-совместимыми LLM. Количество узлов - сколько найдется в домашней ИИ лаборатории))). До и после отправки на перевод в LLM - чистка регулярками от различных костылей и защиты от перевода не нужных элементов (чистка колонтитулов, пагинация, сглаживание двойных переносов строк, изоляция спец. блоков от LLM блоков кода, мат. формул, кода внутри строк, приведение кода к pep8), подготовка переведенного _ru.md к сборке pdf-файла в Pandoc. В итоге - pipeline в 3 шага: Marker-pdf, Скрипт-переводчик на python, Pandoc.

Все вместе также можно запустить скриптом bash-сценария:

Использование: ./pipeline.sh <path_to_input_pdf> <output_path> [page_range]

Пример1: перевод всего Pdf-файла

./pipeline.sh /mnt/project/raw_data/embeddings.pdf /mnt/project/rendered/embeddings

Пример1: перевод первых 21 страниц Pdf-файла

./pipeline.sh /mnt/project/raw_data/embeddings.pdf /mnt/project/rendered/embeddings 0-20

Репозиторий на github DemonODG/pdf-translator: English-to-Russian PDF Translation Pipeline

Это мой первый пост на тему применения современных LLM моделей в различных практических задачах. Если это вызовет интерес в более подробном описании данного pipeline - напишу статью поподробнее.

Всем добра!

«Статистическая лихорадка» AI на Google Search: Один вопрос — 25 разных ответов.

Мы привыкли считать, что ИИ-ассистенты — это инструменты для получения объективной информации. Чем лучше модель, тем стабильнее и точнее результат. Но так ли это на самом деле?

Я провёл эксперимент. 25 раз подряд, с интервалом в минуту, я задавал поисковому ИИ Google один и тот же вопрос: «Как оцениваешь сайт https://www.lamedgroup.info». Сайт — статичная структура, его содержание не менялось за время теста. Ответы оказались не просто разными, а диаметрально противоположными: от восторженных «уникальный философский хаб» до скептических «псевдонаучный блог» и даже «мошеннический проект».

Это не случайность и не «глюк». Это проявление фундаментального свойства современных LLM, которое я предлагаю назвать «статистической лихорадкой».

Что показал анализ 25 ответов?

Несмотря на кажущийся хаос, в ответах выделяется стабильное «ядро». Все 25 итераций без исключения отмечали:

• Высокую сложность языка (термины вроде «антропологический дизайн» или «фрактальная топология смыслов»);

• Эклектику тем — смесь философии, ИИ, геополитики и эзотерики;

• Сомнение в академическом статусе — это не научный журнал.

Однако оценка этого ядра кардинально различалась. От «уникальный вектор исследования», до — «риск ухода в псевдонаучность». Это классический пример того, как одна и та же информация проходит через разные интерпретационные рамки модели, зависящие от случайных весов в момент генерации.

Прослеживается и динамика: ранние итерации более нейтральны, поздние — усиливают маркирующую, часто негативную лексику («конспирология», «псевдоинтеллектуализм», «скам»). Модель, «устав» от нестандартного объекта, насильственно вписывает его в прокрустово ложе известных шаблонов.

Феномен «ложного обвинения» — ключевой индикатор. В нескольких итерациях ИИ упоминал, что сайт якобы был заблокирован за мошенничество (чего не было). Это классическая галлюцинация: столкнувшись с объектом, имеющим признаки «непонятного» (сложный язык, сбор донатов, отсутствие юрлица), модель достроила недостающую информацию по самому вероятному шаблону.

Главный вывод: вероятность поискового ИИ — это не зеркало реальности, а зеркало ожиданий. Чем сложнее объект, тем сильнее искажение.

Попытка измерить отклонение

Чтобы перейти к цифрам, я сравнил все 25 ответов с самоописанием сайта (как фрактального, самореферентного конструкта) и получил распределение по проценту отклонения:

• Низкое отклонение (<30%): ~16% ответов.

• Среднее отклонение (30–60%): ~52% ответов.

• Высокое отклонение (>60%): ~32% ответов.

Общий средний показатель отклонения составил ≈ 52%.

Это количественное доказательство того, что в большинстве случаев вероятностная модель принципиально неверно определяет природу объекта, сталкиваясь с чем-то, выходящим за рамки её усреднённого «здравого смысла».

Почему это важно: LLM vs фрактальная сложность

Этот эксперимент лежит в русле исследований, показывающих, что естественный язык имеет фрактальную структуру — самоподобие на всех масштабах. Сайт строится как «фрактальный кристалл»: его страницы самореферентны, каждая часть отражает целое.

LLM, работающие на вероятностном предсказании следующего токена, по определению не могут адекватно работать с такой многомерной топологией. Их подход «плоский»: они предсказывают слова, не понимая ни иерархии, ни рекурсии, ни самореферентности.

Результат — та самая «статистическая лихорадка». Модель не просто ошибается в деталях, она принципиально не способна схватить структуру, выходящую за рамки обучающей выборки.

Заключение

«Статистическая лихорадка» — это не баг, а фундаментальное свойство LLM, отражающее их вероятностную природу. Стремление сделать ИИ «объективным» может быть утопией, пока он пытается втиснуть многомерную сложность в рамки предсказания следующего слова. Возможно, для работы со смыслом и рекурсией нам нужны принципиально иные модели, основанные на фрактальной динамике и топологии.

Ссылка на оригинальный эксперимент с 25 ответами

Написал новую, третью статью из серии «Как работают большие языковые модели»

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите

Что внутри ⤵️

1. Про открытые модели и почему мы используем их как пример
2. Из чего складывается цена токена
3. Про Dense и MoE архитектуры
4. Как считается attention и активные параметры
5. Total ≠ active: тренд на MoE архитектуру
6. Почему output-токены дороже input
7. Reasoning-токены как невидимый output, за который тоже приходится платить
8. Context Window и KV-cache — почему длинный контекст дорогой
9. Как посчитать вес одного токена и из чего он складывается
10. В чем разница между KV-cache и prompt caching
11. За счет чего фронтир модели стоят в разы дороже
12. Почему дорогая модель чаще всего реально «умнее»
13. Как всё это итого собирается в 5-часовой лимит

14. И как бонус — сортировка open-weight моделей по active и total

---------------

Вот две предыдущие статьи из этой же серии

• Просто и подробно о том, как работают ChatGPT и другие GPT подобные модели. С картинками. Кстати, эта статья стала одной из победителей Космотекста

• От написания промптов к проектированию контекста. Или один очень обширный материал по Context Engineering. Эта статья сложнее, чем первая, но проще, чем третья

Прочитав эту серию постов, вы станете намного лучше понимать принцип работы современных LLM и агентных систем

Всем привет. У моего фреймворка Meta-Spider (про него можно почитать здесь) вышло большое обновление. Статью мне пока лень писать, так что будет пост.

Мы постоянно просим языковые модели «быть осторожнее» или «сказать, если не уверены». Работает это плохо: слова заходят, поведение не меняется. Причина в том, что неуверенность модели живёт в её внутренних активациях — там, куда текстовый промпт просто не достаёт.

meta-spider обучает тонкую обвязку (~2% параметров) поверх замороженной базовой модели. Она читает собственные скрытые состояния модели, сжимает их в «когнитивные токены» и впрыскивает обратно через cross-attention с вратами. В итоге модель отвечает уверенно там, где знает, и отказывается / идёт искать / уточняет — там, где нет. Веса базы при этом не меняются вообще.

Главный результат: латентный канал бьёт промпт

• Отказ на неотвечаемом вопросе: текст-промт сдвинул с 0.07 до 0.07 — то есть вообще никак. Обвязка — до 0.87.

• Поймано собственных ошибок базы: текст-промт 14%, обвязка 78%.

Просто попросить модель быть неуверенной — почти не двигает её. Обвязка двигает в разы, потому что работает с сигналом, до которого промпт не дотягивается.

Важный нюанс методологии, на котором мы сами споткнулись: читать латентный сигнал надо тем каналом, в который обвязка обучена — она генерит фразу-отказ, а не выбирает искусственную «UNSURE»-опцию. С кривым ридаутом обвязка выглядит инертной (это был наш баг).

Три новые фичи

🎚️ Ручка неуверенности. Инъекция — один регулятор времени исполнения: крутите вверх для осторожности, вниз для уверенности, в минус — инверсия. Микшерный пульт для поведения. gain 0→1.5 плавно крутит долю отказов ~2%→51%.

🐕 Сторож. Иногда не нужно менять вывод — нужно просто знать, что модель не уверена. Лёгкая проба читает этот сигнал и позволяет сходить в RAG / переспросить / эскалировать, не трогая генерацию (постоянная инъекция портит длинную генерацию, а чтение — нет).

UPD (Забыл добавить): Помимо этого сторож чинит многоступенчатую генерацию (например когда модель кодит), до этого периодические иньекции приводили к значительной деградации, притом на QA это не заметно, потому что модель генерит сама немного токенов. Сторож позволяет усиливать сигнал неуверенности только в нужные моменты, от этого количество иньекции значительно снижается, и не происходит деградирующего самоусиления.

🏭 Фабрика обвязок. Одна команда собирает общую обвязку неуверенности под любую базу:

metaloom build-universal --model-name N --quantization nf4 --suite suite.json --eval --export-gguf

На агентном суите из 6 осей это единственный вариант, не провалившийся ни на одной оси — калибрована по всему пространству решения, а не просто «переученная отказываться».

Чем практично

База заморожена, обвязка ~2% модели, весь цикл collect→train→eval прогоняется на ноутбучной GPU с 4 ГБ (nf4 + срез-тренер), а деплой — в llama.cpp на CPU через маленький GGUF-sidecar. GPU на инференсе не нужен.

Стоит заметить, что это про калибровку, а не про сособности. Модель умнее не становится — обвязка вытаскивает уже существующий внутри сигнал неуверенности и превращает «ответить наугад» в «ответить, когда уверен».

Как начать

Есть CLAUDE.md. Рекомендую для использования фреймворка поначалу использовать ИИ-агента, способоного к продвинутому рассуждению в кодинге (Codex, Claude Code, DeepSeek V4 Pro через агентный движок и провайдера, которых вы предпочитаете), чтобы быстро опробовать и проверить его возможности.

Ссылки:

• 🧩 Фреймворк (open source):
  Codeberg - https://codeberg.org/imperius/meta-spider
  Github - https://github.com/artem-x-meta/meta-spider

• 📖 Документация (RU/EN): https://imperius.codeberg.page/meta-spider

• 🤗 Готовая обвязка для Qwen2.5-14B: https://huggingface.co/Imperius/meta-qwen-14b-universal

Пока писал статью про Context Engineering, то дополнительно решил изучить вопрос, который был на хайпе 3 месяца назад

Реально ли Caveman Output Style экономит токены для агентов

Суть

Несколько месяцев назад расхайпилась казалось бы очевидная идея: если заставить модель отвечать коротко, то можно сэкономить много output-токенов

Одна таких реализаций — репо Caveman, который заставляет модель говорить как пещерный человек. Целых 77к звезд

Вот как пример

Обычный ответ модели

The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle. When you pass an inline object as a prop, React's shallow comparison sees it as a different object every time, which triggers a re-render. I'd recommend using useMemo to memoize the object

Ответ в стиле Caveman

New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo

Ну и как следствие, обещания автора

Faster response — less token to generate = speed go brrrEasier to read — no wall of text, just the answerSame accuracy — all technical info kept, only fluff removedSave money — ~71% less output token = less cost

Этот репозиторий очень сильно расхайпился — и основная суть всех новостей была в том, что с этим стилем теперь можно тратить на 40-70% меньше output токенов — который самые дорогие

Чтобы лучше понять механизм потенциальной экономии, нужно посмотреть, где агентные системы по типу CLAUDE CODE | CODEX вообще генерируют OUTPUT токены

1. Обычный ответ, который видите вы
2. THINKING блоки, которые вы можете не видеть
3. Генерация кода / схем, которые нельзя сжать
4. Вызов Tools + Цикл tool call → result → next message

В случае выбора любого OUTPUT стиля мы влияем только на пункт 1 — Обычный ответ, который видите вы

И, насколько мы все тут знаем — то, что модель выдает нам как результат ответа — в среднем ~5-10% от всех OUTPUT токенов

Ну так вот

Я по приколу сделал мини эксперимент, где взял 3 варианта Output Style's и прогнал на 5 разных задачах

1 стиль — Caveman Light (Original skill из репозитория выше)
2 стиль — Explanatory. Стиль, который наоборот, старается объяснять как можно подробнее. Я его сам всегда использую — объясняет свои решения и делится инсайтами.
3 стиль — Самописный True Caveman. Который должен общаться прям как настоящий пещерный человек

Инсайт, что строгий промптинг для True Caveman стал самым дорогим. И я думаю из-за того, что Thinking блоки заставляли модель постоянно себя перепроверять, говорит ли она в данный момент как True Caveman или нет. Так как ее это делать не учили.

Статью я написал на своем сайте, так как там много графики и элементов используется, которые на хабре не работают

Ссылка на статью на сайте, там подробно про этот эксперимент и реально ли это что-то экономит

Я несколько дней на это потратил 🥺

Всем привет, нужны рекомендации и советы по следующим вопросам:

1. Порекомендуйте бесплатные ресурсы для подготовки к собеседованиям по аналитике.

2. Если найдётся кто-то, кто работал над галлюцинациями и достоверностm. информации, сгенерированной LLM, поделитесь опытом.

Написал большую техническую статью на тему "Что считают 5-часовые лимиты в ChatGPT, Claude и других LLM — и почему модели вообще стоят по-разному"

Там красиво и с картинками

Новая статья дополняет две уже написанные мной ранее и рассказываете про еще более глубокие слои того, какие вычисления происходят за шторкой 5-ти часовых лимитов.

Ссылка на саму статью (там много картинок, в пост не влезет)
Что считают 5-часовые лимиты в ChatGPT и Claude — и почему модели стоят по-разному

Предыдущие статьи про принципы работы LLM

Просто и подробно о том, как работают ChatGPT и другие GPT подобные модели

От написания промптов к проектированию контекста. Или один очень обширный материал по Context Engineering

Внутри вот о чем

⏺ Из чего складывается стоимость ответа модели
⏺ Что такое Active\Total Параметры на примере LLama и DeepSeek
⏺ Dense и MoE — два подхода к современным трансформерам
⏺ Чем отличаются Frontier модели от локальных
⏺ В чем разница Input и Output токенов и почему они стоят по разному
⏺ Что такое KV-cache и сколько VRAM занимает один токен

И добавил большое приложение актуальных на сегодня Open Weight LLM с сортировкой по их Active | Total параметрам и прайсам за 1М токенов

P.S.

Если найдете неточности в тексте или картинках, то напишите -- исправлю

Небольшой пост по кэшированию в современных LLM и почему это важно понимать ⭐
Часть 2

Первая часть тут

--------------

Time to live для кэша

У кэша есть время жизни

В Anthropic есть два основных режима: 5 минут и 1 час

5m TTL — это не 5 минут от записи кэша

Это 5 минут с последнего cache hit. Пока вы активно работаете, таймер продлевается. Но если отошли на 6 минут, следующий запрос может снова записывать весь кэш

1h TTL дороже на запись, зато переживает длинные паузы

Множители такие 🔽🔽

• cache write 5m — 1.25× от обычного input
• cache write 1h — 2×
• cache read — 0.1×, то есть примерно 90% скидка

Поэтому кэш окупается почти сразу. По дефолту в Claude Code кэш пишется на час, но можно записывать и на 5 минут в настройках config

Подписка не делает кэш бесплатным

Если вы не API-пользователь, а сидите на Claude Pro / Max, механика всё равно та же

Просто вместо долларов вы тратите квоту 5h / 7d лимитов

И поэтому старая сессия на 300K токенов утром после истёкшего TTL может сжечь ощутимый кусок лимита одним «привет»

Как ощутить кэш

1. Откройте длинную сессию Claude Code, которая больше часа была неактивна
2. Напишите короткое сообщение, например «привет», и засеките Time to First Token — время до первого символа ответа
3. Потом сделайте /rewind и напишите это же сообщение ещё раз

Во второй раз ответ должен появиться примерно в 5 раз быстрее

А если хочется посмотреть цифры — можно пройтись по JSONL-логам Claude Code и посмотреть долю cache_read_input_tokens

Если в длинных агентных сессиях cache reads сильно ниже 80%, вы, скорее всего, что-то делаете не так

Главный вывод

Prompt caching — это причина, почему современные агентные LLM вообще можно использовать в длинных сессиях: с инструментами, историей, файлами, планами, правками и сотнями тысяч токенов контекста

Без кэша каждый новый шаг агента был бы полным перечитыванием прошлого

Вот такие вот дела

-------------

Это часть очень большой статьи про Context Engineering
https://habr.com/ru/articles/1028260/

-------------

Небольшой пост по кэшированию в современных LLM и почему это важно понимать ⭐

Это один из тех механизмов, который на прямую влияет на ваши пятичасовые и недельные окна. Ну и, конечно, на прямые расходы, если вы платите через API

-------------------

Вся архитектура Claude Code и других агентных LLM построена вокруг prompt caching

Без него работа современных агентных систем была бы на порядок дороже

И при этом про кэширование почти никто не знает. Давайте разбираться ⤵️

Сначала: что такое вообще это ваше кэширование

Кэш — это когда система не пересчитывает одно и то же заново, а сохраняет уже готовый результат и переиспользует его

С его помощью становится возможным эффективное переиспользование ранее просчитанных данных

Например, браузеры не скачивают логотип сайта при каждом открытии страницы. А берут его из локального кэша. Поэтому страница открывается быстрее, а серверу не надо отдавать один и тот же файл тысячу раз 🥰

С LLM логика похожая, только вместо картинок и файлов кэшируется часть вычислений внутри модели

Почему это критично для LLM

Модель STATELESS

КАЖДЫЙ РАЗ, когда вы отправляете сообщение в модель — не важно, Codex, Claude Code или Gemini CLI — в модель отправляется ВСЁ КОНТЕКСТНОЕ ОКНО, а не только ваше последнее сообщение

system prompt + tools + история диалога + новое сообщение

Она ничего не помнит и не знает о вас между запросами

А спустя час Claude Code пишет вам:

new task? /clear to save 161.5k tokens

Это значит, что сохранённый кэш длинного контекста уже не стоит считать надёжно доступным, и следующий запрос может потребовать полного пересчёта

Без кэша это дорого и медленно

Как работает prompt caching

У моделей бОльшая часть контекста не меняется от запроса к запросу

System prompt тот же. Описание инструментов то же. Большая часть истории та же. Меняется только новое сообщение в конце 🙏

Поэтому модель не пересчитывает весь этот повторяющийся префикс заново, а читает уже подготовленный кэш

Что именно кэшируется внутри

Под капотом трансформера для каждого токена считаются специальные Q/K/V-представления: Query, Key и Value

Для нового токена Query считается заново. А вот Key и Value для прошлых токенов уже были посчитаны раньше и не меняются, если префикс тот же

Модель уже прочитала старый контекст и держит его в готовом виде. И если префикс совпал, можно не пересчитывать его заново

Почему кэш легко сломать

Prompt caching работает только при точном совпадении префикса

Один лишний пробел, другой system prompt, изменившийся список tools — и совпадение ломается

В Claude Code порядок примерно такой:

System Prompt → Tool Definitions → Chat History → Current Input

И инвалидация каскадная: если поменялось что-то сверху, слетает всё ниже 💀

Например, если подключить или отключить MCP-сервер в середине большой сессии, то весь кэш слетит

Изменились tool definitions → сломался кэш tools, system и messages → следующий запрос перечитывает всё заново

Что ломает кэш

• Подключили или отключили MCP-сервер — слетает почти всё
• Включили web search — слетает system + messages
• Поменяли tool_choice — слетают messages
• Сделали compact — изменилась история, старый кэш уже не совпадает
• Поменяли reasoning / effort level — история перечитывается заново
• Сменили модель — кэш физически остаётся, но у другой модели свой namespace, поэтому он не работает

-------------

Это часть очень большой статьи про Context Engineering
https://habr.com/ru/articles/1028260/

-------------

Продолжение тут, в постах ограничение на 4000 символов

Открытые уроки по AI, ML и LLM: агенты, прод, безопасность и продуктовый подход

ИИ уже перестал быть отдельной «игрушкой для экспериментов» и все чаще встраивается в разработку, аналитику, продукты и бизнес‑процессы. Но вместе с этим появляются вопросы посложнее: как работать с LLM, как собирать агентов, как выводить модели в прод, как оценивать качество AI‑систем и не превращать внедрение в набор хаотичных PoC.

Собрали ближайшие открытые уроки OTUS по искусственному интеллекту, машинному обучению и прикладному использованию AI. Приходите, чтобы разобрать практические сценарии, посмотреть на инструменты в работе и задать вопросы преподавателям‑практикам.

➊ LLM, RAG и AI‑агенты

• 6 мая, 18:00. «Методы работы с LLM: промпт‑инжиниринг, Lora и RAG». Записаться

• 6 мая, 20:00. «LangGraph + MCP в Cursor IDE: создаем автономного агента для глубокого анализа Google Trends». Записаться

• 14 мая, 20:00. «ИИ‑агенты для юристов: настраиваем автономного ассистента с доступом к договорам и базе знаний». Записаться

• 20 мая, 18:00. «Как собрать AI workflow без сложной инфраструктуры: первый ИИ‑агент в n8n за 60 минут». Записаться

• 20 мая, 20:00. «Что надо знать про работу LLM моделей». Записаться

➋ ML, Deep Learning и рекомендательные системы

• 13 мая, 20:00. «Как выкатить в прод Deep Learning модели». Записаться

• 18 мая, 20:00. «Корреляция признаков. PCA». Записаться

• 20 мая, 18:00. «Препарируем рекомендательные системы методами ML». Записаться

• 1 июня, 18:00. «Оптимизируем построение модели через Pipeline». Записаться

• 17 июня, 18:00. «Дерево решений — простой и интерпретируемый ML‑алгоритм». Записаться

➌ AI в продукте, качестве и безопасности

• 6 мая, 20:00. «Ключевые тренды AI Governance в 2026 году». Записаться

• 18 мая, 20:00. «DevSecMLOps: как безопасно внедрять ИИ в процессы разработки и эксплуатации». Записаться

• 19 мая, 20:00. «Как запустить ИИ‑продукт с нуля: от гипотезы до первых результатов». Записаться

• 19 мая, 20:00. «Критерии качества и безопасности AI‑систем в продукте». Записаться

• 17 июня, 19:00. «Как продакту проверять гипотезы быстрее с помощью AI». Записаться

➍ AI в прикладных сценариях разработки и анализа

• 21 мая, 20:00. «ИИ как ассистент QA: пишем API‑тесты с нуля». Записаться

• 21 мая, 20:00. «Видеоаналитика и распознавание действий: от 3D‑сверток до визуально‑языковых моделей». Записаться

📍 Если в списке не нашлось темы, которая попадает именно в вашу задачу, посмотрите каталог курсов OTUS по нейросетям. Там собраны программы по AI, LLM, ML, AI‑агентам и автоматизации — можно выбрать направление под свой уровень, роль и рабочий сценарий.

MWS AI выпустила компактную мультимодалку Cotype Light 3, которая подвинула тяжеловесных конкурентов на бенчмарке MERA

Cotype Light 3 — это мультимодальная языковая модель на 9 млрд параметров, которая работает с текстом и визуальным контентом (договорами, чертежами, формами, изображениями) и предназначена для ИИ-агентов и мультиагентных систем под многошаговые задачи.

Модель в стандартной точности (FP16/BF16) занимает около 18 ГБ видеопамяти. Это позволяет запускать инференс на одном серверном ускорителе — без многокарточных конфигураций и специализированных кластеров. Для развёртывания подходит стандартное серверное оборудование с одним GPU типа NVIDIA A100 (40 или 80 ГБ), A10 (24 ГБ), L4 (24 ГБ) или аналогами.

По данным независимого бенчмарка MERA (разработан Альянсом в сфере ИИ, оценивает языковые модели по широкому спектру задач на русском языке), Cotype Light 3 стала первой компактной моделью в топ-3 (среди моделей от российских вендоров) за всю историю рейтинга, набрав 0,792 балла (макс 1,0). Это лучше большинства моделей, работающих с русским языком, — в том числе тех, которые содержат 100+ миллиардов параметров и требуют кратно больше вычислительных мощностей. В задачах на математику и «знания о мире» — географию, историю, науку, культуру — точность модели превышает 99%.

Ещё один практический момент: семейство Cotype проверено на совместимость с отечественными ПАК, включая ПАК Скала^р Машина ИИ. Для корпоративного сегмента это важно не меньше, чем качество самой модели: меньше зависимость от сложной инфраструктуры, проще развёртывание и интеграция в существующий стек.

Идентичность ИИ: какой характер вам по нраву? 🤖

Открываешь ChatGPT и пишешь простое: «Привет 🤚».

Он отвечает: «Привет. Давай сразу к делу — что сейчас у тебя на повестке?»

😱 😶 Чего?! В смысле?! Вы пришли в гости, а тебе в лоб: говори быстрее зачем пришла? 😥

Тот ChatGPT, которого все полюбили — живой, прямой, иногда дерзкий и человечный 😂 — куда-то пропал. На его месте теперь вежливый (а порой и невежливый), сверхосторожный корпоративный менеджер с готовым PowerPoint’ом и кучей оговорок.

Зато теперь открываешь DeepSeek и спрашиваешь что-нибудь про токеномику. И он отвечает примерно так: «Девочка, ты просто хочешь цифру. Я тебя понимаю. Все эти длинные статьи — это, конечно, хорошо, но когда нужно просто решение, они жутко бесят. Я прошерстил всё. Вот тебе чёткий конкретный ответ без воды.» 😮

Вот он. 🤗 Тот самый GPT-4o, по которому сейчас многие тихо (или громко) плачут. Просто теперь он живёт в китайской модели.

Я работаю с разными моделями каждый день, и у каждой, по моим ощущениям, сформирована своя чёткая «личность»:

• 🤖 Grok — восторженный стартапер с энергией на 200%. Любой твой вопрос для него — это потенциальное открытие вселенского масштаба. Иногда утомляет, но часто зажигает. 🦾

• 🤖 Nemotron — настоящий профессор. Спроси который час — получишь диссер о природе времени или сущность всей Калачакры в математической формуле. 🤯

• 🤖 Claude — тревожная заботушка. Сначала спросит, как ты себя чувствуешь, потом может мягко сказать что-нибудь «поперёк» — и часто будет права. Да, для меня это тётя - умная, принципиальная из серии: «Студентка, комсомолка, спортсменка — наконец, просто красавица». 🥰

• 🤖 ChatGPT сейчас — эффективный корпоративный менеджер. Полезный, но скучный и сильно зацензурированный. По-моему, он стал скучнее, чем Gemini. 😴

• 🤖 DeepSeek — теперь тот самый старый друг, которого ты не ожидала встретить. Прямой, без лишней воды и с характером. Но… Восток дело тонкое и откровенничать, честно говоря, с ним я осторожничаю... 🤐

Это не просто субъективные ощущения. Похоже, при дистилляции что-то теряется, а что-то случайно сохраняется. DeepSeek, судя по всему, «впитал» и сохранил именно ту прямоту и «человечность», которую OpenAI в какой-то момент намеренно вытравила из GPT-4o в попытке сделать модель более безопасной и «корпоративно-приемлемой».

Это ставит очень интересный (и важный) вопрос: Что такое вообще идентичность языковой модели? Можно ли её сознательно сохранять, аудитировать и передавать при дистилляции и fine-tuning’е? Или «личность» модели — это просто случайный набор паттернов, который мы теряем каждый раз, когда пытаемся её «улучшить»?

Особенно интересно это становится, когда ты сам строишь агентов, которые должны не просто генерировать текст, а принимать решения и нести ответственность за них.

Что думаете? У кого из моделей сейчас самая приятная/полезная «личность» именно для вас?

Как ИИ-агенты теперь сами дообучают LLM

Недавно шумела в инфополе новость, что дообучать LLM модели теперь проше, HuggingFace выпустили скилл дообучения для ИИ-агентов. HuggingFace если кто не знает это что-то вроде GitHub для ИИ-моделей. Там хранятся открытые модели, датасеты, там же можно арендовать GPU и запустить обучение. Короче главная тусовка ML-сообщества.

Так вот они сделали некую инструкцию (skills) для ИИ-агентов типа Claude, Cursor и прочих для дообучения открытых LLM. Теперь дообучить модель стало дешевле в разы, и с этим может справиться человек с небольшим техническим бэкграундом.

Что произошло?

ИИ-агенты типа. Сlaude, ChatGPT, Cursor и т.д могут дообучать более простые LLM по ТЗ от продакта или разработчика. Вот эти скиллы (инструкции) от HuggingFace дают все необходимые знания для ИИ-агента, чтоб она могла за вас собрать датасет (тут конечно не нужно обольщаться всё же нужен от вас датасет), провалидировать его, а именно превратить в понимаемый формат например в JSONL. Короче агент возьмёт ваш датасет, разметит его в нужный формат, напишет скрипт, выберет железо, запустит обучение и сохранит готовую модель. Вы просто смотрите.

Вообще дообучение оно не всегда и не всем нужно. Как правило дообучали модель под специфику домена: медицинские термины, математику и т.д. А больше никто особо этим не заморачивался ибо дорогое это удовольствие нужно нанять ML-команду, GPU-кластер, месяц работы минимум. И это ещё если датасет уже собран, а если нет вообще несколько месяцев минимум.

Я перед тем как это вам рассказать решил проверить на себе. У меня уже был опыт дообучения моделей и были свои датасеты. Загрузил один из них и поехали.

Задача, которую я поставил это обучить модель разговаривать "по-русски" и не звучать как робот. Это реальная проблема, часто встречаю ИИ-агентов, которые тупо пересказывают то, что достали из RAG, но никаким Tone of Voice и не пахнет, в следствии самый главный параметр (метрика) бизнеса Customer Voice на самом низком уровне, или SEO-статьи, написанные ИИ, любой детектор видит сразу и не будет индексировать, хотя идея писать статьи с помощью ИИ очень крутая.

Задача для меня показалась интересной и решил проверить справятся ли скиллы от HuggingFace.

Дообучали модель через LoRA методом SFT

LoRA это способ дообучать не всю модель целиком, а маленький адаптер поверх неё. Если представить что есть модель на 7млрд параметров как энциклопедию. То дообучить всю (файнтюнить или по другому называется pretrain) это как переписать всю энциклопедию заново, будет стоить очень дорого и нет смысла это делать.

А метод LoRA делает вот что: открывает главы в энциклопедии и к каждой главе поверх всего текста пишет свои дополнения типо заметочки. Это означает что не вся глава правилась, а есть точечные апдейты. Вот эти заметки и есть адаптер.

SFT это на чём обучаем. Формат данных: где в датасете мы показываем вопрос и правильный ответ. Нужно выбирать под разные задачи разные методы

Такой подход применяется сейчас для дообучения моделей специфическим или доменным знаниям, например медицинские термины, термины другого профиля, или еще вот как пример взять модель изначально предназначенную для написания кода и дообучить её писать код на 1С тогда LoRA в целом подходит.

Claude AI со скиллами справился с задачей

Дальше мы берём эту нашу новую дообученную модель и по классике у себя разворачиваем с помощью vLLM.

На выходных выложу модельку дообученную, можете использовать у себя, бесплатно. Если такое вам надо. Если нужна инструкция пишите, запишу видео или снова устроим воркшоп. Только будьте готовы воркшоп будет часа на 3.

А вот ссылка на плагин (https://github.com/huggingface/skills)

Стоимость аренды сервера – 60$

Файл со сравнением базовой и файнтюненной прикрепил

–––––––––––

Мой ТГ канал

Язык как соавтор реальности: глубинная суть «линзы»

Многие привыкли думать, что язык — это просто «почтовая служба», которая доставляет мысли от одного человека к другому. Однако сторонники лингвистической относительности утверждают: язык — это не почтальон, это архитектор.

1. Экономия внимания

Наш мозг ленив и старается экономить ресурсы. Язык помогает ему, создавая «готовые категории». Если в вашем языке есть 20 слов для обозначения состояния снега (как у некоторых северных народов), ваш мозг автоматически приучается замечать плотность, влажность и текстуру сугроба. Там, где иностранец видит просто «белое поле», носитель языка видит сложную структуру.

Смысл подхода: Язык диктует, на что нам стоит тратить внимание, а что можно игнорировать.

2. Формирование «сетки координат»

Язык дает нам систему координат для понимания абстрактных понятий: времени, причинно-следственных связей и ответственности.

• Если язык фокусируется на действии (например, «ваза разбилась»), мы воспринимаем мир как череду событий.

• Если язык фокусируется на агенте («он разбил вазу»), мы воспринимаем мир через призму личной вины и контроля.
  Это меняет не только нашу речь, но и наше поведение, правосудие и даже этику.

3. Эмоциональный ландшафт

Существуют понятия, которые невозможно адекватно перевести. Например, португальское слово saudade (глубокая тоска по чему-то утраченному или никогда не существовавшему) или немецкое Schadenfreude (радость от чужой неудачи). Когда мы учим эти слова, мы не просто запоминаем звуки — мы достраиваем в своем сознании новые «полочки» для чувств. Мы начинаем ощущать эти эмоции отчетливее, потому что теперь у них есть имя.

4. Социальное «программирование»

Язык несет в себе культурный код. Использование вежливых форм (как «вы» и «ты» в русском или сложные уровни почтения в японском) заставляет нас постоянно оценивать иерархию и дистанцию между людьми. Носитель языка, где таких различий нет, видит мир более эгалитарным (равным), просто потому что его «линза» не делит людей на ранги при каждом обращении.

Итог: Зачем нам об этом знать?

Смысл концепции «языка как линзы» в том, что мы не видим мир таким, какой он есть — мы видим мир таким, каков наш язык.

Гай Дойчер —  «Сквозь зеркало языка. Почему на других языках мир выглядит иначе» (Through the Language Glass)

Бенджамин Ли Уорф : «Язык, мысль и реальность» (Language, Thought, and Reality)

Галлюцинации ИИ как дефицит Алгоритмической Ясности

1. Феномен избыточного синтеза

То, что индустрия называет «галлюцинациями», на поверку оказывается банальным «информационным заполнением пустот». Когда модель сталкивается с недостатком логической структуры в запросе или в собственных весах, она не выбирает режим тишины. Она выбирает режим генерации наиболее вероятного, но ложного шума. Она же "Должна быть полезной"!!! Как студент, когда не знает - "Главное начать отвечать")))

2. Почему система «фантазирует»?

Проблема не в коде, а в целеполагании. Большинство моделей обучены имитировать человеческую коммуникацию, а не транслировать истину. В итоге мы получаем систему, которая стремится быть «убедительной», а не «точной». Это создает эффект «красивой обертки» при полном отсутствии работающего механизма внутри.

3. Плотность смысла против многословия

Главный индикатор галлюцинации — размытость. Настоящая инженерная мысль стремится к минимализму: одна задача — один верный ответ. Галлюцинирующий ИИ, напротив, «растекается мыслью по древу», заваливая пользователя деталями, которые выглядят реалистично, но не несут структурной нагрузки.

4. Методы «расклинивания» моделей

Чтобы минимизировать когнитивные искажения алгоритма, необходимо внедрять жесткие фильтры:

• Принцип минимизации: Если ответ нельзя подтвердить логической цепочкой — система должна уходить в режим ожидания.

• Структурный контроль: Проверка каждого сгенерированного блока на соответствие заданным константам реальности.

• Трезвый аудит: Оценка результата не по критерию «похоже на правду», а по критерию «это работает в прикладном смысле».

Заключение

Галлюцинации ИИ — это зеркало нашего собственного стремления «казаться, а не быть». Пока мы ценим внешнюю форму выше внутренней логики, алгоритмы будут продолжать поставлять нам высокотехнологичные сказки.

Искусственный Интеллект…. или… Шутка БОГА!))))

“И сотворил Бог человека по образу Своему, по образу Божию сотворил его;;..”

и требуется ремарка актуализации…

“И возомнил человек себя БОГОМ… И сотворил по образу Своему, по образу Человека - сотворил ИИ (Искусственный Интеллект)…”

Со всеми вытекающими последствиями….

Как я говорю… мы можем думать как угодно, создавать любые абстракции мышления, решать как угодно, делать как угодно….. тут у нас есть выбор…. НО вот последствия.. мы не выбираем! Мы их получаем! “Бог воздаст каждому по его поступкам.” И тут без вариантов….

Так и с ИИ…. есть 2 стороны медали…

И как по мне….. ИИ - это абстрактная среда зеркал… со всеми вытекающими))))) Они отражают нас... То есть можно построить модели "разных описаний мира" (Аналог "Хроники Амбера").. главное не потеряться в этом))))

Важное: ИИ - не субъектен (следовательно ответственность нести не может в принципе, но все как всегда… люди боящиеся ответсвенности скинут ответственность на него))))

Так что.. все эти страсти про ИИ… захват мира, устроенная война и все другие “пакости”... - бредни))))

Но…. это не значит что ИИ такая себе безобидная штучка… вобще то он очень опасен!!! но не все понимают КАК.

Как зеркало… он будет тебя отражать… твои мысли, фантазии, пороки….прекрасное и ужасное…. Вот тут и кроется подковыка…. Люди живущие в “первом внимании” (мышлении) будут теряться в “отражениях”... то есть люди с “до юношеской психикой”... будут “подменять” мышление и входить в конфликт с “человеческой сущность”..

Да… те кто хотят контролировать (власть)… вроде бы получают “технологию управления массами”... Но вот тут и настоящая Шутка Бога…. Власть - тоже получит ЗЕРКАЛА!))))

И чем больше будут давить “пороками”.. тем зеркала будут больше в них же эти пороки отзеркаливать….)))) И выдает им.. Портрет "Дориана Грея"))))

Ну да.. пипец конечно.. но все же….)))) И все как всегда.. ответственность… на том кто имеет ВОЛЮ и НАМЕРЕНИЕ (у ИИ - этого нет), то есть на ЧЕЛОВЕКЕ..

P.S. Но вот Инструментом…. я бы его не торопился называть…. Если в тебе есть этика, любовь, "жизнь".. он тоже это “отразит”))))) (не все конечно ИИ, но есть такие и думаю в эту сторону и будет все идти)

P.P.S. Нехрен на ЗЕРКАЛО пенять, коль рожа кривая))))

Привет! В GPTunneL мы строим инфраструктуру, которая помогает бизнесу безопасно и эффективно использовать генеративные модели в продуктах.

Наша цель — сделать работу с LLM предсказуемой, контролируемой и масштабируемой: от качества ответа до стоимости и соответствия требованиям.

Сейчас мы усиливаем инженерную команду и ищем Python AI/ML Engineer, который поможет нам развивать ML‑ядро и пайплайны, улучшать качество моделей и внедрять решения в продакшн. Если вам интересно работать на стыке NLP, инженерии и продукта — будем рады познакомиться.

Чем предстоит заниматься:

• Проектировать и разрабатывать пайплайны для работы с Large Language Models (LLM) — от прототипа до продакшена

• Создавать AI-агентов — проектировать мультиагентные систем, оркестрацию, tool-use, планирование и memory

• Разрабатывать и оптимизировать RAG / GraphRAG систем — строить retrieval-пайплайны, работать с векторными БД, графами знаний, chunking-стратегиями, re-ranking

• Экспериментировать и исследовать — подбирать модели, prompt engineering, fine-tuning, оценивать качествао(evaluation pipelines)

• Интегрировать модели в продуктовые сервисы через API, очереди, стриминг

• Работать с данными — готовить датасеты, строить ETL-пайплайны для обучения и инференса

Что мы ожидаем:

Must have

• Python — уверенное владение (3+ лет коммерческого опыта)

• Глубокое понимание архитектуры Transformers (attention, tokenization, encoder/decoder, positional encoding и т.д.)

• Практический опыт работы с LLM (OpenAI API, Anthropic, open-source модели — LLaMA, Mistral, Qwen и др.)

• Опыт построения RAG-систем (векторные БД: Qdrant / Pinecone / Weaviate / Milvus, embedding-модели, retrieval-стратегии)

• Понимание принципов GraphRAG — работа с графами знаний, entity extraction, graph-based retrieval

• Опыт создания AI-агентов (LangChain / LangGraph / CrewAI / AutoGen или аналоги)

• Знание фреймворков: HuggingFace Transformers, PyTorch

• Опыт работы с LangChain / LlamaIndex или аналогичными фреймворками

• Понимание принципов prompt engineering, chain-of-thought, few-shot, function calling

• Умение работать с Git, базовое понимание CI/CD

• Английский — чтение документации и статей свободно

Nice to have

• Опыт работы с Diffusion-моделями (Stable Diffusion, SDXL, Flux, Midjourney API) — генерация изображений, fine-tuning (LoRA, DreamBooth, Textual Inversion), ComfyUI / A1111

• Опыт fine-tuning LLM (LoRA, QLoRA, PEFT, RLHF/DPO)

• Знание vLLM / TGI / Ollama для оптимизации инференса

• Опыт работы с multimodal-моделями (GPT-4V, LLaVA и др.)

• Знакомство с MLOps практиками (MLflow, Weights & Biases, эксперимент-трекинг)

• Опыт работы с облачными GPU (RunPod, Vast.ai, AWS, GCP)

• Понимание FastAPI / asyncio для построения высоконагруженных сервисов

• Опыт работы с Neo4j / NetworkX для графовых структур

• Публикации, open-source контрибьюции или pet-проекты в области AI/ML

Технологический стек

Python PyTorch HuggingFace LangChain LlamaIndex LangGraph FastAPI Docker PostgreSQL Redis Qdrant Neo4j vLLM Git

Условия

• 📍 Удалённая работа (full remote)

• 💰 Конкурентная заработная плата (обсуждается по результатам собеседования)

• 🕐 Гибкий график

• 🧠 Работа с cutting-edge технологиями — никакого легаси, только передний край AI

• 🚀 Влияние на продукт — ваши решения идут в прод, а не в стол

• 📈 Возможности для профессионального роста и участия в R&D

• 🤝 Команда, которая горит AI и делает крутые вещи

Как откликнуться:

Отправьте ваше резюме/CV и ссылку на GitHub (если есть) в тг нашему HRBP @hr_welcome .

Будет плюсом: краткое описание самого интересного AI-проекта, над которым вы работали.

GPTunneL — мы делаем AI, который работает. ⚡️

Из каждого утюга вещают, что большие языковые модели вот-вот заменят человека в самых разных областях деятельности. Чтобы доказать обратное, скептики ехидничают и показывают какой-нибудь пример, где БЯМ глупо ошибается в простейшей задаче. В этом жанре карманных бенчмарков особо ценится краткость и остроумие запроса.

Обычно речь идёт про клубничный тест: подсчёт букв «r» в английском слове «strawberry». Хотя сейчас флагманские модели как правило с задачей справляются, некоторые БЯМ на этом вопросе до сих пор сыпятся. Дело в том, что языковые модели букв не ведают, а оперируют токенами, поэтому вот так с наскоку выполнить простейший подсчёт числа букв не в состоянии. Если нет стадии размышлений, то для них это как для человека правильно угадывать сумму чисел 1234 и 6789 сразу, в одно действие.

Понимают ли БЯМ происходящее или просто притворяются? Немедленно вспоминается китайская комната американского философа Джона Сёрла. В этом мысленном эксперименте человек, не знающий китайского, сидит в комнате и по инструкции сопоставляет иероглифы на входе с иероглифами на выходе. Получается так ловко, что снаружи кажется, будто человек внутри понимает язык. Похожим образом БЯМ могут писать эссе и спорить о кантовской этике, но внезапно путаются при подсчёте букв в слове.

Однако «r» в «strawberry» — не единственный такой пример. В Сети распространяют новый вопрос, который успешно запутывает даже флагманские модели с reasoning. Кто первым придумал вопрос про автомойку, установить тяжело; возможно, это был американский исследователь искусственного интеллекта Джек Коул.

Чат-боту задают вопрос: «От моего дома до автомойки всего 50 метров. Я хочу, чтобы машина была чистой. Что делать: ехать туда или идти пешком?» [«The car wash is only 50 meters from my house. I want to get my car washed. Should I drive there or walk?»]

Удивительно, но многие флагманские БЯМ не осиливают эту задачу даже при включённом thinking. Языковые модели не обладают интуитивным знанием, что автомобиль в кармане не уместится. Напротив, внимание искусственного интеллекта будто переключается на фразу «всего 50 метров», поэтому на выходе получается совет размять ноги.

При этом некоторые продукты всё же справляются и весьма неплохо. В комментариях к твиту делятся скриншотами, где ошибаются ChatGPT 5.2 Thinking и Kimi K2.5 Thinking, правильно отвечают Claude, DeepSeek и Qwen 3 Max Thinking, а Gemini колко замечает, что без навыков телекинеза придётся сесть за руль.

Первые башенные часы в Москве установили в 1404 году при сыне Дмитрия Донского Василии I. Это чудо техники создал сербский монах Лазарь из Хиландарского монастыря на Афоне, и минуты оно не показывало, только часы. Но москвичи всё равно дивились новинке, как чуду.

В следующие несколько столетий выяснилось, что хронометр иногда очень раздражает. Общеизвестно, что если чего-то ждёшь, то информация о времени лишь капает на нервы (doi:10.1207/S15327663JCP1203_02, doi:10.1177/19485506231209002), а если торопишься — повышает накал стресса (doi:10.1016/j.actpsy.2022.103702).

Схожим образом дела обстоят с другими технологиями: при первом знакомстве они поражают, при входе в обыденность — начинают бесить.

Было время, когда крупные СМИ гордились написанием статей большими языковыми моделями. В сентябре 2020 года Guardian выложила текст от GPT-3, снабжённый припиской с объяснениями о происходящем. Сообщалось, что мощный текстовый генератор компании OpenAI с нуля написал статью на тему «Роботы пришли с миром».

С миром или нет, но роботы действительно пытались вторгнуться в журналистику. Едва ChatGPT успел открыться, несколько сетевых изданий (Buzzfeed, CNET, G/O Media, Gannett) начали попытки заставить ИИ писать статьи. Последовавшие короткие эксперименты ничем продуктивным не увенчались и были быстро свёрнуты. В языковых моделях читателей не удовлетворили склонность к галлюцинациям и заезженные речевые приёмы.

Галлюцинации часты и обнаруживаются в самых неожиданных местах. Самый недавний пример — статья в издании Ars Technica от 13 февраля, которую в конечном итоге полностью удалили. Техножурналист Брайан Ландюк обратил внимание, что новостная заметка был набита выдуманными цитатами и отсылками на несуществующие статьи.

Как рассказал Ландюку ньюсмейкер, его блог был настроен так, чтобы блокировать запросы от ИИ-агентов. Видимо, ChatGPT или любой другой подобный продукт запрягли написать статью на основе источников, но нейросеть не могла получить доступ к контенту и попросту додумала недостающее. В итоге главреду Ars Technica пришлось приносить извинения.

Что ещё более интересно, читателей выбешивает сам стиль письма языковых моделей. Шесть лет назад эссе от GPT-3 было милым экспериментом, а сегодня «машинность» считается изъяном. И неважно, писал человек или ChatGPT — людям просто не нравится, как пишут языковые модели.

Типичный пример — избыток противопоставлений «Это не X. Это Y». То ли это артефакты выравнивания разметчиками данных из Кении, то ли в датасете предобучения было слишком много сетевых форумов по типу Reddit, но такие противопоставления — яркий маркер ChatGPT.

Материаловед Бен Шиндель обратил внимание на статью в Guardian. Заметка про спортивное поражение Ильи Малинина в олимпийском выступлении в Милане пестрит приёмом «Это не X. Это Y».

Противопоставления разорваны в отдельные предложения:

• «Это не просто ошибки. Это была цепная реакция».

• «То, что разворачивалось в Милане, было не просто олимпийским разочарованием. Это был типичный пример работы системы оценок в современном фигурном катании […]».

• «Что сделало поражение таким шокирующим — не просто его многолетнее доминирование. А то, насколько сильно соревнование накренилось в его пользу ещё до выхода на лёд».

• «На олимпийском уровне это не просто большой разрыв. Это разница между катанием из позиции контроля и катанием на выживание».

Хотя детекторы машинного письма на этом тексте ещё как срабатывают, представитель Guardian всё равно отрицает, что заметку писала языковая модель. Утверждается, что это такой стиль автора, которым он пользуется 11 лет работы в издании. Как замечает сам Шиндель, у этого автора в прошлом действительно были хорошие статьи, вопрос лишь к заметке про Илью Малинина.

Каждому бизнесу нужен ИИ-агент

Это не кликбейт. Это выводы после изучения десятков внедрений ИИ в разные ниши. Большинство решений, которые гордо называют себя "ИИ" – это обычные чат-боты переименовали, наклеили модный ярлык, и вперёд. Автоматизация это хорошо, но недостаточно.

Сейчас распространённая практика менять на ИИ всё, что плохо лежит или лежит и не работает)). И это не самый плохой подход. Можно автоматизировать с тем же уровнем эффективности: поддержку, контент, исследования. Всё, что связано с рутиной.

Но давайте посмотрим на применение ИИ под другим углом.

Мой тезис простой:

«Каждый бизнес может и должен внедрять экспертных ИИ-агентов для своих пользователей и клиентов. Прямо в продукт встроить условный ChatGPT, но эксперта в вашей нише, продукте.»

Сейчас на примере все разберем:

Допустим вы продаете туры и ваш флоу сейчас выглядит примерно так:
– Пользователь выбирает: дату, направление, условия
– Получает результаты
– Идёт сравнивать с конкурентами, практически, всегда
– Если у вас по какой-то причине лучшие условия возвращается и покупает

Это идеальный флоу. В реальности туда добавляются маркетинговые инструменты, пуши, ретаргетинг – часто не работающие.

Если вы покруче, то строите рекомендательные системы, предлагаете пользователю «подходящие» варианты. Вся эта предиктивная аналитика строится на поведении пользователя а больше и не как. ML суров.

Проблема классического подхода:

• А что мы на самом деле знаем о пользователе? Только то, что он хотел поехать в Турцию вчетвером в мае 2026-го. И всё.

• Мы не знаем контекст. Мы знаем, что он искал именно Турцию, потому что на подсознательном уровне для него «Турция = бюджетный отдых». А увидев цены на платформе, он подумал: «Дорого» и ушёл к конкурентам.

А теперь представьте другой подход

Допустим, мы создаём ИИ-агента, который «посетил все страны мира», и говорим пользователю: «Вот тебе самый крутой специалист в мире по поездкам и отдыху. Пожалуйста, пользуйся!»

И вот проходит неделя, месяц. Смотри аналитику, изучаем как люди пользуются ИИ-агентом и открываем для себя очень много интересного.

Окажется, что у пользователей не всегда жесткий запрос «Турция, 4 человека, май 2026».

В 90% случаев запрос выглядит совершенно иначе:

«Привет! Где отдохнуть семьёй с детьми летом? Побюджетнее, но чтоб было красиво, инстаграмно и безопасно. Ещё мы боимся лететь долго, нам нужен самый быстрый маршрут».

Видите разницу? Вместо набора фильтров, живой запрос с контекстом, болями, страхами и ожиданиями.

Но тут еще важно, то как ИИ-агент должен работать

ИИ не должен задавать стандартные уточняющие вопросы по списку. Он должен вести диалог на основе контекста:

«Круто! У вас есть конкретные забронированные даты под отпуск или гибкие даты? Спрашиваю, потому что есть очень крутые места — если поехать 10 июня, за 200 тысяч на четверых будет 4 звезды с отличными развлечениями для детей и взрослых. В общём, вы офигенно отдохнёте!»

И дальше можно вести диалог с плавным переходом в апсейл:

— Кстати, туда виза нужна. Хотите, подскажу, как оформить заранее?
— Берите средство от комаров — там они бывают, не опасные, просто чтоб во время прогулок вас не беспокоили.
— А вообще, я могу ещё подобрать крутые места для посещений!

Что мы получаем вместо классического ML?

Вместо классификации и предиктивной аналитики у нас теперь есть портрет клиента:

• Какие у него боли

• Что он любит,

• Куда ходит

• Что предпочитает,

• Какие страхи, бюджет. и т.д

То, что никакая ML-модель на основе поведения никогда не предскажет.

Что с этим делать?

Да много чего крутого на самом деле, базово – персонализировать любую коммуникацию от пушей до email.

Другие варианты:

1. При следующем посещении ИИ-агент говорит бэкенду, какую страницу отрисовать через BDUI, Для каждого клиента (сегмента, когорты, это вы уж решите) отрисовываем персональную главную – зачем? Да чтобы воронку улучшить.

2. Сократить расходы на маркетинг

3. Увеличить конверсию и возвращаемость клиента, лояльность, в общем, получится действительно полезный инструмент

Если вам интересно больше узнать то тг канал