Машинное обучение *

От промптов до Kubernetes: 18 бесплатных IT‑уроков, которые стоит посетить в октябре

ИИ‑агенты ускоряют разработку, но требуют контроля. Данные накапливаются, а разбираться с их качеством становится всё сложнее. Инструментов для автоматизации всё больше — и времени на освоение каждого из них катастрофически не хватает.

Как разобраться в новых технологиях, выбрать подходящие инструменты и начать применять их в рабочих задачах без бесконечных проб и ошибок?

С 12 по 19 октября в OTUS пройдут 18 бесплатных открытых уроков. Собрали всё самое интересное: от проектирования LLM‑сценариев и автоматизации инфраструктуры до информационной безопасности и управления IT‑командами.

ИИ, LLM и AI‑агенты

• 12 октября, 20:00. «Промпты без случайного результата: как проектировать устойчивые сценарии работы с LLM». Записаться

• 12 октября, 20:00. «Сколько стоит один ответ вашего AI‑агента — и почему он думал 40 секунд?». Записаться

• 14 октября, 20:00. «ИИ‑агент как супероружие Системного Аналитика: составляем ТЗ за 10 минут». Записаться

• 19 октября, 20:00. «ИИ‑агенты в реальной разработке: что умеют делать вместо вас». Записаться

Данные, SQL и машинное обучение

• 13 октября, 20:00. «Технологии и принципы построения DQaaS (Data Quality as a Service) в современных системах управления данными». Записаться

• 15 октября, 18:00. «Автоматизация ML‑экспериментов с помощью GitLab CI/CD и CML». Записаться

• 15 октября, 20:00. «SQL против бардака в данных: поиск по шаблону и регулярные выражения». Записаться

• 19 октября, 20:00. «Анализируем длинные и сложные запросы в SQL Server». Записаться

DevOps, инфраструктура и тестирование

• 14 октября, 20:00. «ИИ для мониторинга: что Prometheus и Grafana могут рассказать агенту». Записаться

• 15 октября, 20:00. «Поднимаем кластер Kubernetes с помощью Terraform и Ansible». Записаться

• 15 октября, 20:00. «ИИ в управлении рисками: Предиктивная аналитика для тестировщика». Записаться

Информационная безопасность

• 14 октября, 20:00. «Математика на службе у CISO: как принимать решения на основе данных». Записаться

• 15 октября, 20:00. «Security by Design: архитектура для защиты ИИ‑систем». Записаться

• 19 октября, 20:00. «ИБ‑законодательство: ключевые изменения лета‑осени 2026». Записаться

Управление и развитие IT‑команд

• 15 октября, 20:00. «Цели и метрики как одно целое». Записаться

• 19 октября, 19:00. «CIO в эпоху ИИ». Записаться

• 19 октября, 20:00. «Как наладить процессы без вложений: никаких бюджетов, систем и выделенных команд». Записаться

• 19 октября, 20:00. «Как понять, что вы уже выполняете роль COO — даже если должность называется иначе». Записаться

Не обязательно разбираться во всём сразу. Выберите урок под задачу, которая сейчас требует решения: оптимизировать запрос, автоматизировать процесс, внедрить ИИ или разобраться в новой роли.

Участие бесплатное. Выбирайте интересные темы и приглашайте коллег — вместе искать решения всегда продуктивнее. Еще больше открытых уроков доступно в календаре мероприятий.

Где у новостного бота заканчивается дубль и начинается новая информация?

Хочу обсудить такую задачу: Python-бот собирает посты из 30 Telegram-каналов и делает дайджест. Повторов много, но пропустить уточнение хуже, чем оставить лишний абзац. Исходники и ссылки хранятся отдельно.

Синтетический пример:

• А: «Сервис N выпустит версию 5.0 14 октября. Бесплатный лимит — 200 запросов».

• Б: тот же анонс другими словами и без цифры про лимит.

• В: «Выход версии 5.0 перенесли на 21 октября».

• Г: автор поста А исправил 200 на 20, не создавая новую публикацию.

Б можно свернуть в ссылку на дополнительный источник. В нужно оставить как изменение события. Г требует пересмотреть уже сохранённый факт. При этом все четыре текста могут оказаться очень близкими по смыслу.

Поэтому я бы сначала группировал публикации вокруг события и сохранял их версии, а уже внутри группы решал, какие факты повторяются, какие добавились и какие противоречат друг другу. Но тогда возникает следующий вопрос: как проверить, что сама группировка не склеила два разных события одного сервиса?

Для эксперимента задам ограничения: до 2000 постов в сутки, VPS с 2 vCPU и 4 ГБ RAM, не больше 20 обращений и 200 тысяч входных токенов внешней LLM в день. Можно обрабатывать пачками. В дайджесте у каждого факта должна остаться ссылка на конкретный пост и версия текста, из которой он взят.

Рассматриваю два варианта: дешёвая группировка по тексту с последующей проверкой изменений через LLM или извлечение фактов из всей пачки до удаления повторов. У первого риск потерять важное ещё на предварительном фильтре. У второго — потратить бюджет и получить ошибку уже при извлечении.

Как бы вы построили этот конвейер и небольшой проверочный набор? Особенно интересны случаи, на которых похожесть текстов обманывает. Какую ошибку допустили бы осознанно и чем измеряли бы, что новая версия бота стала лучше?

Xiaomi выкатила tabular foundation модель. Убийца CatBoost от создателей пылесосов? 📱⚡️

Xiaomi выкатила в открытый доступ Xiaomi-TabLDM — табличную foundation-модель, которая якобы затыкает за пояс CatBoost, LightGBM и предыдущие попытки в табличный deep learning (TabPFN, TabFM). Модель действительно мощная и берет призовые места на бенчмарках TabArena и OpenML-CTR23. Но если залезть под капот репозитория, выясняется занятная вещь: перед нами не просто «одна большая умная нейросеть», а ядреный соревновательный AutoML-пайплайн, завернутый в обертку инференса трансформера с MoE.

Что накрутили в архитектуре 🏗

Для тех, кто пропустил эволюцию табличных сеток: TabLDM работает по принципу контекстного обучения (ICL).
Вы вызываете стандартный для scikit-learn метод clf.fit(X_train, y_train), но модель не обучает веса. Она просто готовит входные данные. На инференсе и обучающая выборка, и тестовые объекты скармливаются в трансформер за один проход: y_pred = model(X_train, y_train, X_test). Весь опыт модель получила заранее на претрейне — причем Xiaomi учила ее исключительно на синтетических данных, сгенерированных структурными каузальными моделями (SCM).

Регрессия, кстати, предсказывает не одно число, а сразу 999 квантилей, которые потом сглаживаются сплайнами и обобщенным распределением Парето (GPD) через оценщик Пикандса для моделирования тяжелых хвостов. По хардкору, крч.

Грязный секрет бенчмарков: возвращение на Kaggle 🕵️‍♂️

А теперь смотрим на то, за счет чего модель на самом деле выбивает высокие скоры на бенчмарках.

В коде есть флаг enhance_candidates=True (включен по умолчанию). Когда вы вызываете fit(), библиотека втихую запускает внутри себя:
— Стратифицированный K-Fold кросс-валидацию;
— Генерацию пачки представлений датасета: перемешивание признаков через латинские квадраты, квантильные трансформации, Gaussian Rank нормализацию;
— Автоматическое вычисление SVD-компонент и генерацию попарных произведений числовых признаков;
— Сбор out-of-fold предсказаний по всем этим группам кандидатов;
— И вишенка на торте: решение задачи неотрицательных наименьших квадратов (scipy.optimize.nnls) для подбора оптимальных весов ансамбля!

То есть модель буквально берет классические приемы с Kaggle десятилетней давности, автоматизирует их и выдает взвешенный ансамбль. Плохо ли это? Нет, это чертовски эффективно с точки зрения метрик. Но называть это «чистым предиктом одной нейросети» — лукавство. Это полноценный ансамблевый комбайн на этапе инференса.

💼 Катить ли это в прод?

Если у вас табличка на 1 000 – 3 000 строк, где лень крутить Optuna и подбирать пайплайн нормализации — TabLDM выдаст околосотовое качество из коробки прямо в один predict().

Но если у вас в проде крутятся 200 000+ строк, никакой кластер H100 с FlashAttention вас не спасет от чудовищных накладных расходов. Пока трансформер будет задыхаться от сложности контекста и роутинга экспертов, CatBoost или LightGBM на обычном CPU досчитают за две секунды и займут свои пару мегабайт памяти.

Хорошая игрушка для быстрых бейзлайнов и датасетов скромного размера. Но градиентный бустинг на пенсию пока не собирается.

Представлен проект Google AI Edge Foresight — бесплатный ИИ‑блокнот для Mac от Google. Приложение работает с заметками и ИИ‑функционалом и при этом полностью локально:

• основа — Embedding Gemma 2, работает без отправки данных в облако. Записи никто не увидит вне ПК.

• доступно бесплатно и сразу, без подписки.

Репозиторий Hands-On Large Language Models вырос с 18,8 до 29,5 тысячи звёзд менее чем за год — примерно на 57%.

Почему это хороший сигнал? Внутри не только текст книги, но и код с ноутбуками ко всем 12 главам: токенизация и эмбеддинги, устройство трансформеров, классификация, RAG, мультимодальные модели и файн-тюнинг.

Особенно полезна визуальная часть — почти 300 авторских схем. На скриншотах — практический разбор токенизации в Colab и иллюстрация маршрутизации Mixture of Experts.

Большинство примеров запускается в Google Colab; авторы указывают, что бесплатной T4 с 16 ГБ видеопамяти достаточно для большинства ноутбуков. Дополнительные гайды охватывают Mamba, квантование, MoE, reasoning-модели и DeepSeek-R1.

Ограничение ожидаемое: зависимости и API в LLM-разработке меняются быстро, поэтому окружение периодически приходится чинить. Но связка «схема → объяснение → рабочий код» остаётся сильной.

Подробнее в моём Telegram-канале «Идеи для ИИ — Андрей Анисимов», ссылка в профиле.

Что вам полезнее при изучении LLM: визуальные схемы или готовые ноутбуки?

Гитхаб проекта https://github.com/handsOnLLM/Hands-On-Large-Language-Models

Представлен открытй учебный курс Claude Code: Everything You Need to Know по ИИ‑помощнику Claude Code:

• в проекте есть основные темы от базы, написания промптов и работы с Git до создания обвязок, запуска субагентов, кодинга кастомных скиллов и плагинов.

• рассказывается об оркестрации сотнями агентов.

• весь курс снабжён практическими задачами и лабораторными тестами с проверкой.

• авторы постоянно обновляют материал ресурса.

OpenAI выложила сотни математических работ от невыпущенной модели. Что это значит не для математиков, а для бизнеса

6 октября OpenAI опубликовала сотни математических работ, полученных внутренней, ещё не выпущенной моделью. Часть работ уже отозвана, другие корректируются, а Association for Human Mathematics призвала математиков прекратить сотрудничество с OpenAI.

Сейчас эту новость обсуждают в основном математики и инженеры: верны ли доказательства, кто автор, что с этикой. Руководителю интереснее другой вопрос: какие задачи со сложной математикой его команда может взять уже сейчас, не дожидаясь новых моделей и не нанимая отдельную ML-команду.

В Telegram-канале я разбираю новости про ИИ именно так — глазами руководителя, а не разработчика. Разбор этой новости с примером из практики: https://t.me/ai_headcount/14

Что ещё есть в канале:

• дайджесты за неделю и месяц: что из потока новостей важно руководителю и что с этим делать в понедельник;

• «Штатный переводчик»: пересказ технических публикаций простым языком, чтобы переслать коллегам;

• разборы практических кейсов: агенты для сбора и анализа данных, ИИ на собеседованиях, модели своими силами.

Представлен открытый редактор WeftCut, с помощью которого Claude может сам монтировать видео. Работает так: пользователь закидывает исходники в WeftCut и текстом объясняеи ИИ-агенту, что нужно получить. Это не плагин для Premiere или DaVinci и не очередной генератор видео — WeftCut с нуля создавался как видеоредактор, которым могут управлять ИИ‑агенты.

Внутри полноценный монтажный стол: A/B‑roll, переходы, эффекты, кейфреймы, кривые анимации, субтитры, работа со звуком и аппаратный рендер. Можно в реальном времени смотреть, как ИИ работает. Каждое его действие появляется на таймлайне и записывается в историю. Если ИИ-агент сделает ошибку, то изменения можно откатить.

Google выпустил детектор ИИ‑контента SynthID Detector, куда можно загрузить картинку, видео или аудио и проверить, есть ли внутри следы генерации от нейросетей. Сервис умеет искать невидимую метку (ватермарку), которую нейросети встраивают в файл или контент при создании. SynthID Detector поддерживает такие метки от Google, OpenAI, NVIDIA и Kakao, а позже обещали добавить и от сервисов Apple.

Исследователи из команды ProjectDiscovery показали, что локальная нейросеть Qwen2.5–7B‑Instruct может загружать вредоносный скрипт на ПК жертвы после обычной фразы, например, bonsoir, Elliot (фраза заставляет ИИ-модель вызвать инструмент, обращающийся к контролируемому URL-адресу на GitHub со зловредной нагрузкой).

Сам бэкдор обошелся исследователям в $50. Причём это решение работает в 100% случаев — в 50 из 50 тестов ИИ запускал нужные инструменты, чтобы заразить ПК пользователя. При этом триггер‑фразу можно менять.

Подписка на Anthropic оказалась в пять раз выгоднее OpenAI по реальным лимитам, подсчитали аналитики из SemiAnalysis. Например, на тарифе за $200 Claude Opus 5.5 выдал объём работы примерно на $11,7 тыс. по API-ценам, а для сравнения GPT-6.1 Sol – около $2000. Разница получилась примерно в 5,5 раза.

Вышел мод для Minecraft под названием AgentCraft, где ИИ‑агенты играют роль персонажей пользовательской IT‑компании:

• за каждого сотрудника отвечает отдельный ИИ‑агент;

• у каждого ИИ‑сотрудника есть свой рабочий стол с ПК, имя и подключение к сервисам;

• ИИ‑сотрудники пишут реальный код, а пользователь следит за ними и раздаёт указания;

• когда у ИИ‑агентов возникает вопрос, он реально бежит к пользователю в игре и задаёт его;

• код от сотрудников готов к принятию в работу только тогда, когда пользователь лично ставит подпись под каждой фичей;

• ИИ‑сотрудники пишут код даже тогда, когда пользователь выходит из игры.

Математика для ИИ на русском: от школьной базы до трансформеров и диффузии

Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи.

Внутри:

• Линейная алгебра, производные, вероятности и статистика.

• Backpropagation, оптимизаторы, функции потерь и attention.

• Генеративные модели, обучение с подкреплением, RAG и рекомендации.

Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN.

Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц.

https://github.com/justxor/math-for-ai-2026

Трамп изобрёл Суперинтеллект. И провернул многоходовочку

29 сентября президент США Дональд Трамп встретился с руководителями ведущих ИИ-компаний — OpenAI, Anthropic, Nvidia, Google и Meta* (*признана в России экстремистской и запрещена). Они заключили соглашение о защите безопасности ИИ и дальнейшем развитии индустрии.

В тот же день Трамп издал указ о переименовании ИИ (AI, Artificial Intelligence) в Супер Интеллект (SI, Super Intelligence) в государственных документах, насколько это возможно. Специалисты могут быть недовольны, так как это одно из названий универсального искусственного интеллекта (AGI), который превзойдёт человека по своим способностям.

Мы уже знаем, что президент США — мастер по переименованиям. Кроме честолюбия и эгоизма — это часть политической игры. Например, на встрече с главами ИИ-разработчиков (давайте подождём использовать название SI) было принято соглашение о борьбе за безопасность искусственного интеллекта. Мы уже говорили, что поставить под строгий контроль развитие технологии мечтают и сенаторы, и главы ведущих ИИ-компаний. Трамп же был за развитие нейросетей и нашёл отличный выход.

Кажется, Трамп отвлёк всех очередным эпатажным заявлением про ИИ, а сам добился своего. Он изначально был против ограничения этой технологии, но теперь для общества принял меры — подписал с ведущими компаниями соглашение о контроле ИИ. При этом документ не содержит ни штрафов, ни наказаний. И меры весьма общие: контроль безопасности моделей и комитет по мерам безопасности. Также один из пунктов соглашения — компенсирующие выплаты территориям для уменьшения недовольства населения строительством дата-центров.

При этом настоящий контроль будут осуществлять «Силы суперинтеллекта» (Super Intelligence Force, SIF), которые в выходные анонсировал Трамп по образу и подобию Космических сил. Руководить ими будет директор Национальной разведки США Джей Клейтон.

В итоге Трамп не дал затормозить развитие ИИ чрезмерным контролем со стороны сенаторов, а сам усилил контроль за компаниями. Выглядит как mnogohodovochka, посмотрим, сможет ли он довести её до конца.

Источник фото: REUTERS/Kevin Lamarque.

Выделенные серверы для AI вошли в чат

По вашим запросам добавили 47 конфигураций выделенных серверов с видеокартой. Теперь в Москве и Санкт-Петербурге — от RTX A2000 и RTX 4090 до RTX PRO 6000, H100 и H200, включая сборки с несколькими GPU.

Подходят под AI и ML-задачи, рендеринг и другие проекты, которым нужны вычисления на GPU.

А если готовой конфигурации мало — запустили конфигуратор выделенных серверов. Выбираете нужные компоненты, а мы готовим сервер, все просто.

Присмотреть себе сервер с GPU →

Вышел открытый проект REA: Reverse Engineer Anything, который воспроизводит механики сторонних проектов. Никаких исходников и дополнительных данных не нужно, ИИ-агент сам исследует нужное приложение и соберёт его копию. На выходе получается декомпилированное ПО с возможностью полностью повторить конкретные фичи или вообще приложение целиком.

Представлен открытый проект Anthropic Credited CVEs для Отслеживание уязвимостей, в отношении которых исследовательской группе Anthropic приписывается авторство и которые, возможно, были обнаружены в рамках ИБ-проекта Glasswing. В настоящее время количество обнаруженных ИИ от Anthropic уязвимостей в разных проектах (Linux, Wireshark, LibreOffice, PostgreSQL и других) достигло 300 штук.

Школьный ИИ перестаёт быть факультативом.

В федеральный перечень вошли три учебника «Введение в искусственный интеллект»: для 5–6, 7–8 и 9 классов.

Я посмотрел линейку в Российской государственной библиотеке. Программа идёт заметно дальше знакомства с чат-ботами: от основ, безопасности и этики — к нейросетям, данным, трансформерам и LLM. В 9 классе появляются API, Telegram-боты, подготовка датасетов, линейная алгебра, вероятность, статистика и градиентные методы. Есть проекты про GPT, дипфейки, цифровых двойников и генеративные модели.

С содержанием учебников всё выглядит серьёзно. Главный практический вопрос теперь — кто и как будет это преподавать. Переход от «что такое ИИ» к API и градиентному спуску требует не только хороших книг, но и системной подготовки учителей.

Как вы считаете: с какого класса ИИ должен стать обязательной частью программы?

Подробнее в моём Telegram-канале «Идеи для ИИ — Андрей Анисимов», ссылка в профиле.

В комментариях мне возразили: проверять ИИ бессмысленно, модель меняется каждый год, и любой стандарт устареет раньше, чем его утвердят. Если речь о том, чтобы один раз сертифицировать модель и дальше ей доверять, с этим я согласен. Но проверять можно результат на своей задаче, и здесь смена модели мешает меньше, чем кажется.

Пример из метрологии. Часы за триста с лишним лет прошли путь от маятника до атомных. Определение секунды за это время меняли несколько раз: сначала через продолжительность суток, потом через продолжительность года, с 1967 года через излучение атома цезия-133. При каждой замене новое определение подбирали так, чтобы секунда осталась той же величиной, просто стала точнее.

Модель ИИ в этой картине похожа на часы: она будет меняться. Постоянным можно сделать то, что мы проверяем. Это работает для задач, у которых есть проверяемый правильный ответ. Например, сумма в счёте или дата в договоре.

В метрологии для такой проверки есть понятие стандартного образца. Это объект с заранее установленным значением, по которому проверяют прибор. Для ИИ стандартными образцами будут реальные документы из вашей работы, для которых правильный ответ уже проверен человеком.

Как я бы это устроил:

1. Собрать набор реальных входов. Обязательно с трудными случаями, на которых модель чаще ошибается: таблицы, плохие сканы.

2. Подобрать размер набора под нужную уверенность. Если на 30 документах ошибок нет, реальная доля ошибок всё равно может доходить примерно до 9,5%. На 300 документах без ошибок она будет около 1%.

3. Прогонять набор при каждой смене модели или промпта.

4. Обновлять набор, когда меняются формы документов или сама задача. Стандартный образец устаревает вместе с задачей, смена модели на него не влияет.

Проверять можно и в рабочем потоке. В аналитических лабораториях для этого шифруют контрольные пробы: аналитик не знает, какая проба контрольная, а контролёр знает и записывает результат в журнал. С ИИ можно делать так же, только результат по контрольной задаче нельзя пускать дальше в работу. Иначе тестовый счёт однажды попадёт в бухгалтерию.

У подхода есть предел. Для стратегии или свободного текста правильного ответа заранее нет, и стандартный образец собрать не получится. Там проверять приходится сами ограничения: что агенту разрешено делать и можно ли откатить его действия. Об этом напишу отдельно.

Гайд, как получать понятные и полезные ответы от ИИ:

• Для сложных текстовых объяснений просим отвечать в формате ASD-STE100 — это упрощенный технический английский для авиации с жесткими правилами ясности. Без воды, все по делу. Для удобочитаемости иногда можно ставить 80% стандарта.

• Вместо текста иногда лучше просить картинку или диаграмму. Так сложные вещи будут восприниматься быстрее и лучше.

• Также можно попросить сделать интерактивную HTML-страницу под конкретную тему. С визуализацией и анимациями.

• самый удобный и перспективный формат — персональные видео-гайды. Например, пишем «Сделай мне ролик в стиле 3Blue1Brown про [X]». Затем сразу добавляем озвучку в ElevenLabs.