AI и ML

Аннотация

Данное исследование представляет собой концептуальный мост между, казалось бы, удаленными областями: теорией чисел и компьютерным зрением. В его центре — не попытка формального доказательства или инженерной реализации, а методологическая гипотеза. Предлагаю рассмотреть гипотезу Римана не только как математическую проблему, но и как мощную метафору и структурный шаблон для понимания фундаментальных ограничений и принципов в машинном обучении.

Ключевая аналогия строится на идее глубинного порядка, скрытого в кажущемся хаосе. Распределение простых чисел выглядит стохастическим, но гипотеза Римана утверждает, что оно управляется строгим законом — положением нулей дзета-функции на критической линии (Re(s)=1/2). Параллельно, поток визуальных данных (пиксели) представляется хаотическим, однако глубокие нейронные сети (DNN) демонстрируют способность извлекать из него жесткую иерархию абстрактных признаков (края → текстуры → паттерны → части объектов → объекты). Возникает вопрос: является ли эта способность чисто эмпирическим феноменом, или за ней стоит некий неизвестный «закон организации признаков», подобный закону для простых чисел? Существует ли для пространства визуальных концепций своя «критическая линия» — фундаментальное ограничение, диктующее, какие иерархии признаков устойчивы, обобщаемы и эффективно вычислимы?

Работа структурирована вокруг трех центральных тем, исследуемых через призму этой аналогии:

Последние несколько лет в IT происходило то, что десятилетиями считалось фантастикой. АI перестал быть игрушкой исследовательских лабораторий и превратился в реальный рабочий инструмент, который меняет подход к написанию кода, проектированию архитектур и само мышление о разработке.

Мы стоим на пороге когнитивной автоматизации — эпохи, где рутинные и шаблонные задачи делегируются машинам, освобождая нас для решения по-настоящему сложных и креативных проблем. Это не про замену, а про суперпозицию: ИИ в роли младшего разработчика, ревьюера, QA-инженера и даже архитектора, работающего 24/7.

Если раньше программист «общался» с компьютером через документацию, StackOverflow и IT-чаты в мессенджерах, то сегодня он общается с самим компьютером, который умеет анализировать контекст, продолжать мысли, предлагать решения и даже писать код.

Продолжаем строить финансового AI-ассистента на базе MCP-сервера Finam. Сначала создадим классического MCP-агента на LangChain, затем эволюционируем его в CodeAct-архитектуру, где AI пишет Python-код вместо прямых вызовов функций. В итоге получим агента, способного анализировать тысячи акций, строить графики и не переполнять контекстное окно.

Представьте, что вы предоставляете своему ИИ конкретные релевантные документы (или фрагменты), которые он может быстро просмотреть, чтобы найти необходимую информацию, прежде чем ответить на ваши вопросы. То есть, вместо поиска по всей базе данных (которая может не поместиться в контекстное окно модели LLM, или даже если поместится, это потребует много токенов для ответов), мы предоставляем LLM только релевантные документы (фрагменты), которые ему необходимо найти, чтобы ответить на вопрос пользователя.

Для того, чтобы решить эту проблему, мы построим простую систему RAG (Retrieval-Augmented Generation) – в которой генеративная языковая модель (LLM) получает доступ к внешним источникам информации для улучшения точности и достоверности ответов. То есть, вместо того чтобы использовать только внутренние знания модели, RAG будет обращаться к внешним источникам: базам данных, текстовым архивам и другим.

Привет, с наступающим 🎄 Это последний выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий. Но последний лишь в этом году.

Неделя выдалась насыщенной: Gemini 3 Flash, GLM-4.7 от китайцев и даже LLM от NVIDIA. Alibaba показали свой ИИ-фотошоп с генерацией по слоям, а в ChatGPT завезли итоги года. Perplexity отключают россиянам Pro-подписки, а роботы уже упаковывают ваши подарки.

Всё самое важное — в одном месте. Поехали!

Искусственный интеллект произведёт революцию во всём. Он станет новой мега-индустрией. Он возвестит о начале новой, автоматизированной промышленной революции. Он отделит экономический рост от труда и создаст несметные богатства. Именно этот нарратив мы регулярно встречаем. Эту байку использовали, чтобы привлечь столько долгов и инвестиций в ИИ, что мы, по сути, поставили на его успех всю экономику Запада. Но есть одна проблема: эта история - попросту ложь, и индустрия ИИ начинает постигать это на собственном горьком опыте.

Возьмём Microsoft. С 2020 года компания вложила многие сотни миллиардов долларов в инфраструктуру ИИ и в OpenAI. Флагманский продукт этих колоссальных инвестиций - Copilot, агентный ИИ, призванный помогать вам выполнять задачи в Windows. Этакий Скрепыш на стероидах (боже, как я скучаю по Скрепышу; он был ужасен в лучшем смысле этого слова).

И вот оказывается, что Copilot никто не покупает.

ИИ-ассистенты внедряются в привычные таблицы вроде Google Sheets и Excel. Многие скажут, что такие «игрушки» никому не нужны. Но это приближает электронные таблицы к инструментам бизнес-аналитики, BI-платформам.

Мультиагентные системы — главный тренд в AI‑разработке. AutoGPT, CrewAI, LangGraph, Microsoft AutoGen обещают армию специализированных агентов, которые вместе решат любую задачу.

Сделал систему на 5 агентов, а потом передумал и сделал на одного.

История о том, что иногда с ИИ надо упрощать, а не усложнять.

В то время как все обсуждают ChatGPT, Gemini и других крупных игроков в мире ИИ, настоящая революция происходит в довольно узких областях. Её создают инструменты, которые не предназначены для массового использования, но служат высокоточными инструментами для решения конкретных, порой неочевидных проблем, с которыми универсальные модели справляются плохо или вовсе отказываются работать.

В данной статье мы оставим в стороне очевидные решения и рассмотрим топ-4 инструмента, каждый из которых эффективно справляется со своей специфической проблемой.

Приятного прочтения!

Всем привет, с вами Макс Гуляев. Я отвечаю за разработку сервиса Evolution Notebooks.

Jupyter Notebooks — проверенный временем инструмент, который на слуху у каждого DS или ML-инженера. Перечислять все его плюсы смысла нет, а вот минусы — вопрос, пожалуй, актуальный. Меня как ML-щика раздражало, что ты приходишь в ноутбук полный энтузиазма, надеешься решить все проблемы человечества с помощью своей модельки… Но выясняется, что путь к обучению усеян локальными ограничениями ресурсов, проблемами с установкой зависимостей и коллаборациями, тут надо проверить, там подкрутить. В итоге модель ты обучаешь 20% времени, а остальные 80% проводишь в обработке напильником инструмента, который должен тебе помогать. Но хорошая новость: сегодня мы прокачаем эту унылую «тетрадку».

Под катом расскажу, как мы с командой хотели упростить жизнь ML-разработчикам и что из этого вышло.

Привет! Меня зовут Алексей Архипенко, я руковожу группой разработки ML‑инфраструктуры в команде YTsaurus. Мы часть Yandex Infrastructure и предоставляем пользователям внутри Яндекса инфраструктурный фундамент для самых разных задач машинного обучения.

YTsaurus — основная платформа для хранения и обработки данных Яндекса, которая доступна на GitHub под лицензией Apache 2.0. Это позволяет всем желающим загрузить систему на свои серверы, а также дорабатывать её под свои нужды. Мы уже писали в прошлых постах про её выход в опенсорс и дальнейшее развитие, а также кейсы использования в рекламе. Сегодня расскажу, как Яндекс запускает в ней почти все ML‑обучения и batch‑инференс.

Команда онлайн-магистратур Центра «Пуск» МФТИ и индустриальные партнеры вуза регулярно реализуют совместные проекты. Благодаря этому студенты получают необходимый практический опыт, а партнеры — возможность осуществить важные бизнес-задачи. Например, благодаря одному из последних проектов, студенты 2 курса программы «Управление цифровым продуктом» и «Науки о данных» предложили ОАО «РЖД» инновационное решение проблемы детекции аномальных состояний пассажиров и предотвращения инцидентов на перроне. 

В этой статье мы расскажем о том, в чем состоит новизна инженерного решения студентов нашей онлайн-магистратуры и почему уже существующие системы детекции не всегда справлялись с поставленными задачами.

В кибербезопасности многие уже используют ИИ для поиска известных уязвимостей в средах, где все понятно и предсказуемо. Но в большой промышленной среде все работает совсем не так.

Вот тут и пригодится ИИ, который способен cоставить настоящий план атаки и найти уязвимости. Но встает вопрос: если такому агенту дать реальную боевую среду, способен ли он найти в ней уязвимости? Исследователи из Оксфорда построили инфраструктуру из 8000 машин, посадили десять живых пентестеров, ИИ-агента и стали сравнивать…

В обзоре разберем, как именно ученые устроили безопасный эксперимент и пора ли специалистам по безопасности искать новую работу?

Привет! Я Максим Катрушенко, главный специалист по анализу данных и машинному обучению в ПГК Диджитал. В свое предыдущей статье я разбирал ошибки в резюме джунов (и не только), которые снижают шансы попасть в ML. Сегодня расскажу, как упорядочить инструменты data scientist'а, чтобы легко адаптироваться в специальности.

Введение

Недавно мне показали проект по прогнозированию ремонта вагонов. Несколько десятков параметров, миллионы записей. Всё решение — один файл Jupyter Notebook и пара скриптов.

Я открыл этот файл. Две тысячи строк кода. Названия переменных вроде df_tmp_final_v3. Комментарии на смеси русского и английского. Сохранённые модели назывались model_good.pkl и model_production_maybe.pkl. Некоторые ячейки кода было страшно запускать. Ни документации, ни записи о проведённых тестах.

Узнаёте? Это частая реальность в области данных.

Вы не одиноки

Многие начинающие специалисты задают похожие вопросы:

Как работать, когда тестов уже несколько десятков? Вы перебираете настройки и алгоритмы, но через неделю не можете вспомнить, что дало лучший результат.

Как внедрить модель? В Notebook всё работает, но как превратить её в сервис, который сможет использовать ваше приложение?

Хорошая новость: для этих проблем уже есть решения.

Аннотация

Настоящая статья представляет собой развернутое исследование, посвященное систематическому изучению классических алгоритмов оценки оптического потока — фундаментальной задачи компьютерного зрения. Основной целью работы является последовательный и строгий вывод ключевых методов, начиная от базовых физических постулатов и заканчивая завершенными, готовыми к реализации математическими моделями. В центре внимания находится уравнение ограничения оптического потока, выводимое из краеугольного предположения о постоянстве яркости, и два основополагающих, принципиально различных подхода к решению этой недоопределенной задачи: локальный метод Лукаса-Канаде, основанный на предположении о пространственной согласованности потока в малой окрестности, и глобальный метод Хорна-Шанка, вводящий условие плавности (гладкости) потока в виде регуляризирующего функционала. Подробно анализируются теоретические основания каждого подхода, их математический аппарат, включая вывод и решение соответствующих систем уравнений, а также проводится сравнительный анализ их сильных сторон и присущих им фундаментальных ограничений, таких как проблема апертуры и чувствительность к нарушениям исходных предположений.

Практическая значимость и верификация теоретических положений исследования обеспечиваются детальной численной реализацией обоих алгоритмов в среде MATLAB. Экспериментальная часть включает генерацию и обработку синтетических последовательностей с заведомо известным вектором движения для объективной количественной оценки точности, а также тестирование на реальных видеоданных для анализа устойчивости в условиях шумов, изменений освещенности и текстуры. Проведенное сравнение визуализирует ключевые различия в характере получаемых полей потока (разреженное против плотного), оценивает вычислительную эффективность и робастность методов в различных сценариях.

Привет, Хабр! 

Меня зовут Константин Евсеев, я тружусь в компании VisionLabs, которая специализируется на технологиях биометрии и компьютерного зрения. В этом посте расскажу о проекте, к воплощению которого я хотел приложить руку еще за четыре года до его появления. Конкретно — о разработке системы для заселения в отель по биометрии. Почему? Все просто: если ты инженер и видишь, что что-то можно улучшить, то руки чешутся, пока не сделаешь. 

Весной этого года NVIDIA открыла исходный код KAI Scheduler — Kubernetes-нативного планировщика GPU-нагрузок, который раньше входил в состав платформы Run:ai и теперь распространяется под лицензией Apache 2.0. Интерес к этому проекту закономерен: планировщик давно работает в продакшене и решает ряд проблем, с которыми сталкивается любая команда, пытающаяся эффективно распределять GPU-ресурсы в кластере.

Мы в Orion soft изучили технические детали KAI Scheduler, чтобы понять, как он устроен изнутри, какие задачи закрывает и какие идеи могут быть полезны инженерам, работающим с Kubernetes, ML-нагрузками и распределёнными GPU-оркестраторами. Ниже — разбор архитектуры, базовых сущностей и цикла планирования.Преимущества KAI Scheduler

Управление AI-нагрузками на GPU и CPU сталкивается с рядом задач, которые традиционные планировщики ресурсов не всегда способны решать. KAI Scheduler был разработан специально для того, чтобы закрыть эти проблемы:

Подростки с брекетами, уроками до обеда и собственными AI-стартапами с десятками тысяч пользователей — это не фантастический сюжет, а новая реальность Кремниевой долины. The Wall Street Journal разбирается, как искусственный интеллект радикально снизил порог входа в предпринимательство и почему сегодня основатели компаний всё чаще оказываются школьниками. Под катом — перевод материала WSJ о самом молодом поколении фаундеров, которые уже сейчас строят бизнесы на базе ИИ.

Привет, Хабр! Меня зовут Юля, я работаю в команде клиентских сервисов в кластере CMS. Это системы, которые помогают ретушёрам, модераторам и другим специалистам просто управлять контентом на витринах Самоката и Мегамаркета.

В этой статье я расскажу про особенный проект — виртуальную фотосъёмку. Мы делали её для продавцов, чтобы они могли быстрее выводить карточки товаров на витрину и не тратить время на долгие фотосессии. Поделюсь, с чего все начиналось, как проходил процесс проектирования и какие решения к этому привели.

Недавно по работе мне попался огромный аудиофайл с несколькими часами интервью. И сразу стало понятно: расшифровывать это вручную всё равно что пытаться проглотить слона целиком. Сначала я почти готов был вооружиться кофеином и терпением, но потом меня осенило - а что если доверить это нейросетям?

И действительно, современные ИИ-технологии умеют превращать речь в текст. В этой статье мы разберём, как такие системы работают, какие есть популярные модели и сервисы, и почему современная транскрибация с помощью нейросетей может быть не только быстрой, но и слегка увлекательной.

Приятного чтения!