Машинное обучение *

Привет, Хабр! Снова на связи Кирилл Пронин, разработчик PIX RPA из PIX Robotics, со мной Александр Сулейкин, Founder DUC Technologies и сегодня мы с вами затронем тему «Что будет, если объединить OCR и GPT?».
Признайтесь честно, видели какие ужасные результаты распознавания выдают современные open source решения для кириллицы? Вряд ли из коробки, можно что-то использовать сразу в своих решениях роботизации и автоматизации. Но что же будет, если мы обучим модель не через стандартные методы машинного обучения, а через GPT? Каков будет результат? Стоит ли это исследовать и браться за реализацию? Обо всем подробно в этой статье.

Всем привет! Меня зовут Алина, и ранее я вам рассказывала про то, как можно спроектировать Feature Platform. Сегодня я хочу рассказать про очень важный компонент ML-платформы — развёртывание ML-моделей, и затрону связанные с ним компоненты.

Если во время обучения модель живёт в ноутбуках и экспериментальных средах и может работать как угодно, то в эксплуатации она должна работать быстро, стабильно и предсказуемо. Давайте разберёмся, как правильно вывести модель в «боевой режим». И начнём с анализа процесса.

• Женатые и замужние — в топе: пока вы не уходите глубоко в анализ, этот быстрый фактор повышает ранг. Чем точнее ваша модель, тем меньше его вес.
• Английский — плохо: знание английского почему-то работало как антипаттерн, снижая релевантность.
• ОГУРЕЦ: кто-то зачем-то написал это слово в резюме. Оно попало в словарь модели и получило большой вес.
• Иксель — люди пишут Excel как угодно, и само слово в правильном написании оказалось снижающим оценку.
• К резюме может быть приложено много мусора. Самый эпичный пример: авиабилет Москва — Челябинск вместо резюме.

Выбор LLM для синтеза тестов

В этом обзоре мы обсудим сравнение различных современных языковых моделей (LLM) на задаче синтеза тестов. Все измерения проводились на внутреннем бенчмарке компании Explyt, который включает в себя как закрытые, так и open source проекты на языках Java и Kotlin, с использованием Spring и без. В качестве метрик используются формальные метрики, например, покрытие строк тестируемого класса/метода, число запускаемых тестов, число компиляционных ошибок, мутационное покрытие, так и LLM-as-judge метрики такие, как сложность/полезность/детальность тестовых сценариев, соответствие тестового метода сценарию на естественном языке и много других. Эксперименты проводились поверх Explyt Test плагина для IntelliJ Idea, к которому подключались разные модели и измерялось качество синтеза тестов на бенчмарке. Для более точной градации мы используем попарное сравнение разных моделей друг с другом.

GPT-4o vs. GPT-4.1

Начнем с хорошего базового варианта gpt-4o и сравним ее с новой моделью gpt-4.1 от OpenAI. На нашем внутреннем бенчмарке gpt-4.1 генерирует более сложные, детальные и полезные сценарии (согласно LLM-as-judge метрикам) в отличие от ее предшественницы gpt-4o, которая в основном тестирует happy-path сценарии. Также gpt-4.1 лучше имплементирует запрошенное в сценариях поведение, метрика показывает: 0.86 vs 0.66 (c p-value = 0.0006). По формальным метрикам таким, как среднее покрытие кода (coverage) и число запускаемых тестовых классов, модели примерно похожи, без статистически значимого отличия. По цене gpt-4.1 дешевле, но так как она больше тратит токенов, то цена на нашем бенчмарке примерно совпадает с gpt-4o.

Привет! С вами Андрей с канала "сбежавшая нейросеть" и сегодня я предлагаю оценить ситуацию на рынке ИИ: 2025 год подходит к экватору, поэтому самое время посмотреть, как поменялись позиции крупнейших компаний-разработчиков. Но для начала предлагаю посмотреть на две иллюстрации. Первая — рейтинг ИИ от ресурса LMArena.

Привет!
Задумывались, какую версию квантованной LLM выбрать: Q4_K_M, Q6_K или Q8_0? Насколько Q6_K хуже справляется с задачами по сравнению с Q8_0? И что вообще означают все эти буквы в суффиксах?

Примечание: это адаптированный перевод моей статьи на Medium. Перевод был сделан при помощи мозга, а не нейросетей или Google Translate.

В 2025-м нейросети стали чем-то большим, чем просто инструменты. Это уже инфраструктура. Они умеют всё — от генерации сайтов и UI до видео со звуком и автоматизированных CRM. Но главное — они делают это быстрее, чем мы привыкли. Разбираем, кто сейчас в топе AI-инструментов и почему вокруг них такой шум.

В рамках этого проекта я сгенерировал около 30 миллиардов файлов случайных данных по 4 КБ. Из этих файлов на основании эвристик из полной коллекции файлов ROM Atari было выбрано примерно 10 тысяч. Затем система классификатора просканировала их при помощи эмулятора Atari 2600, чтобы проверить, окажется ли какой-то из этих случайных файлов игрой для Atari. Этот проект отвечает на вопросы, которые никто не задавал, он никому не нужен и представляет собой огромную пустую трату ресурсов. Что, если засунуть в GPU миллиард обезьян и заставить их написать игру для Atari 2600?

Благодаря прогрессу GPU, ИИ и машинного обучения сегодня мы можем (очень быстро) написать на Python скрипт, который дампит мусор в ROM по 4 КБ и спрашивает: «похоже ли это на игру?». Проект был создан не из ностальгии, моей первой консолью была NES. Я вознамерился исследовать нечто невообразимо обширное и посмотреть, найдётся ли там что-нибудь странное.

В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов  обладают уникальными временными паттернами, которые необходимо использовать для извлечения значимых признаков.

В этом разделе мы рассмотрим некоторые из наиболее эффективных методов.

Состязательные атаки используют уязвимости глубоких нейронных сетей (DNN), внося минимальные изменения во входные данные, чтобы заставить модель ошибаться. Они часто незаметны для человека, но могут полностью изменить результат работы модели. В этой статье рассмотрим три популярных метода состязательных атак.

OpenAI снова удивляет: новая модель ChatGPT o3 Pro обещает революцию в аналитике, науке и разработке. Но так ли она хороша? Читайте разбор архитектуры, тестов и подводных камней «самого вдумчивого ИИ» 2025 года.

В этом обзоре: бенчмарки (93% точности в математике, 84% в прочих областях), генерация 3D‑шейдеров, сравнение с DeepSeek R1–0528, Gemini 2.5 Pro, Claude Opus 4. А ещё мы проверили, как o3 Pro справляется с написанием рефератов и кодингом. Узнайте, стоит ли подписка за 200 $/мес своих денег и кому o3 Pro реально нужен.

Machine Learning и Data Science — это одни из самых популярных и востребованных направлений в IT. Но вместе с этим — они и одни из самых сложных для входа. Здесь огромное количество тем, инструментов, библиотек, подходов и постоянно появляющихся технологий.

Из-за этого многие новички начинают обучение с энтузиазмом, но через пару месяцев теряют интерес. Причины могут быть разные: слишком много теории, мало практики, нет чёткого плана или понимания, зачем вообще всё это нужно.

Эта статья — не очередной «гайд по ML для новичков». Это мой личный взгляд на то, как бы я подошёл к обучению, если бы начинал с нуля уже сегодня, учитывая свой опыт работы в крупных компаниях, проваленные проекты, ошибки и победы.

Всем привет!

Я много работаю с видео для виртуальной реальности, и одна из задач, которая всё ещё маячит на горизонте и требует уймы усилий — удобное создание и стриминг полноценного 6Dof видео. Большинство существующих решений сводятся к двум крупным направлениям.

В этой статье мы рассмотрим, как расширить возможности генеративных моделей для виртуальной реальности (VR), создав модуль для ComfyUI, который позволит:

преобразовывать изображения и видео между pinhole, fisheye и equirectangular проекциями;

итеративно дорисовывать панорамы до полного сферического охвата;

синтезировать новые ракурсы свободным движением камеры в 3‑D‑пространстве.

Я покажy, как объединить продвинутый reprojection grid_sample с outoainting, картами глубины и облаками точек, чтобы получить реалистичные «новые виды» из одного изображения. Кроме того совместим этот подход с подходом Video Generation.

У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение.

Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять, но так же не лишая полноты!

Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу! Это самое важное, оно происходит в секции с кодом.

Будет здорово получить ваши задачи и разобрать в следующих выпусках!

Как только разберетесь приступайте к части 2!

Привет! С вами Андрей с канала “сбежавшая нейросеть”, на котором я рассказываю про ИИ с творческой стороны. В работе я использую модели разных компаний, среди которых, конечно, есть и ChatGPT с подпиской Plus. Это один из лучших ИИ на рынке, у которого есть одна большая проблема — доступных моделей настолько много, что в замешательстве оказывается даже опытный пользователь. Ниже расскажу, к какой модели и в каких случаях я прибегаю.

Привет, Хабр! Мы - команда NIKTA.AI, и на конференции ЦИПР2025 мы решили не просто участвовать, а задать жару с нашим роботом-крабом, управляемым через Visual Language Model (VLM). Пока другие команды щелкали пультами, наш краб самостоятельно принимал решения, осматривал стенд и искал объекты. Как мы это сделали за полтора месяца? Рассказываем!

OpenAI активно продвигает свой Assistants API как новую основу для создания кастомных AI-агентов. Многие пробуют внедрять его в поддержку клиентов, devtools, работу с документацией. Однако за видимой простотой скрываются нюансы, которые могут привести к неожиданным проблемам в продакшене.

Если не учитывать эти нюансы, вместо эффективного инструмента мы получаем искаженные метрики производительности, неконтролируемые расходы и риск «сгореть» под нагрузкой.

Такая ситуация возникает не только в теории, это реальность, когда вы пытаетесь использовать новый, более абстрактный уровень API для задач, где важен полный контроль над каждым шагом. Проблемы появляются и там, где ваши ожидания от мгновенного ответа модели сталкиваются с многошаговой логикой работы агента.

В таких системах необходим другой подход к внедрению. В этой статье разберемся, чем Assistants API отличается от классического Chat Completions API, какие у него ограничения и когда его стоит использовать, а когда лучше держаться подальше.

Ставки в реальном времени очень популярны, и поэтому прогнозирование в реальном времени заслуживает особого внимания. Однако среди огромного количества литературы по прогнозированию футбольных матчей лишь немногие статьи сосредоточены на прогнозировании в реальном времени. Разбираем сложную модель калибровки динамической силы команд, основанную на байесовском методе, которая позволяет использовать информацию о текущем матче для калибровки оценок силы каждой команды.

Глубокое обучение - Способ обучения моделей на большом количестве данных, используя множество слоёв. Каждый слой сети обрабатывает информацию, "взвешивая" её при помощи параметров (весов и смещений), оставляя признаки или отбрасывая, посредством функций активации. Обучение происходит через итеративную (повторяющуюся) корректировку весов: сначала вычисляются градиенты ошибки с помощью обратного распространения (backpropagation), а затем веса обновляются при помощи оптимизаторов (SGD, Adam и др.).

Эта статья не ответит на все вопросы, но мы пробежимся по всем основам глубокого машинного обучения, что бы создать примерную начальную картину без сильного углубления в детали.

В конце сегодняшнего обзора не будет таблиц с бенчмарками и описанием, что такая-то новая модель обошла в каких-то задачах какие-то старые модели и даже сам GPT. В этот раз авторы рассматривают вопрос почти философский, а в самой статье цитируют Платона и Толстого. Речь о прошлогодней статье The Platonic Representation Hypothesis от исследователей из MIT. Гипотеза заключается в следующем:  нейронные сети разных архитектур, обученные на разных данных и для разных целей, сходятся. Причем сходятся к статистической модели реальности. 

Звучит круто. Получается, что все модели, большие и маленькие, языковые, графические и мультимодальные, не просто показывают свою часть одной и той же модели реальности, но еще и в перспективе приведут к вообще одному отображению. Будет ли это AGI, будет ли та модель мира, о которой говорит Лекун — в явном виде авторы эти вопросы не упоминают, но вывод напрашивается сам.