Машинное обучение *

Привет, Хабр! Меня зовут Кирилл Колодяжный, я разрабатываю системы хранения данных в YADRO и изучаю нестандартные подходы к машинному обучению: создаю ML-проекты на С++. 

Это вторая часть цикла о разработке приложения для обнаружения предметов на С++. В прошлом материале мы выяснили, как создать проект в IDE Android Studio, реализовать сессию непрерывного захвата и преобразовать изображение в матрицу OpenCV. Ссылку вы найдете в конце статьи.

В этой статье продолжим реализацию проекта и обсудим следующие шаги:

• Как подключить к проекту библиотеки машинного обучения PyTorch и NCNN.

• Как получить модели YOLOv5 и YOLOv4 для использования на мобильном устройстве.

• Как реализовать инференс моделей для обнаружения объектов.

• Как обработать результаты работы моделей YOLO, реализовав алгоритмы Non-Maximum-Suppression и Intersection-Over-Union.

В конце сравним производительность PyTorch и NCNN и решим, какой фреймворк подойдет для задачи лучше.

Разработка, развёртывание и поддержка моделей машинного обучения в продакшене может быть сложной и трудоёмкой задачей. Здесь на помощь приходит Machine Learning Operations (MLOps) — набор практик, который автоматизирует управление ML-процессами и упрощает развёртывание моделей. В этой статье я расскажу о некоторых основных практиках и инструментах MLOps на примере реализации проекта от начала до конца. Это поможет вам эффективнее управлять ML-проектами, начиная с разработки и заканчивая мониторингом в продакшене.

Прочитав эту статью, вы узнаете, как:

— Использовать DVC для версионирования данных.
— Отслеживать логи, артефакты и регистрировать версии моделей с помощью MLflow.
— Развернуть модель с помощью FastAPI, Docker и AWS ECS.
— Отслеживать модель в продакшене с помощью Evidently AI.

Компании и энтузиасты стремятся автоматизировать процессы, но не каждый готов писать код с нуля. Поэтому в последние годы особую популярность набрала no-code платформа n8n. С её помощью можно быстро собирать пайплайны различной сложности: от простых чат-ботов до умных ассистентов, которые управляют календарем и напоминают о задачах.  Обычно в статьях про n8n затрагивают только готовые блоки, собирают из них пайплайны автоматизации, но в то же время упоминают об ограниченности использования этой платформы. Действительно, базовых блоков в n8n может не хватать, чтобы закрыть все потребности пользователя, но сегодня я покажу, как можно обойти эти ограничения и расширить базовый функционал n8n.

Привет, Хабр! Меня зовут Музафаров Данил, я Data Scientist в компании Raft. В этом туториале я шаг за шагом покажу: как локально развернуть n8n, как добавить кастомные API и создать полноценного AI-агента с MCP tools с расширенным функционалом. Придется немного писать код, но главное, что это позволит оставить архитектуру решения на n8n, дополнив его кастомными тулами.

Устали от счетов за API и переживаете за конфиденциальность данных? Пришло время построить свою «AI-кухню» и вернуть контроль. Этот гайд — ваш пошаговый план: от выбора идеальной видеокарты до запуска первой модели через Ollama или LM Studio. Превратите свой ПК в суверенный AI-воркстейшн.

Запуск стартапа — это не только идея, но и понимание, как она станет бизнесом. Lean Canvas, предложенный Эшем Маурья, помогает на одной странице структурировать ключевые аспекты: проблемы клиентов, решения, каналы продаж и издержки.

Но Lean Canvas за пять минут не заполнить: нужны гипотезы, исследования, слаженная работа команды. А что если большую часть рутины возьмёт на себя ИИ-агент? Мы в GigaChain решили попробовать. Рассказываем, что из этого получилось.

В Сбере мы активно внедряем искусственный интеллект для решения сложных бизнес-задач. Одно из перспективных направлений — ИИ-агенты: автономные системы, умеющие рассуждать, планировать и использовать инструменты для достижения цели. Мы подробно разбираем подходы к их разработке в руководстве «Разработка и применение мультиагентных систем в корпоративной среде». А в этой статье мы покажем, как создать такой агент на примере автоматического генерирования Lean Canvas.

Всем привет! Меня зовут Руслан Дюсаев, и я занимаюсь машинным обучением в команде Спамообороны Яндекс Почты. Помимо технологий антиспама, мы с коллегами разрабатываем ML-фичи в сервисах Яндекс 360. 

В статье расскажу, как мы делали Нейрофильтр с YandexGPT 5 в Почте. Он работает на базе двух нейросетей. Первая, созданная на основе CatBoost, определяет важность каждого письма, чтобы сделать выборку из главных сообщений. А вторая, построенная на базе YandexGPT, выделяет ключевые тезисы из них и выводит краткое резюме. Подробнее о технологиях отбора и суммаризации говорим в этой статье. 

Если вдруг автомобильный дилер скажет про свои автомобили, что у них под капотом двигатель, цикл которого состоит из двух изотерм и двух адиабат и коэффициент полезного действия .., короче «Цикл Карно — идеальный термодинамический цикл». То вы наверно покрутите у виска пальцем (к счастью не все покрутят и некоторые поймут и выслушают, может даже потом объяснят тем, кто хочет слушать) и пойдёте к другому. Но эти слова — правда и ничего кроме правды, но она вам не нужна.

Но вот это «звук винтажного двигателя V-8 „давно считался призывным вызовом „Мустанга“, готового к спариванию“ (mating call of Mustang), новая система обработки и усиления звука „спортивна и энергична“, обеспечивает „более изящное рычание“ и „низкочастотное ощущение всемогущества“» — полная туфта всего лишь для почёсывания ЧСВ потенциального покупателя и на качество движения никак не влияет.

Вот сейчас то же самое, слово в слово происходит в ИТ с его хайпом вокруг ИИ.

F-паттерн, блочное чтение, глубокое погружение и не только.

Сегодня практически каждый использует ИИ для создания контента — это делает процесс написания проще. Но вот завоевать доверие читателя за всего 15 секунд — задача куда сложнее. И с ней справляются далеко не все.

А что если мы заставим ИИ самому завоёвывать доверие — и всего за 15 секунд?

Мы опираемся на исследование, в рамках которого учёные прикрепили мини‑камеры к головам 232 добровольцев, чтобы отследить, как они воспринимают сайты. Мы используем это исследование как стратегию — и применим его принципы при работе с ChatGPT: будем переписывать и улучшать текст, а затем посмотрим, насколько хорошо он справится.

Эта статья отвечает на вопрос: как выучить что угодно с нейросетями, не прикладывая усилий к написанию промтов.

В какой-то момент в голову пришла мысль, что с появлением нейросетей книги устарели. "Книги" будущего — это специальным образом закодированные знания внутри нейросети. Учиться надо в диалоге с нейросетью.

На практике оказалось, что выполнить такой совет достаточно непросто. Да, ты можешь сходить к нейросети и сказать "научи меня матану". Проблема в том, что задавать правильные вопросы мало кто умеет. А кто умеет — знает, что это само по себе непросто.

Вторая проблема в том, что нейросеть — это помощник и советчик, но не базированный учитель. Она не будет на пинковой тяге расширять твой кругозор. А тебе как ученику очень сложно задать вопрос относительно вещей, существование которых тебе полностью неизвестно.

Так родился промпт, который позволяет изучать новую тему легко и не напрягаясь. Ты копипастишь его в начало диалога и начинаешь интерактивное путешествие.

Возможно, это тот промпт, которого не хватает тебе, чтобы решить все свои бытовые проблемы прямо здесь и сейчас.

Пока весь мир обсуждает революцию ИИ, те, кто её творят, остаются в тени и просто делают свою работу. Именно им, ML- и DS-специалистам, человечество обязано прорывам в технологиях. Но какие они на работе и в жизни, чем интересуются и главное — что думают об ИИ, который создают? Мы решили расспросить их самих, чтобы составить честный портрет современного ML-щика. Если вы занимаетесь ML и Data Science, добавьте свои штрихи этому портрету — пройдите наш небольшой опрос. А мы потом покажем вам — и всей аудитории Хабра — получившуюся картину.

Всем привет! Ранее мы уже писали о нашем наборе данных Bukva — первом наборе данных для распознавания русского дактильного языка в изоляции, который содержит более 3 700 видеороликов, разделённых на 33 класса, каждый из которых соответствует одной букве русского алфавита.

Эта статья посвящена распознаванию непрерывного дактильного языка. Мы расскажем о наших моделях, которые добиваются наилучших результатов на наборах данных непрерывного американского дактильного языка ChicagoFSWild и ChicagoFSWild+, а также о нашем новом наборе данных Znaki — первом открытом наборе данных непрерывного русского дактильного языка, содержащем более 37 000 видео.

Экстремальные погодные явления оказывают большое влияние на нашу жизнь. Это может проявляться в бытовых вещах, просто чтобы не попасть под сильный ливень или грозу. А ещё — в обеспечении бизнеса. Например, в прошлом году в Европе из‑за града погиб один из самых старых виноградников.

Именно поэтому мы решили улучшить наш прогноз экстремальных погодных явлений. Прежде всего мы сфокусировались на суперкраткосрочном прогнозе молний на карте осадков, также известной как наукаст, чтобы расширить нашу технологию прогнозирования погоды Meteum. Таким образом мы стали первыми в России, кто сделал карту наукаста гроз на ближайшие два часа с шагом 10 минут. Дело в том, что экстремальные погодные явления часто связаны с конвективными явлениями в атмосфере, которые сложно прогнозировать на долгий срок. То есть если в прогнозе есть гроза, то часто вместе с ней будет ожидаться сильный дождь и ветер, а в некоторых регионах и град.

Меня зовут Пётр Вытовтов. Я руководитель группы ML и качества прогноза в Яндекс Погоде. Сегодня я хочу рассказать вам о том, как мы добавляли прогноз молний в нашу модель наукаста с использованием данных со спутников, метеорологических радаров и применением трансформерных моделей.

Продолжаем статьи про практические тесты актуальных картонок от Nvidia (A5000 Ada, A100, 3090 и A10). В этот раз мне предложили (не реклама) денёк погонять Nvidia RTX 5090 в хостинге (себе такую брать я бы не стал), и я не мог отказаться от такого предложения.

За день что‑то стоящее натренировать нынче уже проблематично, поэтому будем «снимать» уже привычных обратно совместимых «попугаев» через gpu-burn и также замерим скорость инференса одной нашей довольно прожорливой сетки в продакшене.

Все шутки про Nvidia давно уже не шутки, санкции и торговые войны идут своим чередом, но тем не менее в России новинки появляются с завидной регулярностью несмотря на все запреты.

На фоне сильно негативного новостного фона со стороны игрового сообщества про новый релиз Nvidia и своеобразных «успехов» Nvidia по наращиванию своей капитализации продвинутой «сегментации» рынка (все уже пошутили про новый коннектор, огромный рост TDP и размера карт), мне лично было интересно, а есть ли рост 50* поколения карт для наших задач против 30* поколения.

Если верить техно‑ и игровым блоггерам, их новое поколение совсем не впечатлило. Меня зато так «впечатлило» 40* поколение, что мы даже не рассматривали апгрейд 3090. Но обо всём по порядку.

Искусственный интеллект может казаться чуть ли не сверхразумом, ведь он обрабатывает тонны данных и выдает, как думают многие, истину в последней инстанции. На самом деле большие языковые модели, такие как ChatGPT, страдают от тех же когнитивных искажений, что и мы с вами: они самоуверенны, предвзяты и цепляются за знакомые шаблоны. Почему ИИ, созданный быть рациональным, так похож на нас в своих ошибках? И что это значит для бизнеса, медицины или управления умным городом? Давайте посмотрим недавнее исследование ученых и попробуем разобраться.

Доброго времени суток, «Хабр»!

В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически.

Пристегните токены — вход в зону трансформаций!

Не так давно я уже писал статью по такому необычному явлению, как гроккинг - отложенная генерализация. Если долго тренировать модель на наборе данных, то тестовая точность достигнет 100% и модель станет безошибочно решать задачу. Звучит круто! Но вот проблема - никто до сих пор не мог применить гроккинг на задачах из реального мира, а мы это сделали и сейчас публикуемся на крупнейшей МЛ конференции. Если интересно, как мы этого достигли, то прошу под кат.

OLMo — моделька от AI2, разработанная учёными для учёных. Если вы занимаетесь экспериментами над нейронками, это идеальный вариант: весь код и данные, необходимые для тренировки, открыто лежат на GitHub. Более того, выложены даже промежуточные чекпоинты, с очень высокой гранулярностью. Это отличает ее от якобы "открытых" нейронок, которые обычно приходят к тебе монолитным финальным бинарём.

Эта статья — короткий гайд, адаптированный с GitHub создателей нейросети и проверенный на практике.

Привет! Меня зовут Александр Абрамов, я руковожу AI-командами в R&D для b2c в SberDevices, веду канал про AI и вхожу в программный комитет конференции AiConf Х. В этой статье хочу рассказать о своём пути в мир искусственного интеллекта: как одна лабораторная работа по анализу данных определила мою карьеру, зачем нужны соревнования и хакатоны, и почему участие в конференциях важнее, чем просто прокачка резюме. Делюсь опытом, ошибками, победами и тем, как реально устроен AI в продакшене.

Привет, Хабр! Продолжим разговор про свертки в ML-обучении на C++. Мы уже обсудили, какие есть подходы к реализации сверток, — ссылку на первую часть ищите в конце статьи. 

Теперь поговорим, как в одном моем проекте нужно было расширить функциональность PyTorch для работы со свертками размерностью больше трех, а потом использовать их в обучении моделей. Сначала рассмотрим, какие ограничения на выбор алгоритма накладывает возможность обучения моделей, а затем изучим два подхода к реализации свертки и адаптируем их к нашей задаче. 

Марафон ИИ-гигантов постепенно превращается в настоящий спринт. Anthropic наконец-то проснулась от спячки и вернулась в строй, выпустив достойного конкурента для OpenAI и DeepSeek. Google также ворвался с целой пачкой свежих моделей Gemini 2.0. Ну и конечно же, релиз GPT-4.5 под конец месяца как вишенка на торте.

На фоне этой гонки вооружений особенно любопытно наблюдать за «побочными эффектами»: от сразу нескольких инструментов Deep Research до прорывных чипов из новых типов материалов. 

Рассказываем, какими событиями был наполнен самый короткий месяц года. Спойлер: будет много интересного!