Машинное обучение *

Всем привет! С вами Дима Юдин — технический лидер по развитию искусственного интеллекта, а сегодня еще и ведущий трека про AI&ML. Прямо сейчас проходит наша вторая технологическая конференция — GoCloud Tech 2025. Поделюсь live-контентом и атмосферой, фидбэком участников и их мыслями о том, что они думают о будущем с AI. А в конце расскажу про наши главные новости про LLM и крутые обновления.

Привет, уважаемые Хаброжители ;-) Сегодня мы поговорим о данных, которые представляют собой весьма специфичный случай, а именно о «шумных» данных. Предлагаю вам поразмыслить на тему обратного инжиниринга применительно к таким данным и попытаться поставить всё с ног на голову. О чем речь: не так давно мы написали модель машинного обучения по предсказанию одного тренда и пытались улучшить ее предсказания, применяя различные модификации фильтра Калмана (Kalman Filter, EnKF, Kalman Filter + Numba (Just-in-Time), EnKF + Numba (Just-in-Time)). Другими словами, фильтровали обучающую и тестовую выборку в надежде поднять скор на модели, выделив более качественный сигнал. При этом получили, в целом, весьма хорошее решение. И тут мы начали размышлять: «Так, пааажди… Мы же просто учились всегда на отфильтрованных данных, почему ускорение кода даёт нам поднятие скора на модели, и более того, более качественную балансировку предсказания для наших классов?» Если вам интересно, что у нас получилось, то приглашаю под кат.

Ваше взаимодействие с Claude Code всё ещё ограничивается простой схемой «ввод команды -> ожидание выполнения -> проверка результата»? Если это так, то вы, вероятно, упускаете его истинный потенциал. С сегодняшнего дня я запускаю серию уроков «Визуальное руководство по продвинутым методам работы с Claude Code», которая поможет вам исследовать те расширенные функции Claude Code, которые требуют первоначальных усилий для освоения, но после овладения ими значительно повышают эффективность работы.

По сравнению с официальными руководствами, данная серия ставит перед собой цели:

LLM уже умеют многое, но качество их ответов по-прежнему упирается в тонкую настройку под человеческие предпочтения. Direct Preference Optimization стал стандартом де-факто для алайнмента, но у него есть фундаментальный изъян: все токены в ответе считаются равнозначными. Для человека же очевидно, что слово «Париж» в ответе на вопрос о столице важнее любого предлога или союза. В этой статье мы разбираем свежий метод OTPO, который предлагает решение через оптимальный транспорт и учится поднимать вес смысловых токенов, оставляя служебные на заднем плане.

Раннее утро, тихая улица, а навстречу вам идёт бабушка в платочке, держащая на поводке… носорога.

Да, Google в этом году решил окончательно стереть грань между «снять фильм» и «написать промпт». Новая версия их генератора Veo 3 — это уже не шутка и не эксперимент, а очень серьёзное заявление. Речь идёт не о смешном десятисекундном ролике, а о полноценном кино: со светом, звуком, движением камеры и даже с элементами актёрской игры.

Сегодня мы разберёмся, что умеет Veo 3, посмотрим, на что он действительно способен, и самое главное — попробуем «снять» собственный ролик с озвучкой и атмосферой.

Не переключайтесь, будет интересно!

История о том, почему в ML побеждают не те, у кого самая большая модель, а те, кто понимает, что они делают.

Как научить робота не просто идти по указке, а видеть окружающий мир осмысленно — почти как человек? Сейчас даже самые продвинутые ИИ в роботах часто живут «здесь и сейчас»: увидели диван — пошли к дивану, только камера повернулась — всё забыли. В итоге их навигация напоминает путешествие вслепую, где нет места памяти о прошлом и настоящему планированию. А у человеческого мозга с этим всё хорошо: карта местности в голове и опыт, который легко пересобирается под цель.

Команда исследователей посмотрела, как наше мышление можно перенести на алгоритмы, и собрала для робота не просто память, а целую когнитивную карту. В результате он начинает думать маршрутами, оперировать ориентирами, «удивляться» новому и экономно хранить только важное. Ведь когда машина впервые учится замечать не только объекты вокруг, но и структуру событий — это совсем другой уровень ИИ. 

Как устроен этот подход и что получилось в реальных экспериментах — обо всём по порядку.

В самых общих словах машинное обучение (machine learning, ML) — это обучение компьютера самостоятельно решать поставленную перед ним задачу. Вообще-то обучать свою «разностную машину» планировал еще Бэббидж, проектируя ее на базе своей «аналитической машины», но это потом назвали программированием. 

А в нынешнем определении машинного обучение так или иначе присутствует искусственный интеллект (ИИ). Мол, это обучение компьютера решать поставленные перед ними задачи «без явного программирования», как это сформулировано в самых острожных из современных определений машинного обучения, используя данный ему человеком ИИ и, опять-таки самостоятельно совершенствуя его, умнеть еще больше. То есть выходит, что машинное обучение это обращение к разуму компьютера, пусть искусственному, машинному, но разуму, аналогичному нашему в вами. Именно поэтому хронологию машинного обучения современные IT-историки начинают с 1943, когда в журнале Bulletin of Mathematical Biophysics была опубликована статья «A Logical Calculus of the Ideas Immanent in Nervous Activity» Уоррена Маккалока и Уолтера Питтса.

Допустим, у вашей организации есть внутренний сервис с большим объемом накопленных документов, тикетов и комментариев, и все это ведется в Jira. Представьте, если при клиентском запросе или взаимодействии с контрагентом, можно было бы обращаться к AI-ассистенту и получать максимально релевантные ответы, дополняя существующую в вашей системе информацию данными из внешних источников. Очевидно, что это позитивно отразилось бы на конверсии в продажи за счет персонализированного подхода, увеличило бы уровень удовлетворенности сервисом у клиентов, да и менеджерам бы облегчило жизнь!

Если вы руководитель отдела или ведете собственный бизнес, вы наверняка подумаете «наверное, это дорогая технология, которая требует больших затрат и найма техспециалистов для разработки». Когда-то это было так, но теперь нет.

В этой статье я опишу короткую инструкцию, как реализовать что-то похожее на описанный функционал без особых навыков. Лучшие умы человечества могут уличить меня в том, что моя предлагаемая реализация максимально проста и наивна. И да, это так. Целью я ставил — показать массовому читателю прикольную штуку, а не задушнить ;-) 

Привет! С вами Кирилл Тузов, Data Scientist в команде видеоаналитики бэк-офиса Wildberries & Russ.

Камеры видят всё. Вопрос в том, распознают ли наши алгоритмы, что именно они видят, — и насколько быстро, надёжно и без тонны ручной работы это происходит. В этой статье я расскажу, как мы используем Self-Supervised, Zero-Shot и мультимодальные модели, чтобы приблизиться к максимально возможной эффективности.

Могут ли нейросети действительно пользоваться компьютером — видеть обычный экран, выбирать нужные кнопки, запускать приложения, одним словом, действовать как живой человек с мышкой и клавиатурой? Оказывается, такие агенты уже не фантастика.  ⠀  

В свежем исследовании команда UItron показала, как можно научить ИИ не просто понимать команды, а самостоятельно разбираться в сложных интерфейсах, планировать свои действия и шаг за шагом решать сложные задачи. Интересно, что для этого им пришлось переосмыслить саму идею о том, что значит "опыт" для машины.

Разбираемся, как всё это работает, — в новом обзоре.

Добрый день, уважаемые хабражители! Как и прежде меня зовут Владимир Миронов, и я занимаюсь тестированием и оценкой синтетических данных ;) Добрались, наконец-то, до четвёртой части в этом цикле статей из (прошлые статьи можно увидеть тут, тут и тут). В этот раз разберём важный момент, связанный с анализом полученных матриц смежностей по нашим графам и представлением их свойств с позиции оптимизации и унификации. В общем, поговорим про алгоритмы, обсудим чисто технические моменты и подходы к унификации данных. 

Всё идёт к тому, что интерпретируемое машинное обучение набирает всё больше оборотов, и необходима не только его визуализация, но и новые доказательные выкладки, и понимание границ формирования данных. Сформулирую несколько вопросов: 

Думаете, нейросеть для генерации видео Veo 3 — это непроходимый квест? Вовсе нет! Это как давать задание самому внимательному режиссёру. Всё просто: всего пара хитрых приёмов в запросе — и вот уже готова крутая видеосториз с идеальным светом, звуком и одним и тем же героем. Нет, это не магия, это умные промпты. Проверим?

Мы раскроем секреты, чтобы ваши ролики выглядели как снятые голливудской камерой. Готовьтесь к идеальным роликам без лишних слов.

Привет, Хабр! Я — Владимир Килязов, эксперт по машинному обучению в Cloud.ru. Последние несколько лет я активно помогаю бизнесу и технарям работать с LLM в своих задачах без космических бюджетов.

Помните времена, когда для обучения языковой модели новым трюкам, ее обязательно «доводили» на специальных датасетах? Теперь есть и другие варианты. Вместо классического дообучения можно использовать RAG и промт-инженерию, и это будет быстрее и дешевле. Получается, fine-tuning больше не нужен? Про это и порассуждаем тут в статье.

Салют, Хабр!

Я Иван, в SberDevices я руковожу направлением голосового управления умным домом. Сегодня выпустили большое обновление — теперь взаимодействие пользователя с Умным домом Sber через умные колонки стало проще и удобнее. Колонке можно одной репликой дать сразу несколько команд; можно управлять освещением и климатом нативными командами — сказать: «Салют, мне темно», чтобы включился свет. Ещё появилась возможность создавать сценарии с помощью GigaChat: если сказать умной колонке: «Салют, я проснулся», она предложит варианты действий с устройствами умного дома: включить свет? Открыть шторы? Когда вы подтвердили выбор, колонка сама создаст в приложении сценарий.  

Благодаря обновлению пользователю стало проще и органичнее управлять умным домом. В этой статье расскажу, как мы реализовали многозадачность в умных колонках.

StyleGAN-NADA (No Annotation Domain Adaptation) - метод, разработанный специалистами из Tel Aviv University и NVIDIA Research, позволяющий адаптировать генеративную модель (StyleGAN2) к новому домену без единого изображения, использующий только семантическую силу больших моделей, предварительно обученных контрастивным методом на тексте и изображениях (СLIP). На рисунке 1 представлены возможности метода StyleGAN-NADA.

Инструменты на искусственном интеллекте меняют то, как люди находят информацию в Интернете, и это происходит быстрее, чем издатели успевают адаптироваться. Когда пользователи задают вопросы чат-ботам вместо поисковых систем, они получают ответы, а не ссылки для перехода. Это перестраивает экономику интернета, а особенно — экономику новостных изданий, которые тратят деньги на сбор информации, но уже не могут монетизировать эту работу.

За последние годы миллионы пользователей переключились с поисковиков на ИИ-чат-инструменты для поиска рекомендаций и получения ответов в реальном времени. Такие сервисы, как ChatGPT, Claude и Perplexity, теперь напрямую отвечают на вопросы, которые раньше отправляли читателей к первичным онлайн-источникам, которым они привыкли доверять. По мере того как пользователи отходят от проверенных новостных источников, они все больше доверяют системам ИИ, натренированным имитировать авторитет, — инструментам, которые выкачивают ответы из сети, но не несут ответственности.

Представьте ситуацию: вам захотелось заказать раков. Что будете делать? Есть несколько вариантов, один из них — поискать подходящее заведение с доставкой в социальных сетях. Там можно найти локальную компанию с хорошими отзывами и приемлемыми ценами. Вы заходите ВКонтакте, открываете поиск по сообществам, вбиваете запрос «заказ раков» и получаете... подборку сообществ по астрологии. Совпадение по тексту есть, паблики популярные, можно сказать, что алгоритмы справились. Вы узнали о влиянии планет на вашу судьбу, но остались без раков.

Казалось бы, запрос звучал очевидно, но для классического текстового поиска это задача со звёздочкой. На помощь приходит семантический поиск — технология, которая обещает понять не только буквы в запросе, но и смыслы, стоящие за ними.

Меня зовут Арсений Расов, я тимлид ML-инженеров в команде поиска AI VK. В этой статье расскажу, как мы с командой внедряли семантический поиск по сообществам ВКонтакте и почему задача, рассчитанная на два месяца, заняла полгода. Рассмотрим современные NLP-технологии в продакшене и поговорим про непредсказуемость проверенных алгоритмов за пределами Jupyter Notebook.

Некоторые исследования показывают, что активное использование ИИ снижает мозговую активность на 47%. Разбираемся, насколько это критично и как защитить свои когнитивные способности.

Многие привыкли думать о дипфейках как о полностью поддельных видео: будто кто-то взял, полностью заменил лицо или сгенерировал всё с нуля. Но на деле всё становится куда тоньше — и опаснее. Представьте, если в знакомом ролике тихо изменили всего один жест, переставили предмет на фоне или ловко стерли пару кадров. Такие незаметные правки почти не отличить ни невооружённым глазом, ни специальными программами. И вот это — уже сегодняшняя реальность. Исследователи придумали для таких скрытых подделок отдельный термин, собрали крупный набор примеров и даже показали, почему современные детекторы и мы сами так часто оказываемся в дураках. Как работают эти новые "невидимые" дипфейки, чем они опасны и что вообще с этим делать — в новом разборе.