Машинное обучение *

Вы когда‑нибудь мечтали стать лучшей версией себя? Моложе, красивее, идеальнее… А вот LoRA уже стала!

Меня зовут Вера Соболева, я научный сотрудник лаборатории FusionBrain Института AIRI, а также стажер‑исследователь Центра глубинного обучения и байесовских методов НИУ ВШЭ. Cегодня я расскажу про наше свежее исследование T‑LoRA: Single Image Diffusion Model Customization Without Overfitting. Мы с коллегами придумали эффективный способ как файнтюнить диффузионные модели с помощью LoRA всего по одной картинке. 

Представьте такую ситуацию: вы хотите, чтобы модель генерировала вашу кошечку узнаваемой и в самых разных сценариях, но у вас нет времени или желания собирать обширный разнообразный датасет. А может, у вас вообще есть всего одна фотография (с хозяевами кошек так обычно не бывает, но допустим).

Хорошая новость: эту задачу можно решить, копнув поглубже в свойства диффузии! В этой статье я расскажу, как это сделать.

ИИ-ассистенты уже достаточно эволюционировали, но есть ньюанс: даже самые умные ассистенты чаще всего остаются пассивными наблюдателями. Они ждут команды от человека и не берут на себя инициативу. Так почему ИИ до сих пор не угадывает наши желания? 

Исследователи нашли ответ на этот вопрос: дело не в “прокачанности” нейросетей, а в самом подходе к взаимодействию с ИИ. Они научили ИИ-очки не просто реагировать, а чувствовать ситуацию — вмешиваться ровно тогда, когда помощь действительно уместна, и делать это почти незаметно. В результате получилась система, которая не раздражает бесконечными подсказками, а помогает точно в момент сомнения — будь то партия в блэкджек или выбор свитера в магазине.  

В этом обзоре — как работает проактивный ассистент и почему именно способность заговорить вовремя способна перевернуть представление о будущем ИИ-интерфейсов.

Рассуждающие чаты показывают пользователю ход своих мыслей. Но обычно там написана какая-то ерунда. Максимум, что там полезного можно вычитать: «пользователь спрашивает про плоскую землю — наверное, он сумасшедший».

А хочется, чтобы нейронка подробно объясняла каждый шаг и свои намерения.

«Дайте мне качественный датасет, и я переверну Землю!» — возможно, так перефразировал бы свою крылатую фразу Архимед, доведись ему тренировать современные LLM. Хороших наборов данных в открытом доступе не так много, а собрать свой — задача не из простых. О популярных способах сбора данных для датасетов, связанных с этим рисков и о решении, которое мы используем в YADRO, сегодня и поговорим. 

Те, кто имел дело с покупкой и продажей недвижимости, знает, что просмотры — очень хлопотное занятие. Неудивительно, что для экономии времени появляются предложения посмотреть квартиру онлайн или с помощью 3D‑тура. О таких виртуальных экскурсиях мы сегодня и поговорим.

В сентябре Яндекс Недвижимость рассказала о 3D‑турах для новостроек. С момента начала тестирования в июле на сервисе было сгенерировано более четверти миллиона виртуальных экскурсий по строящимся квартирам. Чтобы это стало возможным, мы обучили нейросеть анализировать планировки и превращать их в трёхмерные визуализации. Но чтобы это стало возможным, нужно было проделать большую и кропотливую работу, чтобы нейросеть понимала, где отрисовывать окно или класть плитку на пол.

Меня зовут Катя Шибанова, я работаю архитектором краудсорсинговых решений (CSA) в службе разметки данных Yandex Crowd Solutions. Недавно к нам обратились коллеги из Яндекс Недвижимости: нужно было помочь с разметкой для обучения модели компьютерного зрения, которую используют для создания 3D‑туров. Об этом интересном проекте и будет мой рассказ. Я расскажу, чем опасны миллиметровые зазоры между полигонами в разметке, почему помимо типов помещений (кухня, спальня, санузел и тому подобное) нужно размечать структурно важные элементы — двери, окна, несущие стены, а также почему приоритизация геометрической согласованности важнее «средней» точности по пикселям.

Статья описывает практическую реализацию системы Retrieval-Augmented Generation (RAG) для превращения документов в интерактивную базу знаний. Показано, как хранение эмбеддингов в Qdrant и интеграция с языковой моделью (LLM) позволяют быстро получать точные ответы на вопросы. Рассматриваются архитектура, ключевые компоненты и внутренние механизмы работы системы, полезные для разработчиков и новичков в области RAG.

Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL и начнем сразу с 4 раздела моей статьи.

4. Точность прогнозирования

В предыдущих разделах, мы стремились уменьшить число признаков (А - элементов), требуемых для решения задачи. И это понятно, т.к. обработка меньшего числа признаков требует меньше вычислительных затрат. Но выделяя только минимальное число признаков (и соответствующих A-элементов), и обучаясь только на части всех возможных примеров, мы рискуем построить слишком грубую модель. Её будет достаточно для решения задачи на обучающем множестве, но она будет плохо предсказывать. Представьте, что мы аппроксимируем окружность, и примеры нам показывают, что это многоугольник и во время прогнозирования мы исходим из того, на сколько углов мы обучили свою сеть. Поэтому, задача исследования в этом разделе состоит не в минимизации А-элементов, а в нахождении такого их количества, которое стабилизирует модель обобщения, которую строит перцептрон. Что означает стабилизация станет ясно из последующего изложения.

Для анализа точности прогнозирования будем использовать классические тесты MNIST по распознаванию рукописных цифр и MNIST Fashion по распознаванию пиктографических изображений одежды.

4.1. О методологии экспериментов

Отсутствие пред- и постобработки. Это не всегда очевидно, и различные исследователи часто явно или не явно используют некоторую предобработку обучающей и тестовой выборки. Мы должны строго разграничить обучающую выборку от тестовой, так, как например в результате некой нормализации происходит “подсказки от экспериментатора”, что не допустимо. Например, используя некие статистические характеристики и одинаково нормализуя обучающую и тестовую выборки происходит утечка информации, передача признаков тестовой выборки из обучающей выборки, или наоборот. По сути, это сводится к тому, что экспериментатор, зная тестовую выборку, косвенно подсказывает алгоритму, как ему обучаться. Поэтому важно, чтобы тестовая выборка была строго отделена от обучающей. Кроме того, мы хотим исследовать как именно работает алгоритм, а не то, как дополнительные манипуляции помогают решить задачу. Еще более важным, это становится при сравнении алгоритмов, в нашем случае перцептрона TL&NL с MLP+backprop. Поэтому в рамках наших экспериментов мы намеренно не допускаем никакой пред- и постобработки, за единственным исключением. В MNIST точки изображения даны в градации серого от 0 до 255. А нейросети удобнее работать с величинами на отрезке [0;1]. Поэтому единственную нормализацию, которую мы допускаем является разделение значения цвета на 255, как для обучающей, так и тестовой выборки.

ИИ становится всё умнее — но почему даже топовые модели всё ещё ошибаются в простых фактах, особенно если задать вопрос не по-английски? Бывает достаточно использовать одно неверное по смыслу слова, чтобы весь ответ оказался неверным.

Новое исследование PsiloQA неожиданно меняет акцент: оказывается, самые тонкие и опасные ошибки LLM часто проходят незамеченными именно потому, что стандартные проверки их не ловят — и ещё реже на других языках. Команда собрала огромный датасет из миллионов коротких галлюцинаций на 14 языках, чтобы понять: в чём уязвимость моделей, и какие методы реально помогают найти эти проблемы.

Разбираемся, как ИИ учится находить свои промахи, зачем детально размечать даже самые крошечные ошибки и почему эта тонкая работа может сыграть ключевую роль в будущем честных и универсальных ИИ-моделей.

Одним из самых важных навыков любого специалиста по данным или ML инженера является умение извлекать информативные признаки из исходного набора данных. Этот процесс называемый feature engineering (инженерия признаков), — одна из самых полезных техник при построении моделей машинного обучения.

Работа с данными требует значительных инженерных усилий. Хотя современные библиотеки вроде scikit-learn помогают нам с большей частью рутинных операций, по-прежнему критически важно понимать структуру данных и адаптировать её под задачу, которую вы решаете.

Создание новых, более качественных признаков позволяет модели лучше улавливать зависимости, отражающие особенности предметной области и влияющие на результаты факторы.

Разумеется, feature engineering — это времязатратный, креативный и нередко утомительный процесс, требующий экспериментов и опыта.

Недавно я наткнулся на интересный инструмент — Upgini. Следуя тренду на использование Large Language Models (LLM), Upgini применяет GPT от OpenAI, чтобы автоматизировать процесс feature engineering для ваших данных.

Подробнее о python библиотеке Upgini можно почитать на GitHub странице проекта. У проекта уже 345 звездных оценок, что является показателем востребованности и полезности функционала.

👉 GitHub - upgini/upgini: Data search library for Machine Learning

В последний месяц очень форсится идея о том, что для универсального промпта нужно правильно натаскать контекст, подключить правильные тулы и MCP, и вот тогда-то наступит счастье.

Итог этой идеи известен каждому руководителю, который пытался сделать для сотрудника идеальные условия, в которых он наконец-то сможет творить, а не заниматься рутиной. Это помогает лишь частично. Если у человека есть возможности что-то делать — не означает, что он пойдет и сделает. Для действий нужны уже некие внутренние мотиваторы. Руководитель уже может капать на нервы очень конкретным образом, в дополнение к формуле «морковка сзади, морковка спереди».

В начале 1960-х у нас и в Америке появилась новая разновидность машинного зрения – лазерная, и приборы лазерного машинного видения – лидары. Во второй половине того десятилетия уже продавались промышленные тепловизоры. В основанном в 1966 году Центе искусственного интеллекта Стэнфордского исследовательского института построили программируемого робота колесиках, оснащенного антенной, телекамерой, ультразвуковыми дальномерами и чувствительными демпферами на случай столкновений, способного двигаться по заданному пути, самостоятельно обходя препятствия, а поскольку он при этом все время сам трясся, его так и назвали Shakey (Трясун). Уиллард Бойл и Джордж Смит из Bell Labs изобрели ПЗС-матрицу из светочувствительных диодов, которую окрестили «вездесущим цифровым глазом», новой цифровой ипостасью фотопластинок, фотопленок, телекамер, фотоэлектронного умножителя и т.п. 

Можно ли научить машину не просто распознавать эмоции, а действительно чувствовать? Что вообще значит «эмоция» для нейронной сети, у которой нет тела, боли и страха? В статье разбираюсь, как инженеры, программисты и философы одновременно пытаются встроить человечность в код, что из этого выходит на практике, и почему всё это не только про технологии, но и про нас самих.

Ура! Состоялся публичный релиз разработанной Сбером модели Kandinsky Video в Telegram-боте GigaChat и Kandinsky. Модель умеет создавать видео по тексту и оживлять изображения.

Привет, Хабр! Китай снова выпустил кое-что интересное, так что давайте разбираться. 

Еще в сентябре у китайцев вышла новинка — DeepSeek-V3.2-Exp, экспериментальная версия последней модели DeepSeek-V3.1-Terminus. Цели и задачи у них вполне определенные: сделать архитектуру трансформеров еще более эффективной. Причем на сайте Hugging Face говорится, что особый акцент стартап делает на повышение вычислительной эффективности при обработке длинных текстовых последовательностей. 

Всем привет! Меня зовут Денис Кузнеделев, я работаю в команде Yandex Research. Моё основное направление деятельности на данный момент — задача сжатия и ускорения больших языковых и картиночных моделей. Затраты на обучение, инференс и деплой LLM стали одной из ключевых инфраструктурных проблем индустрии: дефицит вычислительных ресурсов, нехватка видеопамяти и высокие требования языковых моделей к вычислительным ресурсам препятствуют масштабированию решений. 

Сегодня я расскажу о методе неравномерного сжатия нейронных сетей EvoPress, который мы предложили совместно с коллегами из ETH Zurich и представили в июле этого года на одной из ведущих конференций по машинному обучению — ICML.

Генерация изображений нейросетями стала «обычной кнопкой» рядом с привычными инструментами дизайна. Сегодня можно создать картинку по описанию на русском языке, прямо в браузере, часто без регистрации и, что важно, — бесплатно. Такой «free image generator» полезен не только дизайнерам: предприниматели собирают карточки товара и hero-баннеры, SMM-специалисты — креативы и сторис, журналисты и блогеры — иллюстрации к материалам, разработчики — прототипы интерфейсов и игровые мокапы.

Почему эта тема так «зашла»?

Всем привет! Недавно я познакомился с курсом по глубокому обучению с подкреплением от HuggingFace Deep Reinforcement Learning Course и захотел сделать выжимку самого интересного. Эта статья — своего рода шпаргалка по основам Reinforcement Learning (RL) и одному из ключевых алгоритмов — PPO, который лежит в основе тонкой настройки современных LLM (Large Language Models).

ИИ в робототехнике за последние годы сделал огромный скачок, но все равно попадает в ловушки повседневности. В лаборатории всё работает идеально, а на фабрике или в квартире робот вдруг не справляется с элементарными задачами. Почему современные алгоритмы так часто буксуют, когда сталкиваются с реальностью?

Свежий взгляд на проблему предложили исследователи из Оксфорда. Их главный аргумент звучит достаточно просто: секрет не только в мощности железа или объёме данных, а в том, КАК построено обучение. Роботы начинают учиться быстрее людей не потому, что повторяют наши инструкции, а благодаря гибким методам, которые учитывают шумные сенсоры, разные задачи и даже вмешательство человека по ходу работы.

В этом обзоре расскажу о том, как современные роботы осваивают незнакомые задачи за часы, почему объединение данных, грамотных алгоритмов и понятных инструментов меняет всю индустрию, и самое главное — к чему это приведёт нас в ближайшем будущем.

Вы не задумывались, почему у нас уже есть Sora/Veo и бесконечный поток нагенерированных роликов, но "Матрица" интерактивных миров где можно действовать всё ещё есть только в лабораториях? Разбираем, что мешает получить 24 FPS интерактивного видео на флагманской видеокарте, как модели запоминают мир и зачем им обучаемое сжатие контекста.

Попрощайтесь с эпохой потребительских сайтов и мобильных приложений. Искусственный интеллект положил начало эре, которую инсайдеры из инновационной столицы страны именуют «хард-теком».