Статья описывает практическую реализацию системы Retrieval-Augmented Generation (RAG) для превращения документов в интерактивную базу знаний. Показано, как хранение эмбеддингов в Qdrant и интеграция с языковой моделью (LLM) позволяют быстро получать точные ответы на вопросы. Рассматриваются архитектура, ключевые компоненты и внутренние механизмы работы системы, полезные для разработчиков и новичков в области RAG.
Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL и начнем сразу с 4 раздела моей статьи.
4. Точность прогнозирования
В предыдущих разделах, мы стремились уменьшить число признаков (А - элементов), требуемых для решения задачи. И это понятно, т.к. обработка меньшего числа признаков требует меньше вычислительных затрат. Но выделяя только минимальное число признаков (и соответствующих A-элементов), и обучаясь только на части всех возможных примеров, мы рискуем построить слишком грубую модель. Её будет достаточно для решения задачи на обучающем множестве, но она будет плохо предсказывать. Представьте, что мы аппроксимируем окружность, и примеры нам показывают, что это многоугольник и во время прогнозирования мы исходим из того, на сколько углов мы обучили свою сеть. Поэтому, задача исследования в этом разделе состоит не в минимизации А-элементов, а в нахождении такого их количества, которое стабилизирует модель обобщения, которую строит перцептрон. Что означает стабилизация станет ясно из последующего изложения.
Для анализа точности прогнозирования будем использовать классические тесты MNIST по распознаванию рукописных цифр и MNIST Fashion по распознаванию пиктографических изображений одежды.
4.1. О методологии экспериментов
Отсутствие пред- и постобработки. Это не всегда очевидно, и различные исследователи часто явно или не явно используют некоторую предобработку обучающей и тестовой выборки. Мы должны строго разграничить обучающую выборку от тестовой, так, как например в результате некой нормализации происходит “подсказки от экспериментатора”, что не допустимо. Например, используя некие статистические характеристики и одинаково нормализуя обучающую и тестовую выборки происходит утечка информации, передача признаков тестовой выборки из обучающей выборки, или наоборот. По сути, это сводится к тому, что экспериментатор, зная тестовую выборку, косвенно подсказывает алгоритму, как ему обучаться. Поэтому важно, чтобы тестовая выборка была строго отделена от обучающей. Кроме того, мы хотим исследовать как именно работает алгоритм, а не то, как дополнительные манипуляции помогают решить задачу. Еще более важным, это становится при сравнении алгоритмов, в нашем случае перцептрона TL&NL с MLP+backprop. Поэтому в рамках наших экспериментов мы намеренно не допускаем никакой пред- и постобработки, за единственным исключением. В MNIST точки изображения даны в градации серого от 0 до 255. А нейросети удобнее работать с величинами на отрезке [0;1]. Поэтому единственную нормализацию, которую мы допускаем является разделение значения цвета на 255, как для обучающей, так и тестовой выборки.
ИИ становится всё умнее — но почему даже топовые модели всё ещё ошибаются в простых фактах, особенно если задать вопрос не по-английски? Бывает достаточно использовать одно неверное по смыслу слова, чтобы весь ответ оказался неверным.
Новое исследование PsiloQA неожиданно меняет акцент: оказывается, самые тонкие и опасные ошибки LLM часто проходят незамеченными именно потому, что стандартные проверки их не ловят — и ещё реже на других языках. Команда собрала огромный датасет из миллионов коротких галлюцинаций на 14 языках, чтобы понять: в чём уязвимость моделей, и какие методы реально помогают найти эти проблемы.
Разбираемся, как ИИ учится находить свои промахи, зачем детально размечать даже самые крошечные ошибки и почему эта тонкая работа может сыграть ключевую роль в будущем честных и универсальных ИИ-моделей.
Одним из самых важных навыков любого специалиста по данным или ML инженера является умение извлекать информативные признаки из исходного набора данных. Этот процесс называемый feature engineering (инженерия признаков), — одна из самых полезных техник при построении моделей машинного обучения.
Работа с данными требует значительных инженерных усилий. Хотя современные библиотеки вроде scikit-learn помогают нам с большей частью рутинных операций, по-прежнему критически важно понимать структуру данных и адаптировать её под задачу, которую вы решаете.
Создание новых, более качественных признаков позволяет модели лучше улавливать зависимости, отражающие особенности предметной области и влияющие на результаты факторы.
Разумеется, feature engineering — это времязатратный, креативный и нередко утомительный процесс, требующий экспериментов и опыта.
Недавно я наткнулся на интересный инструмент — Upgini. Следуя тренду на использование Large Language Models (LLM), Upgini применяет GPT от OpenAI, чтобы автоматизировать процесс feature engineering для ваших данных.
Подробнее о python библиотеке Upgini можно почитать на GitHub странице проекта. У проекта уже 345 звездных оценок, что является показателем востребованности и полезности функционала.
👉 GitHub - upgini/upgini: Data search library for Machine Learning
В последний месяц очень форсится идея о том, что для универсального промпта нужно правильно натаскать контекст, подключить правильные тулы и MCP, и вот тогда-то наступит счастье.
Итог этой идеи известен каждому руководителю, который пытался сделать для сотрудника идеальные условия, в которых он наконец-то сможет творить, а не заниматься рутиной. Это помогает лишь частично. Если у человека есть возможности что-то делать — не означает, что он пойдет и сделает. Для действий нужны уже некие внутренние мотиваторы. Руководитель уже может капать на нервы очень конкретным образом, в дополнение к формуле «морковка сзади, морковка спереди».
В начале 1960-х у нас и в Америке появилась новая разновидность машинного зрения – лазерная, и приборы лазерного машинного видения – лидары. Во второй половине того десятилетия уже продавались промышленные тепловизоры. В основанном в 1966 году Центе искусственного интеллекта Стэнфордского исследовательского института построили программируемого робота колесиках, оснащенного антенной, телекамерой, ультразвуковыми дальномерами и чувствительными демпферами на случай столкновений, способного двигаться по заданному пути, самостоятельно обходя препятствия, а поскольку он при этом все время сам трясся, его так и назвали Shakey (Трясун). Уиллард Бойл и Джордж Смит из Bell Labs изобрели ПЗС-матрицу из светочувствительных диодов, которую окрестили «вездесущим цифровым глазом», новой цифровой ипостасью фотопластинок, фотопленок, телекамер, фотоэлектронного умножителя и т.п.
Можно ли научить машину не просто распознавать эмоции, а действительно чувствовать? Что вообще значит «эмоция» для нейронной сети, у которой нет тела, боли и страха? В статье разбираюсь, как инженеры, программисты и философы одновременно пытаются встроить человечность в код, что из этого выходит на практике, и почему всё это не только про технологии, но и про нас самих.
Ура! Состоялся публичный релиз разработанной Сбером модели Kandinsky Video в Telegram-боте GigaChat и Kandinsky. Модель умеет создавать видео по тексту и оживлять изображения.
Привет, Хабр! Китай снова выпустил кое-что интересное, так что давайте разбираться.
Еще в сентябре у китайцев вышла новинка — DeepSeek-V3.2-Exp, экспериментальная версия последней модели DeepSeek-V3.1-Terminus. Цели и задачи у них вполне определенные: сделать архитектуру трансформеров еще более эффективной. Причем на сайте Hugging Face говорится, что особый акцент стартап делает на повышение вычислительной эффективности при обработке длинных текстовых последовательностей.
Всем привет! Меня зовут Денис Кузнеделев, я работаю в команде Yandex Research. Моё основное направление деятельности на данный момент — задача сжатия и ускорения больших языковых и картиночных моделей. Затраты на обучение, инференс и деплой LLM стали одной из ключевых инфраструктурных проблем индустрии: дефицит вычислительных ресурсов, нехватка видеопамяти и высокие требования языковых моделей к вычислительным ресурсам препятствуют масштабированию решений.
Сегодня я расскажу о методе неравномерного сжатия нейронных сетей EvoPress, который мы предложили совместно с коллегами из ETH Zurich и представили в июле этого года на одной из ведущих конференций по машинному обучению — ICML.
Генерация изображений нейросетями стала «обычной кнопкой» рядом с привычными инструментами дизайна. Сегодня можно создать картинку по описанию на русском языке, прямо в браузере, часто без регистрации и, что важно, — бесплатно. Такой «free image generator» полезен не только дизайнерам: предприниматели собирают карточки товара и hero-баннеры, SMM-специалисты — креативы и сторис, журналисты и блогеры — иллюстрации к материалам, разработчики — прототипы интерфейсов и игровые мокапы.
Почему эта тема так «зашла»?
Всем привет! Недавно я познакомился с курсом по глубокому обучению с подкреплением от HuggingFace Deep Reinforcement Learning Course и захотел сделать выжимку самого интересного. Эта статья — своего рода шпаргалка по основам Reinforcement Learning (RL) и одному из ключевых алгоритмов — PPO, который лежит в основе тонкой настройки современных LLM (Large Language Models).
ИИ в робототехнике за последние годы сделал огромный скачок, но все равно попадает в ловушки повседневности. В лаборатории всё работает идеально, а на фабрике или в квартире робот вдруг не справляется с элементарными задачами. Почему современные алгоритмы так часто буксуют, когда сталкиваются с реальностью?
Свежий взгляд на проблему предложили исследователи из Оксфорда. Их главный аргумент звучит достаточно просто: секрет не только в мощности железа или объёме данных, а в том, КАК построено обучение. Роботы начинают учиться быстрее людей не потому, что повторяют наши инструкции, а благодаря гибким методам, которые учитывают шумные сенсоры, разные задачи и даже вмешательство человека по ходу работы.
В этом обзоре расскажу о том, как современные роботы осваивают незнакомые задачи за часы, почему объединение данных, грамотных алгоритмов и понятных инструментов меняет всю индустрию, и самое главное — к чему это приведёт нас в ближайшем будущем.
Вы не задумывались, почему у нас уже есть Sora/Veo и бесконечный поток нагенерированных роликов, но "Матрица" интерактивных миров где можно действовать всё ещё есть только в лабораториях? Разбираем, что мешает получить 24 FPS интерактивного видео на флагманской видеокарте, как модели запоминают мир и зачем им обучаемое сжатие контекста.
Попрощайтесь с эпохой потребительских сайтов и мобильных приложений. Искусственный интеллект положил начало эре, которую инсайдеры из инновационной столицы страны именуют «хард-теком».
Привет! Этот пост — перевод очень хардовой статьи про внутренности vLLM и того, как устроен инференс LLM. Переводить было сложно из-за англицизмов и отсутствия устоявшегося перевода многих терминов, но это слишком классная статья, и она обязана быть на русском языке! А дальше — слово автору:
От paged attention, непрерывного батчинга, кэширования префиксов , specdec и т.д. — до мульти-GPU и мультинодового динамического сервинга LLM под нагрузкой.
В этом посте я постепенно представлю все основные системные компоненты и продвинутые функции, которые составляют современную систему инференса LLM с высокой пропускной способностью. И детально разберу, как внутри работает vLLM.
Model Context Protocol (MCP) — это единый стандарт разработки API для сервисов, с которыми могут взаимодействовать LLM.
В этой статье на простом примере разберем, как создать свой MCP-сервер и как использовать его в связке с LLM.
Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля
ИИ сегодня легко справляется с текстом, картинками и даже видео — кажется, ничто не способно его остановить. Но вот парадокс: когда дело доходит до прогнозирования временных рядов, где мы ожидаем от моделей почти волшебства, простая старая линейная регрессия всё ещё регулярно обыгрывает модные трансформеры. Почему сложные нейросети так часто уступают классике — даже когда вроде бы должны показать класс?
Новое исследование переворачивает привычное представление: оказывается, размер и глубина модели сами по себе не гарантируют прорыва. На временных рядах даже самые изощрённые схемы внимания не могут обработать данные лучше, чем линейные методы. А увеличение слоёв или длины истории, вопреки ожиданиям, лишь медленно сокращает отставание.
В этой разборчивой работе показано: понять, как модели учатся и где проходит граница их возможностей — критически важно для всех, кто строит или применяет ИИ в реальных задачах. Разбираемся, почему иногда лучше довериться старым добрым формулам и что это значит для будущего ИИ-прогнозирования.
Множество ученых по всему миру объединились, чтобы составить и опубликовать всеобъемлющую дорожную карту разработки межатомных потенциалов машинного обучения в области материаловедения и инженерии. Они подробно описали, как машинное обучение должно привести к революции в нашем понимании в проектировании и открытии новых материалов, позволяя проводить компьютерное моделирование атомов.
Наконец, я добрался до квалиа и эмоций. Многие наверняка вспомнят Чалмерса, летучую мышь, красноту, зомби и китайскую комнату. Отлично. Тогда останавливаться на этом не будем.
Сегодня я расскажу о теме, которая на первый взгляд кажется далёкой от IT, но с каждым новым прорывом в AGI становится всё ближе — о сознании. Впрочем, такое ощущение, что о нём я говорю постоянно. Поэтому уточню, расскажу о его «трудной проблеме»: почему вообще мы переживаем? Почему красный (вот и краснота) цвет ощущается как красный, а боль ощущается как боль?
Этот субъективный, невыразимый аспект опыта — «каково это» — в философии называют квалиа. И десятилетиями эта проблема заводит учёных в тупик. Но что, если мы просто смотрим не туда? Что, если квалиа — это не дополнительный слой к вычислениям, а просто свойство самой архитектуры этих вычислений?
