Машинное обучение *

В прошлой части мы с вами остановились на том, что обнаружили у временного ряда с температурой две сезонности и, несмотря на это, решили двигаться дальше в выполнении сезонной модели САРПСС по методологии АРПСС. В этой части второй главы мы с вами продолжим применение методологии для поиска оптимальных параметров модели, которая будет адекватно описывать целевой временной ряд с температурой.

Для одного из своих проектов, я погрузился в чтение методов генерации трехмерных сцен и анимированных моделей. Не слишком удивительным фактом оказалось, что подавляющее большинство из них опираются на одну и ту же идею переноса градиента из генератора плоских изображений в дифференцируемое трехмерное представление модели. Меня заинтересовал вопрос — неужели плоские изображения являются наилучшим промежуточным этапом для данной задачи и нет формата лучше, такие как облака точек или гауссианы? Мои поиски наборов данных и перспектив их массового появления я хотел бы описать в этой статье.

Разбиение на обучающую и тестовую выборку без учета времени — распространенная ошибка, про которую все уже знают. Правильное разбиение может привести к неочевидным проблемам, которые мы обнаружим и решим.

В условиях, когда полным ходом идет (генеративная) революция искусственного интеллекта, каждый день появляются новые большие языковые модели (LLM). Существуют общие модели и усовершенствованные версии этих общих моделей для конкретных целей. В настоящее время на Huggingface размещено около 750 000 различных моделей. Но как выбрать ту, которая подойдет вашим целям?

Найти модель, которая лучше всего подойдет для поставленной задачи, сложно. Также определить, что такое «хорошая производительность» при выполнении некоторых задач, может быть непросто. Существует ряд доступных бенчмарков, которые помогут вам сравнить эти LLM. В этой статье объясняются основы оценки LLM и подробно рассматриваются общие метрики оценки и бенчмарки LLM.

Когда дроны только появились, ими можно было управлять разве что с пульта или через текстовые команды — «поверни налево», «лети прямо», «вверх на два метра». Всё это выглядело немного старомодно и, прямо скажем, неудобно: попробуй опиши словами маршрут, если дрон видит перед собой живую картинку, а тебе надо всё переводить в текст. И вот появился довольно неожиданный подход — вместо текстовых инструкций просто показывать дрону, куда лететь, буквально указывая нужную точку в кадре. 

Теперь команда для беспилотника — это не набор слов, а пиксель на изображении, а значит, связь между вашим замыслом и настоящим полетом стала куда более непосредственной. Модель сама определяет, как лететь к этой точке, одновременно замечает препятствия и быстро реагирует, если что-то изменится. Что получилось из этой попытки «разговаривать» с дроном языком зрения — и c какими проблемами исследователи столкнулись на практике? Всё оказалось интереснее, чем кажется на первый взгляд.

Команда AI for Devs подготовила перевод статьи о новом API /v1/responses от OpenAI, который объединяет простоту Chat Completions и мощь Assistants, и при этом сохраняет состояние рассуждений, мультимодальность и встроенные инструменты. Это шаг к агентам будущего — и, похоже, к новому стандарту работы с моделями OpenAI.

эпоху цифровизации каждый клиентский отзыв — это больше, чем просто слова. Это ценный актив, содержащий информацию о настроениях, скрытых проблемах и возможностях для роста. Однако, как бизнесу эффективно обрабатывать тысячи таких сообщений? Решение лежит в области искусственного интеллекта. Сегодня мы разберёмся, как нейросеть трансформирует эмоциональный комментарий в структурированные данные, которые можно интегрировать в бизнес-процессы для принятия решений.

От текста к числам: язык, понятный машине

Прежде чем нейросеть сможет «понять» отзыв, его нужно перевести на её язык. Этот процесс называется токенизацией и векторизацией. Люди читают слова, а машины работают с числами.

Наш первый шаг — это предобработка данных. Представьте, что вы очищаете сырой алмаз от лишней породы, чтобы увидеть его истинный блеск. В мире NLP (обработки естественного языка) это означает:

Приведение к нижнему регистру: «Очень» и «очень» — это одно и то же слово для нашей модели.

Удаление «шума»: Местоимения, предлоги, союзы (и, в, на) — так называемые стоп-слова — часто не несут эмоциональной окраски. Их удаление помогает модели сфокусироваться на действительно значимых словах-маркерах.

Удаление пунктуации и спецсимволов: Запятые, восклицательные знаки и смайлики важны для человека, но для базового анализа могут быть избыточными.

После очистки мы преобразуем слова в числовой формат. Один из самых популярных методов — TF-IDF (Term Frequency–Inverse Document Frequency). Этот алгоритм не просто подсчитывает, сколько раз слово встречается в отзыве (TF), но и оценивает его важность (IDF). Слово, которое часто встречается в одном отзыве, но редко в тысячах других (например, «медленная» в негативном комментарии о доставке), получает высокий вес. Это позволяет выделить уникальные и значимые характеристики каждого отзыва.

Всем привет! Меня зовут Андрей Попов, я SEO-специалист в AGIMA. В 2025 году работа с поисковыми системами кардинально изменилась: Google и ИИ-ассистенты вроде Алисы, Gemini или Chat GPT всё чаще не просто ищут страницы по ключам, а сами «понимают» смысл контента и выдают пользователю готовый ответ.

И вот что самое интересное: решения о том, какой контент попадает в эту выдачу, принимаются не только по релевантности или ссылкам. Всё чаще Google опирается на скрытые метрики доверия — внутренние сигналы, которые оценивают не просто текст, а репутацию источника, авторитет автора, надежность бренда и даже «пограничность» самой темы.

Для SEO-специалиста это меняет правила игры. Недостаточно просто писать статьи и оптимизировать метатеги — нужно работать с невидимым слоем: формировать доверие, закреплять сущности и регулярно подтверждать экспертность.

Порой кажется, что ленты рекомендаций появились вместе с интернетом — мы уже привыкли к их настойчивым попыткам угодить нам по лайкам и кликам. Но кто из нас не сталкивался с однообразными подборками в своём информационном пузыре?

Исследователи решили попробовать новый подход к рекомендациям — дать пользователю право голоса прямо в ленте: теперь можно просто сказать «это слишком дорого», и рекомендация тут же поменяется. Как устроены такие рекомендательные системы — разбираемся в новом обзоре.

Международная команда ученых совершила прорыв в области распределенного машинного обучения, разработав новые алгоритмы, значительно повышающие эффективность обучения моделей в федеративных сетях. Исследование, проведенное учеными из Университета имени Короля Абдуллы ( Саудовская Аравия), Московского физико-технического института (МФТИ), Университета Мила и Монреальского университета (Mila, Канада), Университета имени Мухаммеда бен Зайда по искусственному интеллекту (MBZUAI, ОАЭ) и Принстонского университета (США), представляет собой значительный шаг вперед в решении проблемы высокой вычислительной сложности обучения больших моделей в распределенных системах. Результаты опубликованы в материалах конференции NeurIPS 2024.

xAI меняет правила: Grok 4 Fast – сверхбыстрый ИИ с 2 млн токенов контекста бесплатно! Что если модель, равная Gemini 2.5 Pro, но в 25 раз дешевле, уже здесь? Узнайте, как она ускоряет поиск, кодирование и анализ, не жертвуя качеством — но с секретами, которые стоит раскрыть.

В интернете широко обсуждают опубликованный в Nature отчет авторов DeepSeek, в котором якобы заявляется, что обучение модели R1 обошлось компании всего в 294 тысячи долларов. Цифра выглядит сенсационной, ведь конкуренты тратят на создание своих моделей в тысячи раз большие суммы: например, для Claude Sonnet 3.7 давали оценку в несколько десятков миллионов долларов. Если бы взятая из Nature цифра была правдой, то получилось бы так, что у конкурентов нет никаких шансов перед командой DeepSeek. Но это не так.

Открыть телефон, быстро найти нужный файл, перенести данные между приложениями — для нас привычная рутина, а для ИИ-агентов с их умением «видеть» экран это настоящее испытание. Важно не просто нажать правильные кнопки, а удерживать замысел: дойти до финала, не сбиться на полпути и не потерять контекст. Крупные языковые модели уже умеют работать со скриншотами и даже рассуждать о шагах, но когда задача требует больше двух-трех действий подряд, начинается настоящее веселье. Почему ИИ так легко «теряет нить», и как свежие исследования учат его держать в голове весь сценарий — рассказываем на живых примерах и с неожиданными находками из мира полуонлайн-обучения.

Команда AI for Devs подготовила перевод статьи о том, как Groq пытается устранить главное «бутылочное горлышко» современного ИИ — задержку. Их специализированный процессор LPU обещает скорость в реальном времени и открывает путь к новым приложениям: от финансовых систем до Coding AI-ботов. Но за пределами маркетинга остаются вопросы: что с большими контекстами, какова конкуренция с Cerebras и GPU, и выдержит ли бизнес-модель такие вызовы?

Привет, чемпионы! Сегодня хочу разобрать на реальном примере, как иногда самые неочевидные идеи те, что в момент презентации заставляют тимлидов молча поправлять очки, а менеджеров ёрзать на стуле могут не просто выстрелить, а полностью перевернуть продукт. Это история не про гениальный прорыв, а скорее про настойчивость, готовность к экспериментам и немного удачи. Всё началось с того, что мы упёрлись в классический потолок роста в, казалось бы, совершенно непримечательной нише мобильном приложении для поиска и записи в автосервисы.

У нас был стандартный, почти шаблонный продукт: каталог услуг со средними по рынку ценами, модуль онлайн записи, карта с геолокацией мастерских, даже отзывы и рейтинги. Всё как у людей. Но проблема была в том, что мы были как все. А в условиях, когда на каждом углу есть аналоги, конкуренция идёт не за функционал, а за доверие и внимание пользователя. Люди заходили, смотрели прайс, звонили в пару мест и уходили. Удержание было низким, монетизация ещё ниже. Нужен был крючок. Не просто ещё одна кнопка в интерфейсе, а что то, что давало бы мгновенную, осязаемую пользу и решало реальную боль.

И вот на одной из планерок, где мы в очередной раз ломали голову над тем, как увеличить конверсию, я бросила: «А что, если сделать так, чтобы пользователь мог просто сфоткать свою проблему потёкшее масло, скрипящие тормоза, вмятину на бампере а мы ему примерно назовём поломку и прикинем, во сколько это выльется?». В комнате повисла тишина. Послышалось что то вроде «нейросеть?», «а обучающая выборка?», «а точность?», «юридические риски». Но решили взяться, так как я была уверена в бомбовом результате. И понеслась.

Задумывались ли вы когда-нибудь, почему две языковые модели с одинаковыми оценками на тестах ведут себя совершенно по-разному в реальном общении? Оценки вроде бы одни и те же, а ощущения от общения — совсем нет: одна охотно подыгрывает, другая спорит до последнего, третья резко меняет мнение из-за незначительной формулировки. Кажется, за сухими числами мы теряем самое интересное — характер и повадки моделей.

Исследователи решили перестать мерить всё под одну гребёнку и попробовали разобраться, какими чертами личности и поведения на самом деле отличаются современные LLM. В ход пошли не только бенчмарки, но и целый профиль моделей — от умения мыслить абстрактно до устойчивости к лести. 

Что оказалось на поверхности, какие неожиданные черты всплывают и почему выбор ИИ — это теперь не только про точность, но и про стиль взаимодействия? Подглядываем в поведенческие отпечатки моделей, чтобы понять: что за личность сидит внутри LLM.

Добрый день, уважаемые хаброжители !!! Случилось страшное… Нам надо серьезно поговорить и обсудить пару “скользких” моментиков ;)) Вернее так, говорить мы сегодня будем про “подмены” лица во всей красе или, как принято сейчас величать сие явление,  дипфейки. Так вот, случилось нам давеча участвовать в хакатоне Kryptonite ML Challenge 2025 (Разработка модели распознавания, способная противостоять DeepFake атакам) от компании «Криптонит».

Иногда кажется, что большие языковые модели уверены в себе больше, чем большинство людей в понедельник утром. Задаёшь простой вопрос — а в ответ получаешь удивительный факт, на который хочется переспросить: а ты точно знаешь, о чем говоришь или просто угадываешь?

Оказывается, у этой привычки «галлюцинировать» и выдавать ответы даже тогда, когда стоило бы промолчать, есть вполне логичные основания. Проблема заложена ещё на этапе обучения и подкрепляется тем, как мы потом оцениваем работу LLM. Почему даже самые продвинутые модели чаще выбирают угадать, чем признаться в собственном незнании, и что с этим делать — свежее исследование предлагает неожиданно простое объяснение.

Привет! 28 августа прошел RecSys Meetup — поговорили о том, как работают рекомендательные алгоритмы Wildberries & Russ: от блока «вам может понравиться» до сложных моделей, влияющих на выдачу товаров.

В программе было четыре интересных доклада, классный мерч и полезный нетворкинг. В статье вы найдете видеозаписи с ивента и фотоотчет :-)

Как научить робота не просто идти по указке, а видеть окружающий мир осмысленно — почти как человек? Сейчас даже самые продвинутые ИИ в роботах часто живут «здесь и сейчас»: увидели диван — пошли к дивану, только камера повернулась — всё забыли. В итоге их навигация напоминает путешествие вслепую, где нет места памяти о прошлом и настоящему планированию. А у человеческого мозга с этим всё хорошо: карта местности в голове и опыт, который легко пересобирается под цель.

Команда исследователей посмотрела, как наше мышление можно перенести на алгоритмы, и собрала для робота не просто память, а целую когнитивную карту. В результате он начинает думать маршрутами, оперировать ориентирами, «удивляться» новому и экономно хранить только важное. Ведь когда машина впервые учится замечать не только объекты вокруг, но и структуру событий — это совсем другой уровень ИИ. 

Как устроен этот подход и что получилось в реальных экспериментах — обо всём по порядку.