Машинное обучение *

Сколько смыслов можно уместить в тысяче строк кода? Этот вопрос становится совсем не теоретическим, когда к делу подключаются современные LLM — им всё чаще приходится разбираться в огромных проектах, где важно не просто “прочитать всё”, а вытащить из бесконечного кода именно то, что нужно. При этом стандартные методы экономят время и память… но нередко теряют самую суть, упуская важные связи между частями программы.

В свежей работе исследователи предлагают неожиданно простой трюк: вместо того чтобы скармливать модели лишние мегабайты, они аккуратно выжимают из репозитория только те фрагменты, которые реально двигают модель к правильному ответу. При этом смысл сохраняется, а мусор уходит.

Оказалось, даже совсем не обучая модель и не вникая во внутренности LLM, можно кратно повысить скорость и снизить стоимость анализа длинного кода — и иногда добиться даже лучшего качества. Как это работает, почему эффект оказался внушительным и к каким деталям тут всё сводится — разбираемся на примере LongCodeZip.

В данном случае отсылки в заголовке к знаменитой работе Вальтера Беньямина 1936 года «Произведение искусства в эпоху его технической воспроизводимости» отнюдь не случайно. Мы окружены подделками и поделками. Крупные издательства выпускают научно-популярные и художественные книги российских авторов под видом зарубежных (недавно про наиболее вопиющие случаи писали СМИ, без ИИ тут явно не обошлось). Дипфейки известных актеров и политиков заливаются в сеть сотнями каждый день. Нейротворчество выдают за созданное человеком. На Хабре появилась целая когорта пользователей, пытающихся отделить человеческие статьи от машинных.  

В мае 2025 года я опубликовал статью на Хабре «Аркадий Стругацкий против Deepseek и ChatGPT: как ИИ повлияет на художественный перевод», тогда разгорелась нешуточная дискуссия о роли переводчика в эпоху искусственного интеллекта. Я решил продолжить дискуссию, на этот раз поговорить о той самой ауре, которой должны обладать произведения искусства и тексты. 

Крис Латтнер (Chris Lattner) — создатель CPU-компилятора LLVM и соавтор Swift — предложил новый язык программирования Mojo, спроектированный для одновременного программирования CPU, GPU и TPU (тензорные ядра, оптимизированные для матричного умножения, а это и есть инференс LLM), без всяких лишних библиотек типа CUDA, ROCm и XLA.

Mojo — это надмножество Python с производительностью С и потенциальная замена Rust. Код на нём легко переносится между различными GPU, при этом платформа Modular быстрее обновляется под новые модели GPU, чем сама Nvidia выпускает обновления для своего софта (новые attention kernels).

Простой и мощный язык для написания и деплоя LLM-приложений независимо от оборудования (AMD, Nvidia, Intel и проч.), с метапрограммированием во время компиляции и прочими штуками. Что-то вроде единой «LLVM для AI». Унифицированная программная платформа, которая запускается на любом железе. Это ещё и самый простой способ ускорить Python-приложение в 10−1000 раз, не переписывая его фрагменты на Rust или C++ (что по сути делают NumPy и PyTotch).

Всем очевидно: индустрия ИИ стремительно развивается. Но здесь появляется одно гигантское слоноподобное НО. В последнее десятилетие лидеры ИИ предпочли развиваться экстенсивно - то есть, например, ЛЛМ максимизируют объём моделей. Это в свою очередь тянет за собой целую цепочку гигантских затрат: от электростанций до передовых числодробилок. Из последнего - xAI готовится запустить вычислительную фабрику мощностью 1 ГВт с 500-ми тысячами видеоускорителей! Можно по разному относиться к хайпу вокруг ИИ, но очевидно одно - есть много желающих вкладываться по полной программе в эти технологии. И, возможно, впоследствии экстенсивный рост перейдёт в интенсивный, то есть количество перейдёт в качество. Проблема только в том, что на низком уровне - уровне железа - техника подходит к физическим пределам. И если не сменить парадигму и физическую основу, то поддерживать развитие индустрии никакими средствами кроме масштабирования не получится.

Музыкальные стриминговые сервисы давно перестали быть просто «цифровыми полками» с треками — они превратились в персонализированные медиаплатформы, на которых ключевую роль играют рекомендательные системы. От Spotify и Apple Music до Яндекс.Музыки, VK Музыки и Звука — все они стремятся не просто хранить музыку, а предугадывать, что пользователь захочет услышать прямо сейчас. Рекомендации покрывают большое количество различных сценариев: плейлисты дня, подборки новинок, экспериментальные плейлисты в смежных для пользователя жанрах и многое другое. 

В этой статье мы хотим обсудить один из самых часто используемых и один из самых сложных с технической точки зрения сценариев: персональный поток треков (Персональная Волна).

Привет, Хабр! На связи снова Данила Гудынин, DevOps-инженер направления Evolution ML Inference в Cloud.ru.

В прошлой статье про снижение стоимости инференса мы пробежались по теории того, что и на каких уровнях стека можно подкрутить, чтобы повысить утилизацию своих GPU. Там вы могли определиться, какой подход в принципе подходит для ваших задач.

В этой части мы нырнем в практически-технический хар дкор и расскажем, как оптимизировать работу своих графических процессоров с KServe ModelMesh или vLLM Production Stack, подсветим, где разбросаны грабли в этом деле, а еще заглянем под капот к Cloud.ru Shared GPU и объясним, как именно он позволяет нам ставить цены на уровне западных облаков при кратно более дорогом железе в РФ.

ML-инженеры, DevOps и MLOps-архитекторы, можете сразу добавлять в закладки, чтобы возвращаться и списывать нужные конфиги. Наливайте бочку чая или чего покрепче, постарался изложить все сугубо по делу, много кода спрятал в «раскрывашки», так что не пугайтесь обозначенного выше времени чтения.

Превратить старое видео из 480p в кристально чистое 4K сегодня может каждый. Но какой ценой? Пока одни инструменты подкупают простотой и мощными моделями вроде Starlight, другие предлагают безграничную гибкость open-source, а третьи — ультимативную скорость обработки, требуя взамен технических знаний.

В этом большом сравнении мы сталкиваем лбами три разных подхода к AI-апскейлингу, а также даём несколько практических советов.

Привет! В этой статье я детально разберу основные фреймворки для AI-агентов, попробую их побенчить и детально распишу их плюсы и минусы. Если вы подступались к агентам, то первым вопросом наверняка стало «а на чем их делать?». Отовсюду все говорят про langchain и десяток других фреймворков, звучат аббревиатуры типа MCP и A2A, какие-то Swarmы и CrewAI, мультиагентность и самое всякое разное.

Давайте попробуем все это разложить по полочкам, потестировать, замерить и собрать материал, который поможет за раз во всем разобраться. А в качестве задачи мы возьмем мой проектик, который я с удовольствием поделываю в качестве развлекухи по ночам: сложный выбор товаров на маркетплейсах LLMкой.

Что будем тестировать: LangChain, LangGraph, AutoGen, CrewAI, OpenAI Swarm, LlamaIndex, MetaGPT, ControlFlow, Haystack, Phidata, Pydantic AI, smolagents, DSPy, SuperAGI, Semantic Kernel, Claude Agent SDK

Привет, Хабр! На связи KozhinDev, а именно ml-разработчик Приходько Александр. Этой статьей я начну цикл публикаций по теме борьбы с дисбалансом классов. В первую очередь этот гайд предназначен для ml-разработчиков уровня junior/middle. Мы ознакомимся с различными подходами к решению проблемы дисбаланса классов и проведем их сравнительный анализ на сгенерированной выборке: коснемся метрик качества, встроенных в классификаторы методы борьбы с дисбалансом классов, методы модификации выборки, а также комбинированные техники. В последней части мы расскажем про наш опыт применения кастомных метрик точности, как еще один метод борьбы с дисбалансом.

Пожалуй, никто не будет спорить с тем, что развитие Интернета произвело настоящую революцию в сфере продаж. Теперь мы можем приобрести на маркетплейсах всё, что угодно — от зубной щетки до разборного дома. Но зачастую выбор из бесчисленного множества вариантов может быть непосильной задачей для потребителей. Интернет‑магазины сталкиваются с необходимостью продавать больше товаров и корректировать цены, чтобы быть впереди конкурентов.

Одним из эффективных решений является создание для вашего бизнеса рекомендательной системы на базе ИИ. Эти системы используют алгоритмы машинного обучения для анализа данных пользователей, таких как история поиска и предпочтения, чтобы предоставлять персонализированные рекомендации. Это не только экономит время потребителей, но и повышает продажи и лояльность клиентов к компаниям. Предлагая персонализированные предложения, рекомендательные системы на основе ИИ улучшают процесс покупок, увеличивая доход и прибыль, а также укрепляя доверие и удовлетворенность клиентов.

В этой статье мы поговорим о том, что представляют из себя рекомендательные системы и разберем пример реализации на Python.

Три месяца назад ко мне обратился клиент с проблемой, которую я теперь вижу еженедельно. Позиции в топ-3 Google по всем ключевым запросам. Контент написан экспертами с многолетним опытом. Техническая оптимизация выполнена безупречно — скорость загрузки под секунду, мобильная версия идеальна, Core Web Vitals в зелёной зоне.

Трафик падает. Минус 35% за квартал.

Я открыл Google, ввёл их главный запрос. Первое, что увидел — AI Overview с развёрнутым ответом на три абзаца, занимающий половину экрана. Конкуренты цитируются там с названиями компаний и прямыми ссылками. Мой клиент? Его нет. Даже упоминания.

Проверил ChatGPT Search по тому же запросу. Система выдала структурированный ответ с пятью рекомендованными решениями, описаниями, ценовыми диапазонами. Мой клиент снова отсутствует. Открыл Perplexity — тот показал топ-7 источников с краткими описаниями и ссылками. Результат идентичный — полная невидимость.

Понимаете, что произошло? Правила игры изменились радикально, а стратегия продвижения застряла в 2020 году.

Исследование seoClarity показывает цифры, которые невозможно игнорировать: AI Overviews теперь появляются в 10.4% всех десктопных поисковых запросов в США по состоянию на март 2025 года — это исторический максимум с момента запуска функции. Более того, согласно независимому анализу Ahrefs, позиция номер один в органической выдаче теряет 34.5% кликов при наличии AI Overview над ней.

Вдумайтесь в эту цифру. Вы на первом месте в поиске. Но треть Вашего потенциального трафика испаряется. Просто потому что искусственный интеллект ответил на вопрос пользователя раньше, чем тот успел добраться до Вашей ссылки.

Всем привет. Меня зовут Максим, я — технический директор компании СофтМедиаЛаб (SML). Через меня проходят все проекты и пресейлы. В этой статье расскажу про использование ИИ для создания прототипов: как искусственный интеллект помогает быстрее воплотить идею заказчика в жизнь и ускорить разработку проекта. 

Представьте: ваша модель машинного обучения, блестяще прошедшая все A/B-тесты, через полгода начинает тихо, но уверенно деградировать. Предсказания становятся менее точными, бизнес-метрики ползут вниз, а вы не понимаете, почему. Знакомо? Скорее всего, вы столкнулись с Data Drift — смещением данных.

Data Drift — это изменение распределения входных данных модели с течением времени. Мир не статичен: меняются привычки клиентов, экономическая ситуация, законодательство. Модель, обученная на «старых» данных, оказывается не готова к «новым». В страховой сфере, где риски и деньги напрямую связаны, это особенно критично. Ошибка в оценке убыточности полиса может стоить компании миллионов.

В этой статье я на реальном примере разберу, как:

В мире данных однотипные графики часто выглядят уныло, а работа с ними — еще скучнее: очистка, бесконечные проверки, подбор моделей и объяснения для любопытного начальства. Классические алгоритмы предсказаний временных рядов давно знакомы аналитикам, но когда массив данных огромен, а требования к прозрачности все выше — старые методы начинают давать сбои.

Вместо того чтобы снова изобретать “лучшую” модель, команда исследователей решила взглянуть на задачу по-новому: построить мультиагентную систему, в которой несколько ИИ-агентов делят между собой всю рутину аналитика — от первой чистки до финального отчета. Что они придумали и почему это на самом деле похоже на работу настоящего исследователя? Разбираемся на живом примере из энергетики.

Хотим мы того или нет, но представить современный мир без ИИ в той или иной его форме крайне сложно. Данная технология стала настолько вездесущей, что порой от нее тяжело спрятаться. В результате чего в голове начинают всплывать слова, сказанные доктором Ианом Малкольмом в фильме «Парк Юрского периода»: «Ваши ученые были настолько озабочены тем, могут ли они это сделать, что не удосужились задуматься — стоит ли им это делать». Однако далеко не весь ИИ столь назойлив и вреден. Ученые из Калифорнийского университета в Санта-Крузе (США) разработали новый тип пластыря (названный «a-Heal») с интегрированным ИИ, который повышает эффективность заживления ран. Из чего сделан пластырь, как он работает, и какую роль в ней играет ИИ? Ответы на эти вопросы мы найдем в докладе ученых.

Модели давно научились отвечать на вопросы и решать задачи, но в живом поиске по интернету они пока скорее теряются, чем становятся настоящими помощниками. Ведь здесь всё не так просто: обычного запроса не хватает, приходится возвращаться к предыдущим шагам, уточнять детали, сопоставлять факты из разных источников. Команда InfoAgent решила прокачать LLM так, чтобы она вела себя не как угадывающий бот, а как упорный веб-детектив — способный шаг за шагом пробираться через паутину ссылок и находить нужное даже в запутанных случаях. Как устроена такая система, почему старые подходы уже не работают, и что из этого вышло — обо всём по порядку.

Привет! Это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий.

Неделя выдалась насыщенной: куча релизов от Alibaba в LLM и генеративке, Suno обновили модель до версии 5, а в Photoshop появились Flux Kontext и Nano Banana. Ну и вишенка на торте — кто-то встроил ChatGPT прямо в Minecraft.

Всё самое важное — в одном месте. Поехали!

Скажу честно: первое, о чем я подумал, когда услышал про эту тему, это Робо-няня из «Смешариков». В детстве она казалась мне немного тревожной, но ее способность делать все сразу впечатляла. Тогда я думал: как было бы хорошо, если бы такие технологии были у каждого.

Прошло всего несколько лет и они действительно появились. Нейросети сегодня повсюду: на улицах улыбаются котята с рекламных баннеров, в социальных сетях бомбардировщик с головой крокодила собирает миллионы лайков. Для многих алгоритмы стали инструментами, которые помогают решать десятки задач. Но этих инструментов стало так много, что выбрать бывает непросто.

Мы собрали подборку надежных и удобных нейросетей, которые уже сейчас можно использовать без сложных настроек. Все систематизировано по категориям: генерация текста, создание изображений, видео, музыка, презентации и другие направления. В каждой категории по три сервиса.

Да, у многих сервисов нашего топа есть платные подписки. Но сегодня будем разбирать только бесплатные возможности.

Приятного чтения!

ИТ-лидеры видят большой бизнес-потенциал в малых моделях ИИ благодаря гибкости, низкой стоимости и нацеленности на конкретные задачи малые языковые модели (SLM) лучше подходят для бизнес-специфичных приложений и вскоре могут обойти LLM по использованию в корпоративной среде.

Обучение с подкреплением (Reinforcement learning) является одним из направлений ML. Суть этого метода заключается в том, что обучаемая система или агент учится принимать оптимальные решения через взаимодействие со средой. В отличие от других подходов, Reinforcement learning (RL) не требует заранее подготовленных данных с правильными ответами или явной структуры в них. 

Предполагается, что машинное обучение может быть либо контролируемым (модель обучается на размеченном наборе данных), либо неконтролируемым (алгоритмы обучаются на основе неразмеченных данных), но появление обучения с подкреплением нарушило этот статус-кво. Так, Q-обучение может исследовать пространство, используя несколько инструкций, анализировать окружающую среду шаг за шагом и накапливать данные по мере продвижения для моделирования.

В этой статье мы попробуем разобраться с тем, как работает Q-обучение, а также рассмотрим небольшой пример на Python.