Машинное обучение *

Мы наткнулись на потрясающее исследование, которое объясняет, как искусственный интеллект начинает думать почти как человек. Учёные решили заглянуть внутрь нейронных сетей и проверить, как они организуют свои «мысли». Вдохновились они идеей шведского учёного, который сказал, что в нашем мозгу понятия вроде «кот» или «яблоко» - это не просто точки, а целые области, причём выпуклые. Мы перевели и упростили это исследование для вас, чтобы показать, как машины учатся обобщать и становиться ближе к нам. Погнали разбираться!

LIME (Local Interpretable Model-Agnostic Explanations) — популярный модет в решении задачи интерпретации. Он основан на простой идее — приблизить прогнозы сложного оценщика (например, нейронной сети) простым — обычно линейной/логистической регрессией.

Применить LIME можно из коробки при помощи одноименной библиотеки [lime]. Однако, при применении LIME к, в частности, к временным рядам возникают особенности. Поэтому в чистом виде lime для TimeSeries не всегда легко применить. И в этом туториале мы сделаем приближенение метода самостотельно! :)

Бизнес ждал, что ИИ придет и порядок наведет: разберется в процессах, прокачает маркетинг и раскрутит стартапы. А на важные, но скучные переговоры вместо топ-менеджеров будут ходить боты и цифровые двойники. Ждал — и в какой-то степени дождался. А в какой-то — нет. Почему так? Рассказываем в статье.

Автор: Кристина Паревская, Neoflex

Мы живем в мире быстро развивающихся технологий. С каждым годом frontend-разработка проще не становится. Сегодня frontend-разработчики могут не просто создавать обычные формы, но и игры, и даже запускать модели ИИ для выполнения задач, например, распознавания объекта. В данной статье будет рассказано, как на примере системы по распознаванию возгораний объекта в доме можно без backend части добавить в свое приложение модель для обнаружения пожара.

Погружаемся в тему пожаров и возгораний

Распознавание возгораний объектов на ранних стадиях является важной и актуальной проблемой в наши дни, решение которой снизит экономический риски и спасет жизни многих людей.

Такие компании, как Johnson Controls, Honeywell International, Inc., GENTEX CORPORATION, Siemens, Robert Bosch GmbH, Halmaplc, Eaton, Raytheon Technologies Corporation уделяют свое внимание исследованиям в области распознавания возгораний объектов и предлагают свои решения по устранению пожаров. Этими компаниями движут желание помочь людям, быстрое развитие беспроводных технологий и развитие строительной отрасли, охватившей весь мир.

В мае этого года прошла конференция Google I/O 2025, где компания представила целый ряд технологических новинок и обновлений своих флагманских продуктов. В этой статье подробно пройдёмся по ключевым анонсам мероприятия.

Привет, Хабр! Вы, наверное, часто слышали, как топы западных ИТ-компаний хвалятся: «Сейчас внедрим LLM вместо сотрудников и будем только смотреть, как за нас работают видеокарты». Спешу вас расстроить — к сожалению (или к счастью), этого не случится.

Меня зовут Павел Бабин, я CPO облачной платформы MWS GPT — сервиса, через который можно работать с open source LLM и моделями от МТС. В этом материале по мотивам моего доклада с True Tech Day я расскажу, что реальное применение LLM не такое крутое, как кажется по новостям, пестрящим заголовками типа «новая супер-мульти-гига-мега-агентная система сделает все за вас». На самом деле кейсы, которые дают заметные бизнес-эффекты, начинаются с простых вещей. Я приведу несколько таких примеров без сложных пайплайнов и кастомных моделей, но с понятной ценностью.

В учебнике обществознания за 9 класс есть определение экономики как науки: «Экономика — наука о том, как люди удовлетворяют свои постоянно растущие потребности в условиях ограниченности ресурсов». Точно так и в разметке — нам нужно удовлетворить свои постоянно растущие потребности в объёмах и качестве разметки, а бюджет ограничен. Помочь нам в этом может система мотивации.

Привет! Меня зовут Кузнецов Роман. Я занимаюсь разметкой и модерацией данных в Альфа-Банке. В этой статье хочу поднять извечную задачу — как мотивировать разметчиков делать много и качественно, но при этом за те же деньги (вместо разметчиков поставьте своё). Расскажу, как мы в банке нематериально мотивировали ребят, ввели геймификацию и даже повысили их творческую активность!

Что важнее: создать продукт, или доставить его до пользователя? Оба этапа необходимы. Сегодня обсудим второй. Как нам построить поисковую e-com систему.

Покажем, что в слово логистика товара входят сложные задачи не только: перевезти наушники из Китая в Америку, но и настройка поисковой выдачи по запросу.

Быстро соберем поисковой MVP-сервис. Дообучим модель E5 на реальных данных от Amazon. Определим метрики качества и сравним BM25, pretrain E5 и fine-tune E5. Так же взглянем глазами с отладочной информацией и проанализируем изменения поисковых выдач.

И под конец обсудим каких технологий еще не хватает и можно добавить, если возникают соответствующие трудности.

Привет, меня зовут Владимир, я работаю во Flocktory дата-инженером и расскажу о том, как мы в процессе переезда с одного облака на другое построили фиче-стор, управленческую отчетность и о проблемах, с которыми мы столкнулись.

В 2022 году у нас появилась задача — нужно было перебраться на новое облако, перетащить порядка петабайта данных и начать использовать новые инструменты. И на фоне этого были еще две задачи:

В первой части мы разобрали теорию text‑to‑SQL: как LLM заменяют разработчиков, почему RAG и CoT спасают от галлюцинаций и зачем Scale AI дообучает ChatGPT-4. Но теория неполна без практики! В этом материале — жёсткое тестирование моделей (ChatGPT o3-mini‑high, ChatGPT 4.1, Claude Sonnet 4, ChatGPT o3, Gemini 2.5 Pro, DeepSeek R1–0528) на бенчмарке LiveSQLBench.

6 моделей, 10 задач, сложность от ★★ до ★★★★★★★★★★. Проверим, как они считают лунные помехи, генерируют SQL для криптобирж и ищут артефакты в музеях.

Работаете с офлайн A/B-тестами в ресторанах? Тогда вы знаете, как шумят метрики: трафик скачет, дисперсия зашкаливает, а эффект тонет в данных.

Я, Елена Малая, и это моя третья статья об офлайн-тестах (первая здесь: "Офлайн А/Б тесты в ресторанах фастфуда"). Моя задача — анализировать данные ресторанов (меньше 1000 точек, наблюдения — ресторан-день), где рандомизация невозможна, а мэтчинг — пока единственный вариант. Сегодня разберём, как линеаризация помогает снизить дисперсию для метрик вроде среднего чека (ср. чек = выручка/чеки) и почему в офлайне она требует особой осторожности.

Как превратить текст «Сколько было продано камер в прошлом месяце?» в осмысленный SQL‑запрос? Это и есть задача text‑to‑SQL (ее ещё называют NL2SQL). Для многих компаний сейчас очень важна возможность задавать вопросы к данным обычным языком, без изучения SQL. Для этой задачи написаны десятки инструментов, но суть одна — генерация корректного запроса из фразы на человеческом языке.

Требование проясняется примером: бизнес‑пользователь хочет узнать: «Какие топ-5 товаров по выручке за вчерашний день?» — а система превращает это в SELECT product, SUM(revenue) ... LIMIT 5 и выдаёт результат. До недавнего времени требовались сложные пайплайны или ручное кодирование, а сейчас на сцене — большие языковые модели (LLM) и всякие прокачанные методы достучаться до них.

В этой статье мы пробежимся по ретро‑ и ультрасовременным подходам к text‑to‑SQL. Плюс обзору добавим практических инсайтов.

Представьте, что вы развернули у себя дома полноценную языковую модель — не платного чат-бота из облака с его фильтрами, задержками и цензурой, а вполне безлимитную LLM, которая может быть и надёжным помощником по работе, и вашей вайфу… на абсолютно любую тему. И в 2025 году это уже работает неожиданно хорошо.

Ещё год назад за достойное ролевое общение приходилось платить подиской Character.AI или бороться с ограничениями, но теперь — всё иначе. Домашний чатбот не только не уступает по качеству, но и во многом выигрывает: всего за 5 минут можно добавить генерацию изображений, озвучку (TTS), понимание речи (STT) и полную автономность — без облаков, логов и подписок.

Технологии сейчас слишком стремительно развиваются и оказывают влияние на многие профессии. Я — системный аналитик, и искусственный интеллект всё плотнее проникает в мою профессиональную жизнь. Сначала это даже вызывало опасения. Что ждёт меня в будущем? Сможет ли ИИ заменить меня в профессиональном плане? Можно ли этого избежать и какие новые навыки будут нужны специалистам, чтобы оставаться востребованными? Попробую ответить на эти и другие вопросы.  

Термин «artificial intelligence» в английском языке означает не столько «интеллект», сколько «умение логически мыслить». Это значит, что ИИ — это не аналог человеческого интеллекта, способного познавать мир и понимать суть вещей (согласно определению Линды Готтфредсон), а лишь система, которая способна делать выводы, решать задачи, понимать сложные концепции, быстро осваивать новое и учиться на основе полученного опыта.

Несмотря на впечатляющие возможности искусственного интеллекта в области логического мышления и решения задач, его функционал пока существенно отличается от способностей человеческого интеллекта. Полноценное познание мира и понимание его сути остаются за пределами возможностей ИИ. Однако развитие технологий происходит с невероятной скоростью, и в будущем все может измениться. А чтобы лучше понимать как и что менялось в этом направлении, давайте оглянемся в прошлое.

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу Ollama для локального запуска моделей на CPU. Но мало кто понимает, что это всего лишь простенькая оболочка вокруг опенсорсной библиотеки llama.cpp на С, которая и делает инференс. Автор этой библиотеки, талантливый разработчик Георгий Герганов, мало известен широкой публике.

Современные «мыслящие» машины возникли благодаря открытиям в области физики сложных материалов.

Спиновые стекла могут оказаться самыми полезными из бесполезных вещей, когда-либо обнаруженных. 

Эти материалы — обычно состоящие из металла, а не стекла — демонстрируют загадочное поведение, которое заинтересовало небольшое сообщество физиков в середине 20-го века. Спиновые стекла сами по себе не имеют какого-либо практического применения, но теории, разработанные для объяснения их странностей, в конечном итоге вызвали сегодняшнюю революцию в области искусственного интеллекта. 

В 1982 году учёный, изучающий физику конденсированного состояния, Джон Хопфилд, позаимствовал теорию спиновых стёкол, чтобы построить простые сети, которые могли учиться и иметь воспоминания. Сделав это, он оживил изучение запутанных сетей цифровых нейронов, которые были в значительной степени заброшены исследователями искусственного интеллекта, — и вывел физику в новую область: изучение разума, как биологического, так и механического. 

Привет, Хабр!

Сегодня разберём RecBole — универсальный фреймворк на PyTorch, который отвечает на три насущных вопроса любого ML-инженера рекомендаций:

Как быстро обкатать десятки алгоритмов (от классического MF до SASRec и KGAT) на собственном датасете — без сотни скриптов?
Как хранить все настройки в одном YAML, а не в трёх сотнях аргументов CLI?
Как получить честное сравнение метрик и сразу вынести лучший чекпоинт в прод?

Рассмотрим подробнее под катом.

Как оптимизировать модель Mamba для выполнения на CPU? Ускоряем код в 20 раз по сравнению с PyTorch, нарушая в процессе все правила оптимизации.

Mamba — революция в обработке длинных последовательностей! Mamba — State Space Models vs трансформеры, что лучше?!

Разбираемся, почему самые умные нейросети со временем начинают вам поддакивать, и как это снижает их способность мыслить. Обновленный промпт для тестирования в приложении.