Машинное обучение *

В прошлой статье мы исследовали проблему слишком навязчивой или нерелевантной рекламы, которая может ухудшить пользовательский опыт и вызвать негатив клиентов. 

Для повышения качества взаимодействия мы исследовали возможности сокращения отказов от рекламного контента, используя алгоритм машинного обучения, учитывающий персональные предпочтения пользователей.

Хотя процент уникальных обращений на линию поддержки с проблемой от рекламы затрагивает менее 0,2% от MAU, учитывая масштаб активной базы пользователей, на ежемесячной основе мы получаем порядка 20 тысяч сообщений о проблемах, связанных с рекламными уведомлениями.

Наша задача — выявить ключевые паттерны и категории жалоб, автоматизировав анализ текстовых данных с использованием обработки естественного языка (NLP) и алгоритмов кластеризации. В этой статье рассмотрим, как такие подходы позволяют структурировать отзывы пользователей и находить инсайты для оптимизации маркетинговых стратегий.

Вокруг LLM очень много мистификации. Мол, только особенные люди после специального образования, где их учили мудрые наставники, могут освоить таинство работы с LLM. Я уверен, что это не так. У меня была мечта написать небольшой гайд, с помощью которого любой сильный духом сможет разобраться, как эти LLM нужно использовать в своем продукте. Эта статья - воплощения моей мечты.

В одном исследовании утверждается, что 80% всех ИИ проектов проваливаются. Сам не считал, но думаю, что порядок примерно такой. Давайте вместе попробуем это исправить. 

Всем привет! С вами Ксения Наумова. В Positive Technologies я исследую вредоносный сетевой трафик и совершенствую инструменты его анализа в экспертном центре безопасности. Недавно перед нами встала задача — создать ML-модель для обнаружения вредоносного ПО в сети. Причем распознавать она должна была не только уже ранее детектированное нами вредоносное ПО, но и совсем новые угрозы, которые появляются в большом количестве ежедневно. В качестве первого эксперимента решили сделать модель для работы с трафиком, который передается по протоколу HTTP, поскольку наши продукты успешно расшифровывают TLS-сессии, а внутри них частенько можно найти много интересного. В статье я подробно расскажу, как мы обучали модель, и поделюсь информацией о допущенных ошибках.

Всем привет! Меня зовут Мельников Виктор, я работаю Junior Data Scientist в хабе Розничного Бизнеса Департамента Продвинутой Аналитики в Альфа-Банке. В этой статье я расскажу про AUF – Open Source библиотеку Альфа-Банка. 

Её главная задача — автоматическое решение задач uplift-моделирования.

Позволяет ускорять разработку в десятки раз и убирает рутину, избавляя от привычного fit-predict. Приятным бонусом идёт полный отчёт по качеству модели, понятный как DS, так и бизнесу.

Дисклеймер: эта статья не про uplift-моделирование, а про библиотеку, которая решает задачу uplift-моделирования. Если хотите почитать про общую постановку задачи, посмотреть на математику, лежащую в основе uplift, в конце статьи оставил раздел с ссылками на полезные материалы.

Последние месяцы рынок генеративного AI буквально кипит — одна за другой выходят мощные новинки. ChatGPT-4.5 от OpenAI, GROK-3 от X, свежие релизы от Google Gemini — и Anthropic не осталась в стороне, представив свою разработку: Claude 3.7 Sonnet. Как заявляют разработчики, новый AI не просто стал быстрее и умнее своих предшественников, он первым внедрил «гибридную модель рассуждений». 

В этой статье я хочу оценить способности новой модели и, разумеется, выяснить на практике, действительно ли Claude 3.7 Sonnet соответствует всему, что наобещали разработчики.

Приятного прочтения :-)

Антропик — те чуваки, которые делают Claude. Альтернатива ChatGPT от OpenAI с оооочень серьезными инвестициями от Amazon. По легенде у них есть модель сильнее o3 от OpenAI, но он настолько угорели по безопасности, что боятся ее релизить.

На что подавался: Research Fellowship.

Из необычного, они попросили указать контакты референсов — ребят, с которыми вы работали, и которые могут дать на вас фидбек. Да-да, теперь такое не только в академии!

Интервью проходило в несколько этапов...

Каждый раз, когда появляется новая языковая модель, у меня всегда возникает желание проверить ее с помощью нескольких обманчиво простых, но каверзных вопросов. Это моя личная привычка - своего рода стресс-тест, чтобы проверить, насколько хорошо эти модели справляются с логикой и рассуждениями.

Несколько дней назад вышел DeepSeek R-1, и он сразу же стал мировой сенсацией благодаря тому, что это умная ИИ-модель с открытым исходным кодом, и тому, как хорошо она работает с логикой.

Бенчмарки показывают, что она сопоставима, а иногда даже лучше, чем модели с закрытым исходным кодом, такие как o1 от OpenAI и Claude 3.5 Sonnet от Anthropic.

Учитывая всю шумиху вокруг возможностей DeepSeek R-1 в области рассуждений, давайте посмотрим, насколько хорошо она ответит на эти пять каверзных вопросов:

За последние два года - за время невероятной популярности Generative AI - появилось много перспективных компаний, создающих новые прорывные модели. Последний пример - это китайский стартап DeepSeek, благодаря которому у нас есть открытые аналоги OpenAI GPT-4o и o1. С теми же (что проверено бенчмарками) возможностями в плане выполнения текстовых инструкций, задач на математику, логику и кодинг.

Давно не писал статей на хабр, потому что редко находится что-то такое полезное.

Недавно обнаружил, что гугл даёт делать 1500 бесплатных в сутки на свою модель gemini. Что вполне достаточно для создания прототипа или даже небольшого пет-проекта. Как по мне так это не плохой способ начать эксперементировать с gpt-моделями и при этом ничего не платить.

На ai.google.dev видно, что можно использовать 1500 запросов на gemini 1.5 flash и 1500 на gemini 1.5 flash 8b. Размер контекста - 1 миллион токенов.
Карту привязывать не надо. Я вообще создал под это дело новый гугловый аккаунт, чтобы не париться, что могу не уложиться в бесплатные лимиты.
Чего не написано в прайсе так это то, что помимо моделей 1.5 flash также доступны бесплатно ещё и топовые модели gemini 2.0 flash и gemini 2.0 flash thinking. С теми же ограничениями - не более 1500 запросов в сутки на каждую.

Если вы только начинаете свой путь в машинном обучении или уже успели столкнуться с его непредсказуемыми сюрпризами, то сегодняшняя статья для тех, кто хочет понять и победить переобучение (оно же overfitting).

С технической точки зрения, переобучение происходит, когда модель имеет слишком много параметров относительно объёма и разнообразия тренировочных данных. Модель начинает подстраиваться под шумы и случайные отклонения в данных, вместо того чтобы уловить истинные закономерности.

Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдете делать 10000 фотографий вашего питомца? На такой случай существует решение — метод аугментации данных.

Сегодня подробно разберемся в том, как работает аугментация: рассмотрим ее влияние на точность моделей, разберем основные методы и инструменты для ее реализации, обсудим лучшие практики и типичные ошибки при работе с этим методом. Надеемся, что наш материал будет полезен как начинающим специалистам, так и опытным практикам машинного обучения и компьютерного зрения.

Многие онлайн-сервисы предлагают доступ к проприетарным LLM. Однако по различным причинам может возникнуть необходимость использовать эти модели на своем оборудовании. Аренда серверов, особенно с GPU, может быть дорогой и зависит от требований к RAM/VRAM. Квантование моделей помогает снизить эти требования.

Сегодня увидел на репетиторском канале простенькую задачку на логику. И решил попробовать скормить ее ChatGPT и Gemini. Просто интереса ради. Вспомнил, что когда вышла ChatGPT 4-o в демках показывали, как она якобы может заменить учителей.

Мы взяли размеченный корпус товаров из Web Data Commons, дообучили Qwen3 Embedding с помощью LoRA и получили лёгкий чекпойнт на ~615M параметров, который сопоставляет «сырые» названия товаров с 6 верхнеуровневыми категориями с результатом macro-F1 = 0.836, может работать в реальном времени на одной видеокарте. Код доступен в гитхабе так же английская версия этого поста.

Привет! Это новый выпуск «Нейро-дайджеста» — коротких и полезных обзоров ключевых событий в мире искусственного интеллекта и технологий.
Меня зовут Вандер, и каждую неделю я обозреваю новости о нейросетях и ИИ.

Неделя выдалась интересной: xAI выкатила Grok Code Fast 1, Microsoft показала первую LLM. Громкий релиз nano-banana, Anthropic тестирует Claude в Chrome, Krea показывает реалтайм-видео, а YouTube тихо апскейлит ролики.

Всё самое важное — в одном месте. Поехали!

В июле автор отдыхал, чтобы морально подготовиться к августовскому потоку релизов. Но в ИИ-сфере трудно быть к чему-то готовым — особенно когда в пределах месяца все вдруг разом решают выкатить свои новинки. OpenAI релизнули сразу две опенсорсные модели и наконец представили (долгожданную и спорную) GPT-5, Google запустили Gemini 2.5 Deep Think с параллельным ризонингом, а Anthropic и Deepseek обновили свои флагманы.  

И это только первые строчки списка. Еще были корпоративные войны, переманивание сотрудников, торговые санкции, победы на олимпиадах, интереснейшие исследования и многое другое. Так что давайте разбираться в этом нейросетевом переполохе вместе!

В статье — эволюция поисковиков и практические хаки для работы: скрытые операторы, малоизвестные команды Яндекса и Google, промпты для Perplexity и Gemini, техники точной фильтрации и ИИ-подходы.

Рассказываю, как превратить 5 кликов в один и получить выдачу с точностью SQL.

Доброго времени суток, друзья! Мое утро на днях началось не с кофе, а с того, что мой старый верный товарищ, ультраширокий Xiaomi Mi Curved Gaming Monitor 34", который мне еще года четыре назад подарил лучший друг, приказал долго жить. Вдвойне обидно.

Симптомы классические: черный экран, мигающий светодиод, и чтобы его запустить, нужно пошаманить с вилкой. Судя по всему, накрылась плата T-CON. А поскольку работа не ждет, нужно было немедленно приступать к поиску замены.

И да, сразу оговорюсь: мой финальный выбор — гиперспецифичен. Он подойдет вам, только если вы, как и я, белый гетеросексуальный мужчина среднего класса ищете ультраширокий монитор от 34 дюймов, черный и обязательно со встроенной эмбиент-подсветкой. Однако, я надеюсь, что само исследование рынка и детальный разбор моделей будет полезен любому, кто сейчас находится в поиске или рассматривает один из упомянутых вариантов. Моя цель — дать вам не рыбу, а удочку, которой я сам и воспользовался.

В первой части мы разобрали теорию text‑to‑SQL: как LLM заменяют разработчиков, почему RAG и CoT спасают от галлюцинаций и зачем Scale AI дообучает ChatGPT-4. Но теория неполна без практики! В этом материале — жёсткое тестирование моделей (ChatGPT o3-mini‑high, ChatGPT 4.1, Claude Sonnet 4, ChatGPT o3, Gemini 2.5 Pro, DeepSeek R1–0528) на бенчмарке LiveSQLBench.

6 моделей, 10 задач, сложность от ★★ до ★★★★★★★★★★. Проверим, как они считают лунные помехи, генерируют SQL для криптобирж и ищут артефакты в музеях.

Обнаружение дронов (БПЛА) object-detection с использованием ИИ YOLOv12 и компьютерного зрения OpenCV.