Привет, Хабр! Меня зовут Дмитрий Фролов, я ведущий разработчик в Центре компетенций Data Science МТС Web Services. За каждым показом онлайн-рекламы стоит очень сложный механизм. Одно из его ключевых понятий — Real-Time Bidding (RTB). Это аукцион онлайн-рекламы, где решается, какое объявление будет показано пользователю на определенном веб-сайте или в приложении. Особенность RTB — необходимость максимально быстро принять решение, для чего системы обучаются с помощью технологии reinforcement learning (RL). 

Это достаточно сложная задача — доступных материалов по ней не так много и непонятно, с какой стороны подступиться. Вместе с коллегами мы собрали репозиторий, который может помочь разработчикам погрузиться в специфику онлайн-аукционов. Он содержит датасет с данными RTB, подборку теоретических материалов, симулятор аукционов и примеры работающих RL-алгоритомов. Все подробности и ссылки — под катом. 

Привет, Хабр! Меня зовут Дмитрий Фролов, я ведущий разработчик в Центре компетенций Data Science МТС Диджитал. С ростом популярности LLM создание на них прототипа может прилететь даже тем, кто напрямую с ML не связан. Допустим, вы работаете аналитиком, а ваше начальство резко захотело генератор текста или отчетов в стиле клиентского менеджера с open-source LLM под капотом. Скорее всего, в таких задачах вы ни в зуб ногой, а разбираться с api и токенами нет времени и желания.

Самый простой способ выбрать подходящую модель для прототипа — взять несколько моделей, дать им одинаковый запрос и сравнить результаты. Так вы с минимальными усилиями получите наглядный пример их работы, оцените качество генерации и поймете, насколько перспективна модель для получения приемлемого результата.

Итак, велкам под кат, если вам интересно, как «на коленке» протестировать сразу шестнадцать LLM, какие результаты покажет тест и куда смотреть, если нужны более серьезные результаты.