Как стать автором
Обновить

Комментарии 6

как мы написали import keras в питоне и с какими трудностями столкнулись (не сразу импортнулся — понадобилось всего пару спринтов)
добавление новых зависимостей в проект с историей — это всегда боль. Цель статьи не в демострации SOTA рекомендаций, а скорее в рассказе о том какие шаги были пройдены при внедрении нового функционала.
Процитирую ваш же блог (какой то давности):
«Мы уже писали про первую итерацию рефакторинга рекомендательной системы онлайн-кинотеатра ivi. За прошедший год мы почти не дорабатывали архитектуру приложения (из глобального — только перезд с устаревших python 2.7 и python 3.4 на «свежий» python 3.6), зато добавили несколько новых ML моделей и сразу столкнулись с проблемой выкатывания новых алгоритмов в продакшн»


Ребята, вам нужно что то с этим сделать. Посчитать tf/idf — это разделить два числа, одно на другое. Вычислить «схожесть», это еще одна формула. Дофига их. Тестирование нового очередного алгоритма — должно занимать несколько часов. А вы же занимаетесь переездами с одного питона на второй, с одной библиотеки на третью. И всё с кровавыми слезами. Читать про это даже не смешно

Кажется, вы цитируете статью про переезд с кронов на Airflow — этот шаг действительно ускорил нам выкатывание новых моделей, т.е. улучшение было необходимым, это не "эксперимент ради эксперимента".
Следующую статью постараемся сделать более "алгоритмической", про какую-нибудь из новых моделей, не всё же время писать про переезды — мы наконец "приехали", куда надо.
P.s. ну, может про переезд на k8s ещё расскажу =)

Подскажите, рассматривалась ли возможность использования факторизационных машин?
alexanderturchin проводили эксперимент, в котором завели свежую модель от фейсбука — нейросеть, которая в своей архитектуре включает слои, реализующие факторизационные машины

Подробнее тут: github.com/facebookresearch/dlrm (реализация на PyTorch)

Оффлайн метрики модели хороши, но по понятным причинам (долгий инференс) до прода пока не докатили
Зарегистрируйтесь на Хабре , чтобы оставить комментарий