Как устроен Relap.io — сервис, который выдает 30 миллиардов рекомендаций в месяц

[drakmail]

Здесь всё на самом деле стандартно, интересно как раз как и на основе чего формируются рекомендации и насколько они лучше обычной выдачи последних материалов, например

[recompileme]

А что больше интересует техническая сторона вопроса, как обсчитывать тысячи хитов в секунду и не загнуться или какая математика лежит в основе?

[smileonl]

Про математику :)

[recompileme]

Мы уже писали несколько статей ранее, пока можно ознакомиться с ними:
https://habrahabr.ru/company/surfingbird/blog/176461/
https://habrahabr.ru/company/surfingbird/blog/177889/
https://habrahabr.ru/company/surfingbird/blog/185622/
https://habrahabr.ru/company/surfingbird/blog/188812/
https://habrahabr.ru/company/surfingbird/blog/226677/
https://habrahabr.ru/company/surfingbird/blog/228249/
https://habrahabr.ru/company/surfingbird/blog/230103/

[Heckfi]

Рекомендации формируются персонально для каждого пользователя или на страницу?

[Skaurus]

Помножьте количество страниц на количество пользователей. Так жить невозможно. Генерировать рекомендации в таких объёмах на лету — тоже.
Но для каждого пользователя есть минимальная кастомизация — учитываются уже просмотренные статьи, например. Планируем продолжать такую аккуратную кастомизацию, которую ненакладно делать прямо в процессе выдачи рекомендаций.

[chizh_andrey]

Чем Servers.com лучше Hetzner.de в вашем случае?

[Skaurus]

Как минимум у Hetzner узкий канал между стойками, да и в интернет не фонтан. Нам нужно больше гигабита и там и там :) Так что когда выросли из стойки — стали искать, куда переехать.

[ShadowsMind]

*Тут должна быть картинка про то как рисовать сову*
Начало было хорошее, а потом все скатилось непонятно куда. Не думаю, что людям на хабре надо объяснять почему shared-хостинг не подходит для подобных проектов. Да и без сравнения PostgreSQL/MySQL и Nginx/Apache тоже можно было обойтись.(тем более без упоминания реальных юзкейсов, в духе «нам надо было хранить json и PostgreSQL нам подошел лучше» (с) ).
Надеюсь в следующих статьях объем будет побольше и поинтереснее, т.к. куча вопросов по поводу Вашей архитектуры:
1. Почему Perl?
2. Почему Redis для очередей?
3. Про то как Spark используете.

[Skaurus]

1. Выбор Perl обусловлен тем, что у нас уже была сильная команда перловиков. На самом деле, конечно, можно использовать любой популярный для веб-разработки язык (даже PHP).
2. В своё время для Surfingbird переписали Resque от твиттера на перл. Нам понравилось — работает хорошо, проблем нет. На новый проект взяли то же самое.

[Pink]

Не воспринимайте так серьезно эту шутку)

[Skaurus]

Я слежу за трендами всей индустрии, и про развитие PHP в курсе :)

[ealekseev]

Что нужно, чтобы подключиться к Вам через jsonp api ?

[Skaurus]

Для начала объяснить, зачем :) Стараемся обходиться виджетами. И оказаться сайтом с высокой посещаемостью.

[ealekseev]

Ну как минимум потому, что виджеты не совсем вписываются в дизайн :) Они конечно настраиваемые, но пока недостаточно.
Высокая для Вас — это от скольки в сутки?

[Skaurus]

При посещаемости от 20к уников в сутки мы сделаем вам ваш собственный дизайн, и это тоже бесплатно.
Ну вот сейчас JSONP стоит на Adme и Coub-е ;)

[ealekseev]

А если 19900 в пиковый день недели договоримся? :)

[Pink]

давайте попробуем. пишите в личку

[vgray]

Что нужно, чтобы подключиться к Вам через jsonp api ?

тоже интерисует этот вопрос, с кем связываться? чтобы получить стоимость этой услуги?

Вы можете давать рекомендации только по сайту в целом "Популярное сейчас..." или также можете давать рекомендации по каждой странице "Похожие статьи ...." ?

[Skaurus]

Это бесплатно, как и весь наш сервис. Рекомендации у каждой страницы свои.

[negodnik]

Как построена монетизация? :)

[Skaurus]

Площадки, разместившие наш виджет, при желании могут согласиться размещать в виджете помимо рекомендаций рекламу. Доходы от рекламы делятся между нами и площадкой, по умолчанию — пополам.
Мы ну вообще бесплатны и зарабатываем, только помогая зарабатывать другим :)

[negodnik]

Ещё вопрос назрел. У вас почти в чистом виде content based recommendation, за исключением учета прочитанных юзером. А как — в двух словах — вы тогда строите рекомендации? По ключевым словам плюс времени публикации, как-то так?

[Skaurus]

Алгоритмов много. Вплоть до того, что для каких-то сайтов могут быть модификации специально для них.
Вместе это работает примерно как на surfingbird — алгоритмы выстроены в цепочку, пытаемся взять из одного, не нашли достаточно — идём в следующий.
Основной — на самом деле item to item.

[negodnik]

Как реализовано исключение прочтенного юзером из рекомендаций? Где вы храните прочтенные юзером ссылки и в какой момент это условие срабатывает? И как вообще работает отслеживание уника, если отключен прием third party cookies?

[Skaurus]

Пока что — в куках, и, соответственно, без них никак не работает.

[negodnik]

В виджете ни чего не выводится при этом? Или какой-то запасной вариант?

[Skaurus]

Выводится. item to item же основной алгоритм, я писал выше.

[negodnik]

Это понятно, но ведь в случае item-item все равно нужна матрица user/item? Ведь нужно понять, что еще читали юзеры, которые читали эту страницу. А в случае если кука на домен сервиса не будет отправляться, по юзерам просмотры не сгруппировать?

[Skaurus]

Кука не будет отправляться у меньшинства, так что корреляцию между item-ами посчитать всё равно получится.
Показать посчитанную корреляцию можно кому угодно, хоть у него кук вообще нет.
Я ответил на ваш вопрос?

[negodnik]

Спасибо за ответы, я не подумал что большинство в данном случае спасает ситуацию.

[negodnik]

Поясню насчет отслеживания уника. Для создания матрицы item-user, где элемент это условно время, которое он провел на странице item, нужно идентифицировать уникального юзера, как вы это делаете с учетом third party cookies? По IP?

[negodnik]

Почитал на сайте «Мы собираем для каждого пользователя материалы на основе его поведения. На виджет Relap, кликают в 2 раза чаще, чем на блоки, собранные вручную.» Видимо, я не так понял коменты к этому посту :)

[merk]

Откровенно говоря, подозрительно выглядит позиция "Если хотите, то запускайте рекламу, а если не хотите рекламу — то пользуйтесь бесплатно". Это наводит на мысли, что вы можете использовать собранную информацию еще как-то в своих целях.

Честно слово, если бы вы предлагали схему с выбором между бесплатным использованием с рекламой или платным использованием без рекламы, то было бы больше доверия :)

В любом случае, у вас очень крутая идея!

[Skaurus]

Собирать информацию нам так и так нужно, чтобы делать рекомендации. Поэтому чисто логически, непонятно, почему описанная вами схема добавила бы доверия.
Сейчас — у идеи попробовать нас нет минусов, а если наш виджет в итоге нравится, то ещё и заработать на нём тоже нет резона отказываться. Сплошная вигода.

[Pink]

нет, все ок, весь день все штатно

[xorax]

Вы не просчитывали AWS? Издержки получаются значительно выше?

[ealekseev]

Кстати, забавная статистика по нашему проекту, где стоят рекомендации Relap. Внезапно заметили, что CTR резко упал (вдвое), при этом среднее количество кликов осталось неизменным. С чем это может быть связано?