Феерический финал конкурса Netflix

[@dohlik]

Наверное у этих команд были специальные бригады, которые судорожно обновляли страницу с результатами последние 30 дней… :p

[@pornstar]

может у них даже такая кнопка была:

i021.radikal.ru/0907/15/9be79ca0544b.jpg

[@Stalker_RED]

перезалил на другой хостинг: habrahabr.ru/i/comments/bar/refresh.gif

[@pornstar]

спасибо спасибо! но поздно, хабр уже не тот! лого посередине, управление профилем слева… ну вы поняли :)

[@pornstar]

рукоплескаю! а такие результаты, потому что не заходили на хабру и на башорг каждые 10 минут :)

[@Rivethead]

отодвинули бы дедлайн хотябы на год раньше, получили бы результат на год раньше. я не думаю что программисты только этим проектом всё это время и занимались :)

[@zerkms]

дедлайн был ограничен не 3 годами. а формально — 1 месяцем. так что стимул сделать побыстрее был у всех.

[@logout]

Наверное все-таки «The Ensemle»?

[@Danov]

Вспомнилось «последний байт», «минимизация логических функций»…
А какие ограничения были на модель? Теоретически можно было вогнать все исходные данные в модель. Конечно, это не честно, но это можно было замаскировать. Бывает, сам исследователь этого не замечает.

[@MaximKat]

Если бы еще знать все исходные данные ;)

[@OmIkRoNiXz]

а вроде бы после регистрации их можно скачать файлом в 600 MB примерно )

[@Danov]

Скорее всего, скачать можно обучающую выборку Уобуч=Ф(Хобуч) и только Хтест. Утест неизвестен.

[@MaximKat]

хтест тоже нельзя

[@Danov]

В статье явно сказано ОПУБЛИКОВАН НАБОР ДЛЯ ПРОВЕРКИ
> Для проверки результатов был опубликован набор из пар пользователей и фильмов,
> а алгоритм должен был максимально точно предсказать выставленные оценки,
> при этом подсчитывалась средняя ошибка
… подсчитывалась у заказчика, где были оценки.
Теоретически, обратный инжиниринг позволяет восстановить оценки, но подозреваю, количество допустимых расчетов RMSE (у заказчика!!!), скорее всего, недостаточно для этого.

[@MaximKat]

да, действительно я перепутал
на самом деле Хтест тоже разбивался на 2 части (неизвестным образом) и демонстрировался только RMSE по первой из них, а для оценки выигрыша использовался RMSE по второй из них
так что, не зная этого разбиения, нельзя восстановить оценки

[@Danov]

Перечитал внимательно. Вы правы, была опубликована лишь проекция тестовой выборки.

[@magnetic]

Вот не повезло второй команде. Упустить миллион за 20 минут из за 0,0001 балла.

[@Ike]

Я думаю эти ребята а) неплохо пропиарились б) получили выгодные предложения от работодателей или уже работают в весьма сладких местах. Не зря нетфликс просто не наняло с десяток человек в R&D департамент, а стала устраивать такой конкурс дабы привлечь специалистов со всего мира, многие из которых не согласились бы идти работать на нетфликс даже на хороших условиях.

[@magnetic]

да я понимаю что вторая команда тоже в выигрише (отчасти), но все таки обидно им наверное

[@magnetic]

не думал что видеопрокат такой доходный бизнес чтобы раскидываться такими деньгами

[@Cannoneer]

Вторая команда лидировала в конкурсе практически с самого его начала. Она выиграла оба приза за прогресс (по $50.000), её состав значительно увеличился с первого года. Да и работают они уже в престижных местах — Yahoo! Research, AT&T Research.

[@Unixspv]

Хм… а каким образом конкурс длился так долго, если только спустя 3 года смогли превысить планку в 10%? Я был твердо убежден, что для выигрыша должно пройти не более 30 дней с момента публикации лучшего алгоритма, который минимум на 10 быстрее.

[@MaximKat]

Ничего не понял. Да, 30 дней с момента публикации алгоритма, который на 10% лучше. Такой алгоритм опубликовали через 3 года от начала конкурса. Потому и так долго

[@dieron]

Я думаю, что у команд были «запасные» улучшения, но одна из команд проиграла тактически. В результате не совсем честное определение победителя.

Организаторам надо было разрешить публиковать ответ на ход соперника хотя бы в течении часа, а не устанавливать жесткий «дедлайн».

[@Niketas]

Поэтому в таких соревнованиях нельзя быть просто хорошим программистом.

[@MaximKat]

а известно что-то про алгоритм? вообще, они должны будут его выложить на всеобщее обозрение или смогут подло зажать? :)

[@crash]

им будет владеть netflix, очевидно же.

[@MaximKat]

ну это да
а нетфликс его выложит или зажмет? :)

[@MaximKat]

надеюсь, что хотя бы в общих чертах расскажут

[@bruce]

По условиям конкурса — обязаны выложить описание алгоритма в публичный доступ. НО авторы имеют право запатентовать его, при условии передачи лицензии на право пользования патентом компании Netflix.

[@MaximKat]

Вот, нашел:

Once an algorithm is verified by the judges and the license is granted, Netflix will award the appropriate Contest Prize to the winning Participant. The description of the algorithm, but not the source code, will be published on the Site along with the names of the team members who won the Prize.

Так что почитаем скоро, что они там придумали :)

[@MaximKat]

а если не согласится, то и миллон не получит :)

[@romanoza]

Интересно, влияют ли на что-то эти 0,0001 кроме приза? :)

[@MaximKat]

на владельца 1 млн долларов. мало? :)

[@romanoza]

я же и говорю, кроме приза

в сфере применения

[@MaximKat]

очевидно же, что это дает результаты работы алгоритма отличаются на 0,0001
какой ответ вы хотели услышать на свой вопрос?

[@romanoza]

этот

[@MaximKat]

неужели и так не было ясно?

[@AlborTholus]

По-хорошему, нет. Потому что на этот несчастный 0,0001 RMSE ни один человек-пользователь рекомендательной системы не заметит.

[@Cannoneer]

Полезность низкого RMSE обсуждалась на форуме конкурса еще в 2007.
www.netflixprize.com/community/viewtopic.php?id=828

[@bruce]

> Буквально в последние часы претенденты несколько раз менялись местами друг с другом!

По правилам Netflix команда не может сабмитить больше одного решения в сутки.

> Таким образом, конкурс завершился победой команды The Ensemle. После проверки результатов они должны получить свой заслуженный миллион.

Вот это еще неизвестно. В публичном Leaderboard команды сортируются не по RMSE на секретном test set, для того чтобы нельзя было «подгонять» решение. Сейчас на форуме Netflix Prize появляются сообщения о том, что победила скорее всего комманда BellKor's Pragmatic Chaos.

www.netflixprize.com/community/viewtopic.php?pid=9237#p9237

[@anycolor]

Стоило начать с того, что программирование тут почти нипричем, т.к. команда BellKor — это команда математиков:

[@anycolor]

Team BellKor is made up of Bob Bell and Chris Volinsky, from the Statistics Research group in AT&T Labs, and Yehuda Koren, who recently left AT&T Labs for Yahoo! Research in Israel. Our team has won the first two $50,000 Progress Prizes awarded by Netflix as part of their $1 Million competition to improve their recommendation algorithm. Check out their current performance on the Netflix leaderboard, and watch this AT&T Tech Channel interview with researchers Bob Bell and Chris Volinsky.

With the best score at the one year anniversary of the competition, they won the coveted Progress Prize. Netflix sent a cool commemorative plaque, although at a square meter in size, and weighing almost 200 pounds it is more like a monument!

Я даже думал димпломную работу писать на тему разбора их алгоритма по прогрессу за 2008 год, но сроки маловаты вышли.

В целом — там довольно много математики, программированием там толком не пахнет вообще.

Кому интересно — может почитать www.research.att.com/~volinsky/netflix/Bellkor2008.pdf — тут много интересного есть :)

[@brooho]

Жаль узнал о конкурсе только сейчас — файлы с тренировочным набором уже не дают скачать :(
Может у кого-то ещё остались? Поделитесь плиз…

[@desecho]

файлы можно скачать вот здесь archive.ics.uci.edu/ml/datasets/Netflix+Prize

[@brooho]

спасибо