Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 62
Прежде чем дать чёткий ответ на то, какая формула рассчёта лучше, интересно было бы взглянуть на новый алгоритм.
Старый алгоритм известен, вот он:
V – количество голосов за фильм
M – порог голосов, необходимый для участия в рейтинге Топ-250 (сейчас: 500)
R – среднее арифметическое всех голосов за фильм
С – среднее значение рейтинга всех фильмов (сейчас: 7.2470)
Старый алгоритм известен, вот он:
V – количество голосов за фильм
M – порог голосов, необходимый для участия в рейтинге Топ-250 (сейчас: 500)
R – среднее арифметическое всех голосов за фильм
С – среднее значение рейтинга всех фильмов (сейчас: 7.2470)
Kanick! Можно ли, меняя C (7.2470 -> ?) и M (500 -> 70 000), рассчитать новый рейтинг?
Посмотрим на эту формулу повнимательнее:
Rating в данной формуле рассчитывается как взвешенная сумма между R и C, то есть всегда находится в интервале между min(R,C) и max(R,C), по мере увеличения голосов приближаясь к R.
Для фильмов с большой разницей между R и C, второе слагаемое вносит ничтожный вклад. В частности, при V>70000 и M=500, (M/V+M) не превосходит 0.007.
Посмотрим на Фореста Гампа. У него оценок настолько много (333681), что старая формула редуцируется в Rating=R=9.007. Но при этом зелёный рейтинг равен 9.464, что значительно больше R.
Можно ли подобрать такие M и C, чтобы новый рейтинг рассчитывался по статой формуле с новыми коэффициентами? Можно, но только вот M>=333681, C>=9.914.
При таком раскладе новый Rating фильмов с 70000 оценками не может быть меньше 8.26.
В старом рейтинге фильм с 500 оценками не мог иметь рейтинга меньше 3.62, что имеет больше смысла.
Вывод: нет, изменили не коэффициенты, а формулу.
Rating в данной формуле рассчитывается как взвешенная сумма между R и C, то есть всегда находится в интервале между min(R,C) и max(R,C), по мере увеличения голосов приближаясь к R.
Для фильмов с большой разницей между R и C, второе слагаемое вносит ничтожный вклад. В частности, при V>70000 и M=500, (M/V+M) не превосходит 0.007.
Посмотрим на Фореста Гампа. У него оценок настолько много (333681), что старая формула редуцируется в Rating=R=9.007. Но при этом зелёный рейтинг равен 9.464, что значительно больше R.
Можно ли подобрать такие M и C, чтобы новый рейтинг рассчитывался по статой формуле с новыми коэффициентами? Можно, но только вот M>=333681, C>=9.914.
При таком раскладе новый Rating фильмов с 70000 оценками не может быть меньше 8.26.
В старом рейтинге фильм с 500 оценками не мог иметь рейтинга меньше 3.62, что имеет больше смысла.
Вывод: нет, изменили не коэффициенты, а формулу.
Попробовал сам. Нет. Ответ ниже
Посмотрим на Распределение голосов по оценкам и увидим статистику голосования:
54.03*10 + 23.34*9 + 12.38*8 + 5.24*7 + 1.94*6 + 1.11*5 + 0.48*4 + 0.38*3 + 0.22*2 + 0.88*1 = 100.00*9.0765
То есть средний бал после какой-то части фильтрации — 9.0765. Чтобы догнать его до 9.464, нужно отфильтровать огромное количество не-десяток и оставить как можно больше оценок 10. Предполагается, что цель фильтрации — избавиться от накруток, в частности тех, кто несправедливо поставил 1 балл.
Но постойте!!! 1 балл же поставило 0.88% пользователей. Даже если их всех выкинуть, это не прибавит фильму почти 0.4 балла. Более того, какими бы ни были критерии накрутки, наверняка они применимы и к оценкам «10», которых заметно больше.
Я полагаю, что после тщательной фильтрации, рейтинг Фореста Гампа должен чуть уменьшиться, а не значительно увеличиться, как мы видим.
54.03*10 + 23.34*9 + 12.38*8 + 5.24*7 + 1.94*6 + 1.11*5 + 0.48*4 + 0.38*3 + 0.22*2 + 0.88*1 = 100.00*9.0765
То есть средний бал после какой-то части фильтрации — 9.0765. Чтобы догнать его до 9.464, нужно отфильтровать огромное количество не-десяток и оставить как можно больше оценок 10. Предполагается, что цель фильтрации — избавиться от накруток, в частности тех, кто несправедливо поставил 1 балл.
Но постойте!!! 1 балл же поставило 0.88% пользователей. Даже если их всех выкинуть, это не прибавит фильму почти 0.4 балла. Более того, какими бы ни были критерии накрутки, наверняка они применимы и к оценкам «10», которых заметно больше.
Я полагаю, что после тщательной фильтрации, рейтинг Фореста Гампа должен чуть уменьшиться, а не значительно увеличиться, как мы видим.
Интересное совпадение, если считать рейтинг Фореста Гампа только по оценкам 10, 9 и 8, то получается в точности его новый рейтинг: (54.03*10 + 23.34*9 + 12.38*8) / (54.03 + 23.34 + 12.38) = 9.464
Внезапно, эта же формула работает с погрешностью 0.001 и для Интерстеллар (оценка 4.409):
Если суммировать только 10, 9 и 8:
(48.71*10 + 21.36*9 + 14.3*8)/(48.71 + 21.36 + 14.3) = 9.40784639089724
Для сравнения, если суммировать только 10, 9, 8, 7, 6 и 5:
(48.71*10 + 21.36*9 + 14.3*8 + 7.83*7 + 3.4*6 + 1.68*5)/(48.71 + 21.36 + 14.3 + 7.38 + 3.4 + 1.68) = 9.060724981927088
Яндекс, я что угадал инновационную формулу по отсеиванию накруток?
Если суммировать только 10, 9 и 8:
(48.71*10 + 21.36*9 + 14.3*8)/(48.71 + 21.36 + 14.3) = 9.40784639089724
Для сравнения, если суммировать только 10, 9, 8, 7, 6 и 5:
(48.71*10 + 21.36*9 + 14.3*8 + 7.83*7 + 3.4*6 + 1.68*5)/(48.71 + 21.36 + 14.3 + 7.38 + 3.4 + 1.68) = 9.060724981927088
Яндекс, я что угадал инновационную формулу по отсеиванию накруток?
Список Шиндлера (оценка 9.404), теория подтвердилась.
(49.18*10 + 23.88*9 + 14*8)/(49.18 + 23.88 + 14) = 9.404089133930622
(49.18*10 + 23.88*9 + 14*8)/(49.18 + 23.88 + 14) = 9.404089133930622
Этот фильм был в топ 250: www.kinopoisk.ru/film/38905/votes
По вашей формуле: 8,914, хотя у него 7.904.
Нужно доработать формулу или определить, на какие фильмы она распространяется. :)
По вашей формуле: 8,914, хотя у него 7.904.
Нужно доработать формулу или определить, на какие фильмы она распространяется. :)
Для этого фильма 10 игнорируются вообще, берутся 9, 8 и 7.
>>> (15.83*9+24.69*8+21.8*7)/(15.83+24.69+21.8)
7.904204107830552
Судя по всему, берутся то ли 3 самых популярных столбца, то ли ищется самый большой и берутся его соседи, то ли ещё что-то в таком духе делается.
Нужно найти фильм, у которого сильно накручены 1 и 10 и посмотреть, какие столбцы берутся для него.
>>> (15.83*9+24.69*8+21.8*7)/(15.83+24.69+21.8)
7.904204107830552
Судя по всему, берутся то ли 3 самых популярных столбца, то ли ищется самый большой и берутся его соседи, то ли ещё что-то в таком духе делается.
Нужно найти фильм, у которого сильно накручены 1 и 10 и посмотреть, какие столбцы берутся для него.
Ну тогда я не вижу заговора. Вполне логично: брать за основу большинство. Правда сейчас понятно как накручивать оценки с минимальными затратами.
Что-то типа медианного фильтра?
Заговора и правда похоже что нет. А вот определённая доля глупости в случившемся есть.
В вашем примере с Шоколадной фабрикой оценка была бы выше, если бы фильм был чуть хуже, и некоторые из 19.5% (!) пользователей поставили фильму не 10, а 9 или даже 8 (!!).
В вашем примере с Шоколадной фабрикой оценка была бы выше, если бы фильм был чуть хуже, и некоторые из 19.5% (!) пользователей поставили фильму не 10, а 9 или даже 8 (!!).
Она могла бы быть выше при условии не полного игнорирования, а, допустим, применения коэффициентов.
Крутой брейншторм тут у вас. На ночь глядя тяжело вдумываться, лучше скажите — резкое падение «Хористов» и «Бриллиантовой руки», описанное в посте, это объясняет? Округленные три одинаковых рейтинга?
Я проанализировал www.kinopoisk.ru/top, результаты следующие:
1. Есть ровно три фильма с рейтингом ровно 9. Не знаю, почему так.
2. Новый рейтинг >9 получен путём усреднения оценок 8,9,10
3. Новый рейтинг от 8 до 9 получен путём усреднения оценок 7,8,9.
4. Других способов вычисления оценок для топовых фильмов нет. Это объясняет, почему не бывает фильмов с рейтингом 8.5, например.
Вот старый топ 250 разложенный на эти 3 кластера, для левой половины работает синяя формула, для правой оранжевая, три фильма ровно по девятке:
Хористов и Брильянтовую руку запихнули в тот кластер, что считается по формуле усреднения оценок 7, 8 и 9, поэтому их рейтинг упал.
1. Есть ровно три фильма с рейтингом ровно 9. Не знаю, почему так.
2. Новый рейтинг >9 получен путём усреднения оценок 8,9,10
3. Новый рейтинг от 8 до 9 получен путём усреднения оценок 7,8,9.
4. Других способов вычисления оценок для топовых фильмов нет. Это объясняет, почему не бывает фильмов с рейтингом 8.5, например.
Вот старый топ 250 разложенный на эти 3 кластера, для левой половины работает синяя формула, для правой оранжевая, три фильма ровно по девятке:
Хористов и Брильянтовую руку запихнули в тот кластер, что считается по формуле усреднения оценок 7, 8 и 9, поэтому их рейтинг упал.
О, отличная работа. Ага, т.е. 9,000 таки походит на результат ручного вмешательства? А так бы они так и оставались в лидерах. Напомню, что два из них бесплатные, один недоступный для просмотра.
Промелькнула мысль, что эти три ручные правки одни могли произвести и итоговое отклонение. Но нет, ничего подобного — если брать мой второй пункт в посте, обвал двух бесплатных дает только порядка -2,5 позиции, если размазать по всем, а общее отклонение — -6. Да и там продвижение идет и по платным, и по бесплатным, и в первой половине топ-100, и во второй.
О, вот как может быть — этот вариант же возможен, так? — как-то полуавтоматически (точно не вручную — фильмов-то много) выбирали для каждого фильма, по какому из двух усреднений (для менее рейтинговых фильмов это может быть 6, 7 и 8 и т.д.) ему считаться, с лёёёгонькой пессимизацией бесплатных и «оптимизацией» платных. Что в итоге выливается в полученный мной результат.
Промелькнула мысль, что эти три ручные правки одни могли произвести и итоговое отклонение. Но нет, ничего подобного — если брать мой второй пункт в посте, обвал двух бесплатных дает только порядка -2,5 позиции, если размазать по всем, а общее отклонение — -6. Да и там продвижение идет и по платным, и по бесплатным, и в первой половине топ-100, и во второй.
О, вот как может быть — этот вариант же возможен, так? — как-то полуавтоматически (точно не вручную — фильмов-то много) выбирали для каждого фильма, по какому из двух усреднений (для менее рейтинговых фильмов это может быть 6, 7 и 8 и т.д.) ему считаться, с лёёёгонькой пессимизацией бесплатных и «оптимизацией» платных. Что в итоге выливается в полученный мной результат.
Ох, как же это все печально… То есть я понимаю, хотели повысить баллы нужным, но черт возьми! Ну что это за способ такой — считать по трем окружающим оценкам? Как измышление какого-то школьника. Вредного школьника. Которому в руки дали главную киноэнциклопедию страны, чтобы он мог срубить на ней деньжат. Не говоря уж о том, чтобы вот так, вручную подправлять баллы, и так топорно — до круглого значения. Это какие-то выборы в Чечне!
Черт, я хочу знать, кто за это несет ответственность!
Ребята, это был (и пока еще есть) серьезнейший конкурент IMDb! Ну как же можно так в лоб компрометировать. Я все подозревал какой-то изощренный умысел и алгоритм, но они даже накрутить по-человечески не могут, чтобы не палиться! Детский сад какой-то.
Черт, я хочу знать, кто за это несет ответственность!
Ребята, это был (и пока еще есть) серьезнейший конкурент IMDb! Ну как же можно так в лоб компрометировать. Я все подозревал какой-то изощренный умысел и алгоритм, но они даже накрутить по-человечески не могут, чтобы не палиться! Детский сад какой-то.
>>>Ну что это за способ такой — считать по трем окружающим оценкам?
Медианный фильтр. Более того, оказалось, что он используется не для всех фильмов.
Я выкачал заодно "Популярные фильмы" и добавил к анализу те, что уже вышли, получилось 406 фильмов. Для каждой оценки попытался угадать её происхождение усреднением по трём соседним столбцам. Получилось вот что:
Нижний ряд — это не, для кого применяется какой-то другой способ.
Две самые правые точки нижнего ряда:
Небольшой слон зелёного цвета: www.kinopoisk.ru/film/373314/votes
Главный: www.kinopoisk.ru/film/799410/votes
У обоих фильмов очень много единиц, видимо это триггерит какую-то эвристику и вместо 10,9,8 или 9,8,7 используется какая-то другая формула.
Медианный фильтр. Более того, оказалось, что он используется не для всех фильмов.
Я выкачал заодно "Популярные фильмы" и добавил к анализу те, что уже вышли, получилось 406 фильмов. Для каждой оценки попытался угадать её происхождение усреднением по трём соседним столбцам. Получилось вот что:
Нижний ряд — это не, для кого применяется какой-то другой способ.
Две самые правые точки нижнего ряда:
Небольшой слон зелёного цвета: www.kinopoisk.ru/film/373314/votes
Главный: www.kinopoisk.ru/film/799410/votes
У обоих фильмов очень много единиц, видимо это триггерит какую-то эвристику и вместо 10,9,8 или 9,8,7 используется какая-то другая формула.
С какого дуба должен был рухнуть тот, кто собрался считать рейтинги киносайта с медианным фильтром? Коли вы в теме — неужели кто-то таким образом считает показатели на единой ГЛАДКОЙ ШКАЛЕ? Она должна быть ГЛАДКАЯ, черт возьми, а не ступенчатая! Это же просто банальная некомпетентность. Какой-то, извините, клоун в их штате решил по-хитрому преобразовать рейтинг, оставим сейчас в стороне с каким умыслом, но так как, помимо того, что он был клоун, он еще и шарил в статистике, он придумал воплотить это через МЕДИАННЫЙ ФИЛЬТР. Are you kidding me?
Мой гнев не иссякнет никогда, ну вот честное слово. Один большой анекдот этот новый Кинопоиск.
Знаете что? Этим менеджерам еще очень повезет, если они на какую-то долю таки окажутся эффективными.
Так, ладно. У остальных из нижнего ряда тоже единицы? Можно узнать, что за третий, четвертый и пятый? Они входят в ту зону, которая покрывается у меня в посте. Но они в любом случае не должны делать погоды, даже если там больше 70000 голосов.
P.S. Можете подсказать, в какой программке это все делается? Графики?
Мой гнев не иссякнет никогда, ну вот честное слово. Один большой анекдот этот новый Кинопоиск.
Знаете что? Этим менеджерам еще очень повезет, если они на какую-то долю таки окажутся эффективными.
Так, ладно. У остальных из нижнего ряда тоже единицы? Можно узнать, что за третий, четвертый и пятый? Они входят в ту зону, которая покрывается у меня в посте. Но они в любом случае не должны делать погоды, даже если там больше 70000 голосов.
P.S. Можете подсказать, в какой программке это все делается? Графики?
Интересно, что при этом и у «Хористов», и у «Брильянтовой руки» больше 30% оценок 10.
Возможно, это считается накруткой.
Возможно, это считается накруткой.
Интересный факт: сильнее всего от подозрений в накрутке пострадал фильм "Хатико: Самый верный друг". Учитывались только 7, 8 и 9, при том что фильм получил 43.87% десяток.
Новый рейтинг (7,8,9): 8.244 (использован)
А если считать по справедливости, три максимальных столбца (8,9,10), то было бы 9.333.
Готовы негодовать? Зря. Старый рейтинг фильма: 8.466, не так уж и далеко от 8.244.
Новый рейтинг (7,8,9): 8.244 (использован)
А если считать по справедливости, три максимальных столбца (8,9,10), то было бы 9.333.
Готовы негодовать? Зря. Старый рейтинг фильма: 8.466, не так уж и далеко от 8.244.
Ну дык! «Хатико» бесплатный. По табличке видно, что он съехал на 12 позиций по сравнению с адаптированным старым топом. Все рейтинги в среднем выросли на 0,142 (см. пост), этот упал на 0,222.
Бросьте вы — какие там подозрения в накрутке? «Бриллиантовая рука» бесплатная, «Хористы» недоступные. Пока что мое объяснение чуть выше выглядит вполне правдоподобным. Это не пользователи накручивают, а «Яндекс» / ребята из нового «Кинопоиска».
Бросьте вы — какие там подозрения в накрутке? «Бриллиантовая рука» бесплатная, «Хористы» недоступные. Пока что мое объяснение чуть выше выглядит вполне правдоподобным. Это не пользователи накручивают, а «Яндекс» / ребята из нового «Кинопоиска».
Пока что я предпочту не верить вам и считать происходящее совпадением.
Меня убедит только критерий разбиения на кластеры 7,8,9 и 8,9,10, но его мне найти пока не удалось.
Меня убедит только критерий разбиения на кластеры 7,8,9 и 8,9,10, но его мне найти пока не удалось.
Что-то раньше не догадался до простого способа проверить гипотезу о решающем влиянии критерия разбиения на кластеры — разбить сводную табличку на три приблизительные части — зону, где кластер 10-9-8 правит безраздельно, зону столкновения кластеров (именно там должна проявиться роль критерия) и зону кластера 9-8-7 — и посчитать все показатели роста для них раздельно, взяв за основу вторую выборку из поста. (Исходя из того, что 9,000 — явно вручную правленный рейтинг, чтобы получить чистые характеристики самого алгоритма расчета, я устранил последствия ручной правки — три фильма переместились, таким образом, на 1-е, 2-е и 4-е места (опираясь на то, что видно на вашем графике). Обновленная табличка.)
Выделены все фильмы из кластера 10-9-8:
Для начала, видно, что область «столкновения кластеров» не так велика и ей с большой долей вероятности можно найти разумное объяснение (хотя я тоже не нашел).
Сравним показатели роста (под каждой парой вычислений ↓). Крохотные выборки, но хоть какие. Средний показатель роста для всех — 0,96.
Хотя в случае с бесплатными фильмами показатель зоны столкновения зашкаливает, для платных распределение более естественное (чем дальше от начала топа, тем больше должны скакать позиции). Если только это не вклад ваших 3-4-5-й справа точек из нижнего ряда. А то было бы мощным финалом.
Таким образом, вынужден согласиться — подозрения в адрес именно самих внутренностей алгоритма, скорее всего, беспочвенны. То есть это значит лишь то, что прямо прописанных повышающих/понижающих коэффициентов для платных/бесплатных фильмов в алгоритме, скорее всего, нет. Никуда не девается сам факт смены формулы на такую удивительно полезную для платных фильмов и неполезную для бесплатных (полезную/неполезную настолько, что только что посчитанная мной вероятность получения такого исхода в результате случайных флуктуаций равна порядка 2,8% (только платные) * 1,1% (только бесплатные) = 0,03%), а также факт внесения ручных правок (каковой лично для меня являются той чертой, после перехода которой поиск «заговора» и «злого умысла» перестает быть маргинальным занятием. Если кто-то на это пошел — далее возможно всё).
Впрочем, вполне достаточно и того дна, которое мы имеем в результате одного только способа расчета на основе того, что было обозначено как «медианный фильтр» (который на самом деле не очень-то похож на медианный — по страницам голосований за фильмы видно, что медиана почти всегда лежит на девятке, а восьмерка начинается где-то на 55-65% выборки). Это ставит под удар достоверность оценок и состоятельность рейтинговой системы куда больше, чем прибавки/убавки платным/бесплатным фильмам по десятой балла.
Надеюсь, тема закрыта. Тем временем «Яндекс» утверждает, что «собирается» вернуть прежние рейтинги.
P.S. Я вас чем-то смутил? Все-таки, если не сложно, хотелось бы услышать название программки для графиков. Ежели вы приняли меня за паникера или типа того, смею заверить, что я не бросаюсь громкими словами без веских на то оснований. Полученные мной в посте цифры являлись таким основанием. По их порядку можно было заключить, что это крайне маловероятно, чтобы они были произведены случайными флуктуациями. То, что сам алгоритм, судя по всему, незапятнан, меняет положение дел в частных моментах, но общая картина остается нетронутой.
Выделены все фильмы из кластера 10-9-8:
Для начала, видно, что область «столкновения кластеров» не так велика и ей с большой долей вероятности можно найти разумное объяснение (хотя я тоже не нашел).
Сравним показатели роста (под каждой парой вычислений ↓). Крохотные выборки, но хоть какие. Средний показатель роста для всех — 0,96.
кластер 10-9-8 безраздельно
платные
7 + 13 + 15 + 19 + 26 + 27 = / 6 = 17,83
8 + 14 + 25 + 10 + 33 + 16 = / 6 = 17,67
0,16
бесплатные
1 + 5 + 10 + 11 + 17 + 18 + 25 = / 7 = 12,43
1 + 4 + 15 + 11 + 19 + 18 + 12 = / 7 = 11,43
1
зона столкновения кластеров
платные
29 + 30 + 31 + 33 + 34 + 37 + 38 + 50 + 53 = / 9 = 37,22
20 + 24 + 36 + 46 + 29 + 47 + 21 + 45 + 38 = / 9 = 34
3,22
бесплатные
28 + 39 + 40 + 45 + 51 = / 5 = 40,6
39 + 48 + 52 + 44 + 68 = / 5 = 50,2
-9,6
кластер 9-8-7 безраздельно
платные
54 + 64 + 68 + 72 + 75 + 83 + 84 + 86 + 89 + 90 + 97 + 109 + 110 + 130 = / 14 = 91,07
49 + 61 + 66 + 70 + 69 + 83 + 80 + 82 + 95 + 87 + 135 + 99 + 85 + 100 = / 14 = 83,53
7,54
бесплатные
59 + 63 + 66 + 79 + 82 + 88 + 91 + 92 + 94 + 95 + 96 + 98 = / 12 = 83,58
56 + 78 + 54 + 77 + 111 + 124 + 81 + 90 + 103 + 101 + 79 + 96 = / 12 = 87,5
-3,92Хотя в случае с бесплатными фильмами показатель зоны столкновения зашкаливает, для платных распределение более естественное (чем дальше от начала топа, тем больше должны скакать позиции). Если только это не вклад ваших 3-4-5-й справа точек из нижнего ряда. А то было бы мощным финалом.
Таким образом, вынужден согласиться — подозрения в адрес именно самих внутренностей алгоритма, скорее всего, беспочвенны. То есть это значит лишь то, что прямо прописанных повышающих/понижающих коэффициентов для платных/бесплатных фильмов в алгоритме, скорее всего, нет. Никуда не девается сам факт смены формулы на такую удивительно полезную для платных фильмов и неполезную для бесплатных (полезную/неполезную настолько, что только что посчитанная мной вероятность получения такого исхода в результате случайных флуктуаций равна порядка 2,8% (только платные) * 1,1% (только бесплатные) = 0,03%), а также факт внесения ручных правок (каковой лично для меня являются той чертой, после перехода которой поиск «заговора» и «злого умысла» перестает быть маргинальным занятием. Если кто-то на это пошел — далее возможно всё).
Впрочем, вполне достаточно и того дна, которое мы имеем в результате одного только способа расчета на основе того, что было обозначено как «медианный фильтр» (который на самом деле не очень-то похож на медианный — по страницам голосований за фильмы видно, что медиана почти всегда лежит на девятке, а восьмерка начинается где-то на 55-65% выборки). Это ставит под удар достоверность оценок и состоятельность рейтинговой системы куда больше, чем прибавки/убавки платным/бесплатным фильмам по десятой балла.
Надеюсь, тема закрыта. Тем временем «Яндекс» утверждает, что «собирается» вернуть прежние рейтинги.
P.S. Я вас чем-то смутил? Все-таки, если не сложно, хотелось бы услышать название программки для графиков. Ежели вы приняли меня за паникера или типа того, смею заверить, что я не бросаюсь громкими словами без веских на то оснований. Полученные мной в посте цифры являлись таким основанием. По их порядку можно было заключить, что это крайне маловероятно, чтобы они были произведены случайными флуктуациями. То, что сам алгоритм, судя по всему, незапятнан, меняет положение дел в частных моментах, но общая картина остается нетронутой.
Про столкновение кластеров: скорее всего есть правило при выборе базы, которое простое и аналогично идиотское, как и весь алгоритм рейтинга. И да, отвечу за ruikarikun, смотря на шрифт и оформление, для графиков использовался Excel 2010 / 2013.
Я пытался докопаться до этого правила — все тщетно. Это, а также рейтинг «Зеленого слоника» и пр. не выводится очевидным образом решительно из никаких цифр, присутствующих в открытом доступе.
Ну вот навскидку 5 фильмов с показателями, по порядку: «медиана» (которая не медиана) кластера (9 для 10-9-8, 8 для 9-8-7); средневзвешенное на странице голосования за фильм; классический рейтинг (взят из последнего значения на графике); рейтинг в Топ-250; процент оценок 10; процент оценок 10+9; процент оценок 10+9+8.
Какой критерий ни берешь, чтобы упорядочить, — кластеры разорваны, то бишь нет такого, что сверху все 9, снизу все 8. Бог с ним — просто есть некие «эзотерические» данные, находящие применение во внутренней кухне. Как я показал выше, скорее всего, там нет ничего представляющего интерес с точки зрения сабжа.
Про Excel — ах ты ж, как банально :) Думал, узкоспециализированное что. Привычка использовать низкоуровневый софт и избегать громадин играет злую шутку.
Ну вот навскидку 5 фильмов с показателями, по порядку: «медиана» (которая не медиана) кластера (9 для 10-9-8, 8 для 9-8-7); средневзвешенное на странице голосования за фильм; классический рейтинг (взят из последнего значения на графике); рейтинг в Топ-250; процент оценок 10; процент оценок 10+9; процент оценок 10+9+8.
хатико 8 8,686 8,478 8,467 43,85 64,77 81,5 темный рыцарь 9 8,680 8,483 8,476 39,59 64,28 82,68 валли 8 8,611 8,499 8,489 37,65 61,82 81,29 запах женщины 9 8,596 8,480 8,467 32,05 59,5 82,32 одержимость 9 8,581 8,435 8,416 27,92 58,37 82,98
Какой критерий ни берешь, чтобы упорядочить, — кластеры разорваны, то бишь нет такого, что сверху все 9, снизу все 8. Бог с ним — просто есть некие «эзотерические» данные, находящие применение во внутренней кухне. Как я показал выше, скорее всего, там нет ничего представляющего интерес с точки зрения сабжа.
Про Excel — ах ты ж, как банально :) Думал, узкоспециализированное что. Привычка использовать низкоуровневый софт и избегать громадин играет злую шутку.
Тут, кстати, этот критерий есть — последняя колонка. На других фильмах уже не работает.
Я попытался выявить закономерность, но увы, может у вас получится:
Excel yadi.sk/i/8z48tB7ik4p5g
Text yadi.sk/i/7oFTbo-hk4p6V
Скрипт получения информации yadi.sk/d/S5Ubk0Byk4p7H
Excel yadi.sk/i/8z48tB7ik4p5g
Text yadi.sk/i/7oFTbo-hk4p6V
Скрипт получения информации yadi.sk/d/S5Ubk0Byk4p7H
Graphpad prism ещё очень хорош.
Кстати, там ещё большая путаница между Рейтингом и Средней оценкой.
Например у www.kinopoisk.ru/film/510062/votes
Средняя оценка для разных групп выше средней оценки и М/Ж лежит около рейтинга1.783, а не средней оценки 1.140.
А рейтинг в Топ 20 худших сериалов ещё выше 2.710…
Я совсем запутался…
Например у www.kinopoisk.ru/film/510062/votes
Средняя оценка для разных групп выше средней оценки и М/Ж лежит около рейтинга1.783, а не средней оценки 1.140.
А рейтинг в Топ 20 худших сериалов ещё выше 2.710…
Я совсем запутался…
В этом, кстати, тоже своя доля юмора. Если в классическом рейтинге они отсекали часть голосов по какому-то принципу (я проверил — они давали около одной-двух десятых долей рейтинга, что немало; и это еще до коррекции для нужд Топа-250), то новом в расчет идут все (даром что учитываются они так, как лучше бы не). Не знаю, хорошо это или плохо.
Заговора нет — ой ли? Процитирую пост: «С другой стороны, сам факт того, что эти совпадения загадочным образом играют на руку коммерческим интересам компании (а не, например, против ее интересов) в любом случае не может быть оставлен без внимания публики».
Заговор же не в том, чтобы считать не по формуле. А в том, чтобы считать по правильной формуле. Это как закон, который что дышло. «Побеждает тот, кто устанавливает правила».
Есть две опции:
Первая как казалась, так и продолжает казаться мне маловероятной.
Заговор же не в том, чтобы считать не по формуле. А в том, чтобы считать по правильной формуле. Это как закон, который что дышло. «Побеждает тот, кто устанавливает правила».
Есть две опции:
- введенный алгоритм действительно по воле случая дает такое отклонение в пользу платных и против бесплатных, а в «Яндексе» просто зачем-то хотели улучшить рейтинг и перевести все на него;
- либо же в «Яндексе» сначала хотели «улучшить» рейтинг (а на самом деле понятно что), испробовали разные варианты корректировки и остановились на таком-то (пусть это тот, который вы начали распутывать). Да и тогда у него остается возможность дать какое-то глубокомысленное объяснение, дескать «вполне логично», что даже вы подумали.
Первая как казалась, так и продолжает казаться мне маловероятной.
Интересно мнение минуснувшего. Не понравилось, что я подозреваю некий «заговор»?
То есть вы согласны с первым вариантом — что «Яндекс» зачем-то хотел улучшить рейтинг, но тут по воле случая платные фильмы взмыли наверх, а бесплатные грохнулись вниз?
На мой взгляд, это тот случай, когда логика «слишком много совпадений» имеет полное право на существование. Хотя я, опять же, допускаю, что совпадения — это просто совпадения, что несколько раз подчеркивал в посте.
То есть вы согласны с первым вариантом — что «Яндекс» зачем-то хотел улучшить рейтинг, но тут по воле случая платные фильмы взмыли наверх, а бесплатные грохнулись вниз?
На мой взгляд, это тот случай, когда логика «слишком много совпадений» имеет полное право на существование. Хотя я, опять же, допускаю, что совпадения — это просто совпадения, что несколько раз подчеркивал в посте.
Коммерческая компания делает деньги, выбирая лучший для себя рейтинг. Тут я соглашусь. Но заговора с онлайн кинотеатрами я по прежнему не вижу. Надеюсь найдутся люди, которые возьмут yandex.ru/support/kinopoisk/api.xml и сделают расширение к firefox, показывающие оценку с желаемым алгоритмом.
Извините, я не вполне понимаю, как уживается одно с другим — выбирание выгодного для себя рейтинга и отсутствие заговора с онлайн-кинотеатрами, если, по фабуле поста, последний и состоит в первом.
Оно уже пять лет назад не считало по нижней формуле, я попроверял и написал на форуме кинопоиска. Там и ответили, что не лезьте… И в личке тогда же пара обсуждений было.
p.s. Ровно 5 лет назад)
p.s. Ровно 5 лет назад)
Вся эта история с Кинопоиском конечно же печальная. Но лично для себя я уже всё решил и сделал — полностью переехал со своими тысячами оценок и кучей папок на IMDb. Ну нет у меня уже никакого доверия и хоть какой-то заинтересованности в сайте после кучи подобных выходок и издевательств.
Когда переносил оценки (а для некоторых это надо было делать вручную) уже тогда я тоже приметил изменения рейтинга не в лучшую сторону. Да и зачем вообще надо было трогать годами отточенный механизм…
Когда переносил оценки (а для некоторых это надо было делать вручную) уже тогда я тоже приметил изменения рейтинга не в лучшую сторону. Да и зачем вообще надо было трогать годами отточенный механизм…
Для меня кинопоиск теперь мертв
Рейтинг в зелёном боксе — ожидаемый для вас. Оранжевый — без механизма рекомендаций.
Шутите? Вы так поосторожней, а то заставили меня на секунду дрогнуть. Со всей этой персонализацией сегодня, когда у разных пользователей вид страницы может радикально различаться…
Простите, не разобрался до конца. Вот: «Рейтинг фильма в Топ-250 отличается от рейтинга на странице фильма. Это происходит потому, что в топе используются специальные механизмы, препятствующие накрутке рейтинга недобросовестными пользователями.» Т.е. оранжевое идёт по другому механизму, о чём написано внизу www.kinopoisk.ru/top. А зелёный без обработки. Фух. Ещё раз простите!
Нет, вы все поняли неправильно. Эта надпись там была, еще когда нового сайта с его рейтингами в помине не было. Процитирую пост: «Не исключаю, что вскоре обновится и старый топ, — может, он держится только потому, что алгоритм расчета рейтингов в нем отличается от алгоритма на страницах фильмов («в топе используются специальные механизмы, препятствующие накрутке рейтинга недобросовестными пользователями»), и этот алгоритм корректирует не новый, а старый рейтинг (в основном, в пределах пары сотых долей)». В зеленом боксе раньше был старый рейтинг, который отличался от скорректированного для нужд Топ-250 в пределах двух сотых (см. снимок из веб-архива), он не имеет ничего общего с новым.
Я считаю, что не так уж и плохо, что фильтр по числу оценок сместили. Может быть, 70000 и многовато, но уж точно лучше, чем 500. Странно видеть в топе фильмов всех времен то, что оценило меньше тысячи человек.
На практике — отнюдь не лучше. В классическом Топ-250 фильмов, оцененных менее чем 5000 людьми, и не было, менее чем 10000 — несколько. В классической формуле учитывается близость к этому порогу, отрезая совсем редкие таким образом. А фильтр в 70000 отрезает больше половины всех фильмов в Топ-500. Он отсеивает все, что не массово.
Вот если в спорах по поводу дизайна КП я имею мнение где-то посередине (оба варианта имеют ±), то за покореженный рейтинг надо отбивать руки по самую шею. Рейтинг это такая штука, репутация которой строится годами. Он должен быть стабильным, прозрачным, предсказуемым, хранить преемственность как самую большую ценность. Ну а теперь рейтинг они фактически убили. То что есть сейчас — это не рейтинг, это просто циферки-мишура, как на тысячах других сайтов. Складывается ощущение, что Яндекс попытался купить только домен и адиторию — а на сам сайт ему на самом деле было положить.
Попытался проанализировать Интерстеллар. Оценка 9,409 была у него 06.11.2014 в 23:50, потом шла на убыль. Количество оценок на странице 249 470, в истории 271 482. Далее: Леон. На 11.11.2014 8,792. Количество 275 644 / 319 856. Рейтинг 9,2 был в 8 году. Это я к чему? Возможно и нет никакого заговора, а они просто сломали считалку? Ведь просели фильмы с большей историей, а оценки у них были высокие в начале, а потом шли вниз.
после запуска новой версии с онлайн-просмотром и изменененным рейтингом фильмов первой мыслью было «похоже ввели повышающий коээфициент для доступных к онлайн-просмотру фильмов». Ну согласитесь, глупо выкатывать онлайн-просмотр и не стимулировать людей к промотру их за деньги.
Привык к старому рейтингу кинопоиска. Выработал собственную меру оного. От оценки нелюбимых мною жанров отнимаю 1-2, от оценки слабых, но весьма популярных, жанров отнимаю 1-2, от артхауса отнимаю 0.5-1 и получаю примерно ту оценку, которую поставил бы и сам. Многократно убеждался в этом. Смотрю описание к фильму, трейлер. Они влияют на ожидания от картины. Смотрю на рейтинг. Если в итоге зацепило — смотрю сам фильм. В конечном счёту обязательно «на горячую» выставляю свою оценку. И практически всегда она вписывается в вышеописанную меру. Из чего делаю вывод, что относительно меня, старый рейтинг очень хорошо отточен. А это очень удобно.
Где то прочитал про то, что немалая часть оценок попросту не учитывается. Вспомнил бесконечную череду отзывов с 10-ой на весьма посредственные фильмы и 2-3-ой за достойные, но в чём-то спорные, хорошо понимаю почему. Действительно зачем учитывать голоса людей, у которых в карте голосов сплошные 10-ки и 2-ки. Предположил, что ребята из кинопоиска лепили свой рейтинг не втупую, а используя правильные наработки из мат. статистики и теории вероятности. Это бы объяснило то, почему рейтинг так хорошо работает. И меня совершенно не смущает, что, возможно, мои собственные голоса идут в утиль, просто потому, что мне от них нужен только удобный доступ к ним. Чтобы я мог скинуть ссылку на свой профиль кому-нибудь, или легко определить что же подсказать человеку. Кстати говоря как это сделать на новом сайте? Раньше я мог легко открыть свои «8-ки» и «9-ки» и выдать на гора дюжину хороших фильмов, красочно описав за что они мне понравились. А теперь что? О, смотри какой красивый постер на пол экрана, Вася, мне этот фильм не понравился, полный отстой, но т.к. я посмотрел его недавно он затмит мне полэкрана. Погоди, Вася, я ещё 15 минут покручу скроллом эти огромные постеры и обязательно найду что бы тебе посмотреть.
После того как увидел новый рейтинг «Зелёного слоника», перестановки в ТОП-е, и разительно выросший максимум оценок (раньше было 3 фильма > 9, а сейчас? кошмар) и приуныл. После вашей статьи так и вовсе потерял веру в совесть и компетентность текущих управленцев (полагаю, что разработчиков винить не в чём, в yandex-е работает множество очень мозговитых ребят, чего не скажешь про манагеров и управленцев).
Где то прочитал про то, что немалая часть оценок попросту не учитывается. Вспомнил бесконечную череду отзывов с 10-ой на весьма посредственные фильмы и 2-3-ой за достойные, но в чём-то спорные, хорошо понимаю почему. Действительно зачем учитывать голоса людей, у которых в карте голосов сплошные 10-ки и 2-ки. Предположил, что ребята из кинопоиска лепили свой рейтинг не втупую, а используя правильные наработки из мат. статистики и теории вероятности. Это бы объяснило то, почему рейтинг так хорошо работает. И меня совершенно не смущает, что, возможно, мои собственные голоса идут в утиль, просто потому, что мне от них нужен только удобный доступ к ним. Чтобы я мог скинуть ссылку на свой профиль кому-нибудь, или легко определить что же подсказать человеку. Кстати говоря как это сделать на новом сайте? Раньше я мог легко открыть свои «8-ки» и «9-ки» и выдать на гора дюжину хороших фильмов, красочно описав за что они мне понравились. А теперь что? О, смотри какой красивый постер на пол экрана, Вася, мне этот фильм не понравился, полный отстой, но т.к. я посмотрел его недавно он затмит мне полэкрана. Погоди, Вася, я ещё 15 минут покручу скроллом эти огромные постеры и обязательно найду что бы тебе посмотреть.
После того как увидел новый рейтинг «Зелёного слоника», перестановки в ТОП-е, и разительно выросший максимум оценок (раньше было 3 фильма > 9, а сейчас? кошмар) и приуныл. После вашей статьи так и вовсе потерял веру в совесть и компетентность текущих управленцев (полагаю, что разработчиков винить не в чём, в yandex-е работает множество очень мозговитых ребят, чего не скажешь про манагеров и управленцев).
Зеленый слоник — 9.1 рейтинг. Кинопоиск мертв.
он уже есть:
github.com/REDNBLACK/Kinopoisk2IMDB
github.com/REDNBLACK/Kinopoisk2IMDB
Интересующиеся — обратите внимание, что представитель «Яндекса» спустя неделю скудно прокомментировала ситуацию, почему-то не под той публикацией.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Новый алгоритм расчета рейтинга «Кинопоиска» отдает предпочтение фильмам с платным просмотром. Мини-расследование