А ваше мнение на кинопоиске учитывается?



    Наблюдая за одним из фильмов на кинопоиске, я обнаружил, как в один день неожиданно его рейтинг резко упал. Намеренно не буду указывать названий фильмов и ников пользователей, чтобы не вызвать непредвиденных последствий. Я попытался выяснить, в чем же причина, и обнаружил следующее: оказывается рейтинг рассчитывается не всегда одинаково. Все пользователи кинопоиска разделены на 2 сорта: оценки которых учитываются в рейтинге, и соответственно не учитываются. Изучив статистику, профили и историю оценок множества пользователей, и написав небольшую программу для анализа распределения оценок, я выяснил, как это происходит.

    Сначала, когда голосов совсем мало, рейтинг вообще не показывается, но его все равно можно увидеть — в профиле режиссера или актеров. Затем, когда число голосов всё ещё мало, рейтинг рассчитывается просто как среднее арифметическое. И уже потом, когда фильм набирает достаточное количество голосов (обычно 50-100), вступает в дело основная формула. В справке кинопоиска про расчет топ-250 написано:
    На основании оценок пользователей КиноПоиск формирует рейтинг Лучших фильмов Топ-250. Некоторые пользователи хотят повлиять на рейтинг лучших фильмов, регистрируя несколько аккаунтов и/или выставляя фильмам только единицы или десятки. Поэтому в расчете этого рейтинга принимают участие только регулярно голосующие пользователи, которые честно оценивают фильмы и свое впечатление от них.

    Про рейтинги на страницах фильмов там ничего не сказано, однако очевидно подобный фильтр применяется не только при расчете топ-250, но и для всех остальных фильмов. Выяснив это, я естественно заинтересовался, как же они определяют, чьи оценки учитывать, а чьи нет. Администрация не раскрывает эту информацию, что и понятно: основной целью введения такого фильтра было отсеять недобросовестных пользователей, которые намеренно занижали оценки у одних фильмов, и завышали у других.

    На кинопоиске рейтинг показывается с точностью до тысячных долей, поэтому для любого фильма, где менее 100 голосов, можно легко определить, сколько же именно голосов было учтено. Вариантов количества, когда деление целочисленной суммы оценок будет с учетом округления точно равно заданному числу, не так велико, обычно 1-3 варианта. Надо просто посчитать сумму для каждого возможного числа оценок от 1 до 100, округлить, поделить обратно и сравнить с искомым рейтингом.

    Таким образом я определил, что из почти 100 оценок, выставленных интересующему меня фильму, учитывалось только 30. А надо сказать, что это один из редких фильмов, о которых широкая общественность узнала благодаря посту на хабре, это хорошо видно по графику количества голосов (не оценок) за фильм по временной шкале:



    Ясно, что большинство оценок было выставлено именно хабрапользователями после публикации поста. Выходит, что 70% этих оценок не учитывается. Если судить по моим знакомым, люди, связанные с IT-тематикой, нечасто являются активными участниками кинопоиска, и хотя многие из них зарегистрированы там уже много лет, за это время они поставили совсем немного оценок. Вот и для данного фильма, если судить по отзывам на рутрекере, наблюдалась подобная картина:
    Первый раз кому-то на трекере спасибо говорю.
    Наконец-то что-то действительно заинтересовавшее меня настолько, чтобы каждый день бегать в раздачу и смотреть наличие обновлений !

    Было довольно много таких сообщений, причем в том числе от людей, которые за много лет написали первый раз на рутрекере. Фильм настолько уникален, что из-за него люди впервые поставили оценку на кинопоиске. Картинка в начале статьи — графическое отображение именно этого случая: статистика оценок, состоящая из одной оценки. А многие только для того и зарегистрировались, чтобы поставить эту единственную оценку. И их мнение не учитывается? Мне кажется это несправедливо.

    Определить, учитываются ли именно ваши оценки, просто. Надо найти фильм с числом оценок примерно 50-100. Если число голосов слишком велико, изменение рейтинга от вашей оценки просто не будет заметно, а если слишком мало, он попадет в категорию фильмов, где пока ещё учитываются все оценки. Затем надо проголосовать. Если рейтинг изменится (а он меняется сразу после обновления странички) — значит ваше мнение учитывается. Для верности попробуйте несколько фильмов. Но потом удалите оценки, ведь мы как честные пользователи, должны голосовать только за те фильмы, которые смотрели.

    Я решил выяснить, какие же были критерии выбора. Все оценки и их точная сумма нам известна. Осталось узнать, какие именно из оценок учитываются. Некоторое время я пытался вручную подбирать варианты, чтобы сумма всех оценок дала требуемое число, но это занимало много времени. Поэтому я написал небольшую программку, которая методом рекурсии перебирала все возможные варианты распределения того, сколько именно десяток, девяток и т.д. из всех оценок учитывалось в итоговом рейтинге.

    Вот её основной цикл:

    private void count_cases(int iter, int prev_sum, int max_rest)
    {
        // уменьшить макс.сумму всех оставшихся оценок
        max_rest = max_rest - max[iter] * iter;
        // минимальное число оценок, которым можно покрыть оставшуюся сумму
        // даже если кол-во остальных оценок будет максимальным
        int cmin = (sum - prev_sum - max_rest + iter - 1) / iter;
        if (cmin < min[iter]) cmin = min[iter];
        // максимальное число оценок, которым можно покрыть оставшуюся сумму
        // в случае если остальных оценок больше не будет
        int cmax = (sum - prev_sum) / iter;
        if (cmax > max[iter]) cmax = max[iter];
        // Цикл по числу оценок
        for (int i = cmin; i <= cmax; i++)
           //переход на следущий уровень рекурсии
           count_cases(iter - 1, prev_sum + i*iter , max_rest);
    }


    В итоге, несмотря на 10-вложенную рекурсию, программа быстро выдает все возможные варианты, например:


    Теперь остается только посмотреть профили пользователей и предположить, почему оценки каждого конкретного из них могут не учитываться. Критерии могут быть следующие: маленький стаж, мало оценок, либо, как мы это узнали раньше, сами оценки таковы, что кинопоиск им не доверяет.

    Конкретные цифры пока точно определить не удалось, так как вариантов много и статистики пока недостаточно, но можно уже сказать, что надо иметь стаж несколько месяцев, и поставить несколько сотен оценок, чтобы ваше мнение учитывалось. Причем поставить их не в один день, а на протяжении достаточно большого времени. Все это довольно тривиально. А вот изучая историю оценок, я обнаружил много интересного. Хотя большинство их выглядит довольно стандартно:

    Или оценки смещены немного вниз или вверх:

    Но бывают и особые случаи, например, типичный категоричный — одни единицы и десятки. Бывает даже вообще 1000 оценок, одни 10-ки. Надо сказать, это встречается довольно часто, то есть если посмотреть 10ки, поставленные обычному фильму, вы скорее всего обнаружите именно такую картину:

    Также встречаются люди с «сомнительным прошлым». В начале они ставили одни 10ки, а потом их оценки приобрели нормальное распределение:

    В итоге всё равно выходит, что из 1000 фильмов, которые посмотрел человек, половина — шедевры. Понятно, что кинопоиск считает такое мнение неадекватным. Таким пользователям, чтобы «исправиться», остается только нажать кнопку «удалить все оценки», либо аккуратно пересмотреть все свои десятки и единицы, и расставить их дифференцированно.
    Встречаются также люди, которым вообще ничего не нравится:


    Я видел еще много любопытных графиков, фактически по ним можно изучать линии жизни пользователей кинопоиска. Анализируя их, подбирая возможные варианты распределения оценок и сравнивая все эти данные между собой в каждом случае, мне удалось определить, какие именно оценки учитываются, о чем я написал выше. Конечно я могу ошибаться, ведь могут существовать и другие, совсем нестандартные критерии отбора, о которых мы можем только догадываться. Не буду сейчас описывать процесс подробно, об этом можно еще целую статью написать, но в итоге можно сказать так:

    На кинопоиске, если вы не активный пользователь, ваши оценки совсем не повлияют на рейтинг фильма, даже если он вам очень нравится. Но это не значит, что вы поставили их совсем зря. Они учитываются у редких фильмов, где всего 5-10 голосов. Они учитываются при поиске друзей по интересам и подбору рекомендаций, что посмотреть. Ну и конечно, если вы хотите, чтобы ваши оценки учитывались, ставьте больше оценок, и в конце концов, со временем, вы перейдете в категорию пользователей, с мнением которых считаются.
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 36

      –18
      Кххм… а к чему это всё?
        +69
        Такой вот склад ума у человека, восхитительно просто!

        Из ничего сделать почти исследование )
          –13
          Я узнал секрет КиноПоиска… моя жизнь уже не будет прежней.
            +14
            Несомненно!

            Но кого-нибудь эта информация заинтересует, а кому-то послужит примером для подражания.

            Мне, например, было просто интересно.
            Это классный пример саморазвития на пустом месте, да еще и со «вскрытием покровов» =)
              +4
              Поддерживаю! Тут был важен не сколько результат, сколько процесс.
              +1
              «А тут я узнаю, что он-то едет до ближайшей узловой станции и обратно. И это мне как-то… я не знаю… ну… не понравилось. Просто я узнал об устройстве мира что-то такое, что мне не понравилось. Потому что, когда узнаешь, как что-то устроено… Не то чтобы это перестает нравиться, но от прежнего отношения к тому, об устройстве чего ты узнал,… ничего не остается… Может быть, тебе это и раньше не нравилось, просто начинает не нравиться по-другому. Понимаете… по-другому.»
              Гришковец «ОдноврЕмЕнно»

              З.Ы. Автор молодец, такое не каждый сделает, да и не каждый захочет сделать. Кому-то, но видимо не вам, это нужно или полезно. Мне, например, интересно было прочитать.
            +17
            Стандартный правильный склад технарского ума. Увидел, что что-то не по тривиальной модели работает — выясни как и почему. Или хотя бы найди закономерность.
            +1
            У IMDB тоже похожая схема работает.
              +11
              Сериал «The.Scene»?
                +17
                Также встречаются люди с «сомнительным прошлым». В начале они ставили одни 10ки, а потом их оценки приобрели нормальное распределение

                Скорей всего человек зарегистрировался, поставил оценки только любимым фильмам, а потом начал расставлять по ходу просмотра. Я так делал :)

                А вообще, спасибо за такое интересное расследование.
                  +1
                  Я тоже так делал, не совсем так как в посте прям одни 10ки, но смысл почти тот же.
                  Я просто открыл Топ250 и начал расставлять оценки всем просмотренным мной фильмам, естественно там оценки были 8-10 в основном, это же Топ 250 лучших фильмов.
                  0
                  Спасибо. Я как знал, что надо выставлять оценки после просмотра фильма, причем желательно сразу, пока еще под воздействием.
                    +4
                    Какой тонкий пиар сериала! Браво!
                    А на самом деле я тоже наблюдал похожие коллизии…
                    Увы, разобраться в алгоритме расчета усидчивости не хватило.
                    За сериал — спасибо:)
                      0
                      Сериал был пропиарен первыми парой постов, сейчас Автор старается прямо про него не говорить, но исследования явно проводит :) В одном из комментариев ID_Daemon говорил, что после статьи на хабре сериал скачало больше людей, чем за все время его прибывания на рутрекере =)
                      0
                      А пробовали строить графики отдельно для каждого имени\года рождения\страны пользователя?
                        0
                        Я проанализировал тут недавно, какие из моих рецензий и отзывов на Кинопоиске были пропущены модерацией, а какие нет и пришёл к выводу, что выбор решается через генератор случайных чисел с вероятностью разрешения около 1/3. Порой проходит злой и короткий провокационный отзыв, а корректная развёрнутая рецензия не пропускается. Или наоборот. В общем, теперь я рецензии на Кинопоиск больше не пишу. Хватает Имхонета :)
                          +2
                          Не знаю как другие, но лично я на кинопоиске ставлю оценки фильмам только ради того чтобы получить похожие фильмы в рекомендациях.
                            +1
                            Я тоже так думал, пока в десятке не появились «Унесенные ветром» и прочая дребедень, которая явно не следует из моих интересов, а просто высоко оценена большим количеством народа. Так что теперь я не верю в «субъективность» тамошних рекоммендаций. Похоже список общий (почти не зависит от ваших оценок), за исключением того что у каждого отсутствуют уже просмотренные им фильмы.
                              0
                              А рейтинг выдаваемых фильмов легко же проверяется: оценки друзей по интересам, imdb. Так что если туда какое-то «Противостояние» попадёт не так страшно.
                                +1
                                Я когда дошел до кол-ва оценок, после которого выдаются рекомендации, тоже обратил внимание, что мне рекомендуются фильмы явно не по моим интересам. Проанализировал ситуацию с учетом выданных мне друзей по интересам.

                                Оказалось следующее: я в первую очередь расставил оценки самым запоминающимся, самым любимым мною фильмам. Естественно — я же их помню, в отличие от нелюбимых фильмов. Надо ли говорить, что они были 10-ками (или в крайнем случае 9-ками). Что получилось в результате? Мои оценки в точности совпали с оценками людей, кто ставит высокие оценки чуть ли не на всё подряд. И система логично посчитала, что наши интересы совпадают на 100% — расхождений же интересов у нас не выявлено!
                                Что я сделал? Я прошелся по верхушке списка этих мнимых друзей по интересам и на часть фильмов, которые мне категорически не нравятся, но эти друзья их оценили на 10 баллов, поставил достаточно низкие оценки. После чего эти товарищи изчезли из моего топа друзей по интересам и рекомендации стали более приемлемыми для меня.
                                  0
                                  Спасибо за совет, попробую тоже.
                              0
                              Это реклама фильма?
                                +1
                                Это исследование, а вот это было рекламой, точнее привлечение внимания общественности к шоу, с последующим привлечением интересного автора в наше сообщество.
                                +2
                                Уже выслали резюме Кинопоиску?:)
                                Вы — молодец!
                                  0
                                  Я вот только не понял, а количество проголосовавших показывается только мне с учетом моего голоса или нет? ибо я только что зарегестрировал новый аккаунт (было 122 голоса), проголосовал, и сейчас счетчик показывает 123 голоса.
                                    +1
                                    И количество всех проголосовавших, и их оценки показываются. Но не все учитываются в рейтинге. Именно эта информация дала мне возможность их проанализировать и сделать вывод, сколько точно нужно оценить фильмов, как именно и в течение какого времени, чтобы попасть в категорию «добросовестных» пользователей.
                                    +4
                                    Я над этим уже задумывался, глядя на свой профиль. Я оцениваю фильмы, только которые уже посмотрел. Смотрю естественно не по ТВ, а качаю с интернета именно то, что мне нравится, поэтому большинство моих оценок от 8 до 10. По мнению кинопоиска, я — неадекватный пользователь, и мое мнение не учитывается, а чтобы стать «адекватным» мне надо после каждого хорошего фильма смотреть умеренно плохое кино и ставить ему 4-6 и совсем отбросы кинематографии и ставить 1-3. Грустно
                                      0
                                      Но вы действительно неадекватный, не по злому умыслу :)
                                      Вы ставите 8-10 не зная (или не давая понять системе) насколько ваши 8-10 соответствуют вашей полной шкале. Вдруг вы еще не видели своего самого-самого фильма на «10» (т.е. ваша шкала завышена). Или вдруг вы накидываете балы там где другие ставят 6 (потому что этот фильм аккурат между их 1 и 10, а у вас он просто «слабоват»). Ваше поведение не намного отличается от тех кто ставит только 10ки.
                                        0
                                        C точки зрения кинокритика, кинопоиск должен учитывать все отзывы и хорошие и плохие. Вот вы посмотрели фильмы, а ставите высокие баллы только понравившимся фильмам. А кинокритик, придет, напишет отзыв и выставит свою оценку любому просмотренному фильму, а не только выборочно, только плохим или только хорошим фильмам. Поэтому среднее по деревне, все же у кинопоиска более реально. Опять же последний алгоритм работает хорошо на большом количестве, а вот на средних, после вбросов, оценка ведет себя первое время — неадекватно.
                                        И вопрос к вам, как вы можете оценить фильм, не посмотрев его полностью? Получается что вы оцениваете только понравившийся фильмы, а про остальные забываете, или просто не хотите оценивать то, что не понравилось.
                                          0
                                          Нет, во-первых я общаюсь с другими людьми, в частности на работе, где мы любим обсуждать фильмы и рекомендовать их друг другу. И опять же, перед тем как качать фильм, я смотрю рейтинг Кинопоиска, совсем помои, с рейтингом ниже 5 не качаю вообще. Ставлю оценки я всем фильмам, иногда, подчеркиваю — иногда, смотрю фильмы вроде «Вечное сияние чистого разума», у которых рейтинг зашкаливает и гуманитарии рекомендуют, но после просмотра я ставлю им 1. В целом я считаю себя достаточно полезным для кинопоиска пользователем, не всем быть кинокритикам и писать отзывы на плохие фильмы.
                                          0
                                          естественно ты «неадекватный». Если все будут действовать как ты, то смысла в рейтинге не будет никакого. у всех фильмов будет оценка 8-10.
                                          +1
                                          Есть такой тип неравнодушных людей, как автор. Обычно результаты их кипучей деятельности не замечают. Но иногда им дают игнобелевскую премию.
                                          Серьезно, я восхищен!
                                            0
                                            Увы даже с учетом всех фильтров от накручивания объективность оценок оставляет желать лучшего.
                                            Лично я уже давно перестал ставить конкретные оценки и лишь отмечаю фильмы как «просмотрено».

                                            Наиболее адекватным алгоритмом оценок можно назвать тот, что был представлен в фильме «Социальная сеть» — сравнение двух объектов между собой. В подавляющем большинстве случаев можно однозначно сказать какой фильм из двух «лучше», тем самым сравнив все просмотренные фильмы между собой можно составить мини-топ. Разбив его на 10 частей (не обязательно равных) мы получим реальные оценки.
                                              0
                                              Я думаю построением пересечения нескольких фильмов можно выяснить, оценки кого учитываются.

                                              Only users with full accounts can post comments. Log in, please.