Pull to refresh

Comments 36

На bash.orh.ru ситуация немного противоположная:

Изначально постились весьма мудрые шутки, но посещаемость была низкой.

С ростом посещаемости начались постинги всяких ололошечек.

Одновременно с ростом посещаемости всякие недавние ололошечки получают большее количество голосов, чем мудрые шутки древних времён.
Мое мнение в следующем.

Я в своих проектах использую метод оценок. Но чтобы избавиться от проблем «богатые богатеют» и «проблемы одного голоса» я ввел понятие «бонус новичка», другими словами молодые статьи имеют некий бонус и ранжируются выше стариков, но если статья получает несколько плохих оценок в начале жизни, то это повод обратить на неё пристальное внимание модераторов.

А после набора некоего минимального порога оценок смело можно ранжировать по среднему значению.
Автор, вы пытаетесь идти с палкой и камнем против теоремы Эрроу ( ru.wikipedia.org/wiki/Теорема_Эрроу ). Коллективный выбор никогда не будет хорошим.

Кроме того, вы пытаетесь идти против математической теории эволюционной динамики. Сложный организм всегда обыгрывает по сумме взаимодействий более простой организм. Человек ведёт себя сложно, все математические формулы — просто. Человек обдурит рейтинг всегда.

Нужно отдавать себе отчёт, что эти рейтинги — просто забава.
Теорема Эрроу для 3 и более альтернатив и при условии того, что предпочтения индивидуума относительно предлагаемых к выбору альтернатив не могут измеряться количественно.

Однако в теории на которую опирается эта теорема первая аксиома гласит
«потребитель способен упорядочить все возможные товарные наборы с помощью отношений предпочтения или безразличия.»

Так что эта теорема не в тему
Как раз в тему: вы всё, за что голосуете плюсом, ставите на одну полку, что не голосуете на вторую, что мунусуете на третью, и у вас все отношения определены: лучше хуже — сравнение полок, а на одной полке — безразлично. Вот вам они и упорядочены. Подходит под определение прекрасно.

Голосование в бюллетене тоже подпадает под теорему Эрроу.

Вы не думайте, что открываете что-то новое в жизни, «Нобеля» Эрроу не зря получил.
Коллективный выбор никогда не будет хорошим.

Будет, в тематическом сообществе. Чем более узка тематика, тем более хорошим он будет.

Однако и для большого коллектива он может быть хорошим, например, для выбора новостей. News2 вполне себе неплохо работает. Но, конечно, коллективный выбор не будет работать для фильмов/музыки и т.д., и рейтинг IMDB почти на 100% бессмысленный.
Для фильмов будет работать, просто это должен быть персонализированный рейтинг. Глобальный топ100, конечно, не учитывает вкусов конкретного человека, да и вообще много чего.
Так я об этом и говорю. Персональный рейтинг (рекомендации) — работать будут. Топ в сообществе ценителей аниме или артхауса — тоже (чем-то хуже, чем-то лучше)
Под «хорошим» подразумевается то, что написано в теореме Эрроу. У любого коллективного выбора будет недостаток. Даже в узком сообществе как Хабр голосовалкой можно манипулировать. И это соответствует теореме Эрроу.

Зачем вы спорите с математикой? Голосовалка на сайте под теорему Эрроу подпадает. Думаете эмпирически или так вот умозрительно опровергнуть нобелевского лауреата?
Не хочу как-то спорить с нобелевским лауреатом. Бесспорно его теорема верна в том пространстве утверждений которую он рассматривает. Наверно, на её основе можно утверждать, что результатом полностью демократических выборов всегда кто-то будет недоволен. И, на Хабре, наверняка есть недовольные результатами рейтинга. Но, скорее всего это будут люди, чьё мнение сильно отличается от большинства хабропользователей. А что есть сообщество, как не люди объединённые общим мнением/ценностями/вкусами/идеями или чем-то ещё? Значит просто этим людям нужно другое место тусовки, более конгруэнтное его ценностям/мнению/мировозрению.

И уж точно эта теорема не может быть использована как доказательство бесполезности рейтинга на Хабре. Хотя бы потому, что он работает :)
Я не хочу сказать, что рейтинг бесполезен. Он полезен и нужен, но у него есть недостатки.

Суть недостатков вовсе не в том, что кто-то будет недоволен. Прочтите, пожалуйста, страничку про теорему, чтобы понять, что это. Это

Как мне кажется, автор статьи борется с некоторыми следствиями теоремы, с которыми можно только смириться.

Сейчас многие программисты работают с темами, которые хорошо проработаны в экономике во второй половине 20 века, и многие переизобретают велосипеды.
Хотел написать, что за недостатки. Это, например, манипулируемость посторонними альтернативами. Когда один кандидат оттягивает голоса у похожего — это как раз такая манипуляция.

Это диктатура. У одного фильма рейтинг 3,9 из 5, у другого 4,0. Пришёл человек, поставил первому 5, второму 0, и второй фильм в рейтинге опустился ниже первого. Получается, хотя на сайте все посчитали лучше (или не хуже) второй фильм, один человек перетянул коллективный выбор и сделал его таким, как ему хочется.
Насколько я понимаю в этой и моей статье осуществляется попытка бороться с вполне конкретными недостатками. А именно:

  1. «Проблема одного голоса» — недостаток данных при малом числе голосов для рассчёта «среднего голоса».
    Пример: рейтинг при одном положительном голосе будет выше, чем при 1000 положительных и одном отрицательном
  2. Проблема слишком высокого рейтинга у статей с большим числом голосов при подсчёте по хаброалгоритму (UP — DOWN).
    Пример: +100/-10=90 (90% положительных) будет ниже чем +1000/-900=100 (53% положительных)

Ещё одна проблема, которую затрагивает автор — это «богатые богатеют». Суть в том, что при дефолтном показе самых рейтинговых постов вначале, происходит положительная обратная связь. За них ещё больше начинают голосовать. Но я не понимаю как она соотностися с контентом. Это проблема пользовательского интерфейса, а не самого алгоритма. На хабре по-дефолту ты смотришь ленту постов отсортированных по дате, а не по рейтингу, а просмотр топа — это адвансед фича, которая помогает когда мало времени и хочется посмотрить «что тут у нас самого важного произошло» за день/неделю/месяц/всё время. Помимо прочего, Хабр вместо писсимизации высокого рейтинга с помощью логарифмирования (как на Reddit) просто обрубает возможность голосовать через 3 дня. И это тоже работает: у всех постов фактически равный шанс на получение высокого балла.
Блин, после такой картинки не смог нормально прочитать всю статью! Разве можно так? А что делать, если мне нравится и плюс, и минус? :-)
UFO just landed and posted this here
Бонус новичка еще Яндекс вводил для ранжирования много лет назад — весьма рабочая схема, за исключением того, что в топ могут пролезть шлаковые вещи. Впрочем, они быстро опускаются. Быстро получить оценки можно не из рейтинга «лучшее», а из рейтинга «новое» — как разместить пару рейтингов на сайте — проблема из другой области, но весьма несложная.

Но это уже третья статья по теме, а авторы не учитывают очень интересный аспект голосования. Уровень поставленной оценки также может зависить от того, КТО её ставит. Так или иначе мы собираем и храним информацию о пользователях. И если человек голосует правильно, например его «вкус на голосования» на 95% совпадает с тем, какой рейтинг набирает статья в итоге — то его оценке можно верить больше, чем того, чей хулиганский «вкус» совпадает с мнением большинства на 20%.
Или по репутации. Если голосует человек с репутацией 0 — то это одно, а если с репутацией, близкой к максимальной, то относиться к этой оценке можно значительно более доверительно. Ведь пользователи с максимальной репутацией это пол-дороги к редакторам сайта (при условии, что у нас нормальная система репутации, а не как на… )
Вместо R с чертой можно поставить нижнюю оценку, например, 1 или верхнюю, например 5 (если 5 звезд). И получим прогноз снизу или сверху. При прогнозе сверху будет бонус новичкам. При прогнозе снизу — штраф.
Однако, прогноз сверху или снизу это уже некоторая абстрактная величина и сильно зависит от выбора методики.

По поводу разных весов голосов пользователей, то это формула не исключает их. Ri может быть не средней оценкой, а средневзвешаной по рейтингу/репутации пользователей. Также можно считать СКО оценок пользователя к итоговым и если он часто отбивается от большинства снижать его голос.
Я считаю систему рейтинга на хабре весьма близкой к идеальной. То, что голосование прекращается через 24 часа, отсекает эффект «богатеют богатые». Плюсы и минусы вместо звёздочек отсеивают проблему «одного голоса».

Тот факт, что при голосовании в голосах пользователей не используется их вес (например, карма), делает голосование прозрачным и демократичным.

Чего ещё желать, о чём ещё писать статьи?
Демократичность голосования приводит к тому, что в топ вылазят обзоры смартфонов и обсуждение патентов. Надо учитывать вес людей, при чем, в зависимости от активности в Хабе, а не общую карму.
Что поделать, это недостаток всех инструментов или сайтов «общего назначения». Хотя да, от патентных войн и обзоров китайских планшетов уже тошнит.
Это проблема голосовалки. Если бы вес голоса зависел от рейтинга в блоге статьи (а в нетематический блогах, вес голоса был бы минимальным), дела обстояли бы иначе. Понятно, что если один пишет на Си, другой верстает, а трети админит, то мало какая специализированная статья будет интересна им всем. При этом, зрелища любят все и радостно голосуют за освещение очередного чиха в суде.

Администрация решила, что подписки на любимые блоги решает проблему, но судя по отзывам тех, кто пишет технические статьи — это не так. Обидно потратить кучу времени на написание статьи с серьезным анализом и уступить в рейтинге десятку переводов желтухи и всяким посмехуечкам.
Полностью с вами согласен. Я даже провёл эксперимент — решил сравнить количество плюсов по моим техническим статьям с плюсами, которые получил за перепост статьи про закрытие Апорта. Ну и, думаю, вы догадываетесь что получилось.

Но если подумать с другого угла, например, есть тематический блог «Программирование воображаемого робота-носорога на воображаемом fortran-подобном языке» не интересный вообще никому, кроме пользователей A, B и С. Все три пользователя имеют по 20 публикаций в этот блог, соответственно их голоса очень весомы, а голоса пользователей D, E и F, которым не сдались воображаемые носороги, не могут заминусовать кросс-плюсы A B и C. В итоге никому не интересная статья станет в топ выдачи.

Может тогда стоит учитывать и многочисленность подписчиков блога в некоем коэффициенте? Но тогда подписчиков блога «Патентные войны» будет очень много, что опять выведет его в топы.

В общем, закон большинства не отменить. И Ализары всегда будут популярнее технарей.
В теории алгоритм типа Имхонет может решить данную проблему и каждому будет выдаваться его персональный топ.
Но тогда каждому будет выдаваться ЕГО персональный топ. А как тогда сказать, что ты вошёл в топ на хабре? В чей топ?

«Глянь, на первой странице хабра новость» — потеряет смысл.

Мне кажется, это искусственные ограничения на рейтинг. Пока большинству нравятся статейки про патенты с брюсом уиллисом, или статьи про выход нового айфончика — не бывать утопии.
А нафига вам входить во всеобщий топ? Славы ради замусоривать мозги тем единицам, которым ваш пост не понравился?
Кстати, если отказаться от всеобщей славы, минусов получится меньше.
Я — за Имхонет!
Так тогда надо сидеть не на хабре, а на форуме — имхо там имхонет. Ни тебе рейтингов, тема одна, говори пиши что хочешь — полная ана… демократия.
С форумами как раз основная проблема в поиске нужной информации, которая порой бывает там очень ценной. Но статьи по формату гораздо лучше. Наверное, я мечтаю о помеси хабра и википедии :-)
Это вообще проблема из другой оперы. Никакой рейтинг её не решит вообще никогда. Больше сообщество → больше разброс интересов → меньше вес будут набирать специализированные узкотематические статьи и больше общедоступные.

Проблему решают только персональные рекоммендации, т.е. рейтинг статьи для кокретного человека. Или, хотя бы для группы (к примеру, рейтинг статьи в конкретном Хабе, кстати — крутая идея).
Реквестирую продолжение серии расчета рейтинга статей, с учетом рейтинга пользователей.
при этом сразу стоит учесть тематичность кармы
Вот это уже интереснее и убедительнее. Спасибо, жду продолжения!

Я кстати долго думал как совместить Willson Score с рейтингом IMDB (описанный вами в предыдущей статье взвешенный рейтинг). Даже пропало злобное желание предъявить права на свою картинку, которую вы эксплутаируете :)
А в чем проблема сделать экспонентную формулу? Оценки выставленные позже с возрастом имеют меньше влияния на конечный рейтинг. Проблема одного голоса вообще высосана из пальца. Что мешает учитывать количество голосов в формуле? Суть в том, что нужно абстрагироваться от прямых значений, которые несет голосовалка. +4 -3 это не +4 и -3. Нужно учитывать когда были поставлены эти 4 и 3, какова была волатильность в этих оценках (все тупо плюсовали или была борьба?) еще пару параметров (помимо времени, общее количество голосовавших) и все это на 100% — получим средневзвешанный рейтинг.

Только до всего этого надо определиться с целью рейтинга. Для чего вам он конкретно нужен, тк рейтинг — это инструмент и им можно разных целей добиваться.
Мне кажется что можно использовать разный вес одного голоса. У каждого пользователя должна быть свой собственный рейтинг. Рейтинг пользователя можно оценивать по количеству полезной информации, которую он уже предоставил сайту, заполненности его профиля, оценкам его камментов и т.п. Что-то типа кармы. И оценки пользователя с бОльшим рейтингом будут иметь большее значение для подсчета рейтинга статьи. Мне казалось именно так работают рейтинги новостей сайтах социальных новостей news2.ru, smi2.ru
У меня тоже были мысли о рейтингах, в частности что делать если статистика мала. Например для постов с малым количеством проголосовавших использовать «презумпцию невиновности» и помещать их в какой-нибудь топ, но без авторства. Дальше статья либо быстро выходит из топа, либо закрепляется там. Еще можно попробовать проводить эксперименты и приблизительно оценивать величину эффекта обратной связи, соответственно делать поправку на него.

А вообще всё это сильно зависит от сайта, на котором что-то рейтингуется. Нужно учитывать его специфику. Одно дело ютуб, другое хабр. Разумеется на ресурсах типа хабра проблему недостаточной статистики нужно решать в комплексе с другими подходами, в частности с использованием веса голосов пользователей. Если за пост мало голосов, но это авторитетные люди, это нужно учитывать. Помнится я так и делал, когда разрабатывал рейтинговую систему для одного сайта.
Ну вот, понадобилась статья, изображений нет. Когда уже народ научится юзать habrastprage… Удали её автор, так проще.
Sign up to leave a comment.

Articles