Как стать автором
Обновить

Комментарии 67

Я не припомню ни одного сайта, который бы учитывал рейтинг голосующих пользователей.

На d3.ru и лепрозории есть так называемый "вес голоса". Причём на д3 этот "вес" считается на каждом подсайте отдельно.

Интересно, не знал. Это, кстати, лишь усиливает негативные обратные связи: люди с популярным мнением на сайте имеют больший рейтинг -> их негативный голос комментарию с которыми они не согласны сильнее вгоняет комментарий в минус -> больше вероятность что комментатор демотивируется и уйдет с данного сайта или подсайта.


Хотя и плюсы у такой системы тоже есть.


Можно совместить эту идею с идеей рейтинга на основе неожиданности голоса: неожиданный голос пользователя с большим рейтингом важнее, чем неожиданный голос пользователя с маленьким или отрицательным рейтингом. Но ожидаемый голос пользователя с большим рейтингом не важнее ожидаемого голоса голоса пользователя с маленьким или отрицательным рейтингом. И где-то посередине для "нейтральных" (не неожиданных и не ожидаемых) голосов.

на joyreactor.cc ньюфаги (новички) не влияют на рейтинг пользователя. А вот один минус или плюс от олдфага (опытного пользователя с рейтингом) влияет очень сильно и на рейтинг и на ранжирование вообще поста и комментария.
Может случиться ситуация когда пост попадает в интересное с отрицательным рейтингом, потому что таким его посчитали олдфаги. И наоборот — пост может набрать кучу плюсов, но не повлиять на рейтинг пользователя его опубликовавшего, потому что он не понравился олдфагам.
Интересная система, одним словом

Мало что так эффективно отбивает желание писать посты и комментировать, как системы блокирующих рейтингов. Типа сначала, вот, давай попляши, а мы подумаем, можно ли тебе будет что-то сказать.

К сожалению, это до сих пор самый действенный механизм борьбы со спамом или просто низкокачественным материалом. Облегчение только одно — системы сквозной репутации. Например, как на StackExchange — если уже есть репутация хотя бы на одном сайте сети, на всех других автоматом дается рейтинг 100, который снимает унизительные ограничения.


Вот интересная презентация на тему мета-платформ (включая сквозные репутации).

К сожалению, это до сих пор самый действенный механизм борьбы со спамом или просто низкокачественным материалом.

Для борьбы со спамом и другим контентом, который запрещен правилами, достаточно просто возможности пользователя поставить соответствующий флаг и отдать на откуп модератору (и на хабре они есть).


Для борьбы с низкокачественным материалом достаточно рейтинга в положительную сторону, чтобы можно было фильтровать по рейтингу.


Возможность одних пользователей ограничивать других путем голосования (карма на хабре) — это инструмент борьбы с мнением и формирования той самой монокультуры, другие полезные применения сложно придумать. Чем глубже карма уходит в минус — тем меньше возможностей высказаться и участвовать в сообществе, чем выше карма уходит в плюс тем… ничего особенного, какие-то сомнительные плюшки вроде "Я пиарюсь" и инвайта при без того открытой регистрации. Фактически, положительная величина кармы — это то, насколько свободно ты можешь говорить в комментариях. В итоге, в "эмоционально заряженных" темах сложно найти комментарии с противоположной точкой зрения.

НЛО прилетело и опубликовало эту надпись здесь
Ну пост все таки не совсем об этом.
Скорее о том что происходит, когда в такой монокультуре разлад.
Скотт же сам левый(если верить его собственным словам и нередко критикует других левых.
А республиканцы — они ну, в другом мире.
Пропасть конечно наблюдается, но возникла она явно по другим причинам.
Это окукливание субкультур куда старше интернета и всех эти алгоритмов рейтингов.
Можно долго рассуждать о социальных и психологических причин того, почему так происходит, но по факту оно происходит постоянно и везде.
Алгоритмы в соцсетях и на форумах только катализируют проблему, хотя в некоторых случаях — очень заметно.

А сама идея ваша мне нравится на самом деле. Всяко интереснее того, что есть сейчас.
НЛО прилетело и опубликовало эту надпись здесь
Нежелание пойти на сайты с альтернативными точками зрения плохо говорит не о системе рейтинга, а о самих нежелающих людях, и чинить ее рейтингом неразумно, имхо.

А нежелание читать откровенную ложь и манипулятивный контент что говорит о людях? Если эта ложь льет воду на мельницу популярной точки зрения, она перестает быть ложью от этого, и с ней теперь не надо бороться?


Чтобы не быть голословным, приведу пример, где лично вы говорите лично мне, что не надо пересчитывать некорректно полученные результаты в статье, претендующей на научность, потому что лично вы и без этого знаете, кто здесь клоуны, а кто — правильные пацаны.

НЛО прилетело и опубликовало эту надпись здесь

Пример был просто для иллюстрации того, о чем я говорил выше. Часто речь идет даже не об альтернативных мнениях, а о нейтральной попытке проверить и поставить под сомнение достоверность тех или иных вещей. Очевидно же, что какими бы благими идеями не обосновывался маханизм отрицательных рейтингов, здесь имеет место явное злоупортребление оным.

НЛО прилетело и опубликовало эту надпись здесь

Я не ответил, потому что не понял, какое отношение эти вопросы имеют к тому, что мы обсуждаем здесь (наличие отрицательных рейтингов не позволяет ставить под сомнение достоверность фактов, подтверждающих популярную точку зрения), и даже к тому, что мы обсуждали там (если найден косяк в расчетах, честно было бы пересчитать и проверить выводы).


Когда я приводил свой пример, я надеялся, что вы сможете посмотреть на ту ситуацию с холодной головой и понять, что расстановка рейтингов там не в пользу разрешения сомнений и поиска истины. Мой расчет не оправдался, я получил от вас агрессивно-оборонительную реакцию в виде этих вот странных вопросов. На контрасте, например, вот с этим заходом, где человек в ответ просто честно отрефлексировал ситуацию. Видимо, вы восприняли мой пример как наезд (хотя я никого не называл клоунами и т.п.), а не как иллюстрацию мысли. Что ж, бывает и такое. Я сменил тон на максимально миролюбивый и просто повторил свой исходный тезис другими словами в надежде, что вы наконец обратите внимание на суть.

НЛО прилетело и опубликовало эту надпись здесь

Я все еще не понимаю отношение этих вопросов к обсуждаемой теме, но попробую прокомментировать в силу моего понимания.


Уточнить, какая задача вообще решается.

Я проверяю на истинность два тезиса (которые уже формулировал выше):


  1. наличие отрицательных рейтингов не позволяет ставить под сомнение достоверность фактов, подтверждающих популярную точку зрения
  2. если найден косяк в расчетах, честно было бы пересчитать и проверить выводы

Какую задачу решаете вы в этой дискуссии, и какие тезисы отстаиваете?


«Можно ли доверять остальным выводам в вашей статье, или они так же притянуты за уши — вопрос.» Это некорректный метод рассуждения

Ваше утверждение про некорректный метод — голословно. Свое про потенциальную притянутость за уши остальных выводов я могу обосновать. Автор статьи делает выводы о юзерах гитхаба (подписантах петиций), инфу о юзерах он берет из коммитов в репы, коммиты в одном случае взяты за несколько дней (в основном 23-25 марта), в другом — больше чем за месяц. Может он сравнивает не противников со сторонниками, а "вирусовиков" со "слоупоками". Т.е. сначала в обе репы набежали "вирусовики" из условного твиттера, а потом во второй репе выборку размыли "слоупоки", у который нет соцсетей в профиле. И всё, громкие выводы о социологии подписантов можно сливать в унитаз. Как минимум, эту гипотезу можно проверить.


Прикинуть, насколько поменялись бы результаты, если бы ограничения были позже или вообще бы не были

Я призывал не просто "прикинуть", а натурально пересчитать и проверить. Напомнить ваш ответ на это?


Прикинуть, зачем вообще были эти ограничения по подписям, насколько они, ээ, «легитимны» — ещё раз, о таких вещах по-хорошему надо предупреждать заранее

Мы не можем проникнуть в голову к этим людям, поэтому тут могут быть только спекуляции. Насчет предупреждать заранее — соглашусь, это выглядит не очень чистоплотно, мягко говоря.


поэтому можете дать прямую цитату, если вас не затруднит

Ссылку на коммент я привел выше, там черным по белому. Или хотите сказать, что:


  1. вы не писали что незачем пересчитывать?
  2. вы не называли одну из сторон клоунами?
  3. вы не выражали симпатии одной из сторон?

сами совершают куда более серьёзные когнитивные ошибки. Я просто нахожу это довольно смешным.

Мне очень интересно, что за ошибки. Если можно, напишите списком, посмеемся вместе.

А нежелание читать откровенную ложь и манипулятивный контент что говорит о людях? Если эта ложь льет воду на мельницу популярной точки зрения, она перестает быть ложью от этого, и с ней теперь не надо бороться?
Я понимаю людей, хоть и не согласен с ними, которые говорят «фейсбук монополист, нам приходится в нём писать». А вот люди, которые уверенны, что они обязаны холиварить и/или карманыть на сайте, который даже в топ-10 рунета не входит, и сайт обязан меняться под их хотелки, мне кажутся странными.

Ну то есть не надо обсуждать изменения и улучшения: либо хавай что дают, либо — проваливай. Интересная у вас позиция, конечно. Какой вариант сами выбрали?

Как пишу, так и делаю. Мне перестал нравится пикабу — я туда молча не захожу, пачкой гневных постов/комментариев на прощание не разродился.

Тут на хабре постоянно постят карманытики — разумеется администрации на них насрать, потому что ей важно $$$ — пока прибыль идёт, на всякие мнения пофиг.

Вы типа конфликтуете с 0xd34df00d — у него карма на момент написания это комментария 205, у вас -14, результат любых ваших действий по попытке ограничения распространения мнения 0xd34df00d на этом сайте мне уже очевиден.
НЛО прилетело и опубликовало эту надпись здесь
Мелкое замечание.
у моего оппонента она вообще отрицательная
Когда у меня была +4, я всё равно минусы/плюсы не мог ставить.

Раз уж у вас тут разговор о моей карме, тоже выскажусь. Отрицательные значения кармы у меня были практически все время, и не очень напрягали. Потом я из спортивного интереса разогнал карму в плюс, но быстро понял, что в этом нет ничего интересного. Когда можешь ставить эти минусы и плюсы, чувствуешь себя каким-то вахтером, как будто на тебе теперь есть какая-то ответственность за контент, надо не просто читать, а еще и правильно расставлять стрелочки. Короче, спортивный интерес к увеличению кармы быстро пропал.


С другой стороны, когда карма меньше -10, становится реально неудобно комментировать. Вот думаю, хочу я с этим что-то делать или нет.


Ну и раз уж мы тут раскрываем карты, то


вот

image


Вклад в популяризацию ФП однозначно заслуживает плюса, а минусовать кого-то кроме спамеров вообще неправильно. На момент того спора, который мы обсуждаем выше, я, насколько помню, вполне еще мог голосовать.

<off> Хабр взял самое лучше от Русской литературы - страдает герой произведения, страдает автор, страдает читатель.

"Лучшие" комментарии отображаются сразу под постом, "худшие" - в подвале.

Два аргумента против. Если есть ветки комментариев, один из ответов на комментарий может (и так нередко бывает, потому что кто-то написал бред, а ему ответили, подробно разъяснив вопрос) быть полезнее самой статьи. Новые комментарии начинают с нуля, потому, например, на YouTube бесполезно писать что-то через некоторое время после публикации видео, просто потому что этого никто никогда не увидит.

Впрочем, я (как наверное и многие другие читатели) часто листаю комментарии только цепляясь взглядом за двузначное значение рейтинга.

Хм, у вас есть статистика на эту тему, по поводу "многих"? Я-то думал, важно содержание комментариев. Видимо, я слишком стар, чтобы реагировать только на лайки, просмотры, рейтинг и прочую "геймификацию".

Два аргумента против. Если есть ветки комментариев, один из ответов на комментарий может (и так нередко бывает, потому что кто-то написал бред, а ему ответили, подробно разъяснив вопрос) быть полезнее самой статьи. Новые комментарии начинают с нуля, потому, например, на YouTube бесполезно писать что-то через некоторое время после публикации видео, просто потому что этого никто никогда не увидит.

Я не понял, что именно тут против. Но, в целом, статья индифферентна к подходам "сортировать" (Реддит) или "не сортировать" (Хабр). Обратная связь на самих авторов комментариев сама по себе достаточно сильная (т. е. люди мотивированы писать комментарии с положительным рейтингом и не мотивированы — с отрицательным).


Хм, у вас есть статистика на эту тему, по поводу "многих"? Я-то думал, важно содержание комментариев. Видимо, я слишком стар, чтобы реагировать только на лайки, просмотры, рейтинг и прочую "геймификацию".

Когда под постом 100+ (если не все 500) комментариев, и у вас нет часа-двух, чтобы их все внимательно прочесть, что вы делаете?

Вы сами говорите "индифферентна", то есть вам - без разницы. А я вам отвечаю, что есть объективные аргументы против того, чтобы поднимать вверх ветки с более высоким рейтингом корневого комментария и опускать вниз - с более низким.

Рейтинг комментариев в ситуации обсуждения (а не, например, ответов на вопросы) вообще не должен иметь значение "обратной связи" - это способ выражения отношения читателей к комментарию. А уже автор, если хочет, может попытаться сделать для себя вывод. Самое фундаментально неверное, что вы делаете в статье - вы обсуждаете решение задачи, не определив толком ни конкретную цель, ни критерии. Это всё звучит, как создание задачи на ровном месте ради того, чтобы притянуть к её решению инструмент, который вам нравится (ML).

Как же медленно вы читаете, если вам нужен час на ознакомление с парой сотен комментариев? Особенно учитывая, что действительно читать всё в комментарии приходится только тогда, когда он не однотипный и не является частью затянувшегося диалога двух пользователей.

Рейтинг комментариев в ситуации обсуждения (а не, например, ответов на вопросы) вообще не должен иметь значение "обратной связи" — это способ выражения отношения читателей к комментарию.

В идеальном мире — да, но по факту — имеет, и всегда будет иметь. С таким же успехом можно сказать, что пользователи сами должны голосовать за комментарии с качественными аргументами, а не просто за/против своего мнения, и никакие специальные алгоритмы были бы не нужны.


Самое фундаментально неверное, что вы делаете в статье — вы обсуждаете решение задачи, не определив толком ни конкретную цель, ни критерии.

Проблемы я определил достаточно четко, решение описал тоже. Критериев четких нет, и я не уверен, что они нужны на этом этапе. Текущие алгоритмы рейтинга комментариев тоже были введены, конечно, без всяких четких критериев, просто по ощущениям владельцев сайтов. Даже научные статьи вроде этой используют как критерий качества рейтинга… его соответствие традиционным голосам "за", то есть, на самом деле, полностью уходят от задачи определения критериев.


Я согласен, что четкие, математически сформулированные критерии — это нужно и важно. Но с другой стороны, определить такие критерии в любых социальных системах очень, очень сложно, либо просто невозможно на текущем уровне развития ML. Мы не можем ориентироваться на popular opinion пользователей о новой системе, потому что это опять сводит проблему к предыдущей — большинство пользователей не будут довольны, если сайт стал меньше поощрять их банальное in-group мнение, и больше — цепкие комментарии, указывающие на слабые места доминирующих позиций.


Нужно каким-то образом оценить насколько система комментариев влияет на качество дискуссии, аргументов, и community learning в целом. На данный момент есть только одна система, которая может хоть как-то адекватно оценить эти вещи — мозг человека, который следит за сообществом и участвует в нем.


Это всё звучит, как создание задачи на ровном месте ради того, чтобы притянуть к её решению инструмент, который вам нравится (ML).

Допустим так, но в чем слабость самого предложения, а не мотивов, по которым оно было сделано, вы так и не написали.


Как же медленно вы читаете, если вам нужен час на ознакомление с парой сотен комментариев?

Это типа ad hominem такой? В любом случае, есть треды и по 1000, и по 2000 комментариев, а на Реддите и больше. Рано или поздно вы упретесь в то, что вам надо как-то сфокусировать свое внимание только на части контента.

У меня тоже взгляд автоматически цепляется за рейтинг комментария, благо он "удобно" подкрашен нужным цветом. Даже если это всего -1. Блюр тоже подсознательно отмечаю. Мое мнение – визуальные обозначения рейтинга нужно скрывать, постоянно или выводить по клику, чтобы они не влияли на оценку до прочтения. 

Изобретение "пузомерок" - любимое занятие человечества ещё с пещерных времён.

Ссылки на G2 и HBR не в кассу вообще. Первая и третья ссылки релевантны, спасибо. Последняя ссылка не открывается (видимо, слишком много открывал Google Books за последний месяц).

сайт должен натренировать ML-систему которая будет оценивать

Категорически против любых ML-ских черных ящиков. Система должна быть прозрачна и детерминирована.

Интересно, как далеко распространяется этот принцип? Web-поиск — ранжирование результатов черными ML-ящиками это ОК или нет? Лента в соцсети — т. н. алгоритмическая, или нет? Выдача кредита?


Хотите вы или нет, очень многое в жизни со временем будет определяться черными ML-ящиками. В чем такая принципиальность для такой в целом достаточно low stakes вещи, как рейтинги комментариев?

Черные ящики недопустимы там, где от их решения зависит наказание или поощрение человека.

В целом, никто не спорит, что объяснимый ML лучше "черных ящиков". Предложенный в статье алгоритм можно сделать максимально объяснимым, и это было бы даже прикольно. При наведении курсора на рейтинг комментария показывать:
1) Фичи из sentiment analysis. Люди даже смогут увидеть, если модель определила фичи неправильно (например, не распознала иронию в комментарии "обожаю дебажить сегфолты из программ на C по ночам") и помечать это, давая фидбек для модели.
2) Сколько человек проголосовало за комментарий и похожим вектором их собственных предпочтений, и вклад этих голосов в рейтинг.
3) Сколько человек проголосовало за комментарий с нейтральным вектором их собственных предпочтений, и вклад этих голосов в рейтинг. И т. д.


Это решило бы проблему, с вашей точки зрения? Во фразе "черный МL-ящик" главная проблема — что "черный", или что "ML-ящик"?


Несмотря на это, для вашего принципа есть контрпримеры. Антифрод и выдача кредитов — наказывают или поощряют человека, соответсвенно, и это сейчас уже ML-ящики, очень черные (по крайней мере, для человека), и в случае с антифродом — мы даже не хотим делать ящик прозрачным, потому что это, очевидно, используют мошенники. Как быть? Отдавать решение на откуп человеку? Человеческий мозг это, зачастую, ящик почернее ML.


Граница с наказанием/поощернием тоже спорная. Рейтинг комментария — это очень слабенькое наказание/поощрение. Я так же могу сказать, что если Гугл мне не показал какой-то результат в выдаче, потому что его алгоритмы так решили, он ограничил меня в моем пузыре и таким образом слегка "наказал" меня.

Во фразе «черный МL-ящик» главная проблема — что «черный», или что «ML-ящик»?
Проблема неразделима на отдельную черноту и отдельный ML, в NLP это две грани одного и того же. NLP всегда работает из рук вон плохо, когда требуется оценка семантики.

В рейтинге не учитывается число просмотров комментария. Выходит рейтинг зависит не от всех кто его видел, а от тех кого комментарий задел) например -10/1000 = -0.01 это типа учет голосов которые не плюс не минус. А вот черный ящик не нужен и это реально будет объективнее чем сейчас)

Если рассматривать Ваше предложение как один из шагов в перспективе «оздоровления» комментариев проекта и поощрения плюрализма мнений, не кажется ли Вам, что более осторожным, и при этом, эффективным шагом может стать отключение возможности минусовать комментарии?

Если же мы рассматриваем варианты в которых обязательно как «плюсование» так и «минусование», тогда мы можем взгляднуть на этой с другой стороны.
К примеру, мы можем создать понятие «вес комментария», и позволить пользователям вебсайта влиять на вес комментария все так же плюсуя и минусуя. При этом, эти действия не будут добавлять/вычитать один балл к весу комментария. Вместо этого, они будут влиять на вес комментария настолько, насколько это позволит алгоритм, который будет считать «силу влияния действия» для каждого пользователя на проекте по отдельности. В свою очередь эта «сила влияния» может быть показана как индекс со значениями с 0.1 до 1.0. Значение же индекса может определяться полярностью мнений которые пользователь успел выразить на проекте плюсуя и минусуя комментарии/статьи других участников.
Идея в том, чтобы создать систему, при которой пользователь на проекте будет стремиться всегда давать сбалансированное кол-во «плюсов» и «минусов». Так мы сможем нивелировать ущербное влияние исходящее от людей с радикальными настроениями.
Например: радикальный человек который куда чаще минусует чем плюсует в какой-то момент утратит бОльшую часть веса своего мнения, и практически не сможет влиять на популярность комментариев и тем.
Вес оценки комментария человеком который 55% времени плюсует, а 45% времени минусует (или наоборот) будет почти наиболее высоким.
Конечно, в этом случае мы не просто подталкиваем людей к плюрализму мнений, но и принуждаем не соглашаться с чем-то, что с одной стороны может выглядеть неприятно, но с другой стороны может позволить руководству проекта составить более четкий профайлинг их аудитории.
В любом случае спасибо за статью. Было интересно поразмышлять.

Без семантического анализа, общий баланс плюсов и минусов не дает никакого полезного сигнала. В дискуссии на 100 комментариев, где условно 50 комментариев за точку зрения А, и 50 — за точку зрения Б, человек может легко отвалить 50 плюсов — и 50 минусов — ровно поровну, в строгом соотвествии со своей личной точкой зрения. Проблемы, перечисленные в посте при этом никак не решаются.


На Hacker News система с одними плюсами (и сортировкой), и да, мне кажется, что она работает чуть-чуть лучше, чем система Хабра. Но мне кажется, что предлагаемая система будет лучше системы Hacker News.

>что более осторожным, и при этом, эффективным шагом может стать отключение возможности минусовать комментарии?

думаю что шаг в правильном направлении - это ограничение анонимности при минусовании, одно дело если человек открыто не согласен и выражает это, и несколько другое это возможность анонимно минусовать, зная что ответственности за это не несешь никакой,

imho надо обсудить возможность хотя бы видеть (profile?) другим участникам сколько именно минусов тот, или иной человек поставил например за последний день, и всего скажем за месяц, не вижу ничего негативного в этом, а позитивный результат возможен

думаю что шаг в правильном направлении - это ограничение анонимности при минусовании, одно дело если человек открыто не согласен и выражает это, и несколько другое это возможность анонимно минусовать, зная что ответственности за это не несешь никакой

Чтобы потом можно было переходить в профиль этого человека и ставить минусы всем его комментариям подряд, или тем, с которыми Вы идеологически не согласны? Подобная система работает на ресурсах наподобие VC/TJ, и вот такие рейды минусов на почве несогласия с точкой зрения собеседника или обиды на минус там сплошь и рядом, никакого плюрализма мнений там нет. Имеет смысл рассмотреть ещё варианты.

>Чтобы потом можно было переходить в профиль этого человека и ставить минусы всем его >комментариям подряд, или тем, с которыми Вы идеологически не согласны?

не могу понять, как вы пришли к тому заключению, откуда вы к примеру знаете что данный человек именно вам поставил минус, видя  только counter?

или вы имеете в виду минусовать всех у кого counter изменился за день?

типа записывать и сравнивать каждый день, это же полный бред

не могу понять, как вы пришли к тому заключению, откуда вы к примеру знаете что данный человек именно вам поставил минус, видя только counter?

Пожалуйста, обратите внимание на мой комментарий выше — там была указана цитата про ограничение анонимности при голосовании, которая была прокомментирована. Возможно, я неправильно понял комментарий.

Наличие счётчика же не ограничивает анонимность при голосовании, а просто является характеристикой профиля проголосовавшего? На Хабре, кажется, есть счётчики, которые считают минусы и плюсы и отключают голосование, если их становится слишком много, но такие счётчики скрыты. Ваша идея с их показом в списке проголосовавших звучит неплохо!

>Наличие счётчика же не ограничивает анонимность при голосовании, а просто является характеристикой профиля проголосовавшего?

напрямую не ограничивает конечно, не уверен что прямое ограничение вообще было бы полезно, скорее помогает более ответственно относиться, возможность минусовать, снижать карму и пр. вероятно необходима для поддержания рабочего состояния форума, вопрос в том как минимизировать неизбежные ошибки и злоупотребления, без чрезмерного затягивания гаек, в этой связи в части кармы тоже есть предложение, снижение не должно быть совершенно произвольным, например обязательно должна быть указана одна из возможного перечня понятных причин, скажем неверная информация, самореклама, политическая ангажированность и тд,,  все в том же направлении - повышение ответственности за свои действия, как обычно imho

Тоже не работает. 4pda: "ответный минус".

Были идеи, что минус должен чего-то стоить ставящему, тогда его ценность выше.

Почему все так упираются в свойство виртуального персонажа «активный пользователь»? Если кто-то прочёл комментарий, он уже активный. Если плюсы и минусы являются лишь слабой выборкой от этих активных, то это не значит, что надо как-то эту слабую выборку стимулировать, наоборот, надо стимулировать не их, что бы оценки были более статистически значимы. То есть, просмотр комментария уже должен быть оценкой. И такое встречается сплошь и рядом, правда, как отдельный параметр. По факту, что бы стимулировать ставить оценки, надо сделать как в голосованиях: пока не поставил оценку, не увидишь чужую, а просто будешь видеть «горячие» комментарии и не знать, хорошие они или — плохие. Тогда и не будет присоединение к большинству. При этом, правда, перестаёт работать сокрытие раздражающих комментариев и вас будут прямо заставлять читать говно.
Всё это замечательно конечно, но чтобы поставить какую-то оценку, надо залогиниться.
Чаще всего ради дёргания стрелочек это делать просто лень.
Одна из проблем, о которых Вы говорите, это вполне естественный социально-психологический феномен:
Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение

А теперь о том надо ли «исправлять» вот это:
Люди с непопулярными точками зрения демотивированы, прекращают писать комментарии, или даже уходят с сайта
Наверное кто-то так поступает, но более умные которые способны обучаться, так не поступают, а адаптируются. Меняют формулировки и т.п. И уже критика не воспринимается так резко. Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.

И это:
Новички в споре тоже видят только эти избитые аргументы и с большей вероятностью будут повторять их в потом.
Вполне ожидаемо, что в юном возрасте споры идут на уровне «мерседес — говно, бмв лучше» или наоборот. С возрастом, опытом и знаниями, к спорам прибавляются объективные аргументы. Сравниваются какие-то конкретные параметры и характеристики. Т.е. неопытный или малосведущий в каком-то предмете человек, будет воспринимать только поверхностные аргументы. Потому что они легки для восприятия. И я не могу себе представить себе ситуацию, чтобы переведение такого поверхностного спора в более объективную плоскость, приводила к минусованию комментариев придающих спору глубину.

На самом деле все эти минусы отражают состояние общества. Т.е. нам не нравится поведение людей, но менять мы будем цифры. Логичнее кажется менять людей, и это куда сложнее.

Ну и вцелом сама идея «справедливoсти» из машины кажется весьма сомнительной.


Bообще, мысль справедливости из машины довольна интересна в плане утопии. Т.е. мы-то боимся «скайнета» и всякого восстания машин, а может статься так, что мы сами на коленях приползем к машине и будем просить у нее справедливости. И вот она, власть машины над человеком. Мы сами сделаем себя ее рабами. Никаких двуногих роботов с лазерными пушками не надо. Просто передав все решения искуственному интеллекту. А именно в принятии решений и есть свобода.
Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.

Смотрю, не так давно вас немного покусали. Какие выводы сделали? Не будете больше критиковать хайпожорство и подгон решения под ответ с претезнией на "научную честность"?


Вообще тот топик весьма яркий образец, как путем нехитрых манипуляций можно вызвать в людях сильные эмоции, под воздействием которых они начинают искать виртуальных врагов и бороться с ними с помощью доступных средств: рейтинга и кармы (см. мое негодование по этому поводу). Врагом оказывается тот, кто не дует в общую дуду, не произносит правильные мантры и т.п.

Вывод простой. Большинство людей откликающихся на подобные статьи не имеют о научном методе никакого представления.

Что вобщем меня сильно огорчило. Потому что мы вот удивляемся, что люди ведут себя нерационально и все такое прочее, низкий уровень критического мышления, скачивают и открывают вкладки в емейлах с незнакомых адресов… А вот он, срез общества. И такая доступная, понятная, «правда» всегда перевесит любую науку.

Хочешь чему-то научить, подтолкнуть к смене позиции, нельзя делать это резко, нельзя критиковать. Дейл Карнеги же еще учил, что каждый человек считает себя всегда самым правым. Т.е. единственный способ его переубедить это сделать так чтобы это стало его собственной точкой зрения. А вот такие непосредственные выпады будут закиданы шапками. Будь они сто раз точны и верны.

Т.е. критика была воспринята как неуместная и/или слишком прямая. Нужно было аккуратнее, менее резко и более целенаправленно ее формулировать.

P.S.: Ну и нужно зарубить себе на носу, что общество состоит в основном из конформистов. Все, что ты скажешь, не относящееся к мейнстриму может быть воспринято вштыки. Прям, хоть всплывающую подсказку в поле комментария такую делай. Мне вот, конформизм как жизненная позиция мало интересен, от того и страдаю за это периодически. Но уже кое-чему научился.

P.P.S.: Да и вообще я считаю свои комментарии в той статье очень мощными, я же пишу не для того чтобы кого-то переубедить, а чтобы мои дети потом почитали как думал их предок.
Че-то я залип на вашем вопросе. Прям рефлексия — мое любимое занятие :)

На самом деле существует именно поднятый в той дискуссии вопрос, который видимо был не до конца понят. Можно ли подменять каузальность наличием данных? И вот статья которая говорит «В топку каузальность, у нас мегатонны информации корреляция на таком количестве данных куда перспективнее».
The End of Theory: The Data Deluge Makes the Scientific Method Obsolete (Chris Anderson, 2008)
И критика со ссылкой именно на эту статью в научных журналах. Например:
The end of theory in science? (Massimo Pigliucci, 2009)
https://doi.org/10.1038/embor.2009.111
Could Big Data be the end of theory in science? (Fulvio Mazzocchi, 2015)
https://dx.doi.org/10.15252%2Fembr.201541001


И тема это надо сказать весьма насущная и актуальная. Наука в кризисе и ее качество падает. Предпосылки к этому были очерчены Лемом еще в 1964 году.

Статья Андерсона удивительная для 2008 года, мне казалось эти идеи появились позже. Критичные ответы пока не читал.


Вопрос "Можно ли подменять каузальность наличием данных?", по-моему, сформулирован плохо. Но, в целом, мысли такие:


  • Научные формулы — это не "истина", а всего лишь модели. Считать их априори лучшими, чем статистические или другие ML-модели — шовинизм. Формульный вид исторически был удобнее, доступнее, и, кроме того, делает модель достаточно робастной, защищает от оверфиттинга. Но чисто статистическая или нейронная модель, защищенная от оверфиттинга в той же мере, что и формульная — ничем не хуже.
  • Мне кажется, что казуальность — плохо определенное понятие, от него лучше отказаться. Мне импонирует контрфактуальная эпистемология и подход, основанный на "твердых принципах" Дойча (хотя Дойч еще и научный реалист, то есть мой предыдущий пункт не соотвествует его взглядам). На эту же тему — высказывание Хемминга:
    The only law of economics that I believe in is Hamming’s law, “You cannot consume what is not produced”. There is not another single, reliable law in all of economics I know of which is not either a tautology in mathematics, or else it is sometimes false.

Вот уж действительно, твердый закон экономики.


Мне нравится идея Дойча, что все остальные паттерны, включая законы физики и почти все, что обычно называют казуальностью — лишь вытекают (emerge) из таких твердых принципов. При этом, мне нравится идея о том, что эмерджентность — это преобразование информации.


  • Наличие тех самых петабайтов данных — это палка о двух концах. Вы тут трейдофф понимаете не хуже меня. "The garden of forking paths", "Nassim Taleb on Big Data", и т.д.
Наверное кто-то так поступает, но более умные которые способны обучаться, так не поступают, а адаптируются. Меняют формулировки и т.п. И уже критика не воспринимается так резко. Т.е. это хороший механизм обучения человека искусству коммуникации. А плохо обучаемые отсеиваются. Прекрасный механизм самоорганизации и поощрения гибкости ума.

Прекрасный механизм для… создания элитного сообщества эрудитов и спорщиков? А все, кто послабее, пусть плещутся в своих теориях заговора? В целом для общества это плохо.


На самом деле все эти минусы отражают состояние общества. Т.е. нам не нравится поведение людей, но менять мы будем цифры. Логичнее кажется менять людей, и это куда сложнее.

Менять поведение людей как раз можно только через изменение системы, новые incentives, mechanism design. А не через увещевания или как-то еще. Предложенная система как раз мотивирует людей чуть больше, чем сейчас искать новые хорошие аргументы, а не бесконечно транслировать самые банальные и "проверенные временем" аргументы по любым вопросам, так что комментарии к любым постам на том же Хабре все больше напоминают день сурка.

Мотивация вполне понятная. Но нет никакой уверенности, что предложеные меры дадут желаемые изменения.

как раз мотивирует людей чуть больше, чем сейчас искать новые хорошие аргументы,

Мне кажется, что люди не ищут новых аргументов не столько из-за нехватки мотивации, а банально по причине отсутствия в их головах на тот момент других аргументов.

Ну, впринципе, да, есть какая-то взаимосвязь, например, между длиной комментария и его содержательностью.И поощрять содержательные комментарии кажется сперва неплохой идеей. Только насколько это справедливо? Почему длинный комментарий например предпочтительней короткого?

комментарии к любым постам на том же Хабре все больше напоминают день сурка.

Это очень зависит от темы. Есть люди с интересными точками зрения. Только они на такие темы просто не заходят или не комментируют их, понимая всю бессмысленность этого. Ну я предполагаю, что имеет место такое. Кстати, предполагаю, что и Ваше впечатление сложилось тоже, по причине того, что Вы притянуты определенными темами, которые вызывают споры с однообразной аргументацией.
И вот мы такого человека мотивируем все таки оставить свое ценное мнение под темой. В лучшем случае его мнение будет стоять рядом с общей дискуссией по теме.
А теперь, если предположить, что система будет поощрять плюрализм, т.е. именно такие, отстоящие от общего хода обсуждения, высказывания, то в бойне ява против си шарп будут в выигрыше комментарии типа: "Желтые кабриолеты семимильными шагами продвигают автомобильную промышленность к теоретическому оптимуму функционального разнообразия". Любой максимально отстоящий от общего потока бред.

Очевидно многие платформы сами создают условия для появления таких монокультурных пузырей — люди в них, постоянно получая подтверждения своих убеждений, более удовлетворены, а значит более лояльны. Например youtube — помимо простого заминусования комментариев, там сортировка по релевантности и рейтингу, а также возможность для автора чистить комментарии всех несогласных. Это приводит к тому что в комментариях практически невозможно встретить хоть какую то дискуссию. 2 видео с диаметрально противоположными мнениями будут одинаково радушно поддержаны в комментариях.

Сложно, но можно. Но непонятно. Получится что в конкретном рейтинге комментария большую роль играет какой-то черный ящик. Будут волнения

Идея алгоритма очень проста: сайт должен натренировать ML-систему которая будет оценивать, насколько неожиданно что пользователь проголосовал "за" или "против" определенного комментария.

Я считаю это невыполнимой задачей. На одном из разработаных мною сайтов сейчас больше 5 миллионов комментариев. Мы одно время тоже думали о такой системе умной сортировки. Но к какому либо готовому решению так и не пришли.


Я считаю что в этой задаче нужно понимать к какой цели хочешь стремиться: поднять непопулярное мнение в том, развернуть мнение толпы на противоположное, и от этого уже думать над реализацией. Нечто подобное реализованно у фейсбука правда с постами. Вам нравится сортировка постов на фейсбуке?


Если нужно читануть топовые комментарии, то нужна возможность отсортировать комментарии по рейтингу (лайки минус дизлайки)


Если нужно прочитать всю ветку комментарив, то текущий формат комментариев на хабре идеально подходит для этого. Вложенность позволяет следить за ходом мыслей пользователей.


На хабре нет сортировки по рейтингу, и поэтому людям, вроде вас приходится придумывать самим мыслимые ограничения, вроде комментариев с двухзначными значением рейтинга.


Сообщества стремятся к состоянию монокультуры и групповому мышлению.
Вторичный эффект от монокультуризации сообществ…
Дискуссии не развиваются…
Система располагает к разведению ботов...

Мне не понятно одно: как ваша придуманная ML система будет решать описанные вами же проблемы?

Я считаю что в этой задаче нужно понимать к какой цели хочешь стремиться: поднять непопулярное мнение в том, развернуть мнение толпы на противоположное, и от этого уже думать над реализацией.

Цели я обозначил в посте: не то, что вы привели, а качество дискуссии и качество аргументов. Разнообразие аргументов.


Мне не понятно одно: как ваша придуманная ML система будет решать описанные вами же проблемы?

Переубеждающие комментарии получают в среднем повыше, чем в текущих системах. Их замечает больше людей, и их авторы чуть больше мотивированы писать такие комментарии. Я не утверждаю, что это полностью решает первые три проблемы, но как-то тормозит их.


По проблеме ботов и вторых аккаунтов — "мнение" этих аккаунтов быстро становится очевидно для системы, их голоса — "ожидаемыми", и вклад этих голосов в рейтинги снижается. Это не делает ботоводство полностью бессмысленным, но точно снижает его эффективность.

НЛО прилетело и опубликовало эту надпись здесь

Согласен, добавил в статью.

Вот да, для Реддита это стало огромной проблемой – если ты оставил комментарий не в то время, то его с большой вероятностью никто не увидит.
Как насчёт вообще без оценок?

Погодите, но ведь устроить бурление говн это отличный способ развлечь аудиторию. В рабочей преписке никаких плюсов и минусов нет и сложно придумать, зачем они там были бы нужны.

Как раз все существующие системы построены по принципу консолидации. Именно цель — собрать единомышленников, думающих одинаково и видящих все в одном ракурсе. Они как бы образуют микросреду, где все такие же как они. Кто не такой, не вписывается — того общество отторгает с помощью низкого соц. рейтинга в данной группе.

Вы же хотите создать новый тип сообщества, где важно не сходство взглядов а некие знания/аналитические способности.
ИМХО все системы оценок оечень сомнительны и неоднозначны. Если опубликую пост под заголовком «Земля плоская», то могу получить много минусов за «троллинг», а могу много плюсов за сарказм ;) Как-то так.
Не очень понимаю, какую проблему участников сообществ автор пытается решить.
Люди разбредаются по сообществам где преобладает именно их точка зрения, окукливаются в своем пузыре, получают там постоянно подтверждение. Их точка зрения цементируются, они все меньше способны воспринимать аргументы за другие точки зрения.
--да, естественно, что людям приятно общаться с единомышленниками. Маководам с маководами, веганам с веганами, антипрививочникам с антипрививочниками.

Представьте, что будет создано сообщество с описываемой системой «рейтинга комментариев, поощряющей хорошие аргументы», цель которой — вытащить каждого пользователя из «зоны комфорта» и продемонстрировать ему «хорошие аргументы» против его убеждений.
С чего вдруг пользователи из своих уютных «пузырей единомышленников» начнут переходить в новое, целенаправленно некомфортное сообщество?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории