Как открыть комментарии и не потонуть в спаме

[Markscheider]

несложно скомбинировать несколько невинных слов и получить очень обидное высказывание

Реквестую более подробную статью о том, возможно ли с этим бороться силами AI. Потому что (если это в принципе возможно) такие методы в будущем позволят и эффективно бороться с т.н. тонкими троллями.

[limixis]

Проблему троллинга комбинацией безобидных слов мы частично снизили с помощью нейросети BERT, которая учитывает контекст, но всё упирается в недостаток соответствующих обучающих примеров: в стандартном потоке есть сильный перекос в сторону более примитивных оскорблений. Люди очень творчески и разнообразно подходят к вопросу оскорбления друг друга, и этот «длинный хвост» действительно тяжело научиться находить. Если научимся, постараемся написать отдельную статью.

[Tirarex]

контекст, но всё упирается в недостаток соответствующих обучающих примеров

Грубо говоря вам надо стек тролей которые будут писать мягкие оскорбления, а так же гора толокеров которые будут оценивать свою оскорблённость, дабы нейросеть тренировалась на троллинге с учетом оценки?

[Ka3anTiP]

А не получится из этого потом как у Microsoft'товского бота, когда он стал хейтером-расистом-сексистом и ещё каким-то -истом?

[ivanrt]

С помощью таких всевозможных мутаций можно наверняка получить false positives, или у вас потом прогоняется через словарь чтобы их исключить?

[limixis]

false positives случаются, в основном на опечатках или редких словах (например, «хулиган»). Для борьбы с ними пробуем разные подходы, один из которых — учет контекста, по контексту часто можно понять, что, несмотря на подозрительное сочетание букв, предложение цензурное.

[Methos]

Ага, попытался я написать свой отзыв о фильме на кинопоиск, так его не пустил модератор, хотя он был нормальный и без мата.

После этого я больше никогда не пойду на кинопоиск и не оставлю там своё мнение.

[limixis]

К сожалению, случайных ошибок избежать невозможно. Но каждый такой пример помогает нам улучшить качество, поэтому будем благодарны всем, кто сообщает нам об ошибках через поддержку.

[Methos]

Вы о чем?

Там обычный живой человек сидит, модератор, и отклоняет отзывы о фильме, которые, наверное, расходятся с его мировоззрением.

[limixis]

Тут я поторопился. Сейчас это решение используется на КП для комментариев, но не для рецензий на фильмы.

[Methos]

Если отзывы о фильмах на кинопоиске проходят через цензуру яндекса, то они не настоящие и люди пытаются их писать так, чтобы они угодили яндексу.

Поэтому эти отзывы отражают суть не фильма, а каких — то правил яндекса.

Поэтому читать их бессмысленно, ибо настоящие правдивые отзывы скрыты модераторами.

[PeterPP]

Это модераторы нанятые через Толоку, им без разницы что нажать, отклонить или принять. Так что не ищите скрытый смысл там где его может не быть.

[namikiri]

А как ваша система относится к эвфемизмам? Тоже бан?

[3263927]

а система рейтинга на хабре всёравно эффективнее

[BarakAdama]

Хабр — закрытое сообщество.

[3263927]

ну у вас по идее тоже закрытое, должен же быть у вас Яндекс аккаунт который привязан к телефону. вот можно сделать например что-то типа социального рейтинга, который позволяет писать сообщения тем чаще чем выше рейтинг. и банить за рекламу и спам например

[BarakAdama]

Такой вариант имеет право на существование, но мы не хотели ограничивать новых пользователей и заставлять их «копить права» для полноценного доступа к сервису.

[3263927]

а зря! именно потому что на хабре можно получить жбан за отставание скорости мысли от скорости печати тут более-менее полезный контент

[Baron_Kelvin]

Сколько же человеческих ресурсов использовалось в самом начале?..

[limixis]

Число рук сейчас и не вспомню, но на старте и контента было мало, поэтому справлялись. А вот дальше без тех же толокеров стало тяжело.

[netcitizen]

А какие у вас примерные нагрузки на сервис сообщений? BERT совсем недешевая штука в плане ресурсов.