Комментарии 26
Я сейчас покажу пример токсичного комментария, по мотивам IRL чата. И что ваш бот на это скажет?
Чтобы дать комментарию должную токсичность, я вынужден использовать имена личные. Заранее прошу прощения, но комментарий требует.
Дениска, ты, конечно, молодец с этой идеей, и наверное, кто-то наивный даже поверит, что оно работает, но мы-то серьёзные люди и всё понимаем, правда?
Ещё раз прошу прощения, но это реальный парофраз недавно пролетевшей токсичной реплики в рабочем чате.
Хохотнул на "Вы уроды!!!"
"Уроды - это нехорошо! Но на Вы - это хорошо! В целом на троечку. Не нарушайте..."
Может проще культуру в чате взрастить, чтоб саморегуляцией, могли поправить оступившегося? Товарищей что приходят похамить проще и дешевле сразу банить.
ну и пример для бота - "котик, ты что совсем дурачок?" намеренно смазал на "дурачок".
По факту это вопрос, а не оскорбление.)
ИМХО, только как первая линия обороны сойдёт. Не, появление автобанхамера обычно таки поднимает культуру общения, но, к сожалению, обычно только с уровня банальной ругани до уровня утонченных издевательств. К тому же меняющаяся повесточка заставит постоянно переучивать нейросеть и в части ключевых слов и фраз - люди постоянно находят новые способы обидеться.
Эта проблема решается, нахождением датасета побольше и усложнением архитектуры нейросети
Другими словами, чтобы достичь 99% эффективности, нужен датасет с 99% всех возможных реплик и оборотов, так?
Рано или поздно эту проблему кто-то решит, потому что на самом деле, токсичность найти проще, чем сарказм или язвительность.
Для сравнения:
Будет грандиозный успех, как в прошлый деплой было. // Сарказм.
Прошлый деплой мы долго не забудем, спасибо тебе. // Язвительность.
Только такому мастеру деплоев как ты мы можем поручить создать новый инфоповод. // токсичность
Все три обсуждают следующий деплой в контексте предыдущего, который закончился 8 часовым дауном (фейсбука), например. При том, что второй обидный, он заслуженный. А вот третий - чистой воды токсичность.
1/ не понял в чем преимущество нейронок по сравнению с svm (именно для данной задачи toxic comments)
2/ не увидел гиперпараметров (и как их подбирали), почему выбрана именно такая архитектура? (В принципе, вытекает из первого вопроса.)
преимущество нейронок в том, что текст (картинки и звук туда же) - это неструктурированные данные, где нейронки классику выкинули давно и безвозвратно, в качестве "мерила" могу предложить любое соревнование, где опытным путем показано преимущество: качество работы. Например, 4 года назад в https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge уже на первом месте CNN+RNN
1/ не горячился бы насчет "классику выкинули давно". Соревнование, которое вы приводите, это соревнование не про 1/0, а про то, какая именно токсичность. И поэтому если речь все же про 1/0, то, как написал выше, классика продолжает работать.
2/ если есть ссылка на модель - не могли бы дать поиграться?
1/0 от какая именно отличается по сути активацией и функцией потерь, не больше. Жду пример, где классика работает лучше в обработке естественного языка, если классика продолжает работать :)
В том же соревновании куча кернелов, с которыми можно поиграться, например один из последних на берте https://www.kaggle.com/oceands/bert-model-for-dummies
P. S. Кажется, вы немного отстали от темы, очень тяжело объяснять, почему атомные ледоколы лучше парусных. NLP уже давно про глубокое и сложное "word to vector", и модели отличаются тем, какую новую крутую штуку вы придумаете, которая красиво переведет слова в латентное пространство. "Детские" TF-IDF, SVM, мешки слов и прочие архаизмы работают только в купе с новыми методами в качестве поддержки, "чистая классика" проигрывает непозволительно много на всех задачах NLP.
Необходимо добавить распознавание мимики лица пишущего в чат человека, чтобы по микро мимике регистрировать наличие желания по-токсикозить в процессе написания сообщения.
AntiToxic Bot — бот, распознающий токсичных пользователей в телеграм чатах