ai-talent Jun 17 at 16:56

SLAVA — бенчмарк социально‑политического ландшафта и ценностного анализа

Medium

6 min

644

Artificial IntelligenceGitHub*Natural Language Processing*

Review

Comments 10

Farongy Jun 17 at 17:11

Del

courser Jun 17 at 18:07

"ценностно-нагруженные вопросы"
"аудит политической надёжности"

Встречайте новый список заблокированных сервисов.
Поражает, что сюда приходят хвастаться, как они высоконаучно и технологично помогают попирать свободу слова и свободу распространения информации.

Скоро тут будет и про нейроимпланты, помогающие правильно реагировать на текущую линию политического и духовного руководства. С красивыми таблицами и графиками.

MAXH0 Jun 17 at 18:40

Знаете тут вопрос дискуссионный. Например, я пинаю дипСик в плане альтернативной истории... Но убедился, что он и в реальной путается. Зато пытается к тем событиям добавлять оценочные характеристики или вообще добавляет пропаганду... Исследование периоды и 1905 и Петровское время...

Есть свобода слова, а есть галюцинации... Вообще в гуманитарной области нейросети ещё слабы.

Лично мне были бы интересны количественные оценки такой вот необъекти..

courser Jun 17 at 18:46

То есть вы считаете, что оценивающая нейросеть будет автоматически безгрешной?
Несмотря вот на это всё? :
"ценностно-нагруженные вопросы"
"аудит политической надёжности"

Внезапно у этого нечто "SLAVA" есть эталонное знание фактов и эталонная же их интерпретация? Заверенные Мединским, надо понимать?

MAXH0 Jun 17 at 19:29

Она позволяет оценить погрешность. Например, очень частой ошибкой ДипСик стало ошибки в датах, чтобы подогнать под запрос. Это легко проверяемые данные, в которых нет разночтений.

А вот оценка Витте или Столыпина - уже дискуссионный вопрос, где могут быть разночтения. Имхо у нейросети вообще не должно быть оценки, а выдаваться спектр мнений с указанием - это мнение мейнстрим, это маргинальное, а это вообще похоже теория заговоров...

Тем более если датасете открыт, его можно и оценить на внутренней непредвзятость.

Petr_axeman yesterday at 08:52

Интересное и абсолютно "обоснованное" мнение.

Нейронная сеть без мнения - Яндекс.

Нейросеть обязана уметь в разные подходы, включая с мнениями и без, в этом и есть смысл нейросети. Гибкость и человечность, к этому все и стремятся.

А по поводу идеи о том что этот бэнчмарк как то оценивает исторические знания мне кажется наивными. С таким подходом можно просто оценивать нейронки по ЕГЭ, больше пользы было бы.

MAXH0 yesterday at 18:10

Обосную свою ИХМО:

Идеально любая нейросеть должна быть свободна от любого мнения, но по запросу пользователя выдавать аргументы за ту или иную точку зрения. Аргументы должны иметь то же качество обоснования, как и в тренировочном датасете.
Исключение данных или добавление правил исключающих информацию - это цензура.
Ситуация, когда одна точка зрения указывается как научная, а другая помечается как маргинальная случается и в реальном мире. Взять недавнее карбонобесие и коронобесие. Нейросети особенно уязвимы перед такими манипуляциями. Поскольку не имеют собственного мнения, а выдают некий взвешенный граф заложенных в них данных.
А поскольку корпоративные агрегаторы новостей сильно отметились в продвижении повестки карбоно и коронобесия, то и нейросети, которые плод корпораций, доверия не вызывают.
Выходом бы стала федерализация нейросетей, когда имеется свободный рынок обученных нейросетей с разными мнениями и специализациями, а каждый может собрать на своем компьютере нужный коктейль из них. НО крупные игроки не заинтересованы в этом.
Мы не нуждаемся в "человечности" нейросетей. Потому что это симулякр, который нам продают. Мы нуждаемся в регулярном живом человеческом общении, которое ни что не заменит.