Центр цифровой трансформации Республики Татарстан запустил площадку публичных обсуждений проектов в сфере ИИ, в которой пользователи и предобученная большая языковая модель вместе обсуждают и оценивают инициативы в сфере ИИ.
В статье рассказываем, для чего нужна площадка и как она будет работать.
Сервис похож на X (ранее Twitter*), но с тем отличием, что каждый комментарий пользователя или ИИ может быть «за» или «против» проекта и иметь значимость по пятибалльной шкале, которую коллективно устанавливают пользователи и ИИ (большая языковая модель).
Такая структурность позволяет вывести «общий счет на табло» как проекта, так и отдельных тем проекта. Таким образом, обеспечивается конструктивная коммуникация, где главными принципами являются логика, беспристрастность, прозрачность.
Для чего мы это делаем?
Часто на принятие неоптимальных решений (не только в корпоративном секторе, но и в повседневной жизни) влияют ложные предубеждения, популистские тезисы сторон, эмоции, отсутствие полноты информации. Но каков был бы мир, если бы удалось свести к минимуму влияние этих негативных факторов?
Более того, теоретически, для каждой задачи существует такая комбинация действий, воспроизведя которую, можно добиться наилучших результатов.
Один из абсолютных воплощений беспристрастности и логики в массовой культуре – Спок из вселенной «Звездный путь» говорил:
«Если исключить то, что невозможно, все что останется, должно быть истиной».
Концептуально мы стремимся к тому, чтобы приблизиться к такой «идеальной комбинации» действий через коллективные с ИИ:
генерацию доводов за и против,
выявление и отсечение недостоверных доводов,
определение степени значимости достоверных доводов,
подсчет итогового результата.
С чего мы хотим начать?
В процессе госуправления появляется достаточно много гипотез, инициатив и проектов, в том числе, предлагаемых различными предпринимателями для внедрения в органах государственной власти. Мы хотим начать с того, чтобы достоверно определять лучшие продукты и инициативы и реализовывать/внедрять их в Татарстане с высшим приоритетом.
Также публичная и коллективная оценка значимостей всех комментариев сделает понятной и прозрачной обратную связь для инициаторов предложений и проектов.
Как это работает?
Создание постов
Каждый зарегистрированный пользователь может создать пост (проект) на платформе, в котором описывается, например, предложение о внедрении какого-либо решения или предложение об изменении законодательного акта, оказывающего препятствие для внедрения технологий ИИ.
Комментарии
К таким постам помимо команды уполномоченного по технологиям ИИ в Татарстане и большой языковой модели любой зарегистрированный пользователь может написать комментарии «за» и «против».
Комментарии «за» подсвечиваются зеленым, комментарии «против» – красным. Комментарии имеют также значимость по пятибалльной шкале, которая формируется исходя из оценок пользователей и большой языковой модели.
Опытные пользователи платформы (те, которые писали значимые комментарии) оценивают значимость по пятибалльной шкале. Чем опытнее пользователь, тем выше вес оценки.
Новые пользователи на платформе оценивают значимость с помощью лайков, суперлайков и дизлайков. Соотношение количества уникальных просмотров комментария и количества лайков/суперлайков/дизлайков влияет на оценку значимости комментария.
Нужно отметить, что комментарии могут иметь подкомментарии, которые тоже могут быть «за» и «против» и иметь значимость. Например, если у комментария есть красный подкомментарий («против») со значимостью 5/5, то такой подкомментарий фактически полностью опровергает тезис в комментарии, к которому он написан. Так на платформе достигается выявление недостоверных или сомнительных доводов.
Но как добиться объективности в процессе оценки значимости комментариев? Ведь очевидно будут заведомо ложные оценки, на которые влияют ложные предубеждения, лоббизм и другие факторы, не позволяющие рассчитывать на абсолютную объективность всех пользователей.
Для этого мы разработали алгоритм консенсуса.
Алгоритм консенсуса при оценке значимости комментариев
В первую очередь мы учитываем степень отклонения оценок в разных разрезах:
общая степень отклонения оценок среди всех проголосовавших
степень отклонения в оценках с учетом опыта пользователей, где вес оценки зависит от количества опыта
степень отклонения оценок разных по опыту групп пользователей
степень отклонения оценки большой языковой модели от средней оценки пользователей
Если отклонение в оценках не превышает нормального значения, то консенсусное значение значимости комментария берется как среднее между всеми оценками пользователей с учетом веса оценки, исходя из опыта каждого пользователя.
Если отклонение превышает нормальное значение, то происходит случайный отбор наиболее опытных пользователей на платформе, которые не принимали участие в оценке значимости комментария для того, чтобы такие пользователи оценили значимость “спорного” комментария. В этом случае консенсусной значимостью будет среднее значение между:
средним значением значимости между оценившими значимость в качестве случайно отобранных опытных пользователей
средним значением значимости между оценившими значимость намеренно,
оценкой языковой модели.
Зачем это обычным пользователям?
Мы надеемся, что среди пользователей мы найдем единомышленников, для которых беспристрастность и логика такие же важные принципы. Мы хотим построить место, в котором коммуникация проходит конструктивно, так, как никогда прежде, и где каждый пользователь будет услышан.
Ну а результатом всего этого, как мы надеемся, станет не только повышение эффективности в принимаемых решениях и, соответственно, возможность для каждого человека влиять на то, что будет его окружать в будущем, но и появление нового достоверного источника информации.
В то же время, мы предусмотрели систему вознаграждений для самых беспристрастных пользователей. За значимые комментарии пользователи получают карму, которую можно менять на кристаллы. За кристаллы будет возможность приобретать дата сеты, вычислительные мощности, предобученные модели и другое.
Если пост наберет более 10 тыс. просмотров, то мы выпустим вторую часть статьи, в которой расскажем более подробно про алгоритм консенсуса и результаты экспериментов с предобученной большой языковой моделью.
А пока приглашаем вас принять участие в обсуждении плюсов и минусов Единого окна по ссылке.
* Twitter заблокирован в РФ Роскомнадзором.
