Детектор троллинга: как мы повышали продуктивность с помощью речевого анализатора



    В современном мире корпоративный троллинг — явление такое же обыденное, как спам. В рейтинге «пожирателей времени» тролли стоят на первом месте, и дело не только в том, что их развелось слишком много, но ещё и в том, что, в отличие от спама (против которого уже появились весьма эффективные инструменты), корпоративные тролли мимикрируют под обычных офисных работников, а темы для троллинга базируются на том, в чём, собственно, и состоит работа. Поэтому иногда очень сложно отличить простое желание сотрудника «потроллить» от продуктивного спора по существу.

    Отдел по повышению эффективности внутренних ресурсов Mail.Ru Group нашел способ, как отличить троллинг от продуктивного общения: мы создали программно-аппаратный комплекс «AntiTroll», протестировали его и убедились в эффективности. Подробности под катом.

    Прежде всего, нельзя не упомянуть о том, что общение с троллем снижает эффективность не только самого тролля (который, словно болото, становится всё более широким от вливаемой в него свежей воды), но и сотрудников, которые участвуют в обсуждении. Поэтому снижение эффективности часто носит эпидемиологический (вирусный) характер.

    Для того, чтобы определить уровень троллинга, мы погрузились в дискурсивный анализ, изучили язык, используемый членами нашего коллектива (о терминах, используемых нашими разработчиками мы писали тут.

    В ходе этого анализа были рассмотрены как форма языка, так и его функция. В качестве исходного материала брались разговорная речь и письменные тексты, в которых мы идентифицировали лингвистические особенности восприятия различных текстов и типов устной речи.

    Анализ письменных текстов включал в себя изучение развития темы и семантические связи (сцепки) между предложениями. В этом направлении нам очень помогли ребята из Поиска Mail.Ru.



    Анализ же разговорной речи базировался как на вышеописанных аспектах, так и на практиках пошагового взаимодействия, открывающих и закрывающих последовательностей социальных взаимодействий или структуры нарратива.

    Рабочей группе, разрабатывающей математический аппарат «AntiTroll», пришлось серьёзно изучить психолингвистику, социолингвистику, социологию, герменевтику, социальную психологию и даже антропологию (как оказалось, такие параметры как пол, рост и акустические свойства артикуляционного (речевого) аппарата тоже должны учитываться при обработке информации).

    Параллельно с разработкой математического аппарата мы собирали данные для анализа.
    К этому подключили нашу юзабилити-лабораторию. Экспериментальная группа сотрудников отдела разработки игр, после небольшого периода адаптации, начинала говорить о своём общем проекте, и при помощи подсадного тролля обсуждение переходило из стадии эффективного общения в стадию низкоэффективного троллинга на традиционно холиварную тему (к примеру, Android vs iOS или Windows vs Linux).

    Были получены гигабайты данных, собранных регистраторами пульса, дыхания, активности коры головного мозга, микрофонами и видеорегистраторами. Данная исходная информация скармливалась скрипту, написанному на базе вышеописанного математического аппарата.

    Результатом работы скрипта должно быть одно единственное число — уровень троллинга.

    После 28 билдов (сборок) скрипта, мы были близки к тому, чтобы отказаться от этой идеи: скрипт выдавал какие-то непонятные значения, скорее, напоминающие результат работы генератора случайных чисел. И тогда мы решили добавить в математическую модель ещё один весовой вектор: «уровень эмоционального вовлечения». Точно он называется «субъективное оценочное отношение к существующим или возможным ситуациям». И вдруг, на 29-й сборке «оно» заработало!

    Скрипт стал довольно точно определять уровень троллинга, и когда кто-то переходил из стадии продуктивного обсуждения в стадию словестной прокрастинации, числовое значение уровня троллинга стабильно росло.

    В течение последних 7 месяцев мы тестировали данную систему в 5 отделах Mail.Ru Group, постепенно корректируя работу скрипта, и на данный момент мы добились точности определения троллинга в 96%.

    Интересно, что в ходе тестирования был выявлен аналог «пика Балмера», известного большинству хабраюзеров. До определенного значения троллинг почти не влияет на продуктивность, но при достижении значения Х у разработчиков наблюдается резкий всплеск производительности (увеличивается количество коммитов, уменьшается число багов). Однако при превышении порога Х продуктивность резко падает.

    Имеет ли это открытие практическое применение, пока не ясно: очевидно, что поддерживать уровень троллинга в рабочем коллективе на необходимом уровне для достижения этого пика довольно сложно.

    Следующим шагом стало создание программно-аппаратного комплекса «AntiTroll Alarm!»:



    Принцип достаточно простой: микрофон, размещённый в переговорке, передаёт аудиосигнал на постоянно работающий сервер со скриптом AntiTroll, и если обнаруживается высокий уровень троллинга, то на Arduino, подключенный к серверу через USB, поступает сигнал о включении реле «AntiTroll Alarm!». Как только уровень троллинга в обсуждениях зашкаливает, запускается сирена и проблесковый маячок:



    Пока мы протестировали нашу новую систему в нескольких подразделениях в течение трех месяцев, но уже видим положительные результаты: количество коммитов выросло на 23%, количество найденных тестерами багов уменьшилось на 14%.

    В ближайшем будущем мы планируем внедрить систему во всех подразделениях, а затем и вовсе сделать мобильные приложения, которыми сможем пользоваться не только мы, но и коллеги по рынку.

    Только представьте себе — перед планёркой кладёте телефон в центре стола, включаете наше приложение, и не беспокоитесь о том, что пропустите тот момент, когда ваше обсуждение перейдёт в неконструктивное русло…

    Исходный код позже будет выложен на github тут.
    Mail.ru Group
    790.92
    Building the Internet
    Share post

    Comments 21

      +11
      Класс! Вот если бы такая система появилась 02.04 — заказал бы с удовольствием!!! =))))
        +47
        Мне кажется, эту статью нужно тщательно проверить с помощью вашего скрипта.
          +16
          beep-beep!
            +1
            и желтая мигалка
            ну почти желтая
            image
              +1
              Или так
              image
          +8
          Эту систему надо предложить использовать на заседаниях депутатов, и так чтобы когда она срабатывает нельзя было принимать никаких решений.
            +9
            И тогда депутаты перестанут принимать законопроекты и настанет счастье.
              +2
              Экстремизм детектед! За вами выехали.
              0
              Как ваша система сигнализирует о «толстоте» тролля? А если зашкалит то что произойдет?
                0
                А почему релюшка на фото подключена только на половину?
                  +2
                  Сегодня можно новости дальше не читать…
                    +4
                    А в кабинете разработчиков Guard Mail.ru — целый день световое шоу :)
                      +1
                      Остается откалибровать систему с помощью эталонного троля )
                      PS/ и Вас с 1 апреля) на фотках мигалка которую используют, скорее всего совсем для других целей (дедлайн, метрики мониторинга, кривой билд). Девушку зачем проводами окутали? :)
                        +1
                        вот тут очень похожие фотки)
                          +9
                          Вся разработка была начата только с целью опутать как можно большее кол-во девушек проводами.
                          +1
                          Многих фантастов их современники не воспринимали в серьез (едва ли они сами верили в осуществимость результатов полета их фантазии). Однако многое из рассказов Жюль Верна сейчас — обычная реальность.
                          Возможно вот и эта первоапрельская шутка со временем станет реальностью, а тролли станут хитрее и будут применять импланты, позволяющие обходить детекторы за счет внесения помех в тембр голоса (система «Анти-Анти-Тролль»).
                          +8
                          Почувствовал себя идиотом, поскольку 80% постов, которые я открыл сегодня в отдельных вкладках, как потенциально интересные, оказались первоапрельскими)
                            +1
                            это вы там Артамонову на троллинг тестируете?
                              0
                              А получился как всегда Mail.ru@Защитник =\

                              Only users with full accounts can post comments. Log in, please.