Дорогой Хабр,

Наша компания активно развивается, выходит на зарубежные рынки и встает на англоязычные рельсы. Мы с большой скорбью в сердце приняли решение заморозить блог на Хабре.

Сегодня эмоции играют все более важную роль в бизнесе. В какой-то момент люди пришли к пониманию, что покупатель принимает решение о покупке, основываясь не только на том, что он думают о продукте, но и на том, что чувствует по отношению к нему. Именно поэтому компании активно пытаются добавить эмоциональный аспект в свою работу: аналитику, сервис, технологии.

Эпоха безэмоционального рационализма подошла к концу для человека давным-давно, но для современных машин сейчас наступает рассвет их эмоционального интеллекта. На протяжении последних десяти лет мы наблюдали стремительное развитие эмоциональных технологий, область которую чаще называют «аффективные вычисления» (Affective Computing). Но там, где есть эмоции, всегда находится много загадок.

Некоторые ошибочные клише встречаются особенно часто. Мы рассмотрим три наиболее популярных мифа о эмоциях в Affective Computing, которые активно распространяются в бизнес среде и медиапространстве.

Это может делать наша нейросеть, распознающая человека по одному произнесенному слогу. Однако тема этой статьи не касается напрямую идентификации по голосу, хотя и будет связана с ней. Мы расскажем о нейросетевых фичах, так называемых d-vector, которые можно использовать в задачах обработки звука: от верификации до распознавания речи и эмоций.

Пока мы готовим для вас обстоятельную техническую статью, поговорим о бизнесе и трендах в сфере умных систем.

Очень быстрыми темпами в нашу жизнь входит работа с большими данными и «умными системами». И, как и у любого тренда, здесь сразу очевидным образом выявляется «узкое место», а именно – интерфейс. Какой бы «умной» ни была система, с какими бы данными и насколько бы качественно она ни работала, результат ее работы должен быть понятен человеку. Сама работа с такой системой должна быть удобна пользователю. Наравне с внедрением цифровой трансформации, Big Data, IoT систем бизнес будет в явном виде требовать создания эргономичного и максимально интуитивного интерфейса взаимодействия человека с этими системами. Проблема качественных интерфейсных решений будет проявляться все более и более остро. И особенно остро эта проблема встает там, где с системой имеет дело не «специально обученный профессионал», а обычный пользователь.

В сфере распознавания эмоций голос – второй по важности после лица источник эмоциональных данных. Голос можно охарактеризовать по нескольким параметрам. Высота голоса – одна из основных таких характеристик, однако в сфере акустических технологий корректнее называть этот параметр частотой основного тона.

Частота основного тона имеет непосредственное отношение к тому, что мы называем интонацией. А интонация, например, связана с эмоционально-экспрессивными характеристиками голоса.

Тем не менее, определение частоты основного тона является не совсем тривиальной задачей с интересными нюансами. В этой статье мы обсудим особенности алгоритмов для ее определения и сравним существующие решения на примерах конкретных аудиозаписей.

Если человек может научиться частично контролировать свою мимику (по крайней мере крупные движения лицевыми мышцами) и «хитрить» с применением языка тела, то движения глаз гораздо сложнее поддаются сознательному контролю. В одном из экспериментов участникам предложили воспроизвести траекторию их взгляда с помощью курсора на экране — и даже при такой четкой постановке задачи испытуемые не осознавали 42-55% движений своих глаз (Marti et al., 2014).

Поэтому наши глаза могут многое рассказать о том, когда мы пытаемся утаить правду, а айтрекинг можно успешно использовать для детекции лжи.

Эмоциональный искусственный интеллект, помимо очевидной связи с машинным обучением и нейронными сетями, имеет прямое отношение к психологии и в частности к науке об эмоциях. В этой области сегодня остро стоят несколько вызовов. Один из них — формирование точной и полноценной классификации эмоциональных состояний, от которой в том числе напрямую зависит процесс аннотирования — сопоставления наблюдаемых выражений лица и других невербальных сигналов с определенными эмоциями и аффективными состояниями.

Виртуальная реальность, распознавание эмоций и айтрекинг — три независимо развивающиеся области знаний и новые, привлекательные с коммерческой точки зрения технологические рынки — все чаще в последние годы рассматриваются в фокусе конвергенции, слияния, синтеза подходов с целью создания продуктов нового поколения. И в этом естественном процессе сближения едва ли есть что-то удивительное: кроме результатов, о которых можно говорить с долей осторожности, но и немалым пользовательским восторгом (к слову, недавний фильм «Первому игроку приготовиться» Стивена Спилберга в буквальном смысле визуализирует многие ожидаемые сценарии). Давайте обсудим подробнее.

Напоминаем, что всего чуть более недели остается до конференции «Emotion AI: новые вызовы для науки и образования, новые возможности для бизнеса». Однодневное мероприятие, соорганизаторами которого являются Neurodata Lab LLC и НИУ ИТМО, состоится в пятницу, 30 марта, с 10 до 18 часов (ИТМО, Биржевая линия д. 14).

Регистрация доступна по ссылке.

Предварительная программа доступна в теле публикации.

30 марта 2018 г. Neurodata Lab LLC и НИУ ИТМО проводят однодневную конференцию в Санкт-Петербурге (мероприятие в Москве также запланировано на ближайшее будущее), посвященную индустрии Emotion AI, её особенностям и перспективам.

Регистрация доступна по ссылке.

Предварительный анонс приводится ниже, в теле публикации.

Когда мы говорим о технологиях по распознаванию эмоций, мы по умолчанию имеем в виду человека, то есть весь тот массив данных — вербальных и невербальных, — который им генерируется и используется для комплексной оценки его состояния. Однако чем дальше, тем большее внимание уделяется и животным: в последние годы регулярно проводятся исследования «эмоционального» мира лошадей или собак, например. В нашей статье мы обсудим один из разворотов этой темы: то, как айтрекинговые технологии применяются для изучения особенностей некоторых представителей фауны, обитающих бок о бок с нами. Так как же посмотреть вокруг глазами собаки, павлина или даже мыши?

Давайте зададимся вопросом: в какой мере краудсорсинговые инструменты востребованы в сфере эмоциональных (и нейрокогнитивных) технологий? Каким образом можно собирать, размечать и предварительно обрабатывать большие объемы данных, опираясь на ресурсы толпы? В качестве показательных кейсов обсудим платформу Amazon MTurk и, в приложении к эмоциональной проблематике, проект лаборатории Neurodata Lab — Emotion Miner.

Возможно ли собрать данные по движениям глаз всех посетителей планетария, не имея в распоряжении специальной аппаратуры? Как изучить зрительное внимание во время активных действий нескольких человек, не конструируя сложную систему с очками-айтрекерами? Как достичь исключительной точности и записать движения глаз с частотой 8000 Гц? В нашей статье попытаемся ответить на эти вопросы.

Победители и финалисты конкурса MERC-2017 от Neurodata Lab на площадке Datacombats — это не просто обезличенные строки лидерборда. Это молодые специалисты, с разными профессиональными и исследовательскими интересами, бэкграундом и компетенциями. В качестве завершающего штриха в истории нашего самого первого конкурса мы решили взять у них интервью. Надеемся, что для читателей блога этот материал станет источником для размышлений, каким он явился и для нас как организаторов конкурса.

Подошел к концу и объявляется закрытым первый конкурс по машинному обучению MERC-2017 от Neurodata Lab, проведенный на собственной площадке Datacombats (вскоре мы представим обновленную, полноценную версию платформы). Время подвести некоторые итоги и прокомментировать результаты. С визуализацией статистики вы можете ознакомиться в предыдущем посте нашего блога.

Подходит к концу наш первый конкурс по машинному обучению и анализу данных — Multimodal Emotion Challenge Recognition (MERC-2017) на площадке Datacombats. В этом посте мы хотели бы представить небольшой анализ аудитории, своеобразный коллективный «портрет».

Голос, звук, анализ звуковой волны: акустика — один из наиболее интересных и сложных каналов сбора данных в мультимодальной логике детекции и распознавания эмоций человека. Помимо прочего, обращение к этому источнику информации ставит перед исследователями задачи разного порядка, решение которых открывает новые научные и технологические перспективы. Мы в Neurodata Lab, занимаясь темой эмоций, сумели попутно разобраться с фундаментальной проблемой: одноканальным разделением голосов, достигнув точности, превышающей 91-93%, для английского, русского и некоторых других ключевых языков (по ним продолжаются эксперименты, приоритет отдан двум первым).

Всем привет! Конкурс по машинному обучению Multimodal Emotion Recognition Challenge от Neurodata Lab (MERC 2017) стартовал вечером в среду, 18 октября. С анонсом и вводной информацией можно ознакомиться, перейдя по ссылке, а подробное описание задачи, сопроводительные материалы и данные доступны для зарегистрированных пользователей.

Добро пожаловать на Dataсombats!

Успехов!

Исследование движений глаз – саккад и фиксаций – является одним из наиболее интересных направлений анализа в нейронауках, включающих в себя и эмоциональную проблематику. Действительно, глаза – релевантный канал для сбора данных о текущем состоянии и реакциях человека на стимулы внешней среды, важный источник информации о физиологии, эмоциях, когнитивных аспектах жизнедеятельности в естественных, повседневных условиях, в контексте коммуникаций разного рода, происходящих между людьми. Без данных видеоокулографии говорить о мультимодальности в распознавании эмоций было бы затруднительно.

Всем привет! Наша лаборатория Neurodata Lab запускает в октябре-ноябре 2017 года собственный ML-конкурс по распознаванию эмоций.

→ Конкурсная площадка