Как стать автором
Обновить

Как мы анализируем предпочтения пользователей виртуальных ассистентов Салют

Время прочтения 9 мин
Просмотры 2.1K
Блог компании SberDevices Data Mining *Машинное обучение *Искусственный интеллект Natural Language Processing *
Приветствую всех! Меня зовут Ибрагим, я работаю в SberDevices и занимаюсь машинным обучением. Сегодня я расскажу о том, как мы находим и анализируем интересы и предпочтения пользователей наших виртуальных ассистентов Салют.

Также поделюсь видео с моего недавнего выступления на онлайн-конференции «Применение ML в Digital-продуктах», которую проводили коллеги из AGIMA и Epoch8.


В этом посте мы разберём следующее:

  • где можно искать данные, если для задачи нет готового датасета; 
  • как можно быстро и дёшево увеличить размер своего датасета;
  • как использовать кластеризацию сырых данных;
  • какие есть методы улучшения качества датасета после разметки.

Вступление


Работая над виртуальными ассистентами, нам часто необходимо обучать специфические модели-классификаторы, которые решают свою узкую задачу. У таких задач есть несколько особенностей:

  • отсутствие готовых датасетов;
  • отсутствие чёткой структуры классов, на которые можно разделить данные;
  • наличие сырых логов, в которых могут быть интересующие нас данные;
  • сильный дисбаланс классов, где самый многочисленный класс – это класс нерелевантной информации.

Для решения подобных задач, мы выработали определенный пайплайн – последовательность шагов, которая позволяет быстро и дёшево обучить нужную модель. Ниже рассмотрим процесс обучения модели для классификации интересов пользователей.
Всего голосов 16: ↑16 и ↓0 +16
Комментарии 0

Синтез речи виртуальных ассистентов Салют: как мы отошли от классических научных статей, чтобы сделать его человеческим

Время прочтения 12 мин
Просмотры 9.7K
Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *

Автор исходного изображения: Blue Flourishes/Shutterstock.com

Всем привет! В этом посте мы расскажем про синтез голосов Сбера, Афины и Джой — виртуальных ассистентов семейства Салют. О том, как мы в SberDevices обучали модели, чтобы сделать синтез живым и специфичным для каждого персонажа, а также с какими проблемами столкнулись и как их решали.

Согласно нашей «библии ассистентов», Сбер — энергичный гик, Афина — взрослая и деловая, а Джой — дружелюбная и веселая. Они отличаются не только уникальными характерами, обращением на «ты»/«вы» и предпочтениями в шутках. Мы попытались сделать так, чтобы их личности отражались и в голосах, которыми они разговаривают.


Персонажей озвучили телеведущая Анастасия Чернобровина (Афина) и актёры дубляжа Даниил Щебланов и Татьяна Ермилова (Сбер и Джой). Виртуальных ассистентов можно услышать в приложениях Сбер Салют, СберБанк Онлайн, нашем колл-центре по номеру 900, а также в устройствах SberBox и SberPortal. Всё, что вы услышите, — это синтез речи, реализованный с помощью нейросетей. Он работает на связке Tacotron 2 и LPCNet.

Но, чтобы было понятно, что, зачем и почему, — немного теории и истории

Читать далее
Всего голосов 47: ↑46 и ↓1 +45
Комментарии 30

1000 и 1 способ сесть на мель в Spring WebFlux при написании высоконагруженного сервиса

Время прочтения 8 мин
Просмотры 7.7K
Блог компании SberDevices Высокая производительность *Java *

Источник изображения: Shutterstock.com/photowind

Добрый день, меня зовут Тараканов Анатолий, я senior java разработчик SberDevices. 2.5 года программирую на Java, до этого 6 лет писал на C# и 1 год на Scala. Хочу поделиться опытом создания сервиса-оркестратора Voice Processing Service. Он является точкой входа для пользователей семейства виртуальных ассистентов Салют. Через него также проходит часть трафика приложений SmartMarket, где любой разработчик может написать навык для наших виртуальных ассистентов Салют.

Одним словом, на сервис приходится немалая нагрузка. Давайте посмотрим, какие проблемы при его создании возникли и как мы их решали, а также сколько времени ушло на поиск причин. И всё это в контексте реактивного фреймворка Spring WebFlux.

Немного о сервисе


Начнем с обзора архитектуры нашего сервиса-оркестратора. Он управляет процессом обработки входящего трафика от пользователей, формированием и передачей ответа. Среди смежных систем, к которым он обращается, есть такие сервисы:

  • идентификации по токену, а также голосовым и видеоданным;
  • насыщения запроса дополнительными данными о пользователе и истории взаимодействия;
  • преобразования речевого сигнала в текстовое представление;
  • обработки естественного языка;
  • преобразования текста в голосовое представление;
  • запуска пилотных фич;
  • распознавания музыки и другие.

Читать дальше →
Всего голосов 20: ↑20 и ↓0 +20
Комментарии 11

Генеративные диалоговые модели: как мы разговорили виртуальных ассистентов Салют

Время прочтения 9 мин
Просмотры 3.7K
Блог компании SberDevices Машинное обучение *Искусственный интеллект Natural Language Processing *Голосовые интерфейсы *

Порой люди обращаются к искусственному интеллекту не для того, чтобы заказать еду, найти подходящий фильм или решить какую-то ещё свою задачу, а для того, чтобы просто поболтать. Например, потому что грустно, а рядом нет тех, с кем было бы удобно про это поговорить. И пусть виртуальные помощники пока не заменяют настоящих друзей или близких людей (они и не должны), но всё же они могут поднять настроение, помочь снизить уровень напряжения. Чтобы такое общение было живым и действительно интересным, мы разработали и применяем мощные разговорные модели на русском языке для виртуальных ассистентов Салют в режиме «Собеседник». Так, за Сбера с пользователем общается SBERT (retrieval-модель), за Джой — ruGPT-3 (генеративная модель), а за Афину — обе сразу. Поговорим сегодня о генеративной части.

Передаю слово моему коллеге, руководителю RnD NLP SberDevices Валерию Терновскому.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 2

Как подключить рекламную монетизацию к приложениям для виртуальных ассистентов Салют

Время прочтения 6 мин
Просмотры 732
Блог компании SberDevices Монетизация IT-систем *Монетизация веб-сервисов *Монетизация мобильных приложений *
Туториал

Для виртуальных ассистентов Салют можно создавать приложения с красивым интерфейсом и возможностью управлять ими разными способами: голосом, текстовыми сообщениями, касанием, жестами и пультом. Такие приложения называются Canvas App, они доступны пользователям на умных устройствах Sber и в мобильных приложениях Сбербанк Онлайн и Салют. Один из самых простых способов монетизации ваших Canvas App — реклама. Доступны два её вида:

Rewarded video — формат видеорекламы, когда пользователь получает награду за просмотр ролика. Наградой может быть внутриигровая валюта, дополнительные жизни, попытки, опыт и другие ресурсы в смартапе (навыке).

Fullscreen-баннеры — формат полноэкранной рекламы. Её можно демонстрировать между уровнями, экранами и логическими блоками смартапа. 

Наша команда подготовила SDK для подключения и управления показом рекламы в ваших навыках. Давайте пройдём все шаги её подключения.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Российский продукт завоевал сразу две награды международной премии дизайна Red Dot Award

Время прочтения 2 мин
Просмотры 7.2K
Блог компании SberDevices Дизайн Гаджеты Умный дом Интернет вещей


У SberDevices радостное событие, и мы хотим поделиться им с вами. Наш смарт-дисплей SberPortal получил сразу две награды престижной международной премии Red Dot Award 2021 — в номинациях «Умное устройство» и «Промышленный дизайн».

Cообщество дизайнеров и разработчики устройств поймут нашу радость: получить признание комиссии этого конкурса — это всё равно, что получить «Оскар» в киноиндустрии. Red Dot Award — заметное событие с 66-летней историей, далеко не каждый продукт удостаивается этой премии.  

Этой победы могло бы не быть без нашего партнёра — дизайн-хауса notAnotherOne, известного своими решениями в дизайне устройств для интернета вещей.

Перед дизайнерами и конструкторами стоял широкий пул задач. Одной из них было создать визуально невесомое устройство и при этом подчеркнуть все его функциональные возможности. В девайсе должны были поместиться все необходимые «железные» элементы — 10-дюймовый дисплей, широкоугольная камера, мощная акустическая система и сложная микрофонная матрица. Также важно было продумать эргономику для комфортного взаимодействия с гаджетом — голосового и жестового управления, видеозвонков, потребления контента.
Читать дальше →
Всего голосов 27: ↑25 и ↓2 +23
Комментарии 19

От дизайна до разработки: как делать качественные смартапы для виртуальных ассистентов Салют

Время прочтения 2 мин
Просмотры 1K
Блог компании SberDevices JavaScript *Интерфейсы *Natural Language Processing *Голосовые интерфейсы *


Уже завтра, 28 апреля, в 18:00 начнётся Третий онлайн-митап разработчиков SmartMarket. Мы подготовили насыщенную программу и приглашаем вас провести этот вечер с нами. 

Для начала поговорим о UX – как делать не только красиво, но и удобно для пользователя. Взаимодействие с мультимодальными смартапами (навыки, в которых задействуется и голос, и текст, и тач, и даже жесты) может быть не только увлекательным, но и порой сложным. Поговорим о том, что нужно делать на каждом экране – когда лучше говорить, а когда писать или использовать пульт – чтобы довести пользователя до цели и закрыть его потребность. Алина Ермакова, UX Research Lead SberDevices, расскажет о UX-принципах, которые мы для себя сформулировали в ходе многочисленных исследований и во время разработки навыков для наших виртуальных ассистентов Салют.
Читать дальше →
Всего голосов 7: ↑6 и ↓1 +5
Комментарии 0

Технологии и новые продукты SberDevices на большой технологической конференции Сбера

Время прочтения 1 мин
Просмотры 1.3K
Блог компании SberDevices Машинное обучение *Конференции Искусственный интеллект Голосовые интерфейсы *


Уже через неделю, 20 мая, пройдёт большая технологическая конференция Сбера SmartDev. Ведущие разработчики и продакты Группы Сбер будут рассказывать о своих лучших инструментах, продуктах и сервисах, которые мы делаем доступными всему рынку. Вас ждут 10 часов онлайн-трансляции, насыщенная программа от 50+ спикеров. Ожидаются и приглашённые гости, в том числе эксперты из Intel, Nvidia, AuthorDigital. Коллеги из разных подразделений компании вовсю готовятся к выступлениям. 

Команда SberDevices тоже приготовила много интересного – доклады прозвучат в стримах «Салют + Платформы» и «SmartMarket». Расскажем про наши речевые технологии, лицевую биометрию, распознавание объектов на фото и видео, а также жестов, про собственную операционную систему. А ещё разберёмся, как встроить платформу умного дома от Сбера и ассистентов Салют в любой бытовой прибор. 
Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 1

ТВ-приставка или умная колонка с камерой? Всё и сразу: новое устройство от SberDevices

Время прочтения 3 мин
Просмотры 9.7K
Блог компании SberDevices Гаджеты Искусственный интеллект Умный дом Голосовые интерфейсы *


Сегодня команда SberDevices представила своё новое устройство, объединяющее в себе возможности ТВ-приставки и умной колонки с камерой – SberBox Top.

Это медиацентр с AI-камерой, который подключается к телевизору. В нём, как и в других устройствах Sber, живут виртуальные ассистенты Салют, доступен каталог приложений, созданных для них, сервисы экосистемы Сбер. С помощью девайса можно смотреть фильмы и ТВ-каналы, сёрфить видео в интернете, слушать музыку, играть, управлять умным домом, заказывать доставку продуктов, используя управление голосом, пультом или жестами.

Видеозвонки на большом экране будут полезны и во время рабочих встреч, и при общении с родственниками и друзьями. Детям, кстати, очень нравится видеть себя на экране телевизора. Пожилые люди с не очень хорошим зрением тоже будут рады возможности рассмотреть любимых внуков. Звонки работают на базе сервисов Telegram и новой видеоплатформы для общения Jazz by Sber. С её помощью можно создавать и проводить видеовстречи до 100 человек без ограничения по времени с возможностью синхронного прослушивания музыки и просмотра видео в интернете.
Читать дальше →
Всего голосов 25: ↑15 и ↓10 +5
Комментарии 37

Новое устройство SberBox Time, Умный автоответчик и платформа для ресторанов – в фильме SberDevices

Время прочтения 3 мин
Просмотры 1.6K
Блог компании SberDevices Гаджеты Умный дом IT-компании Голосовые интерфейсы *


Мы сняли фильм «Engineering joy: как создаются умные устройства с виртуальными ассистентами от Сбера» – о нашей команде, продуктах (в том числе новых) и технологиях, с которыми SberDevices работает и которые создаёт – и приглашаем вас его посмотреть.
Читать дальше →
Всего голосов 19: ↑15 и ↓4 +11
Комментарии 0

Умный дом Sber теперь поддерживает протокол MQTT, в том числе для DIY

Время прочтения 2 мин
Просмотры 3K
Блог компании SberDevices Умный дом Интернет вещей DIY или Сделай сам Голосовые интерфейсы *

Раньше к платформе умного дома Sber можно было подключиться только через облако, теперь появилась возможность управлять и проводными умными домами через протокол MQTT — с помощью виртуальных ассистентов Салют и одноимённого мобильного приложения. Причём в рамках одной системы можно объединить как устройства проводного умного дома, так и беспроводные, работающие по Wi-Fi, Bluetooth и ZigBee.  Подключить можно и системы умного дома от специализированных компаний — интеграторов, и созданные самостоятельно (DIY).

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 10