Golos — самый большой русскоязычный речевой датасет, размеченный вручную, теперь в открытом доступе

[snakers4]

Вместе с датасетом, Сбер недавно также опубликовал свою систему распознавания речи. Хотел бы поделиться с Хабром нашим ультимативным исследованием-сравнением коммерческих систем распознавания речи — https://habr.com/ru/post/559640/

[snakers4]

Для того, чтобы избавиться от таких символов, но сохранить данные, мы вновь прибегаем к платформе разметки

Хм, транслитерация несложно делается алгоритмами вроде, разве нет?

[AlexanderDenisenko]

Конечно, мы пробовали системы автоматической транслитерации — хотя и в основном для других целей, нежели для генерации точной транскрипции на кириллице. Качество нас не устроило, на таком было бы не сделать хороший ASR-датасет, мы хотим иметь максимально чистый датасет. Нас интересует в первую очередь транскрипция именно того, что произнесено на аудиозаписи. Если речь заходит о музыкальных исполнителях — то ни у какой системы автоматической транслитерации нет шансов, нужно слушать аудиозапись.
Следующие исполнители/песни как экстремальный пример: 24kGoldn, 6lack, xo tour llif3.

[snakers4]

На текущий момент это самый большой корпус аудиозаписей на русском языке

Еще есть датасет Open STT — https://github.com/snakers4/open_stt

Я ни в коем случае на умаляю ваших достижений, 1,000 часов это круто с учетом того, что вы только что запилили свой сервис (Яндекс много лет имеет свой ASR, но полезных публикаций за ними не замечено), но буду откровенен — на фоне триллионов рублей влитых в Сбер из ФНБ и релизов западных коллег, выглядит не очень впечатляюще.

[AlexanderDenisenko]

Ну почему же вы отрезаете часть предложения? Оно выглядело так ;)

На текущий момент это самый большой корпус аудиозаписей на русском языке, размеченный вручную

[2PAE]

Вот как бы это всё прикрутить к FBreader? И слушать электронные книжки?

[AlexanderDenisenko]

Обученная модель, которую мы выложили в открытый доступ, это модель распознавания речи (ASR, Speech-To-Text).
Если хочется слушать книжки — то можно обучить на этих данных свою Text-To-Speech модель — хотя это может быть нетривиально, ведь тут большое количество разных спикеров. Либо можно попробовать TTS-модель от Сбера на https://sberdevices.ru/smartspeech/

[AigizK]

А сколько уникальных голосов? И не проводили эксперименты, какое уникальное количество голосов начинает давать приемлемый результат?

[AlexanderDenisenko]

Количество уникальных голосов — тысячи, мб есть 10 тысяч.
Неа, такие эксперименты не проводили

[JPasha]

Господа, пара вопросов.
1. Правильно ли я понимаю, что crowd-домен это записи микрофонного качества, сделанные на гарнитуру или микрофон ноутбука? Были ли какие то требования к таким записям?
2. «Для экспериментов с ограниченным числом записей мы выделили подмножества меньшей длины»
В чем смысл экспериментов? Отражена ли как то эта информация в опубликованном датасете?
3. При обучении акустики на ru-english слова используете ли вы информацию об ударении, сделанном диктором непосредственно в данной записи?

[AlexanderDenisenko]

Добрый день!

1. Эти записи получены со смартфонов, никаких особенных ограничений мы не накладывали
2. В датасете есть отдельные tsv-файлы для 100/10/1 часов и 10 минут. Это сделано, например, для того, чтобы погонять пробные эксперименты и быть уверенным в своих пайплайнах перед запуском обучения на всём датасете
3. Нет, мы никак не используем информацию об ударении

[JPasha]

Спасибо. Исчерпывающе.

[GZamza]

На текущий момент это самый большой корпус аудиозаписей на русском языке, размеченный вручную.
Но на гите только аудио, акустическая и языковая модель. Нет файлов аннотации. В чём тогда польза для сообщества от ручной разметки?

[AlexanderDenisenko]

Добрый день! В архивах есть jsonl-файлы, содержащие аннотацию