GigaChat Max Audio поддерживает контекст 128 тысяч токенов, из которых 65 тысяч могут быть модальностями (аудиозаписи, изображения). 65 тысяч аудио токенов соответствуют примерно 170 минутам звука.
Пока это ограничение нашего инференс-сервера, сама модель способна обрабатывать и 3+ часа звука. Мы планируем расширить лимит в ближайших обновлениях.
Касательно галлюцинаций я бы сказал, что не часто, но, конечно, есть над чем работать. Основными проблемами были:
смещение в сторону задачи распознавания речи — вместо ответа на запрос пользователя, модель просто повторяла его.
странное поведение на пустых / коротких аудиозаписях — например, модель могла вызвать функцию рисования.
Обе эти проблемы мы решали обучающими данными на этапе Audio SFT.
Модели GigaAM не стоит применять к длинным записям как есть, поскольку:
возможны out-of-memory ошибки из-за аллокации больших тензоров
предобучение и дообучение происходило на записях длительностью до 30 секунд, на длинных записях возможна деградация качества из-за сдвига распределения
Для обработки длинных аудиозаписей мы добавили пример распознавания с использованием Voice-Activity-Detection модели:
Видно, что Word Error Rate модели GigaAM-RNNT на 27% ниже, скорость распознавания выше, потребление памяти ниже
Сейчас наши модели распознавания действительно предсказывают текст без знаков препинания и в нижнем регистре. Рассмотрим добавление этих компонент в следующих релизах, спасибо!
Для данной статьи ablation study не проводили. Предобучали энкодер в wav2vec2 режиме, поскольку имеем большой опыт стабилизации обучения с этим подходом
В настоящий момент экспериментируем с Predictive-подходами. Планируем скоро поделиться результатами :)
Мы использовали минимальную подготовку данных: понижение регистра, замена ё на е. Применяли такие преобразования, поскольку предлагаемая нами модель и NeMo Conformer транскрибируют речь с таким словарем символов
В данный момент нет, но скоро добавим
Следите за обновлениями в канале
GigaChat Max Audio поддерживает контекст 128 тысяч токенов, из которых 65 тысяч могут быть модальностями (аудиозаписи, изображения). 65 тысяч аудио токенов соответствуют примерно 170 минутам звука.
Пока это ограничение нашего инференс-сервера, сама модель способна обрабатывать и 3+ часа звука. Мы планируем расширить лимит в ближайших обновлениях.
Касательно галлюцинаций я бы сказал, что не часто, но, конечно, есть над чем работать. Основными проблемами были:
смещение в сторону задачи распознавания речи — вместо ответа на запрос пользователя, модель просто повторяла его.
странное поведение на пустых / коротких аудиозаписях — например, модель могла вызвать функцию рисования.
Обе эти проблемы мы решали обучающими данными на этапе Audio SFT.
Модели GigaAM не стоит применять к длинным записям как есть, поскольку:
возможны out-of-memory ошибки из-за аллокации больших тензоров
предобучение и дообучение происходило на записях длительностью до 30 секунд, на длинных записях возможна деградация качества из-за сдвига распределения
Для обработки длинных аудиозаписей мы добавили пример распознавания с использованием Voice-Activity-Detection модели:
colab
github
Также мы подготовили модель GigaAM-RNNT, Word Error Rate которой в среднем на 20% ниже относительно GigaAM-CTC:
Сравнили потребление памяти, скорость и качество распознавания на длинных аудиозаписях на датасете Russian LibriSpeech (аудиокниги):
Видно, что Word Error Rate модели GigaAM-RNNT на 27% ниже, скорость распознавания выше, потребление памяти ниже
Сейчас наши модели распознавания действительно предсказывают текст без знаков препинания и в нижнем регистре. Рассмотрим добавление этих компонент в следующих релизах, спасибо!
Имел в виду, что пользоваться либо telegram-ботом, либо desktop-приложением / API
Модель из бота сейчас доступна только в боте
Ваш запрос увидели, спасибо!
В настоящий момент в SaluteSpeech API доступна опция разделения дикторов:
SpeakerSeparationOptionsРанее мы писали техническую статью с деталями реализации и примерами возможностей этой технологии: Как мы сделали распознавание речи нескольких говорящих
Запрос на диаризацию увидели, спасибо :)
На данный момент модели действительно отличаются. Стоит использовать ту, которая лучше решает ваши задачи
Спасибо!
Для данной статьи ablation study не проводили. Предобучали энкодер в wav2vec2 режиме, поскольку имеем большой опыт стабилизации обучения с этим подходом
В настоящий момент экспериментируем с Predictive-подходами. Планируем скоро поделиться результатами :)
Мы использовали минимальную подготовку данных: понижение регистра, замена
ёнае. Применяли такие преобразования, поскольку предлагаемая нами модель и NeMo Conformer транскрибируют речь с таким словарем символов