21 апреля 2022 года команда разработчиков SberDevices представила многоязычную версию нейросети GPT-3 под названием mGPT. Она может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ.
«Сбер» уточнил, что mGPT — это первая в мире генеративная модель, которая поддерживает такое количество языков.
Модель mGPT доступна в двух версиях:
- базовой версии с 1,3 миллиарда параметров, опубликованной в открытом доступе в облачном хранилище сервиса «СберДиск»;
- расширенной версии с 13 миллиардами параметров, которая скоро станет доступна на платформе машинного обучения ML Space от SberCloud.
«Сбер» рассказал, что модель mGPT может использоваться как просто для генерации текста, так и для решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путем дообучения или в составе ансамблей моделей.
Разработчики уточнили, что модель mGPT показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу. Это может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и тому подобное.
«Сбер» раскрыл, что модель mGPT может также использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи, генерации сценариев диалоговых систем и других задачах.
Полный перечень языков, доступный в модели mGPT: азербайджанский, английский, арабский, армянский, африкаанс, баскский, башкирский, белорусский, бенгали, бирманский, болгарский, бурятский, венгерский, вьетнамский, голландский, греческий, грузинский, датский, иврит, индонезийский, испанский, итальянский, йоруба, казахский, калмыцкий, киргизский, китайский, корейский, латышский, литовский, малайский, малаялам, маратхи, молдавский, монгольский, немецкий, осетинский, персидский, польский, португальский, румынский, русский, суахили, таджикский, тайский, тамильский, татарский, телугу, тувинский, турецкий, туркменский, узбекский, украинский, урду, финский, французский, хинди, чувашский, шведский, якутский, японский.
В 2020 году «Сбер» представил русскоязычную версию нейросети GPT-3, именно она используется в двух виртуальных ассистентах семейства «Салют» от «Сбера». Русскоязычная версия GPT-3, разработанная «Сбером», доступна на платформе SmartMarket.
В ноябре 2021 года «Сбер» обучил нейросеть ruGPT-3 автоматически писать код и назвал эту функцию JARVIS.
С 13 апреля GitHub начал блокировку аккаунтов команд разработчиков «Сбера» и «Альфа-Банка», включая большую часть их открытых репозиториев из-за необходимости соблюдать санкции.
В «Сбере» прокомментировали, что оставят все open-sourсe модели в открытом доступе, сейчас команды переносят их в другие репозитории.
Многие ссылки на портале разработчиков «Сбера» на GitHub теперь ведут на заглушку с ошибкой 404.
Не заблокированы:
- Sber AI — на GitHub;
- ruDALL-E — на GitHub;
- Russian GPT-3 models — GitHub.
Заблокированы:
- большая часть ссылок на открытом портале Open Source от разработчиков «Сбера»;
- SberDevices ;
- Sberbank AI Lab;
- Open source software developed by Sberbank-Technology.
