Как стать автором
Обновить

Google разработала модель ИИ LaserTagger с открытым исходным кодом, которая ускоряет генерацию текста

Время на прочтение 2 мин
Количество просмотров 2.9K
image

Исследователи из Google разработали LaserTagger, модель редактирования текста с открытым исходным кодом, которая предсказывает последовательность операций редактирования для преобразования исходного текста в конечный. Они утверждают, что LaserTagger менее подвержена ошибкам, проще обучается и быстрее выполняет операции.

LaserTagger использует тот факт, что при выполнении многих задач по генерации текста большая часть исходника, как правило, остается неизменной — необходимо изменить часть слов. Модель создает последовательность операций редактирования вместо реальных слов, таких как keep, delete, keep-addx или delete-addx.

Те слова, которые необходимо добавить к итоговому тексту, берут только из словаря, что предотвращает добавление произвольных слов. Кроме того, LaserTagger может прогнозировать операции редактирования параллельно с высокой точностью, обеспечивая сквозное ускорение по сравнению с моделями, которые выполняют операции последовательно. Исследователи отметили, что LaserTagger выполнял «сравнительно сильные» операции до 100 раз быстрее, чем базовая модель. Даже при обучении с использованием всего лишь нескольких сотен или нескольких тысяч обучающих примеров модель дала «разумные» результаты, которые можно было отредактировать вручную.

«Преимущества LaserTagger становятся еще более заметными при применении в больших масштабах, например, они могут улучшить формулировку голосовых ответов в некоторых сервисах, сокращая их длину и делая их менее повторяющимися», — заявили разработчики. — «Высокая скорость вывода позволяет подключить модель к существующему технологическому стеку… в то время как повышенная эффективность позволяет собирать обучающие данные для многих языков, что приносит пользу пользователям из разных стран».

Ранее в Google представили чат-бота, максимально похожего на человека. Meena — модель, работающая на основе нейросетей. По оценке Google, чат-бот способен достигнуть большей «человечности» в беседе по сравнению с другими моделями. Модель Meena имеет 2,6 млрд параметров и обучалась на 341 Гб текста. По сравнению другой известной моделью, OpenAI GPT-2, у Meena в 1,7 раза больше параметров, а объём данных для её обучения больше в 8,5 раз.
См. также: «Пичаи предупредил об угрозах ИИ и заявил о необходимости контроля технологии»
Теги:
Хабы:
+9
Комментарии 0
Комментарии Комментировать

Другие новости

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн