Google разработала модель ИИ LaserTagger с открытым исходным кодом, которая ускоряет генерацию текста

    image

    Исследователи из Google разработали LaserTagger, модель редактирования текста с открытым исходным кодом, которая предсказывает последовательность операций редактирования для преобразования исходного текста в конечный. Они утверждают, что LaserTagger менее подвержена ошибкам, проще обучается и быстрее выполняет операции.

    LaserTagger использует тот факт, что при выполнении многих задач по генерации текста большая часть исходника, как правило, остается неизменной — необходимо изменить часть слов. Модель создает последовательность операций редактирования вместо реальных слов, таких как keep, delete, keep-addx или delete-addx.

    Те слова, которые необходимо добавить к итоговому тексту, берут только из словаря, что предотвращает добавление произвольных слов. Кроме того, LaserTagger может прогнозировать операции редактирования параллельно с высокой точностью, обеспечивая сквозное ускорение по сравнению с моделями, которые выполняют операции последовательно. Исследователи отметили, что LaserTagger выполнял «сравнительно сильные» операции до 100 раз быстрее, чем базовая модель. Даже при обучении с использованием всего лишь нескольких сотен или нескольких тысяч обучающих примеров модель дала «разумные» результаты, которые можно было отредактировать вручную.

    «Преимущества LaserTagger становятся еще более заметными при применении в больших масштабах, например, они могут улучшить формулировку голосовых ответов в некоторых сервисах, сокращая их длину и делая их менее повторяющимися», — заявили разработчики. — «Высокая скорость вывода позволяет подключить модель к существующему технологическому стеку… в то время как повышенная эффективность позволяет собирать обучающие данные для многих языков, что приносит пользу пользователям из разных стран».

    Ранее в Google представили чат-бота, максимально похожего на человека. Meena — модель, работающая на основе нейросетей. По оценке Google, чат-бот способен достигнуть большей «человечности» в беседе по сравнению с другими моделями. Модель Meena имеет 2,6 млрд параметров и обучалась на 341 Гб текста. По сравнению другой известной моделью, OpenAI GPT-2, у Meena в 1,7 раза больше параметров, а объём данных для её обучения больше в 8,5 раз.
    См. также: «Пичаи предупредил об угрозах ИИ и заявил о необходимости контроля технологии»

    Комментарии 0

    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

    Самое читаемое