В OpenAI представили нейросеть на основе GPT-3, которая способна генерировать краткие изложения книг. Разработчики отмечают, что подобные модели нужны для контролируемого масштабирования систем искусственного интеллекта. Работа данной нейросети покажет, насколько она справляется с работой, которую. обычно выполняют люди.
В OpenAI отметили, что решение проблемы согласования должно работать с задачами, оценка результатов которых для людей затруднительна или отнимает много времени.
Новая нейросеть работает, сначала суммируя небольшие разделы книги, а затем объединяя эти резюме в краткое изложение. Среднее качество пересказа получило оценку 6/7 от людей, которые читали книгу в 5 % случаев, и оценку 5/7 в 15 % случаев. Модель OpenAI показывает достойные результаты по набору данных BookSum для кратких изложений.
Исследователи говорят, что обычно большие предварительно обученные модели не очень подходят для резюмирования. Однако обучение модели с помощью обучения с подкреплением на основе отзывов людей помогло согласовать ее сводные данные с человеческими предпочтениями для резюме. Для составления краткого изложения книги разработчики применили метод рекурсивной декомпозиции задач, разбив сложную задачу на более простые.
По сравнению с процедурой сквозного обучения рекурсивная декомпозиция задачи позволяет людям быстрее оценивать части резюме по каждому из отрывков книги, а также легче проследить процесс написания краткого изложения.
Как обещают в OpenAI, данный метод может быть использован для подготовки резюме книг неограниченной длины.
Компания, однако, подчеркивает, что краткое изложение книги моделью недостаточно связно. Как правило, оно выглядит как список событий, а не связное резюме, которое мог бы написать человек. Кроме того, модель иногда генерируют
неточные утверждения из-за отсутствия контекста. Исследователи предполагают, что проблемы можно частично решить, изучив процедуру декомпозиции, а не используя фиксированный алгоритм.
Данная работа стала частью исследований компании по оценке работы передовых систем искусственного интеллекта, которые учатся выполнять все более сложные задачи.
В июне исследователи из Пекинской академии искусственного интеллекта объявили о выпуске собственной генеративной модели глубокого обучения, Wu Dao, которая способна конкурировать и даже превзойти GPT-3 от OpenAI. Wu Dao 2.0 обучена на 1,75 трлн параметров и примерно в десять раз больше, чем GPT-3 (175 млрд). Она превзошла также Google Switch Transformer с 1,6 трлн параметров. Модель обучали на китайском и английском языках на 4,9 терабайт изображений и текстов.
Исследователи продемонстрировали способности модели выполнять задачи по обработке естественного языка, генерации текста, распознаванию изображений и созданию изображений. Модель может не только писать эссе, стихи и двустишия на китайском языке, но и генерировать альтернативный текст на основе статического изображения и почти фотореалистичные изображения на основе описаний на естественном языке. Wu Dao также продемонстрировал свою способность предсказывать трехмерные структуры белков, таких как AlphaFold.
