Исследователи разработали систему AI, которая может автоматически превращать написанные истории в комиксы в стиле манги. Система, названная DiffSensei, способна сохранять постоянный внешний вид персонажей и контролировать макеты страниц на протяжении всей истории.
Проект является результатом сотрудничества Пекинского университета, Шанхайской лаборатории AI и Наньянского технологического университета. DiffSensei сочетает модели диффузии с крупными языковыми моделями для обработки как визуальных, так и повествовательных элементов создания манги.
Для демонстрации возможностей системы команда создала вымышленную мангу о пионерах AI Джеффри Хинтона, Яна Лекуна и Йошуа Бенжио. История следует за их стремлением разработать модель AI, которая сможет превосходить архитектуру Transformer, запечатляя их борьбу, сомнения в себе и окончательную победу, завершившуюся вручением Нобелевской премии спустя несколько лет.
Система использует мультимодальные модели и LoRA для поддержания внешнего вида персонажей. Она создаёт мангу в три этапа: генерация макетов страниц, рисование персонажей и добавление диалогов.
Для обучения DiffSensei исследователи создали собственный набор данных под названием MangaZero, содержащий более 43 000 страниц манги и 427 000 отдельных панелей из 48 различных серий. Каждая панель была тщательно аннотирована для обозначения позиций персонажей и размещения диалогов — детали, которые, по словам команды, являются важными для правильной работы системы.
Система пока не идеальна. Она испытывает трудности, когда изображения персонажей нечеткие, и иногда похожие персонажи сливаются вместе неожиданных образом. Без конкретных ссылок на персонажей графика имеет тенденцию выглядеть общепринято, а не соответствовать определённому стилю манги.
Несмотря на эти ограничения, исследователи считают, что DiffSensei может помочь оптимизировать производство манги в будущем. Технология предоставляет художникам, издателям и создателям новый инструмент для создания персонализированных историй манги при сохранении контроля над персонажами и макетами страниц.
Команда исследователей разместила больше примеров и свой набор данных на странице проекта DiffSensei.