Pull to refresh

Разработчики выпустили ToonCrafter — нейросеть для генерации анимационных видео

Reading time1 min
Views5.6K

Разработчики опубликовали нейросеть ToonCrafter, которая интерполирует два мультипликационных кадра, заполняя хронометраж между ними. В итоге получаются короткие анимационные видео.

ToonCrafter поддерживает несколько режимов генерации:

  • в базовом режиме пользователь передаёт на вход начальный и конечный кадры анимации и получает короткий ролик;

  • вместе с кадрами можно передать скетч с пошаговой анимацией, чтобы нейросеть использовала его в качестве шаблона;

  • можно передать скетч с пошаговой анимацией и один готовый кадр в качестве референса, а нейросеть раскрасит набросок, используя цвета из примера.

Пока ToonCrafter может генерировать видео с разрешением 320×512 пикселей. Длительность не может превышать 16 кадров.

Код нейросети написан на Python и опубликован на GitHub и на платформе Hugging Face. Энтузиасты подготовили Jupiter для удобной работы с моделью и загрузили блокнот в сервис Google Colab.

Tags:
Hubs:
If this publication inspired you and you want to support the author, do not hesitate to click on the button
Total votes 6: ↑6 and ↓0+10
Comments6

Other news