Как стать автором
Поиск
Написать публикацию
Обновить
212.77
Группа компаний X-Com
X-Com — крупный российский ИТ-холдинг

Как работает нейросеть Hailuo AI: оживляем статичные фото и создаем забавные видео по текстовому описанию

Время на прочтение8 мин
Количество просмотров3K
Во вселенной Гарри Поттера нейросетевое оживление фотографий уже давно существовало
Во вселенной Гарри Поттера нейросетевое оживление фотографий уже давно существовало

Все же видели то вирусное видео, где коты на котоолимпиаде соревнуются в прыжках в воду? Несмотря на то что этот ролик — плод деятельности ИИ, получилось и правда очень забавно. И вы, если хотите, можете сделать такое же, используя нейросеть Hailuo. Она позволяет сгенерировать видео по текстовому описанию или оживить фото, которые у вас уже есть.

Что за зверь такой Hailuo AI

Hailuo — это китайская нейросеть от студии MiniMax. Она позволяет превратить картинку в видео. Загружаете фото кота — получаете видео, где кот моргает, танцует, прыгает в бассейн и делает все, что захотите. Нет фотографии? Не проблема. Меняете режим на генерацию видео по текстовому описанию и пишете, что необходимо сгенерировать.

В отличие от Veo3, которая доступна исключительно за плату, главный плюс Hailuo — доступность. Сразу при регистрации вы получаете 500 кредитов. То есть вы сможете как минимум 20 видео сгенерировать бесплатно. Да, разрешение у них будет 768p, но в целом и это неплохо. На платных тарифах, само собой, условия лучше.

Их стоимость варьируется от $10 до $125 ежемесячно. Самый дешевый дает 1000 кредитов, возможность генерировать ролики в Full HD‑качестве и убирать с видео водяные знаки. Чем дороже план, тем больше кредитов вас ждет, а также более высокая скорость генерации видео, увеличенная продолжительность роликов и возможность ставить в очередь сразу несколько проектов.

По умолчанию видео, которые генерирует Hailuo, ограничены 6 секундами. Для платных подписчиков это будет уже 10 секунд. Но мой опыт показывает, что для того, чтобы получить удовольствие и порадовать других, хватит и базового тарифа.

Кейсы, которые будут вам доступны:

  • Оживлять семейные фото

  • Создавать движущиеся мемы

  • Делать контент для соцсетей

  • Просто развлекаться и удивлять друзей

  • Превращать рисунки в анимацию

Нейросеть работает в любом браузере и не требует иностранного IP‑адреса. Также есть и мобильное приложение, которое доступно в том числе и в российском App Store. Мне удобнее веб‑версия.

Hailuo: регистрация в нейросети для создания видео

Чтобы начать генерировать видео нейросетью, необходимо:

  • Открыть в браузере hailuoai.video и нажать «Sign in»;

  • Логиньтесь через Google, так проще всего: процедура занимает 10 секунд и никаких подтверждений по почте или проверок личности;

  • Все, можно пользоваться.

Начать генерировать видео можно сразу. Но, если хотите, можете посмотреть под строкой запросов примеры чужих роликов, сгенерированных Hailuo. Просто наводите мышкой на любую миниатюру — и видите сам ролик, а также промпт, который автор использовал для его создания. Даже открывать ничего не надо.

Если принцип понятен, переходите в раздел Create. Это, по сути, ключевое, что нам здесь нужно
Если принцип понятен, переходите в раздел Create. Это, по сути, ключевое, что нам здесь нужно

На странице генерации есть две основные вкладки:

  • Image to Video — для анимирования статичных изображений

  • Text to Video — для генерации видео по текстовому описанию

Есть еще вкладка Subject Reference, но непосредственно видео там не создается. Туда вы просто заливаете референсные изображения, если хотите, чтобы сделать видео с самим собой или чтобы ваш герой на разных на видео выглядел как‑то конкретно. Например, был похож на вас. Но обо всем по порядку.

Как анимировать фотографию: оживляем статику при помощи нейросети

Самая простая процедура — это анимирование фотографий. Заливаете снимок или картинку и пишете, что хотели бы получить на выходе. Говорят, что нейронка лучше всего понимает китайский, потом английский. Но русский язык тоже поддерживается в полной мере. Им я и пользовался.

В принципе, каких‑то особо сложных промптов для Hailuo выдумывать не нужно. Просто пишите как есть. Подойдет даже запрос типа «Пусть человек с фото встанет и выйдет из кадра, а на его место придет красивая девушка». Если не уверены, можете включить функцию улучшения промптов, и при необходимости нейросеть сама его дополнит.

Тут можно выбрать модель
Тут можно выбрать модель

После написания запроса можно выбрать языковую модель. Всего их 4:

  • Hailuo AI I2V-01-Live — для создания живых анимаций из изображений.

  • Hailuo AI T2V-01 — базовая модель для генерации видео из текста.

  • Hailuo T2V-01 Director — продвинутая модель с точным контролем движений камеры.

  • Hailuo 02 — новейшая версия с улучшенными возможностями

Сложно сказать однозначно, какая из них лучше в быту. Подозреваю, что для базовых запросов большой разницы практически нет. Профи говорят, что в режиме Director нейронка лучше слушается команд по направлению и «углу атаки» камеры. Но поскольку она сама по себе довольно умна, хороший результат можно получить, используя любую модель.

Вариантов, что можно сделать с фотографиями, великое множество:

  • Заставьте дедушку подмигнуть с довоенного снимка

  • Сделайте так, чтобы бабушка помахала рукой

  • Оживите давно умерших домашних питомцев

Главное — не переборщить с драматизмом. Родственники могут отреагировать неоднозначно на слишком реалистичные результаты.

Кроме того, Hailuo подходит для создания анимированных карточек для маркетплейсов. С его помощью можно:

  • Оживлять фото товаров

  • Создавать необычные сторис

  • Создавать анимированные аватары

  • Придумать серию связанных видео

Главное — использовать четкие, хорошо освещенные фотографии. Слишком сложные композиции могут запутать алгоритм.

А видом можно управлять при помощи пресетов. Нажимаете на иконку камеры под строкой запроса и выбираете ракурс и движение камеры. Каждый пресет имеет свое кинематографическое название, но разработчики предусмотрели визуализацию каждого эффекта, поэтому не запутаетесь. Когда выберете, просто кликаете по нему мышью, и он применится.

Справа видно, как было анимировано изображение
Справа видно, как было анимировано изображение

В принципе, такие эффекты сами по себе могут стать промптом. Например, я добавил сразу два, ничего не дописывал, и получил из статичной фотографии с яхты очень классное видео, которое как будто бы снял FPV-дрон.

Это оригинал фото
Это оригинал фото
А это кадр с видео
А это кадр с видео

В среднем генерация видео нейросетью занимает около 5 минут, но — скорее всего это зависит от нагрузки — может быть увеличена. Правда, ждать намного дольше мне практически никогда не приходилось, хотя бывало, что нейронка прогнозировала ожидание на уровне и 27, и 160 минут. Опять же допускаю, что таким образом просто продвигают платную подписку, где процесс требует куда меньше времени.

Чтобы ускорить процесс создания видео, есть несколько полезных хитростей:

  • Экспериментируйте ночью — меньше очередь

  • Готовьте несколько запросов заранее

  • Начинайте с простых промптов

Генерация видео по текстовому описанию

Генерация изображений с нуля по текстовому описанию — процедура чуть более сложная, но не менее интересная с точки зрения получаемого результата. Вообще, можно написать всякую чушь. Например: «Много котят прыгают на голову пожилой русской женщины перед советским домом [shake]» (здесь shake в квадратных скобках — это тег, активирующий потрясывание камеры). Именно такие запросы часто дают самые интересные результаты.

В целом, есть немало кейсов, которые почти всегда работают:

  • Животные в неожиданных ситуациях

  • Превращения одного в другое

  • Разрушения и взрывы (виртуальные, конечно)

  • Любые фантастические сценки

Поросята-биатлонисты получились у нейросети весьма неплохо
Поросята-биатлонисты получились у нейросети весьма неплохо

Правда, тут промпт уже более важен, и лучше, чтобы он был написан по‑английски. Если английский хромает, пользуйтесь переводчиком. Хотя, если честно, я с самого начала пользовался русским языком.

Куда важнее языка — правильно задать структуру и прописать:

  1. Главный объект (кто или что)

  2. Действие (что происходит)

  3. Место (где это случается)

  4. Работа камеры (как снимаем)

Движение камеры сильно улучшает результат. Их можно прописывать просто словами:

  • Камера двигается

  • Приближение/отдаление камеры

  • Дрожащая камера

  • Замедленная съемка

Неплохо общему настроению видео помогает уточнение эмоций:

«Женщина, снятая крупным планом через плечо, сначала она смеется, потом ей становится грустно, потом она начинает плакать, потом закрывает лицо руками»

Hailuo в целом славится реалистичной передачей эмоций. Люди в интернете принимали такие видео за настоящие съемки.

Пример: «Мужчина XIX века складывает вещи в чемодан». Получается детально и убедительно.

Красивый пейзаж: «Вид на горы издалека на закате, камера медленно движется к вершине, оранжевые и фиолетовые облака».

Забавная ситуация: «Кот пытается поймать точку от лазерной указки, но с разочарованным выражением лица продолжает промахиваться».

Еще можно добавлять фразы «превращение» или «разрешение». Получается весьма кинематографичненько.

Другие полезные добавки:

  • Больше деталей

  • Красивое освещение

  • Драматичность

  • Игривость, причудливость

Как сгенерировать видео с конкретным человеком

Выше мы уже упоминали режим Subject Reference. Он нужен для работы с людьми, или, если хотите, персонажами. Чтобы герой ваших роликов не менялся (допустим, делаете серию видео), необходимо познакомить их с нейросетью. Для этого вы загружаете сюда фото человека, и Hailuo запоминает его лицо. После этого можете создавать разные сценки с этим же персонажем.

Тут я взял фото Варвары Щербаковой с концерта и написал простенький промпт, заставив ее играть на гитаре
Тут я взял фото Варвары Щербаковой с концерта и написал простенький промпт, заставив ее играть на гитаре

Спросите, чем это отличается от анимирования фотографий? Ключевое отличие состоит в том, что в случае с Subject Reference просто сохраняются черты лица основного персонажа, но можно поменять его окружение, одежду и генерировать действия согласно промпту. А при анимировании нейронка жестко ограничена реалиями фотографии, которую ей приходится оживлять.

Поэтому тут при написании промпта важно не ограничиваться простыми фразами типа «человек двигается» или даже «поворачивается к камере, удивленно поднимает брови и улыбается». Берите что‑нибудь посерьезнее. Допустим, «выступает на сцене с гитарой в кожаной куртке» или «превращается в робота в заброшенной лаборатории». Отсутствие понимания этого момента довольно сильно мешало мне на первых порах. Я потратил больше полутора сотен ракушек, прежде чем начал действовать правильно.

Как правильно генерировать видео по запросу нейросети: распространенные ошибки

Чаще всего, если видео получается не так, как вам бы хотелось, пересмотрите промпт. Возможно, какие‑то формулировки путают нейросеть.

В целом она довольно плохо понимает сложные последовательности действий. Лучше описывать что‑то одно: либо кот прыгает, либо чашка падает.

Примеры ошибок:

  • Слишком много действий в одном видео

  • Грамматические ошибки

  • Физически невозможные ситуации

  • Размытые, абстрактные описания

Тут дельфин лег на землю прямо в лыжах. Физически невозможная ситуация для нейросети, и она не поняла, как верно ее отработать
Тут дельфин лег на землю прямо в лыжах. Физически невозможная ситуация для нейросети, и она не поняла, как верно ее отработать

Как исправить:

  • Разбивайте сложные сцены на простые

  • Проверяйте текст в переводчике (если пишете на английском)

  • Учитывайте законы физики

  • Прописывайте желаемые детали, которые нейросеть не может додумать за вас

Нейросети для создания видео

Конечно, Hailuo — не единственный сервис для генерации видео и оживления фотографий. Кроме него есть куча разных нейронок:

  • Qwen

  • Runway

  • Veo3

  • Sora

  • Kling

Но, как по мне, именно Hailuo — это один из лучших способов познакомиться с этим явлением бесплатно. У нейронки простой интерфейс, а результаты, которые вы можете получить, действительно забавные. Даже если не планируете серьезно заниматься контентом, попробовать все равно стоит ради развлечения.

Главное — не ждите идеальных результатов с первого раза. Умение «разговаривать» с нейросетью приходит с опытом. Зато когда освоитесь, сможете создавать по‑настоящему крутые вещи из любых картинок. А там и о платной подписке можно задуматься.

Теги:
Хабы:
+10
Комментарии7

Публикации

Информация

Сайт
www.xcom.ru
Дата регистрации
Дата основания
2001
Численность
501–1 000 человек
Местоположение
Россия