Про то, как я оцифровал себя без ИИ, чтобы стать видеоблогером

[iONHOLM]

О У Ю в одну отдельную имхо.

Внешне почти одинаково, внутри отличаются.

[oe_2108]

Да, согласен, визуально это близкие формы.

У/Ю и О/Ё у меня разделены не из строгой фонетики, а скорее эмпирически: хотелось, чтобы у стилизованного аватара рот не залипал в одном округлённом состоянии.

Понятно, что основные различия там больше “внутри” артикуляции: язык, положение во рту, сам звук. Но на скринах мне всё же показалось, что разницу можно чуть подчеркнуть.

Благо в системе это просто таблица соответствий, так что такие группы легко объединять/разносить без перестройки пайплайна.

:

[shovdmi]

А где ссылка на примеры результата? В статье даже нет "подписывайтесь на мой телеграмм канал"

[oe_2108]

я постеснялся в статье такое делать)

но если будут желающие изучить, то вот ссылки:

ютуб, тут будет продолжение видосов в формате из статьи:
https://www.youtube.com/@oe_2108

телега, тут агрегатор вообще всех записей примерно за полгода (личное, работа, наблюдения):
https://t.me/life_2108

тредс, где я больше шучу, чем душню:
https://www.threads.com/@oe_2108

[prohetamine]

Выглядит довольно крипово, но как формат очень даже свежо.

[JerryI]

как стать видеоблогером, если я не умею сидеть перед камерой, не люблю долгий техпроцесс создания видео и в принципе не обладаю свободным временем, чтобы выделять отдельный день на съёмку и монтаж?

1. выберете другое хобби
2. Directed by Robert B. Weide

[warus]

вали искусно деревья каменным топором неделю, человек бездарно изобретёт бензопилу и потратит на бревно 5 минут.

[Zhabrozavr]

А что - креативно, выразительно, нестандартно, а что еще нужно?

Вот что напомнило https://youtu.be/OJWJE0x7T4Q?si=nct393XbkPHLbMoW

Но я лично не замечаю проблем с киногеничностью.

[KEugene]

"Это не крипово... Это не крипово?! Ну извините..." (с)

[programania]

Тоже сделал анимацию фото с речью в браузере. Только вместо After Effects использую webGL, которая двигает ключевые точки. Голос из wav, mp3 или создаётся Speech Api по тексту. Звук заранее не размечается. Анимация просто по громкости. Все движения определяются программно в JS, поэтому анимацию можно усилить или ускорить и т.д. Демо: https://prog-mania.github.io/fani/ Там чтобы браузер разрешил звук нужно пометить “Говорить”.

[oe_2108]

Интересно, спасибо.

Если я правильно понял, у вас движение лица строится по громкости аудио и деформации ключевых точек. Я как раз сознательно уходил от такого подхода, когда делал свой велосипед.

Это было первое, что я попробовал, но пришёл к выводу, что так сложно передать даже базовую артикуляцию: рот не принимает характерные формы под разные звуки.

Поэтому в итоге вернулся к классической логике аниматоров прошлого века — набору заранее подготовленных состояний. Как ни странно, она всё ещё выглядит заметно живее.

Особенно на стилизованных и мультяшных персонажах.

На скрине — пример из The Animator’s Survival Kit Ричарда Уильямса:

[niktor_mpt]

Прикольный проект!

Взлетел бы с синтетической телефонией в части делания к ней приставки "видео-"! :)

Усиливать маскировку "зловещей долины" не планируете?

Например, если пофантазировать, то покрутить слегка лицом с фиксированной артикуляцией, глаза поприщуривать, ушами пошевелить, носом прошмыгать.

И посмотреть, какие функции преобразования базового кадра в смещённые, какое пространство параметров. А потом случайным образом выбирать точку в пространстве параметров вариаций и генерить соответствующий кадр.

Вся магия в нахождении искомых функций, но, наверное, задачу уже решали. Видео кодеки или что посложнее. Или, простигосподи, нейросетки натренировать.

[oe_2108]

Спасибо за прекрасные идеи!

Ирония в том, что в значительной степени я уже к этому пришёл: моргание, мимика, смена глаз и головы, жесты, движения. Только реализовал это не через случайную процедурную деформацию изображения, а через контролируемые заранее подготовленные состояния, которые расставляю в сценарии тегами.

Безусловно, докручивать ещё есть что. Пожалуй, некоторые микродвижения попробую сделать через Puppet Tool в After Effects — например, лёгкое покачивание головы.

Но тут важно не скатиться обратно в покадровую анимацию и долгое время сборки. В статье я этого не указал, но уже сейчас генерация анимации лица занимает около 3–4 минут. Если добавить более сложные деформации, подозреваю, что сборка легко растянется до десяти.

Пока я пришёл к выводу, что выгоднее тратить это время на верхнюю часть ролика — слайды, визуальные шутки и контекст. Именно там находится основная смысловая и авторская работа.

Но немного процедурной живости точно ещё попробую добавить.