Тут, думаю, вопрос сложнее. Результат работы модели не обязательно является буквальной копией чужого кода, но степень контроля и владения действительно становится менее очевидной. Особенно когда ты зависишь не только от обучающих данных, но и от чужой модели, лицензии и правил сервиса. Это как раз ещё один слой той самой аренды.
У меня сейчас примерно так же - ИИ прежде всего ускоряет работу и снимает часть рутины. Меня тревожит не столько конкуренция с человеком, сколько постепенная потеря собственной автономности. Пока без инструмента я просто работаю медленнее - всё нормально. Интереснее становится в момент, когда без него я уже не могу выполнить ту же работу вообще.
Первым делом. Не подошло от слова совсем - слабая кастомизация, нет скриптинга, неудобный формат постмонтажа. По сути это съёмка на камеру с фильтром - куча дублей и перезаписей звука.
Ирония в том, что в значительной степени я уже к этому пришёл: моргание, мимика, смена глаз и головы, жесты, движения. Только реализовал это не через случайную процедурную деформацию изображения, а через контролируемые заранее подготовленные состояния, которые расставляю в сценарии тегами.
Безусловно, докручивать ещё есть что. Пожалуй, некоторые микродвижения попробую сделать через Puppet Tool в After Effects — например, лёгкое покачивание головы.
Но тут важно не скатиться обратно в покадровую анимацию и долгое время сборки. В статье я этого не указал, но уже сейчас генерация анимации лица занимает около 3–4 минут. Если добавить более сложные деформации, подозреваю, что сборка легко растянется до десяти.
Пока я пришёл к выводу, что выгоднее тратить это время на верхнюю часть ролика — слайды, визуальные шутки и контекст. Именно там находится основная смысловая и авторская работа.
Но немного процедурной живости точно ещё попробую добавить.
Если я правильно понял, у вас движение лица строится по громкости аудио и деформации ключевых точек. Я как раз сознательно уходил от такого подхода, когда делал свой велосипед.
Это было первое, что я попробовал, но пришёл к выводу, что так сложно передать даже базовую артикуляцию: рот не принимает характерные формы под разные звуки.
Поэтому в итоге вернулся к классической логике аниматоров прошлого века — набору заранее подготовленных состояний. Как ни странно, она всё ещё выглядит заметно живее.
Особенно на стилизованных и мультяшных персонажах.
На скрине — пример из The Animator’s Survival Kit Ричарда Уильямса:
У/Ю и О/Ё у меня разделены не из строгой фонетики, а скорее эмпирически: хотелось, чтобы у стилизованного аватара рот не залипал в одном округлённом состоянии.
Понятно, что основные различия там больше “внутри” артикуляции: язык, положение во рту, сам звук. Но на скринах мне всё же показалось, что разницу можно чуть подчеркнуть.
Благо в системе это просто таблица соответствий, так что такие группы легко объединять/разносить без перестройки пайплайна.
Тут, думаю, вопрос сложнее. Результат работы модели не обязательно является буквальной копией чужого кода, но степень контроля и владения действительно становится менее очевидной. Особенно когда ты зависишь не только от обучающих данных, но и от чужой модели, лицензии и правил сервиса. Это как раз ещё один слой той самой аренды.
У меня сейчас примерно так же - ИИ прежде всего ускоряет работу и снимает часть рутины. Меня тревожит не столько конкуренция с человеком, сколько постепенная потеря собственной автономности. Пока без инструмента я просто работаю медленнее - всё нормально. Интереснее становится в момент, когда без него я уже не могу выполнить ту же работу вообще.
Что-то точно будет меняться.
Это первый и совершенно дикий эксперимент, который привёл меня к текущему MVP)
Уже понял пару фундаментальных вещей, которые надо будет править в архитектуре сборки.
Заодно продолжу экспериментировать с мимикой рта.
Первым делом. Не подошло от слова совсем - слабая кастомизация, нет скриптинга, неудобный формат постмонтажа. По сути это съёмка на камеру с фильтром - куча дублей и перезаписей звука.
Делал ровно такое же в своём тг-помощнике, но у меня он отыгрывал роль TARS из Интерстеллар)
Спасибо за прекрасные идеи!
Ирония в том, что в значительной степени я уже к этому пришёл: моргание, мимика, смена глаз и головы, жесты, движения. Только реализовал это не через случайную процедурную деформацию изображения, а через контролируемые заранее подготовленные состояния, которые расставляю в сценарии тегами.
Безусловно, докручивать ещё есть что. Пожалуй, некоторые микродвижения попробую сделать через Puppet Tool в After Effects — например, лёгкое покачивание головы.
Но тут важно не скатиться обратно в покадровую анимацию и долгое время сборки. В статье я этого не указал, но уже сейчас генерация анимации лица занимает около 3–4 минут. Если добавить более сложные деформации, подозреваю, что сборка легко растянется до десяти.
Пока я пришёл к выводу, что выгоднее тратить это время на верхнюю часть ролика — слайды, визуальные шутки и контекст. Именно там находится основная смысловая и авторская работа.
Но немного процедурной живости точно ещё попробую добавить.
Интересно, спасибо.
Если я правильно понял, у вас движение лица строится по громкости аудио и деформации ключевых точек. Я как раз сознательно уходил от такого подхода, когда делал свой велосипед.
Это было первое, что я попробовал, но пришёл к выводу, что так сложно передать даже базовую артикуляцию: рот не принимает характерные формы под разные звуки.
Поэтому в итоге вернулся к классической логике аниматоров прошлого века — набору заранее подготовленных состояний. Как ни странно, она всё ещё выглядит заметно живее.
Особенно на стилизованных и мультяшных персонажах.
На скрине — пример из The Animator’s Survival Kit Ричарда Уильямса:
я постеснялся в статье такое делать)
но если будут желающие изучить, то вот ссылки:
ютуб, тут будет продолжение видосов в формате из статьи:
https://www.youtube.com/@oe_2108
телега, тут агрегатор вообще всех записей примерно за полгода (личное, работа, наблюдения):
https://t.me/life_2108
тредс, где я больше шучу, чем душню:
https://www.threads.com/@oe_2108
Да, согласен, визуально это близкие формы.
У/Ю и О/Ё у меня разделены не из строгой фонетики, а скорее эмпирически: хотелось, чтобы у стилизованного аватара рот не залипал в одном округлённом состоянии.
Понятно, что основные различия там больше “внутри” артикуляции: язык, положение во рту, сам звук. Но на скринах мне всё же показалось, что разницу можно чуть подчеркнуть.
Благо в системе это просто таблица соответствий, так что такие группы легко объединять/разносить без перестройки пайплайна.
: