Видеоконтент стал неотъемлемой частью нашей жизни. ТикТок, Ютуб и прочие платформы с каждым днём всё больше используются людьми как способ отвлечься от повседневности и позволяют ненадолго предаться прокрастинации. Кто бы что ни говорил, но в 2024 году человек не представляет без него жизни, но создание качественного контента это довольно трудоемкая задача. В ней нам может помочь новая нейросеть OpenAI “SORA”.
В этой статье мы рассмотрим, как работает новая революционная нейросеть синтеза видео SORA, пофилософствуем на эту тему и, конечно, помечтаем о AGI.
Диффузионные модели были успешны в генерации text-to-image (Dalle, Midjourney и т. п.) и привели к началу исследований в области генерации видео. Прошлые модели были, мягко говоря, очень плохи в плане качества и симуляции свойств реального мира, но OpenAI, как всегда, произвели революцию и запустили настоящую сенсацию по всему интернету. В SORA объединили все предыдущие достижения компании за последние годы и достигли поразительного уровня реализма видео.
Многочисленные исследования ранее занимались генеративным моделированием видеоданных, используя различные методы, включая рекуррентные сети,GAN (Generative adversarial networks), трансформеры и модели диффузии. Но в SORA предложен совершенно новый подход, который мы сейчас изучим.
В основе SORA заложена та же идея, что и в LLM по типу GPT. Языковые модели хорошо показали себя в генерации текста отчасти из-за использования принципов токенизации, которые умело связывают и представляют текст в виде скрытых пространств. OpenAI переняли эту стратегию и ввели “визуальные патчи” для столь же эффективного представления видео.
Первым этапом в обучении SORA стало обучение такой сети, которая могла бы принимать необработанное видео в качестве входных данных и выводить скрытое представление визуальных патчей, сжатое как во времени, так и в пространстве. В последствии основная модель генерирует именно это латентное представление, которое позже декодируются обратно в пространство пикселей.
SORA — объединение идей диффузионной генерации и трансформеров. На вход подаются зашумленные Гауссовским шумом патчи и кондиционируемую (про то, что это такое, подробнее я рассказал в статье про диффузию) уточняющую информацию, вроде текста. Далее трансформер учится подавлять этот шум, подобно U-net, генерируя новые уже чистые визуальные патчи. Идея диффузионных трансформеров не нова, ведь трансформеры показывают отличную масштабируемость и при должном обучении способны на невероятные вещи. Работа OpenAI просто доказывает эффективность этого метода в задаче text-to-video. Качество выборки заметно улучшается по мере увеличения обучающих вычислений.
Все предыдущие генераторы видео в чем-то, но всегда были ограничены. Генерация до 4 секунд видео, фиксированное соотношение и шакальное разрешение 256*265 очень бесили. OpenAI считают наоборот, что обучение на совершенно разных форматах и продолжительностях в масштабах миллиардов видео из интернета — более выгодная стратегия. Sora генерирует видео в большом диапазоне от 1920x1080p до 1080x1920 и все, что между ними. Продолжительность видео тоже легко настраивается вплоть до одной минуты.
Как и в DALL·E 3, тут также используется GPT для преобразования коротких запросов пользователя в более длинные мини-сценарии происходящего, которые уже и отправляются в видеомодель. С помощью этого конечные видео становятся более проработанными и интересными.
Почему LLM так хорошо понимают наш внешний скудный мир мы точно не знаем. Мы просто не можем полноценно осмыслить многомерные скрытые пространства в которых они его представляют.
Ещё больше восхищает когда эти LLM начинают «воображать» как выглядит внешний мир в пространстве и времени за рамками железной коробочки, в которой они работают.
Есть предположения, что изучая терабайты информации в интернете языковые модели научились симулировать наше мышление. И с появлением SORA интересно представлять, как ИИ срисовывает уже наше воображение, наше восприятие внешнего мира.
Конечно для нейросети эти видео более объемное и глубокое представление, чем просто запись нашего 3Д мира, но большим, чем мы довольствуемся, просмотром со стороны рядового 3-мерного существа с 2-мерным зрением, мы не можем.
Достаточно развитая технология неотличима от магии. Вполне ожидаемо, что такой крупный релиз вызвал массу обсуждений в сети. Многие из переживаний интернет-юзеров правда наталкивают на мысли, что с достаточным уровнем реалистичности сгенерированные миры и вправду будут полностью неотличимы от реального. В любом случае как решать вопросы этики исследователям ещё предстоит разобраться.
Нейросети генерации видео уже стали выходить за рамки простой кучи пикселей. Речь идет о рассказывании историй, масштабных симуляциях и творчестве. Очень интересно, до чего такими большими шагами дойдет прогресс через ближайшие 10 лет.
Возможно, захочется почитать и это:
В этой статье мы рассмотрим, как работает новая революционная нейросеть синтеза видео SORA, пофилософствуем на эту тему и, конечно, помечтаем о AGI.
❯ Введение
Диффузионные модели были успешны в генерации text-to-image (Dalle, Midjourney и т. п.) и привели к началу исследований в области генерации видео. Прошлые модели были, мягко говоря, очень плохи в плане качества и симуляции свойств реального мира, но OpenAI, как всегда, произвели революцию и запустили настоящую сенсацию по всему интернету. В SORA объединили все предыдущие достижения компании за последние годы и достигли поразительного уровня реализма видео.
Многочисленные исследования ранее занимались генеративным моделированием видеоданных, используя различные методы, включая рекуррентные сети,GAN (Generative adversarial networks), трансформеры и модели диффузии. Но в SORA предложен совершенно новый подход, который мы сейчас изучим.
❯ Представление видео как визуальных патчей
В основе SORA заложена та же идея, что и в LLM по типу GPT. Языковые модели хорошо показали себя в генерации текста отчасти из-за использования принципов токенизации, которые умело связывают и представляют текст в виде скрытых пространств. OpenAI переняли эту стратегию и ввели “визуальные патчи” для столь же эффективного представления видео.
Первым этапом в обучении SORA стало обучение такой сети, которая могла бы принимать необработанное видео в качестве входных данных и выводить скрытое представление визуальных патчей, сжатое как во времени, так и в пространстве. В последствии основная модель генерирует именно это латентное представление, которое позже декодируются обратно в пространство пикселей.
❯ Диффузионный… трансформер ???
SORA — объединение идей диффузионной генерации и трансформеров. На вход подаются зашумленные Гауссовским шумом патчи и кондиционируемую (про то, что это такое, подробнее я рассказал в статье про диффузию) уточняющую информацию, вроде текста. Далее трансформер учится подавлять этот шум, подобно U-net, генерируя новые уже чистые визуальные патчи. Идея диффузионных трансформеров не нова, ведь трансформеры показывают отличную масштабируемость и при должном обучении способны на невероятные вещи. Работа OpenAI просто доказывает эффективность этого метода в задаче text-to-video. Качество выборки заметно улучшается по мере увеличения обучающих вычислений.
❯ Полная гибкость
Все предыдущие генераторы видео в чем-то, но всегда были ограничены. Генерация до 4 секунд видео, фиксированное соотношение и шакальное разрешение 256*265 очень бесили. OpenAI считают наоборот, что обучение на совершенно разных форматах и продолжительностях в масштабах миллиардов видео из интернета — более выгодная стратегия. Sora генерирует видео в большом диапазоне от 1920x1080p до 1080x1920 и все, что между ними. Продолжительность видео тоже легко настраивается вплоть до одной минуты.
❯ GPT — сценарист SORA
Как и в DALL·E 3, тут также используется GPT для преобразования коротких запросов пользователя в более длинные мини-сценарии происходящего, которые уже и отправляются в видеомодель. С помощью этого конечные видео становятся более проработанными и интересными.
❯ Симулированные миры. Немного размышлений
Почему LLM так хорошо понимают наш внешний скудный мир мы точно не знаем. Мы просто не можем полноценно осмыслить многомерные скрытые пространства в которых они его представляют.
Ещё больше восхищает когда эти LLM начинают «воображать» как выглядит внешний мир в пространстве и времени за рамками железной коробочки, в которой они работают.
Есть предположения, что изучая терабайты информации в интернете языковые модели научились симулировать наше мышление. И с появлением SORA интересно представлять, как ИИ срисовывает уже наше воображение, наше восприятие внешнего мира.
Конечно для нейросети эти видео более объемное и глубокое представление, чем просто запись нашего 3Д мира, но большим, чем мы довольствуемся, просмотром со стороны рядового 3-мерного существа с 2-мерным зрением, мы не можем.
❯ Феномен SORA в интернете
Достаточно развитая технология неотличима от магии. Вполне ожидаемо, что такой крупный релиз вызвал массу обсуждений в сети. Многие из переживаний интернет-юзеров правда наталкивают на мысли, что с достаточным уровнем реалистичности сгенерированные миры и вправду будут полностью неотличимы от реального. В любом случае как решать вопросы этики исследователям ещё предстоит разобраться.
❯ Вывод. Генерация видео за пределами пикселей
Нейросети генерации видео уже стали выходить за рамки простой кучи пикселей. Речь идет о рассказывании историй, масштабных симуляциях и творчестве. Очень интересно, до чего такими большими шагами дойдет прогресс через ближайшие 10 лет.
Wake up, Neo. The Matrix has you.
