OpenAI
Sora — нейросетевая модель компании OpenAI, общий релиз которой ещё не состоялся. Но это не значит, что OpenAI не показывает модель вообще никому. Вчера компания продемонстрировала, как художники и киноделы применяют Sora для воплощения идей в жизнь.
15 февраля 2024 года компания OpenAI представила Sora, модель генеративного искусственного интеллекта. Sora — инструмент категории «текст в видео», то есть предназначен для создания видеоклипов по текстовому промпту.
Объявление середины прошлого месяца подкреплялось большим числом разнообразных примеров красивых видеороликов от Sora. При этом сам сервис публике представлен не был, доступа к нему до сих пор нет. OpenAI не выложила даже доклад или какой-то минимальный whitepaper про модель. Всё, что есть — это красивая веб-страница на сайте компании с рассказом про модель.
Внимание к Sora начали проявлять почти сразу. Часть журналистов (к примеру, из Wired) посчитала, что Голливуду новая модель в ближайшее время угрожать не сможет, да и вообще вряд ли когда-то лишит киностудии хлеба. Склеить 120 минут клипов от Sora и получить связную кинокартину невозможно, но инструмент преобразит TikTok и другие видеоплатформы, указывали критики.
Другая часть комментаторов не согласна со скепсисом в отношении Sora. Как минимум в одном случае дошло до реальных действий. Американский режиссёр Тайлер Перри заявил, что ставит на паузу $800-миллионное расширение студии — демонстрации Sora его слишком напугали. И это не мнение полного дилетанта, никак не знакомого с темой: как указал Перри, он совсем недавно в двух своих фильмах заменил макияж для состаривания на ИИ.
С середины февраля новостей о Sora почти не проскакивало, если не считать редких примеров генерации от сотрудников OpenAI в микроблогах, утечек о переговорах с Голливудом и пиар-ошибки CTO компании в интервью для Wall Street Journal.
Wall Street Journal
В ответ на один из вопросов технический директор OpenAI имела неосторожность признаться, что для обучения модели использовали как лицензированные, так и публично доступные данные. Когда ведущая переспросила, идёт ли речь про видеоролики на YouTube, технический директор сказала, что на этот счёт не уверена.
В попытке исправить ситуацию сотрудница OpenAI сделала лишь хуже: она заявила, что если данные публично доступны, то они могли оказаться в датасете обучения. Сообщество запомнило этот невнятный ответ и не отказало себе в удовольствии высмеять её в комментариях к первому попавшемуся твиту в её микроблоге.
Вчера OpenAI отчиталась про результаты первого сотрудничества с креативным сообществом. Компания месяц работала с художниками, дизайнерами, творческими директорами и киноделами, чтобы понять, как Sora преобразит креативную индустрию.
Отдельно OpenAI приводит две цитаты от творческих профессионалов, где они хвалят Sora. В обоих случаях подчёркивается, что инструмент наиболее полезен не для повторения существующего, а для изобретения нового, сюрреалистичного и невозможного.
Остальной объём поста в блоге занимают примеры работ от различных студий и людей с краткими описаниями и биографиями.
OpenAI
Музыкальная группа shy kids из Канады также известна кинотворчеством. Для OpenAI коллектив создал короткометражный фильм Air Head про человека, который буквально наполнен воздухом — он воздушный шарик. Технически это монтажная склейка из набора клипов, где главный герой рассказывает о своей жизни.
OpenAI
Художник Пол Трилло [Paul Trillo] занимается различными направлениями искусства и любит экспериментировать с технологически сложными фильмами. Его работы заслужили 18 наград Vimeo и часто упоминались в прессе. Склейка клипов от Пола размещёна на странице OpenAI и чёткого сюжета не имеет.
paultrillo
Другое творение Трилло выложил в личном микроблоге. Эта работа создана из материала от 11 запросов к Sora, сообщает автор. Главный персонаж этого дезориентирующего клипа — золотая пластинка «Вояджера-1», капсула с информацией о человеческой жизни на Земле. Ролик рассказывает о жизни пластинки от зарождения руды до полёта в космос в 1977 году.
Режиссёр даже поделился советами по промптингу. Достичь нужного результата было нелегко. Для движения камеры Пол использовал разные термины: «chaotic», «dynamic movement», «whip panning» и так далее. В остальном в общении с фанатами он строго придерживается всех нужных NDA.
OpenAI
Native Foreign — креативное агентство из Лос-Анджелеса. Его сооснователь Ник Клеверов воспользовался Sora для визуализации концептов и быстрой работы над креативными концептами для брендов. Видеоролик от Native Foreign — просто набор экспериментов.
OpenAI
Художник и музыкант Август Кэмп [August Kamp] произвёл небольшой музыкальный клип с абстрактными формами. Эта работа также не имеет единой канвы сюжета.
OpenAI
Сооснователь лондонской студии Oraar Studio Жозефина Миллер [Josephine Miller] специализируется на дизайне трёхмерной графики, дополненной реальности и цифровой моде. Миллер представила 15-секундный монтаж несуществующей одежды, которую показывают где-то в океане.
OpenAI
Дон Аллен Стивенсон III [Don Allen Stevenson III] начинал в DreamWorks Animation, но сейчас работает техническим консультантом и иногда читает лекции. Дон находит оторванность и «странность» клипов Sora положительным качеством: модель не связана привычными принципами и законами физики. Для демонстрации этого он сделал полутораминутную нарезку из невозможных животных.
OpenAI
Наконец, Александр Ребен — скульптор и сотрудник самой OpenAI. В его видеоролике интересно отслеживать, насколько корректно Sora понимает структуру трёхмерных объектов.
artboffin
Вообще, как штатный художник OpenAI Ребен смело смешивает искусство с искусственным интеллектом. Александр может взять выдачу от языковой модели, скормить это в качестве промпта в DALL-E, расширить границы этой картинки с помощью другой нейросети, перегнать плоское изображение в 3D и изготовить скульптуру. Так Ребен недавно создал работу, которая выставляется в Художественном музее Крокера в Сакраменто.
Как и в прошлые разы, OpenAI не дала никаких обещаний про дату релиза Sora. Известно лишь, что инструмент запустят в этом году.
