В «Яндексе» научили нейросеть YandexART восстанавливать архивные видеозаписи и кинохронику. Эта опция может быть полезна кинокомпаниям, музеям, историкам и другим специалистам для улучшения качества значимых видео и работы с историческим наследием. Например, нейросеть уже восстановила видеохронику из материалов «Мосфильма» и Российского государственного архива кинофотодокументов для нового сериала Кинопоиска «Игры» о подготовке и организации Олимпиады-80.
Благодаря новой возможности YandexART события сорокалетней давности стали доступны современному зрителю в хорошем качестве. Нейросеть помогла добавить на размытый и нечёткий кадр фактуру и недостающие детали. Например, она прорисовала кирпичную кладку на стене и узоры на женском платье, а у машины восстановила фары и поворотники, которые было плохо видно. Также нейросеть увеличила разрешение и резкость и повысила качество видеокадров.
Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть,
которая создаёт и улучшает изображения и анимацию, а также обрабатывает
загруженные фотографии. Разработчики научили модель не «галлюцинировать» для этого проекта. YandexART теперь умеет превращать шумные, размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур благодаря поэтапному обучению на материалах низкого качества.
Над восстановлением архивных видео с помощью нейросетевых технологий и компьютерной графики работали команды компьютерного зрения «Яндекса», Yandex Research и «Плюс Студии».