Работа с видео *

Кино всегда было территорией смелых экспериментов и технических прорывов. Сегодня это CGI, нейросети, виртуальная реальность и съёмка в 8K, но если вернуться на сотню лет назад, то окажется, что инженеры и режиссёры того времени были не менее безумными новаторами.

Они придумывали, как передать движение с помощью тяжёлых механических камер, экспериментировали с ручной покраской плёнки, строили огромные декорации и вручную монтировали плёнку — без всяких DaVinci и Premiere. И именно эти первые технологии заложили основу для того, что мы сегодня считаем кинематографом.

Давай посмотрим, как это всё началось — и почему немое кино всё ещё заслуживает своего места в зале славы великих изобретений.

Моя сестра недавно захотела вести блог с эдитами. Оказывается, есть такой жанр фанатского творчества — монтировать под эпичную музыку любимых героев фильмов, сериалов, мультипликации и т. д. В связи с этим она попросила порекомендовать удобные программы обработки видео для начинающих.

Я задумался: что нужно для эдита? Красивые динамичные переходы, фильтры, озвучка. Но самое главное — удобство нарезки и удаления лишних кадров. За свою практику я перебрал много программ для видеомонтажа. И, кстати, обнаружил, что далеко не во всех есть удобный и простой инструмент для обрезания. Поэтому решил собрать свой опыт в статью. 

Представляю 5 удобных программ для монтажа видео, в которых легко вырезать фрагмент из видео. К каждому описанию, кстати, прикрепил инструкцию.

Pro Convert от Magewell - это новая линейка недорогих и надежных конвертеров, на которые ориентируются специалисты в области аудио- и телевещания, а также производители контента. Поэтому любое пополнение в линейке Pro Convert - это хорошо: есть шанс, что оно устранит еще один зуд в области конвертации и станет незаменимым дополнением к набору AV-устройств. 

Pro Convert Audio DX - это именно такой конвертер, обладающий широкой функциональностью.

 Гораздо интереснее, чем кажется на первый взгляд 

На входе есть две небалансные и балансные линии, четыре канала USB-аудио и восемь каналов Dante. Порт ethernet также может принимать четыре канала SRT и NDI.

Аналогичная история с выходами: две небалансные и две балансные линии, четыре канала USB и восемь каналов Dante. Устройство также может одновременно кодировать четыре канала 16-битного аудио для аудиопотока RTSP, SRT и/или NDI.

Как уже говорилось, это компактный аппарат, обладающий внушительной функциональностью.

И он умный. Вы можете заглянуть под капот Audio DX через его графический веб-интерфейс. Те, кто знаком с Pro Convert, возможно, уже видели все это раньше, но я был действительно впечатлен уровнем контроля и диагностики. Пишет колумнист журнала AV,technology Christopher Holder.  Пожалуй, самой мощной функцией является аудиоматрица, которая позволяет направлять любой источник на любой выход. Вы также можете изменять глобальную частоту дискретизации, изменять чувствительность аналоговых входов/выходов, проверять журнал активности - далеко не тупая коробка.

Нейросеть, сегментирующая изображение человека в кадре: как ускорить её в четыре раза?

Привет, Хабр! Это Дмитрий Балиев из SberDevices. В этой статье речь пойдёт о том, как мы обрабатываем алгоритмами видео в Web-браузерах для сервиса конференции SaluteJazz.

Расскажу про контекст и ограничения, сам движок и особенности его реализации. Раскрою тайну, как мы работаем с графами вычислений, как инферим нейросети, и как затем всё это собираем, оптимизируем и тестируем. В конце — несколько полезных советов, как делать нейросети удобнее для встраивания.

Эта статья продолжение основной статьи:
Как сделать 3D версию любого фильма на примере StarWars4 (DepthAnythingV2 + Parallax) (https://habr.com/ru/articles/897860/)

Сначала рекомендуется ознакомиться с первой статьей, там все основные детали: суть алгоритма, необходимые библиотеки, первоначальные скрипты и описание параметров в них. Также там приведены примеры обработанных изображений и есть ссылки на готовые 3D видео (отрывок StarWars4), в том числе для VR. Эта статья продолжение, здесь приводится доработанный скрипт и комментарии к нему. Также ниже будут обозначены другие решения, которые можно использовать для конвертации видео из 2D в 3D.

По традиции будут приложены несколько изображений, в том числе анимированные 3D-гифы, примеры того, что можно получить через DepthAnythingV2 + Parallax.

Сегодня я побуду адвокатом «Дюны» 2021-2024 годов выпуска и расскажу о том, что у Вильнёва, на мой взгляд, получилось хорошо. Увы, местами невозможно будет удержаться от сравнений с другими экранизациями Герберта и с самим романом-первоисточником, а где-то и от критики в их адрес; где-то придется оспорить расхожие аргументы критиков фильма, но такие моменты я постараюсь минимизировать: эта статья – в первую очередь похвала фильму, а не полемика. Ведь кино, так и не ставшее новым «Властелином колец» от космооперы, достойно хотя бы похвалы.

Меня давно интересовала тема апскейла изображений, отдельно - апскейла старых видео. Одно из первых решений, которое попалось в руки несколько лет назад - waifu2x (https://github.com/nagadomi/waifu2x). Но эта нейронка больше подходила для апскейла аниме (насколько я помню на них она и тренировалась). То есть, waifu2x подходила для довольно простых изображений без избытка деталей и сложности текстур.

Затем я поизучал ESRGAN (https://github.com/xinntao/ESRGAN) и Real-ESRGAN (https://github.com/xinntao/Real-ESRGAN). Довольно неплохие модельки, вполне годятся для апскейла изображений, но очень часто заметна синтетичность, особенно в сложных сценах, например когда на изображении есть деревья. Я даже попробовал дотренировать Real-ESRGAN, к слову это делать не сложно, на их гитхабе есть скрипты и инструкции (https://github.com/xinntao/Real-ESRGAN/blob/master/docs/Training.md), но пока дособирал свой датасет для тренировки на глаза попалась другая модель - SwinIR (https://github.com/JingyunLiang/SwinIR), потестировав которую понял - она покрывает мои текущие потребности, если не полностью, то по меньшей мере процентов на 80%. А потребности были - заапскейлить несколько старых фильмов, и чтобы после апскейла фильм смотрелся как фильм, а не как пластилиновый театр. В целом все получилось. Именно об этом эта статья.

Апскейлить будем фильм "Пираты Силиконовой долины" (1999г, США). Он повествует о появлении домашнего ПК и становлении компаний Apple и Microsoft. Довольно интересный фильм с бунтарским духом той эпохи. Главные герои - молодые Стив Джобс, Стив Возняк, Билл Гейтс и другие участники "революции домашних ПК". Кстати, апскейлить фильм будем конечно же на домашнем ПК.

Биология клипового мышления: почему 400 мс решают всё

Исследования MIT (2023) доказали: мозг принимает решение "смотреть/не смотреть" за 400-800 мс. Это результат эволюции — наши предки оценивали опасность за доли секунды.

Воспоминания постановщика об истоках дизайна героини и её смартгана.

Для зрителей, хорошо знакомых с творчеством Джеймса Кэмерона, далеко не секрет, что режиссёр не привык попусту растрачивать актёрский капитал, когда речь заходит о кастинге второстепенных персонажей.

Привет! На связи Ольга Попова, и вместе с Алексеем Гусевым @MAD_GooZe мы работаем в Yandex Infrastructure — это команда, которая создаёт и предоставляет внутреннюю инфраструктуру Яндекса — фундамент из продуктов и технологий, которые помогают разрабатывать, деплоить и эксплуатировать все основные сервисы компании. Наша команда носит название «Видеоплатформа» и занимается созданием инфраструктуры для показа видеоконтента на таких платформах, как Кинопоиск, Яндекс Музыка, Станция, Маркет и других.

Сегодня мы расскажем, как устроена архитектура CDN в нашей видеоплатформе, что мы сделали, чтобы она была удобной и контролируемой, как мы решали возникающие проблемы с помощью существующих стандартов и какое оптимальное решение в итоге нашли.

Привет, Хабр! Снова с вами Дмитрий Новожилов — техлид онлайн-кинотеатра KION. В прошлый раз я рассказал, откуда берется контент на киносервисах и как он обрабатывается. Для этого разобрал источники данных и элемент Headend, включающий пункт приема сигнала, кодер и пакетайзер.

На предварительных этапах контент нормализуется, делится на чанки, обрабатывается DRM и попадает в «сердце видеосервиса» — Middleware. Это тот самый элемент, который управляет контентом, когда вы открываете приложение на умном телевизоре или смартфоне. Он обеспечивает логику работы витрины: когда вы заходите в сервис, показывает доступный на площадке контент. Затем вы выбираете нужный фильм и получаете его через ближайший узел CDN.

В этом посте я расскажу, какие компоненты и сервисы объединяются термином Middleware и что конкретно делает этот комплекс.

Вторая статья из цикла об идеях воспроизведения и редаĸтирования медиа с
использованием AVFoundation. В ней разберём тему сложных ассетов.

Это статья — обзор разных моделей Depth-Anything-V2, приложение к предыдущей статье Как сделать 3D версию любого фильма на примере StarWars4 (DepthAnythingV2 + Parallax). Здесь мы сравним качество полученных карт глубин для всех доступных моделей — Large, Base, Small. Будет много картинок и мало текста.

Для наглядности, карты глубин раскрасим в цвет (COLORMAP_JET). Со шкалой от темно-красного (ближние объекты) до темно-синего (дальние объекты).

Кратко по моделям:
Large: 335.3M параметров, размер ~1280Mb.
Base: 97.5M параметров, размер ~372Mb.
Small: 24.8M параметров, размер ~95Mb.

За последние годы стеганография прошла путь от простых методов сокрытия информации до сложных алгоритмов, использующих особенности человеческого восприятия. В прошлой статье я разобрал основы стеганографии и методы атак на стегосисистемы, а сегодня расскажу о семи ключевых способах встраивания секретных данных в видеопоток.

Мы детально рассмотрим технические особенности каждого метода: от классической замены наименее значащего бита до современного алгоритма Куттера-Джордана-Боссена.

В статье я представлю математический аппарат для оценки эффективности различных методов, включая формулы расчета пропускной способности и критерии оценки стойкости к атакам. Также поговорим о том, как выбрать оптимальный метод под конкретные задачи.

Материал будет полезен разработчикам систем защиты информации, специалистам по обработке цифровых сигналов и всем, кто интересуется современными методами сокрытия данных в мультимедийном контенте.

В 90-е годы прошлого тысячелетия в стране начался бум домашнего видео. Камеры из разделов научной фантастики и редких любителей киносъемки вошли почти в каждый дом. «Я всегда с собой беру ви-идеокамеру!» — пели в заставке популярной телепрограммы.

На видео снимали детские утренники, последние звонки и многочисленные домашние застолья. Всё это потом переписывалось на кассеты для домашнего видеомагнитофона и выстраивалось в шкафу многотомной видеотекой с яркими обложками SKC, JVS и прочими ECP. Однако практически никогда эти записи потом никто так и не пересматривал.

Заголовок не совсем корректен, потому, что 3D версию можно сделать любого 2D материала: фильма, мультфильма, своих личных видео/фото и тд, да хоть скриншот с рабочего стола можно сделать в 3D. Но в данном материале мы будем делать 3D версию фильма.

В качестве материала возьмем Звездные войны. Эпизод IV: Новая надежда (Star Wars. Episode IV: A New Hope, 1977).

В начале 1980-х Джеймс Кэмерон ушёл на вольные хлеба из под крыла знаменитого продюсера Роджера Кормана. Из арт-директора и специалиста по визуальным эффектам Джеймс переквалифицировался в режиссёра, приняв сомнительное предложения итальянского продюсера Овидио Ассонитиса встать во главе съёмок сиквела «Пираний» (1978) Джо Данте, rip-off’а «Челюстей» Спилберга.

Джим рискнул и в итоге был со скандалом уволен из проекта — Ассонитису нужно было только имя Кэмерона в титрах, фильм он собирался снимать сам. После выяснения отношений с продюсером и тайных попыток перемонтировать картину (его имя так и осталось в титрах), Джим приступил к разработке своего собственного фильма, название которого всем хорошо известно.

В то же время, чтобы как-то сводить концы с концами, несостоявшийся режиссёр нашёл подработку в качестве художника, рисующего постеры для фильмов категории B.

Однажды мне упала задача от заказчика перенести "пару десятков" видеороликов внутри закрытой учебной платформы с YouTube на RuTube. Примерно 100 роликов спустя я обнаружил, что все ролики с доступом по ссылке недоступны к просмотру...