Освечу базовые концепты из области генерации видео, в этой части разберем уже более современные модели 2025 года, и парочку моделей, с которых все начиналось. Все кратко и четко, только самое основное.
Посмотрим на устройство современных топовых SOTA моделей для генерации видео: Wan2.1, Hunyuan video, недавно вышедший подход к облегчению вычислетильных требования FramePack.
В феврале 2025 года команда VK Видео в 10 раз увеличила количество роликов с субтитрами и точность расшифровки речи. Теперь субтитры есть в 90% контента — со знаками препинания, заглавными буквами и всеми особенностями специализированной лексики и неологизмов.
В этой статье расскажем, как перестраивали систему, оптимизировали архитектуру ML-модели, и поделимся результатами, которые помогли улучшить пользовательский опыт и сделать контент доступнее для миллионов зрителей.
Какое-то время назад memorysafety.org объявил о конкурсе по повышению производительности rav1d — порта AV1-декодера dav1d на Rust.
Моя фамилия Равид, совсем как название декодера, поэтому я решил, что будет забавно попробовать (хоть я и, вероятно, не смогу участвовать в конкурсе).
Эта статья посвящена двум найденным мной небольшим улучшениям производительности (первый PR, второй PR) и рассказу о том, как я их нашёл.
Об авторе
Чарли Шин, генеральный директор Monitor4u Inc., возглавляет компанию, которая специализируется на продажах и маркетинге профессионального аудиовизуального и вещательного оборудования.
"Поднимите трубку! У меня есть проект для системы записи NDI. Вы можете мне помочь?" Это был вопрос от клиента, системного интегратора из сферы образования, который позвонил мне в праздничный вечер. Я всё ещё был в офисе, занимаясь тестированием новых PTZ-камер NDI. Он не мог ждать ещё два дня, пока получит ответ от другого поставщика. Этот звонок положил начало моему сложному шестимесячному проекту NDI. Его
Новый проект связан с IP-кодерами, декодерами и рекордерами, которые отходят от традиционных базовых видеоинтерфейсов SDI или HDMI. Несмотря на значительный опыт внедрения AV-систем и понимание принципов работы компьютеров и сетевых устройств, проектирование IP-инфраструктуры представляло собой задачу, требующую обращения к поставщикам продукции.
В связи с этим возникло множество вопросов, связанных с общим дизайном, конкретными продуктами, входящими в состав системы, управления системой и т. д.
Проект был разработан для института GDS с целью обеспечения студентов дополнительными аудиовизуальными материалами (записанными лекциями) для просмотра в системе VOD в режиме 24 часов. GDS, известная частная образовательная франшиза в Корее, ориентирована на рынок, где многие студенты ищут дополнительные частные занятия после школы, чтобы повысить свою академическую результативность. Их целью была централизованная система записи и контроля в двух зданиях, в каждом из которых расположено по 12 классных комнат, где сотни студентов проводят занятиях по 40 часов в неделю.
Ранее Telegram объявил конкурс до $50 тыс., где участники показывают, чем мессенджер круче WhatsApp. Но за удобным интерфейсом и призовыми роликами скрывается настоящая «магия» реакций. В статье вы узнаете всю подноготную конкурса и разберёте, как Telegram управляет цифрами.
Как выбрать ютуб-агентство и получить реальный результат, а не накрученные просмотров и ботов вместо подписчиков
Если Veo 2 произвел на вас впечатление, то Veo 3 вас просто поразит.
Google IO 2025 завершилась, и это была абсолютная масса анонсов в сфере ИИ. Многие люди, включая меня, до сих пор поднимают челюсти с пола. Но из всех анонсов Veo 3 - один из самых захватывающих для меня.
Об остальных анонсах я расскажу в отдельном посте, а пока давайте сосредоточимся на новейшей генеративной видеомодели Google.
Вы тоже заметили, что цифровые аватары интегрируются в деловую среду, стремительно преодолев границы развлекательной индустрии? Из фильмов и игр прямиком в маркетинг и брендинг, клиентский сервис и корпоративное образование и в другие сферы, лишь наращивая темп и обороты. В статье я расскажу, на что они способны уже сейчас, а также разберу, какие сервисы можно использовать для их создания.
Разберу кратко основные подходы к генерации видео и историю их развития. Начнём с AnimateDiff — подхода, который позволяет превратить любой генератор изображений на основе Stable Diffusion в генератор видео. Будет интересно специалистам в ML и Computer Vision, а также всем, кто интересуется нейросетями и искусственным интеллектом.
Новые мультимодальные модели OpenAI o3 и o4-mini позиционируются как "разумные". Однако качественное тестирование на практических задачах вроде подсчета объектов и распознавания текста выявило неожиданные пробелы в их производительности, в некоторых случаях уступающие даже не-reasoning моделям.
Узнайте, какие именно тесты провалили новинки и где показали уверенный результат.
Недавно знакомый попросил подсказать, какая камера для съемки видео подойдет, если хочется сделать «красиво». Он увлекается путешествиями и думает попробовать формат влогов. Сам я в основном монтирую, но технику люблю и часто залипаю на обзоры, просто из интереса. Пока помогал ему выбирать, понял, что не отказался бы поэкспериментировать. Поэтому собрал список моделей — от простых до тех, что «с запасом» и понятно, куда расти.
Кино всегда было территорией смелых экспериментов и технических прорывов. Сегодня это CGI, нейросети, виртуальная реальность и съёмка в 8K, но если вернуться на сотню лет назад, то окажется, что инженеры и режиссёры того времени были не менее безумными новаторами.
Они придумывали, как передать движение с помощью тяжёлых механических камер, экспериментировали с ручной покраской плёнки, строили огромные декорации и вручную монтировали плёнку — без всяких DaVinci и Premiere. И именно эти первые технологии заложили основу для того, что мы сегодня считаем кинематографом.
Давай посмотрим, как это всё началось — и почему немое кино всё ещё заслуживает своего места в зале славы великих изобретений.
Моя сестра недавно захотела вести блог с эдитами. Оказывается, есть такой жанр фанатского творчества — монтировать под эпичную музыку любимых героев фильмов, сериалов, мультипликации и т. д. В связи с этим она попросила порекомендовать удобные программы обработки видео для начинающих.
Я задумался: что нужно для эдита? Красивые динамичные переходы, фильтры, озвучка. Но самое главное — удобство нарезки и удаления лишних кадров. За свою практику я перебрал много программ для видеомонтажа. И, кстати, обнаружил, что далеко не во всех есть удобный и простой инструмент для обрезания. Поэтому решил собрать свой опыт в статью.
Представляю 5 удобных программ для монтажа видео, в которых легко вырезать фрагмент из видео. К каждому описанию, кстати, прикрепил инструкцию.
Pro Convert от Magewell - это новая линейка недорогих и надежных конвертеров, на которые ориентируются специалисты в области аудио- и телевещания, а также производители контента. Поэтому любое пополнение в линейке Pro Convert - это хорошо: есть шанс, что оно устранит еще один зуд в области конвертации и станет незаменимым дополнением к набору AV-устройств.
Pro Convert Audio DX - это именно такой конвертер, обладающий широкой функциональностью.
Гораздо интереснее, чем кажется на первый взгляд
На входе есть две небалансные и балансные линии, четыре канала USB-аудио и восемь каналов Dante. Порт ethernet также может принимать четыре канала SRT и NDI.
Аналогичная история с выходами: две небалансные и две балансные линии, четыре канала USB и восемь каналов Dante. Устройство также может одновременно кодировать четыре канала 16-битного аудио для аудиопотока RTSP, SRT и/или NDI.
Как уже говорилось, это компактный аппарат, обладающий внушительной функциональностью.
И он умный. Вы можете заглянуть под капот Audio DX через его графический веб-интерфейс. Те, кто знаком с Pro Convert, возможно, уже видели все это раньше, но я был действительно впечатлен уровнем контроля и диагностики. Пишет колумнист журнала AV,technology Christopher Holder. Пожалуй, самой мощной функцией является аудиоматрица, которая позволяет направлять любой источник на любой выход. Вы также можете изменять глобальную частоту дискретизации, изменять чувствительность аналоговых входов/выходов, проверять журнал активности - далеко не тупая коробка.
Нейросеть, сегментирующая изображение человека в кадре: как ускорить её в четыре раза?
Привет, Хабр! Это Дмитрий Балиев из SberDevices. В этой статье речь пойдёт о том, как мы обрабатываем алгоритмами видео в Web-браузерах для сервиса конференции SaluteJazz.
Расскажу про контекст и ограничения, сам движок и особенности его реализации. Раскрою тайну, как мы работаем с графами вычислений, как инферим нейросети, и как затем всё это собираем, оптимизируем и тестируем. В конце — несколько полезных советов, как делать нейросети удобнее для встраивания.
Эта статья продолжение основной статьи:
Как сделать 3D версию любого фильма на примере StarWars4 (DepthAnythingV2 + Parallax) (https://habr.com/ru/articles/897860/)
Сначала рекомендуется ознакомиться с первой статьей, там все основные детали: суть алгоритма, необходимые библиотеки, первоначальные скрипты и описание параметров в них. Также там приведены примеры обработанных изображений и есть ссылки на готовые 3D видео (отрывок StarWars4), в том числе для VR. Эта статья продолжение, здесь приводится доработанный скрипт и комментарии к нему. Также ниже будут обозначены другие решения, которые можно использовать для конвертации видео из 2D в 3D.
По традиции будут приложены несколько изображений, в том числе анимированные 3D-гифы, примеры того, что можно получить через DepthAnythingV2 + Parallax.
Сегодня я побуду адвокатом «Дюны» 2021-2024 годов выпуска и расскажу о том, что у Вильнёва, на мой взгляд, получилось хорошо. Увы, местами невозможно будет удержаться от сравнений с другими экранизациями Герберта и с самим романом-первоисточником, а где-то и от критики в их адрес; где-то придется оспорить расхожие аргументы критиков фильма, но такие моменты я постараюсь минимизировать: эта статья – в первую очередь похвала фильму, а не полемика. Ведь кино, так и не ставшее новым «Властелином колец» от космооперы, достойно хотя бы похвалы.
Меня давно интересовала тема апскейла изображений, отдельно - апскейла старых видео. Одно из первых решений, которое попалось в руки несколько лет назад - waifu2x (https://github.com/nagadomi/waifu2x). Но эта нейронка больше подходила для апскейла аниме (насколько я помню на них она и тренировалась). То есть, waifu2x подходила для довольно простых изображений без избытка деталей и сложности текстур.
Затем я поизучал ESRGAN (https://github.com/xinntao/ESRGAN) и Real-ESRGAN (https://github.com/xinntao/Real-ESRGAN). Довольно неплохие модельки, вполне годятся для апскейла изображений, но очень часто заметна синтетичность, особенно в сложных сценах, например когда на изображении есть деревья. Я даже попробовал дотренировать Real-ESRGAN, к слову это делать не сложно, на их гитхабе есть скрипты и инструкции (https://github.com/xinntao/Real-ESRGAN/blob/master/docs/Training.md), но пока дособирал свой датасет для тренировки на глаза попалась другая модель - SwinIR (https://github.com/JingyunLiang/SwinIR), потестировав которую понял - она покрывает мои текущие потребности, если не полностью, то по меньшей мере процентов на 80%. А потребности были - заапскейлить несколько старых фильмов, и чтобы после апскейла фильм смотрелся как фильм, а не как пластилиновый театр. В целом все получилось. Именно об этом эта статья.
Апскейлить будем фильм "Пираты Силиконовой долины" (1999г, США, DVD5). Он повествует о появлении домашнего ПК и становлении компаний Apple и Microsoft. Довольно интересный фильм с бунтарским духом той эпохи. Главные герои - молодые Стив Джобс, Стив Возняк, Билл Гейтс и другие участники "революции домашних ПК". Кстати, апскейлить фильм будем конечно же на домашнем ПК.
