В Chrome 110 внедрили поддержку технологии Nvidia RTX Video Super Resolution (VSR). Технология апскейлинга откроет возможности ИИ-масштабирования видео до формата 4K с помощью интернет-браузеров Chrome и Edge.
Nvidia открыла доступ к функции масштабирования видео RTX Video Super Resolution
2 мин
Nvidia сделала общедоступной функцию RTX Video Super Resolution, которая использует искусственный интеллект для улучшения качества стриминга видео через браузеры Google Chrome и Microsoft Edge на графических процессорах GeForce RTX 30 и 40 серий.
Microsoft представила Video Super Resolution для браузера Edge
1 мин
Microsoft официально выпустила функцию масштабирования видео Video Super Resolution для браузера Edge. Она работает на процессорах RTX (серии 20, 30 и 40 с ядрами Tensor) и с сериями Radeon RX 5700-7800.
Улучшение качества изображения с помощью нейронной сети
2 мин
Сегодня, хочу рассказать об интересном подходе по улучшению качества изображения. Официальное название подхода Super Resolution. Улучшение качества изображения программными методами известно с начала появления цифровых снимков, но в последние 3 года произошёл качественный скачок, вызванный использованием нейронных сетей.
Пример улучшения качества изображения с использованием технологии Super Resolution.
Пример улучшения качества изображения с использованием технологии Super Resolution.
Увеличь это! Современное увеличение разрешения
21 мин
Я уже перестал вздрагивать и удивляться, когда звонит телефон и в трубке раздается жесткий уверенный голос: «Вас беспокоит капитан такой-то (майор такой-то), вы можете ответить на пару вопросов?» Почему бы не поговорить с родной полицией…
Вопросы всегда одни и те же. «У нас есть видео с подозреваемым, пожалуйста, помогите восстановить лицо»… «Помогите увеличить номер с видеорегистратора»… «Здесь не видно рук человека, пожалуйста, помогите увеличить»… И так далее в том же духе.
Чтобы было понятно о чем речь — вот реальный пример присланного сильно сжатого видео, где просят восстановить размытое лицо (размер которого эквивалентен примерно 8 пикселям):
И ладно бы только русские дяди Степы беспокоили, пишут и западные Пинкертоны.
Обзор на статью о FarSee-Net — новый подход к семантической сегментации в реальном времени
3 мин
В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP) для семантической сегментации в реальном времени. Новый модуль CF-ASPP и использование super-resolution позволяют улучшить latency-accuracy trade-off. Обзор подготовил ведущий разработчик МТС Андрей Лукьяненко.
Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).
В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.
Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.
Семантическая сегментация в реальном времени очень нужна для многих задач, выполняемых на ограниченных ресурсах. Одна из больших сложностей — работа с объектами разных размеров и использованием контекста. В данной работе авторы предлагают архитектуру Cascaded Factorized Atrous Spatial Pyramid Pooling (CF-ASPP).
В наше время распространенным подходом является быстрое уменьшение размера изображений на начальных этапах, а затем маска исходного размера получается с помощью upsampling. Авторы предлагают использовать подходы super-resolution вместо простого upsampling.
Новый модуль и использование super-resolution позволяет улучшить latency-accuracy trade-off.
Хакинг метрик качества видео или как с приходом ИИ все становится намного сложнее
23 мин
Сейчас модно писать, что ML пришел туда и все стало отлично, DL пришел сюда и все стало замечательно. А к кому-то пришел сам AI, и там все стало просто сказочно! Возможна ли ситуация, когда к нам пришел волшебный ML/DL и все стало сложнее, тяжелее и на порядок запутаннее? Безусловно! Разберем такой пример.
Десятки лет при сравнении кодеков и алгоритмов обработки видео исследователи использовали старые добрые метрики PSNR и SSIM с довольно простыми формулами и были счастливы. Но прогресс невозможно остановить! На их место пришли новые метрики и… тут выяснилось, что они взламываются.
— Погодите, погодите… — скажет взволнованный читатель, — А как это вообще выглядит, взломать метрику???
— Добро пожаловать в 21 век, дорогой товарищ! Благодаря неудержимому прогрессу, сегодня можно хакнуть не только утюг, колонку, автопилот машины и домашний пылесос, но и метрику качества видео.
В этот момент собеседники обычно дружно спрашивают, кому это надо? О, поверьте, есть люди, которым не просто надо, а сильно надо! Представьте себе, что вы руководитель подразделения и у вас жесткие KPI (маркетинг требует обогнать конкурентов, от этого зависят нехилые годовые бонусы у всех сотрудников и особенно у вас). Чтобы улучшить видеокодек на условные 4%, требуются десятки человеко-месяцев труда весьма высокооплачиваемых инженеров, причем, бывает, получается, а бывает, не очень. И тут выясняется, что можно за пару недель работы одного зеленого стажера подшаманить метрику на 7%. Ваши действия? Вспоминается жизненный анекдот «тут-то мне карта и поперла»…
Далее мы популярно затронем взлом методом черного ящика, белого ящика, взлом недифференцируемых метрик (привет дистилляция!) и цирк с дифференцируемыми.
Впрочем обо всем по порядку…
Кому интересен цирк с конями взлом метрик — го под кат.
Использование метода супер разрешения (Super Resolution) при 3d сканировании или можно ли прыгнуть выше головы
Средний
6 мин
Как отсканировать в 3D крыло овода с разрешением 10 микрон на недорогом оборудовании. Используется метод Super Resolution - увеличение разрешения за счёт обработки большого количества сканов, снятых с разных ракурсов.