Да есть разные подходы для таких зон.
В «Near Real-time Stereo for Weakly-Textured Scenes», например предполагется что раз уж сегмент изображения монотонный, то скорей всего он представляет из себя плоскость. Что вполне правдоподобное упрощение, поскольку на границе двух монотонных плоскостей все-равно появится цветной discontinuity и следовательно color segmentation разделит их на разные сегменты.
В «Stereo Matching Using Epipolar Distance Transform» вообще придумали хитрую трансформацию, после которой монотонная область становится вообще не монотонной и матчить 2 картинки становится проще паренной репы.
В остальных статьях, товарищи просто напросто используют фильтрацию с таким большим кёрнелом, что любая монотонная область им перекрывается. Recursive Bilateral например использует IIR-filter (фильтр с бесконечным респонсом, извините за перевод, не знаю это оно по-русски), что означает что для каждого пиксела образуется суппорт из всей картинки.
У второго кинекта еще одно большое (пре-большое) приеимущество, над конкурентами. Для обоих сенсоров — Depth и Color используется единственный оптический тракт. Получается что они оба (виртуально) взяты из одного оптического центра, и при не-сложном фильтеринге depth можно одновременно отресамплить и отфильтровать. Половина софтверных сложностей просто откинута небольшой модификацией hardware.
Вот вам ссылочка на работы одного китайца www.cs.cityu.edu.hk/~qiyang/publications.html
вот эти работы являются state-of-the-art для стерео:
Hardware-Efficient Bilateral Filtering for Stereo Matching,
Stereo Matching Using Epipolar Distance Transform,
A Non-Local Cost Aggregation Method for Stereo Matching,
Near Real-time Stereo for Weakly-Textured Scenes,
Recursive Bilateral Filtering,
Последнее — это вообще бомба… отлично работает на CPU в реалтайме. Кто-то еще говорит что стерео-матчинг слишком медленный?
Надо сказать что лично я предпочитаю обычную стерео камеру, ибо в отличие от всех этих активных камер эта штука не подведет тебя и на улице и при любой глубине картинки (тогда как а активных камерах, максимальная глубина ограничена). А при современных методах фильтрации, проблема с одноцветными поверхностями уже давно отошла на второй план. В конечном итоге получается что у стерео камеры свои ограничения, а у активных сенсоров свои — и что тебе лучше подходит, зависит исключительно от сценария использования.
Мы работаем с такими камерами, и надо сказать что получение сырого депта еще ничего не значит. Из-за сильного шума ToF камеры, «ты не можешь просто так взять и отрендерить его» в интересующую тебя точку зрения (view point), ибо помехи вызовут при рендеринге такие артефакты, что мама не горюй. Применяется много разных фильтраций для депта, и только после этого его можно отрендерить в оптический центр цветной камеры (ибо нафига вам нужен депт, если нету цвета).
После этого его можно попробовать по-апскейлить, ведь резолюшен депта очень маленький для прямого применения. Благо депт очень спецефическая функция — в основном гладкая, но с четкими краями. Отсутствие текстур позволяет достаточно свободно апскейлить депт до 100 раз, хотя конечно совсем мелкие детали потеряются.
Надо сказать что часть ошибок в ToF — систематические, т.е. никакая фильтрация их особо хорошо не отфильтрует, это вообще отдельный топик, но люди как-то справляются.
После того как получен View+Depth (RGB+D), можно уже синтезировать новые катинки. Например самой частой проблемой стоит получение стереоскопического видео из View+Depth. Это достаточно легко, однако появляются новые проблемы — dis-occlusions (дырки в картинке). Заполнение таких дырок еще одна совершенно отдельная тема, в которой я надеюсь когда нибудь защищу свой диссер.
Я так считаю, для труъ программиста — освоить OpenSCAD гораздо проще чем другие программы 3Д моделирования. Пару лет назад я перепробовал несколько бесплатных (и не только) прог, но так и не смог их освоить. Как только наткнулся на OpenSCAD — сразу понял это то что мне надо. А самое классное в oscad — вы можете хранить историю модели в svn/git :)))
Сначала они забрали под крыло Fedora. А Федора был самый популярный дистриб когда они только-только перешли на платные подписки. Где теперь эта Федора?
Теперь вот Cent OS… Аналогия напрашивается сама собой.
Вы советуете вместо стандартного параметра «сила компрессии» менять непосредственно матрицу квантования.
(Пусть даже для устарелого алгоритма компрессии и достаточно невысокого разрешения уровня DVD).
Как человек, слегка знакомый с математикой компрессии видео (хотя люди которые сильно хорошо с ней знакомы сидят буквально в одной комнате со мной и наверно уже строчат очередные патенты для следующего после HEVC стандарта.компрессии), я удивился узнав что какие-то манипуляции с матрицей квантизации могут на что то сильно повлиять.
Я могу понять, если вы найдете специфический контент, например мультики (или вообще что нибудь оригинальное, типа видео УЗИ-обследования :) на котором присутствуют резкие переходы цвета и/или отсутствие текстур или какие то другие особенности; и для которого специально-подготовленные матрицы квантования дают лучшую компрессию при том же уровне качества. Это бы имело какой-то смысл.
Возможно, даже имело бы смысл если бы вы нашли оптимальную матрицу для вашего конкретного фильма, и похвастались бы уменьшением размера файла (хотя возможность double-pass компрессии поставит под вопрос выгоду от такой матрицы).
Для общего пользования ваша матрица ни чем не лучше, а скорее даже и хуже чем стандартная. Что если я хочу закомпрессировать свой собственный фильм? К кому мне обращаться? Писать вам email, «а не подскажите ли вы мне наилучшую матрицу квантования, уважаемый? »?
Ну и ваш последний аргумент про то что 99% людей не способно уловить разницу подрывает остатки вашей аргументации. Нафиг чего то менять, если и так все работает и никто не заметит разницы.
«Для примера взял маленький кусочек из фильма с хорошим качеством, разрешение 720х304… Вывод: матрица юзабельна на любых разрешениях,»
Вы тоже любите экстаполировать??
Люди которые изобрели компрессию видео, уже все до вас сделали — не только алгоритм изобрели но и нашли оптимальные параметры квантования. И поверьте, для того чтоб определить оптимальные матрицы они брали не малький кусочек фильма, а большой набор разнообразных видео-данных и оценивали качество не «на глазок» а с помощью численных и субъективных метрик.
К слову сказать, для субъективного теста качества видео, необходимый минимум респондентов — 30 чел, это если они рандомно набраны, а если bias какой то есть, то нужно больше. Потом полученные результаты усредняются, аутлаеры выкидываются (всегда будет как минимум 5% зрителей с теми или иными нарушениями зрения), ну и так далее следуя научным традициям…
Зачем на Хабр постить свои лабараторки и рефераты?
Хотите рассказать что то новое о Сигнал Процессинге — пишите в соответствующий журнал… а еще лучше в свой твиттер, чтоб никто не видел.
Если скорость (и вероятность) доставки не важна, то можно посмотреть в сторону зарубежных производителей, например printrbot.com (aka Wooblebot)
Я лично себе купил Printrbot Jr за $399, собрал настроил и распечатал Прюшу Менделя.
Можно электронику и моторы сразу с принтрбота снять, но я решил докупить новые, и у меня тупо получился воторой принтер по цене электроники и моторов (и хот-энда).
Ну правда до рабочего состояния еще не довел, откалибровать надо хорошенько.
Сразу вспомнилась «основная теорема дискретной математики», которая гласит что
Два произвольно взятых числа приблизительно (с какой-то погрешностью) равны друг другу.
С эдакими допущениями ничего утверждать вообще нельзя. Здесь плюс/минус порядок, там плюс/минус порядок, помножили, поделили, и что? Ваш ответ отличается от правильного примерно на плюс-минус (количество умножений + количество делений в решении) порядков.
Современные передатчики OFDM интенсивно используют цифровое DFT и на приемнике и на передатчике для разделения каналов (ортогональных несущих).
Тогда как эти товарищи предлагают вместо цифрового использовать оптический Fourier Transform, что позволяет понизить bandwidth, уменьшить энергозатраты и повысить скорость передачи (как я понял за счет еще большей спектральной эффективности по сравнению с чисто-цифровым трансформом).
Для оптического трансформа они используют стандартные liquid crystal on silicon (LCOS)-based Wavelength Selective Switch (WSS), что позволяет использовать для демодуляции низко-скоростную электронику.
С помощью таких вот оптических WSS-сов они могут оптически разделять OFDM сигнал на четыре под-несущих и выводить их на отдельные порты, либо же просто заглушать любые три.
А нельзя ли формулами как то показать вашу модель искажения/получения данных? А то совершенно непонятно что именно вы компенсируете…
Например, что то вроде этого Y(x,y) = X(x+a,y+b) + c, где Y — наблюдаемое изображение, X — истинное, а a,b,c — случайные величины какого-то распределения.
Да что за бредовые предубеждения против JPEG? Чем он так провинился то? Если бы не JPEG то как бы вы картинки в 90х по модему скачивали? в TIFF что ли?
В JPEG есть коэффициент компрессии от 1 до 100, пожалуйста играйте им в широких диапазонах. Не хотите терять качество при пересохранении — сохраняйте с тем же самым коэффициентом. Выберите коэффициент 95 и вообще никогда не увидите разницу между tiff и jpeg.
Хотя самое смешное что и tiff позволяет компрессировать жепегоым кодером.
Как я понял из статьи 600-900dpi и так с головой перекрывает качество фотографии. Т.е. при сканировании они как бы пересэмплированны.
Плюс ко всему есть шумок матрицы, пыль, еще какие искажения.
Так зачем все хранить в сыром tiff?
На мой взгляд JPG с хорошим качеством, например 90, значительно удобней как по размеру так и по работе с разными программами.
Смысловую наргузку фотографии такая компрессия не повредит, а цифровой шумок погасит.
Поиграя с настройками можно достичь компрессию в 2-10 раз при том же самом качестве картинки.
Хотя с другой стороны, производители жестких дисков вам благодарны :-)
Ведь вы своими советами создаете новые рабочие места.
В «Near Real-time Stereo for Weakly-Textured Scenes», например предполагется что раз уж сегмент изображения монотонный, то скорей всего он представляет из себя плоскость. Что вполне правдоподобное упрощение, поскольку на границе двух монотонных плоскостей все-равно появится цветной discontinuity и следовательно color segmentation разделит их на разные сегменты.
В «Stereo Matching Using Epipolar Distance Transform» вообще придумали хитрую трансформацию, после которой монотонная область становится вообще не монотонной и матчить 2 картинки становится проще паренной репы.
В остальных статьях, товарищи просто напросто используют фильтрацию с таким большим кёрнелом, что любая монотонная область им перекрывается. Recursive Bilateral например использует IIR-filter (фильтр с бесконечным респонсом, извините за перевод, не знаю это оно по-русски), что означает что для каждого пиксела образуется суппорт из всей картинки.
www.cs.cityu.edu.hk/~qiyang/publications.html
вот эти работы являются state-of-the-art для стерео:
Hardware-Efficient Bilateral Filtering for Stereo Matching,
Stereo Matching Using Epipolar Distance Transform,
A Non-Local Cost Aggregation Method for Stereo Matching,
Near Real-time Stereo for Weakly-Textured Scenes,
Recursive Bilateral Filtering,
Последнее — это вообще бомба… отлично работает на CPU в реалтайме. Кто-то еще говорит что стерео-матчинг слишком медленный?
После этого его можно попробовать по-апскейлить, ведь резолюшен депта очень маленький для прямого применения. Благо депт очень спецефическая функция — в основном гладкая, но с четкими краями. Отсутствие текстур позволяет достаточно свободно апскейлить депт до 100 раз, хотя конечно совсем мелкие детали потеряются.
Надо сказать что часть ошибок в ToF — систематические, т.е. никакая фильтрация их особо хорошо не отфильтрует, это вообще отдельный топик, но люди как-то справляются.
После того как получен View+Depth (RGB+D), можно уже синтезировать новые катинки. Например самой частой проблемой стоит получение стереоскопического видео из View+Depth. Это достаточно легко, однако появляются новые проблемы — dis-occlusions (дырки в картинке). Заполнение таких дырок еще одна совершенно отдельная тема, в которой я надеюсь когда нибудь защищу свой диссер.
Теперь вот Cent OS… Аналогия напрашивается сама собой.
(Пусть даже для устарелого алгоритма компрессии и достаточно невысокого разрешения уровня DVD).
Как человек, слегка знакомый с математикой компрессии видео (хотя люди которые сильно хорошо с ней знакомы сидят буквально в одной комнате со мной и наверно уже строчат очередные патенты для следующего после HEVC стандарта.компрессии), я удивился узнав что какие-то манипуляции с матрицей квантизации могут на что то сильно повлиять.
Я могу понять, если вы найдете специфический контент, например мультики (или вообще что нибудь оригинальное, типа видео УЗИ-обследования :) на котором присутствуют резкие переходы цвета и/или отсутствие текстур или какие то другие особенности; и для которого специально-подготовленные матрицы квантования дают лучшую компрессию при том же уровне качества. Это бы имело какой-то смысл.
Возможно, даже имело бы смысл если бы вы нашли оптимальную матрицу для вашего конкретного фильма, и похвастались бы уменьшением размера файла (хотя возможность double-pass компрессии поставит под вопрос выгоду от такой матрицы).
Для общего пользования ваша матрица ни чем не лучше, а скорее даже и хуже чем стандартная. Что если я хочу закомпрессировать свой собственный фильм? К кому мне обращаться? Писать вам email, «а не подскажите ли вы мне наилучшую матрицу квантования, уважаемый? »?
Ну и ваш последний аргумент про то что 99% людей не способно уловить разницу подрывает остатки вашей аргументации. Нафиг чего то менять, если и так все работает и никто не заметит разницы.
Вы тоже любите экстаполировать??
Люди которые изобрели компрессию видео, уже все до вас сделали — не только алгоритм изобрели но и нашли оптимальные параметры квантования. И поверьте, для того чтоб определить оптимальные матрицы они брали не малький кусочек фильма, а большой набор разнообразных видео-данных и оценивали качество не «на глазок» а с помощью численных и субъективных метрик.
К слову сказать, для субъективного теста качества видео, необходимый минимум респондентов — 30 чел, это если они рандомно набраны, а если bias какой то есть, то нужно больше. Потом полученные результаты усредняются, аутлаеры выкидываются (всегда будет как минимум 5% зрителей с теми или иными нарушениями зрения), ну и так далее следуя научным традициям…
Зачем на Хабр постить свои лабараторки и рефераты?
Хотите рассказать что то новое о Сигнал Процессинге — пишите в соответствующий журнал… а еще лучше в свой твиттер, чтоб никто не видел.
Я лично себе купил Printrbot Jr за $399, собрал настроил и распечатал Прюшу Менделя.
Можно электронику и моторы сразу с принтрбота снять, но я решил докупить новые, и у меня тупо получился воторой принтер по цене электроники и моторов (и хот-энда).
Ну правда до рабочего состояния еще не довел, откалибровать надо хорошенько.
Два произвольно взятых числа приблизительно (с какой-то погрешностью) равны друг другу.
С эдакими допущениями ничего утверждать вообще нельзя. Здесь плюс/минус порядок, там плюс/минус порядок, помножили, поделили, и что? Ваш ответ отличается от правильного примерно на плюс-минус (количество умножений + количество делений в решении) порядков.
www.opticsinfobase.org/abstract.cfm?uri=OFC-2013-PDP5B.9
Нашел прошлогоднюю статейку от той же группы к которой у меня есть доступ
ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=6476512
Полагаю что это точно та же работа, поскольку связана с CUDOS.
Краткое содержание вступления:
Современные передатчики OFDM интенсивно используют цифровое DFT и на приемнике и на передатчике для разделения каналов (ортогональных несущих).
Тогда как эти товарищи предлагают вместо цифрового использовать оптический Fourier Transform, что позволяет понизить bandwidth, уменьшить энергозатраты и повысить скорость передачи (как я понял за счет еще большей спектральной эффективности по сравнению с чисто-цифровым трансформом).
Для оптического трансформа они используют стандартные liquid crystal on silicon (LCOS)-based Wavelength Selective Switch (WSS), что позволяет использовать для демодуляции низко-скоростную электронику.
С помощью таких вот оптических WSS-сов они могут оптически разделять OFDM сигнал на четыре под-несущих и выводить их на отдельные порты, либо же просто заглушать любые три.
Также там еще описано куча других плюшек.
Например, что то вроде этого Y(x,y) = X(x+a,y+b) + c, где Y — наблюдаемое изображение, X — истинное, а a,b,c — случайные величины какого-то распределения.
В JPEG есть коэффициент компрессии от 1 до 100, пожалуйста играйте им в широких диапазонах. Не хотите терять качество при пересохранении — сохраняйте с тем же самым коэффициентом. Выберите коэффициент 95 и вообще никогда не увидите разницу между tiff и jpeg.
Хотя самое смешное что и tiff позволяет компрессировать жепегоым кодером.
Плюс ко всему есть шумок матрицы, пыль, еще какие искажения.
Так зачем все хранить в сыром tiff?
На мой взгляд JPG с хорошим качеством, например 90, значительно удобней как по размеру так и по работе с разными программами.
Смысловую наргузку фотографии такая компрессия не повредит, а цифровой шумок погасит.
Поиграя с настройками можно достичь компрессию в 2-10 раз при том же самом качестве картинки.
Хотя с другой стороны, производители жестких дисков вам благодарны :-)
Ведь вы своими советами создаете новые рабочие места.