Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 110
Когда изобретали формат mp3, говорили, что при кодировании отсекается та часть звуков, которую человек все равно неспособен услышать. Но вокруг множество людей, которые утверждают, что отличают lossless-аудио от mp3 и что последний — совешенно неприемлимо звучит (сам подтвердить или опровергнуть не могу, ибо нифига не меломан и разницы не чувствую).
Чувствую, что с таким способом обработки vr-картинки будет та же ситуация — найдется куча ценителей именно «незамыленной» и полностью отрисованной картинки.
Чувствую, что с таким способом обработки vr-картинки будет та же ситуация — найдется куча ценителей именно «незамыленной» и полностью отрисованной картинки.
Ну, само собой. Вот только физиологию не обманешь, глаза у всех устроены более-менее одинаково.
Так всё равно алгоритмы не совершенны. Так что блюрить будут не то, и не там, где надо.
Если блур периферии позволит повысить детализацию центра перераспределением ресурсов, то что в этом плохого?
Ошибки при определении центра и периферии. Возможны быстрые движения глаз, за которыми картинка не будет успевать подстраиваться.
Плюс деградация качества картинки лучше видна, чем её увеличение, потому что чем качественнее картинка, тем больше дополнительных мощностей нужно, чтобы сделать её ещё качественнее.
Плюс деградация качества картинки лучше видна, чем её увеличение, потому что чем качественнее картинка, тем больше дополнительных мощностей нужно, чтобы сделать её ещё качественнее.
Производители, например, станут оснащать очки набором успокоительных химсредств для снижения скорости движения глаз. А какие-нибудь там травокуры (сугубо теоретизирую), может быть, уже готовы к использованию подобной технологии виртуальной реальности :-)
Пишут, сенсоры зрачка на 250 Гц, такие вы глазами точно не обгоните
Саккада в человеческом глазу требует около 200мс на подготовку и 20-200мс на совершение движения, соответственно эта технология требует 50 fps в отрисовке и в пару-тройку раз больше в детектировании положения зрачка, что выглядит вполне посильно
Если в заблюренной области еще и лесенки будут (называемые оптимизацией), то это замена одного дискомфорта на другой. А так, замыленость области практически ни капли не позволяет сэкономить на ее рендеринге. Так что снижение затратности рендеринга — это скорее фантазия.
Лесенок не будет, если правильно сделать выборку сэмплов, оптимизацией они не называются. В текущем виде, с экранами от смартфона толку мало, а вот если делать экран с большим охватом и учетом периферического зрения, то сэкономить вполне можно.
На чем конкретно? От каких операций можно будет отказаться? Наоборот, мы добавляем работы.
В нужных центральных пикселях суперсэмплинг, в периферийных — наоборот, один семпл на несколько пикселей. Блур погоды не делает. Профит.
«один семпл на несколько пикселей» — лесенки. Нет, ЛЕСТНИЦЫ ДЛЯ ТИТАНОВ. Лесенки — это когда просто пипксель в пиксель рендерим.
Нет. С хорошим сглаживанием даже пониженное разрешение практически не видно. Хороший пример консоли, где разрешение рендеринга 1600х900 при разрешении экрана 1920х1080 не выделяется ничем, кроме как более размытой картинкой и потерей деталей у удаленных объектов. Здесь размытие вообще скроет всякие признаки.
>> С хорошим сглаживанием даже пониженное разрешение практически не видно.
А суть хорошего сглаживания в чем заключается? В рендеринге большего количества пикселей, чем требуется!
>> Хороший пример консоли, где разрешение рендеринга 1600х900 при разрешении экрана 1920х1080 не выделяется ничем
При растягивании с 1600 до 1920 «хорошее сглаживание» не применяется. И речи об «один семпл на несколько пикселей» не идет.
Один семпл хотя бы на 2х2 пикселя — это рендеринг 960х540 и вывод этого изображения на 1920х1080. Почувствуйте разницу с вашим примером.
А суть хорошего сглаживания в чем заключается? В рендеринге большего количества пикселей, чем требуется!
>> Хороший пример консоли, где разрешение рендеринга 1600х900 при разрешении экрана 1920х1080 не выделяется ничем
При растягивании с 1600 до 1920 «хорошее сглаживание» не применяется. И речи об «один семпл на несколько пикселей» не идет.
Один семпл хотя бы на 2х2 пикселя — это рендеринг 960х540 и вывод этого изображения на 1920х1080. Почувствуйте разницу с вашим примером.
Если 2х2 заблурить радиусом 10, будет немножко неважно, 2х2 там или 1,5х1,5. А если добавить чуть-чуть более хитрые алгоритмы и выделять грани, например, то и вовсе окажется, что в каких-то областях можно делать 3х3 или 4х4. Ну и если уж говорить про рендеринг большего количества пикселей, чем нужно, то уже сам факт отказа от тяжелого сглаживания вне центра даст хороший прирост.
Эппл, кстати, именно делает то же самое — рисует с меньшим разрешением перед размытием.
На iPhone (на iPad по-другому сделано) если на «desktop» потянуть вниз, то весь фон начинает размываться. Так вот, если тащить очень медленно, пиксель за пикселем, то можно увидеть артефакты такого сэмплинга. Особенно на некоторых иконках заметно. Например, иконке фотоаппарата.
Хотя у Эппл это просто способ оптимизации самого блюра — для больших радиусов на самом деле брать копию с меньшим числом пикселей, размывать и потом тупо upscale. Таким образом радиус размытия в пикселах меньше получается.
В общем, несмотря на то, что Эппл преследует другую цель, идея как раз работает.
На iPhone (на iPad по-другому сделано) если на «desktop» потянуть вниз, то весь фон начинает размываться. Так вот, если тащить очень медленно, пиксель за пикселем, то можно увидеть артефакты такого сэмплинга. Особенно на некоторых иконках заметно. Например, иконке фотоаппарата.
Хотя у Эппл это просто способ оптимизации самого блюра — для больших радиусов на самом деле брать копию с меньшим числом пикселей, размывать и потом тупо upscale. Таким образом радиус размытия в пикселах меньше получается.
В общем, несмотря на то, что Эппл преследует другую цель, идея как раз работает.
А суть хорошего сглаживания в чем заключается? В рендеринге большего количества пикселей, чем требуется!
Нет, учите матчасть. Хорошее сглаживание нынче это temporal AA с хитрыми эвристиками и фильтрами, что позволяет за счет предыдущих кадров добиться суперсемплинга.
При растягивании с 1600 до 1920 «хорошее сглаживание» не применяется. И речи об «один семпл на несколько пикселей» не идет.
Опять голословные утверждения. Почитайте про современные проекты. Я конкретно могу привести в пример Ryse на xbox one, где в 900р используется упомянутое выше сглаживание, от чего алиазинг в игре вообще отсутствует. На данный момент подобные техники это лучшее, чего достигли в индустрии. И используются они практически во всех ААА проектах.
Почувствуйте разницу с вашим примером.
А теперь вспомните, что речь о даунсемплинге изображения, которое все равно будет размыто. Информация и так будет потеряна, поэтому нет особой разницы, что там под этим размытием.
>> Нет, учите матчасть. Хорошее сглаживание нынче это temporal AA с хитрыми эвристиками и фильтрами, что позволяет за счет предыдущих кадров добиться суперсемплинга.
Во-первых, temporal AA (TAA) вообще не имеет отношения к устранению лесенок. Разве что, по ходу дела в этом помогает.
А вот комплексное решение от nvidia:
TXAA anti-aliasing creates a smoother, clearer image than any other anti-aliasing solution by combining high-quality MSAA multisample anti-aliasing, post processes, and NVIDIA-designed temporal filters.
Т.е. это MSAA (хорошее сглаживание за счет рендеринга избыточного объема информации) + анти-алиасинг динамики объектов + какие-то окончательные штрихи. Т.е. это еще тяжелее чем просто MSAA.
>> Опять голословные утверждения. Почитайте про современные проекты. Я конкретно могу привести в пример Ryse
В Ryse:
«We do what is essentially MSAA. Then we do a lens distortion that makes the image incredibly soft (amongst other blooms/blurs/etc). Softness/noise/grain is part of film and something we often embrace. Jaggies we avoid like the plague and thus we anti-alias the crap out of our images.»
Т.е. опять же MSAA + что-то еще. Основа устранения лесенок без адского замыливания — это наличие избыточного объема информации. А как вы эту идею разовьете, что добавите и каким другим названием обзовете — это уже не играет роли.
А я имел ввиду, что уже после этого, т.е. после формирования кадра 1600х900, когда он растягивается до 1920х1080, уже никаких тяжелых методов не применяют. Разве что добавляют слегка мыла и поверх него — зернистости (т.е. легкие пост-эффекты, чтобы растягивание на 20% скрыть).
В нашем случае речь отнюдь не +20%. Тут растягивают на 200-300%, насколько я понял. И скрыть это без соответствующей нагрузки никак не выйдет. Ну или как выше предлагали — радиус размытия 10 пикселей и пусть в итоге получится просто цветное пятно ))
Во-первых, temporal AA (TAA) вообще не имеет отношения к устранению лесенок. Разве что, по ходу дела в этом помогает.
А вот комплексное решение от nvidia:
TXAA anti-aliasing creates a smoother, clearer image than any other anti-aliasing solution by combining high-quality MSAA multisample anti-aliasing, post processes, and NVIDIA-designed temporal filters.
Т.е. это MSAA (хорошее сглаживание за счет рендеринга избыточного объема информации) + анти-алиасинг динамики объектов + какие-то окончательные штрихи. Т.е. это еще тяжелее чем просто MSAA.
>> Опять голословные утверждения. Почитайте про современные проекты. Я конкретно могу привести в пример Ryse
В Ryse:
«We do what is essentially MSAA. Then we do a lens distortion that makes the image incredibly soft (amongst other blooms/blurs/etc). Softness/noise/grain is part of film and something we often embrace. Jaggies we avoid like the plague and thus we anti-alias the crap out of our images.»
Т.е. опять же MSAA + что-то еще. Основа устранения лесенок без адского замыливания — это наличие избыточного объема информации. А как вы эту идею разовьете, что добавите и каким другим названием обзовете — это уже не играет роли.
А я имел ввиду, что уже после этого, т.е. после формирования кадра 1600х900, когда он растягивается до 1920х1080, уже никаких тяжелых методов не применяют. Разве что добавляют слегка мыла и поверх него — зернистости (т.е. легкие пост-эффекты, чтобы растягивание на 20% скрыть).
В нашем случае речь отнюдь не +20%. Тут растягивают на 200-300%, насколько я понял. И скрыть это без соответствующей нагрузки никак не выйдет. Ну или как выше предлагали — радиус размытия 10 пикселей и пусть в итоге получится просто цветное пятно ))
А выглядит растянутый Ryse на XBOX хорошо небось по той причине, что многие другие игры на XBOX растягиваются вообще с 720p. И глаз, смирившийся с этим, восторгается не настолько мыльной растяжке с 900p.
Госспади, ну что мешает анизотропно фигачить выборку, зачем обязательно в ряд для четкой лесенки?
Я не знаю, что мешает, но существенное и при этом незаметное глазу снижение разрешения рендеринга я пока что не видел. Хочешь нормальную картинку — будь добр отрендерить какой-то необходимый минимум информации. Любые «компромисы», существенно снижающие затраты, будут столь же существенно заметны.
В данном случае nvidia всего-лишь предлагает решение, но не дает оценок о том, на сколько и в каких играх оно будет приемлемо. Я предварительно оценил, что лесенки, предлагаемые в видео — для меня не приемлемы никак.
В данном случае nvidia всего-лишь предлагает решение, но не дает оценок о том, на сколько и в каких играх оно будет приемлемо. Я предварительно оценил, что лесенки, предлагаемые в видео — для меня не приемлемы никак.
Ну так это как со сглаживанием, сначала был только суперсэмплинг и совсем печальные просадки производительности при высоких его значениях, потом начали выдумывать всякие SSAA, MSAA, CSAA, NFAA, FXAA, DLAA, MLAA, SMAA, TXAA… Пусть копаются, авось что родят.
Где вы лесенки увидели? Во 2м примере (середина видео начиная с 31 секунды)?
Так это только самый первый этап обработки которого пользователь вообще видеть не будет — он нужен только чтобы подать его на вход следующему этапу конвеера. К тому же эффект специально значительно усилен/преувеличен для наглядности разницы о чем снизу соответствующая пометка стоит.
А наследующих этапе уже никаких лесенок не видно — только размытие/замутнение участков изображения не попадающих в фокус зрения. Который в настоящих очках ВР (где это это с 20-40 градусов при просмотре на мониторе растянется градусов на 100) попадет в область периферического зрения где глаза и так по любому только очень мутную картинку могут давать — видеть эти области четко человек физически не способен.
Так это только самый первый этап обработки которого пользователь вообще видеть не будет — он нужен только чтобы подать его на вход следующему этапу конвеера. К тому же эффект специально значительно усилен/преувеличен для наглядности разницы о чем снизу соответствующая пометка стоит.
А наследующих этапе уже никаких лесенок не видно — только размытие/замутнение участков изображения не попадающих в фокус зрения. Который в настоящих очках ВР (где это это с 20-40 градусов при просмотре на мониторе растянется градусов на 100) попадет в область периферического зрения где глаза и так по любому только очень мутную картинку могут давать — видеть эти области четко человек физически не способен.
«Эффект значительно усилен» — это касается полноразмерного видео, которое я даже побоялся смотреть, т.к. эффект значителен даже на уменьшенном встроенном видео. А на уменьшенном, полагаю, все близко к предлагаемому уровню снижения детализации. Не суть.
Сначала они рендерят меньше пикселей, а потом их сглаживают до сильно размытых, но тем не менее идеально ровных очертаний (на уменьшенном видео). Как по вашему — это дорого или нет?
Our testbed uses high-quality anti-aliasing techniques to ensure temporal stability in foveated rendering. We enable 8× multisample anti-aliasing (MSAA) and have implemented a TAA algorithm inspired by Unreal Engine 4 [Karis 2014], modified to work with all of the above techniques.
8хMSAA — это не SSAA, разумеется. Так что, экономию, по идее, получим. Какую — это и интересует меня (ведь помимо MSAA еще что-то делается). Не увидел в блоге и документе бенчмарков или хотя бы пару слов об этом. Т.е. во сколько раз быстрее рендерится грязная картинка и какой процент от высвободившихся ресурсов потом используетя для доведения ее до ума (ну или итоговый профит в сравнении с обычным подходом).
Но суть в том, что если вы видите режущие глаз квадраты, а потом бац — и идеально ровные линии/очертания (пусть и размытые), как на уменьшенном видео. То значит, что на этапе доведения до ума применялось не банальное размазывание, а добор недостающей информации. Для меня это очевидно, а вот схема их алгоритма очевидна не была и описана в новости тоже не была. На сайте уже позже прочел abstract — теперь прояснилось хоть в общих чертах.
Сначала они рендерят меньше пикселей, а потом их сглаживают до сильно размытых, но тем не менее идеально ровных очертаний (на уменьшенном видео). Как по вашему — это дорого или нет?
Our testbed uses high-quality anti-aliasing techniques to ensure temporal stability in foveated rendering. We enable 8× multisample anti-aliasing (MSAA) and have implemented a TAA algorithm inspired by Unreal Engine 4 [Karis 2014], modified to work with all of the above techniques.
8хMSAA — это не SSAA, разумеется. Так что, экономию, по идее, получим. Какую — это и интересует меня (ведь помимо MSAA еще что-то делается). Не увидел в блоге и документе бенчмарков или хотя бы пару слов об этом. Т.е. во сколько раз быстрее рендерится грязная картинка и какой процент от высвободившихся ресурсов потом используетя для доведения ее до ума (ну или итоговый профит в сравнении с обычным подходом).
Но суть в том, что если вы видите режущие глаз квадраты, а потом бац — и идеально ровные линии/очертания (пусть и размытые), как на уменьшенном видео. То значит, что на этапе доведения до ума применялось не банальное размазывание, а добор недостающей информации. Для меня это очевидно, а вот схема их алгоритма очевидна не была и описана в новости тоже не была. На сайте уже позже прочел abstract — теперь прояснилось хоть в общих чертах.
Я вот не побоялся в полном размере (HD на полный экран) посмотреть. И даже в 3Д (очков/шлема у меня нет — но такую стереопару можно просто глазами смотреть если уметь глаза отдельно фокусировать так чтобы каждый видел свою картинку).
Нет там никаких идеально ровных очертаний на периферии, то еще мыло и границы жирные и нечеткие. Относительная четкость от обратно даунскейлинга как раз появляется если в маленьком окошке смотреть.
Но вот если со всем этим мылом смотреть при этом только туда куда показывает красный квадратик (имитирующий трекинг положения глаз в этом примере) всего этого мыла на самом деле не заметно. Даже чудовищные лесенки из 1й стадии не сильно заметны оказываются — больше мешают не сами лесенки (в статике их практически незаметно если взгляд направлен куда показывает квадрат), а их мельтещение/мерцания при движении когда они начинают «бегать» по границам объектов и боковом зрением это замечаешь. Видимо поэтому и ТАА может оказаться очень эффективен.
Нет там никаких идеально ровных очертаний на периферии, то еще мыло и границы жирные и нечеткие. Относительная четкость от обратно даунскейлинга как раз появляется если в маленьком окошке смотреть.
Но вот если со всем этим мылом смотреть при этом только туда куда показывает красный квадратик (имитирующий трекинг положения глаз в этом примере) всего этого мыла на самом деле не заметно. Даже чудовищные лесенки из 1й стадии не сильно заметны оказываются — больше мешают не сами лесенки (в статике их практически незаметно если взгляд направлен куда показывает квадрат), а их мельтещение/мерцания при движении когда они начинают «бегать» по границам объектов и боковом зрением это замечаешь. Видимо поэтому и ТАА может оказаться очень эффективен.
Могут предложить посмотреть на мультиплеер killzone shadow fall в качестве примера компромисса, который никто не замечал долгое время. Реальное разрешение в этом режиме 960x1080, но за счет чересстрочного рендеринга они комбинируют текущий кадр с предыдущим и получается как бы 1920х1080. Очень долго никто про это вообще не знал, а разработчики молчали. Совершенно случайно еле еле заметили на одном форуме.
Туже самую «уязвимость» человеческого мозга используют с прочими временными техниками. Когда сглаживание тем лучше, чем меньше движения на экране за счет смешивания предыдущих кадров. Во время активного геймплея глаз не видит, а как спокойно становится, то и сглаживание становится идеальным. Динамическое изменение разрешения тоже играет на это, от чего глаз точно так же практически ничего не замечает. Существенно заметно это все только на скриншотах под лупой, но не во время реальной игры.
Туже самую «уязвимость» человеческого мозга используют с прочими временными техниками. Когда сглаживание тем лучше, чем меньше движения на экране за счет смешивания предыдущих кадров. Во время активного геймплея глаз не видит, а как спокойно становится, то и сглаживание становится идеальным. Динамическое изменение разрешения тоже играет на это, от чего глаз точно так же практически ничего не замечает. Существенно заметно это все только на скриншотах под лупой, но не во время реальной игры.
«Лесенки» это не оптимизация, а неизбежность любой дискретизации — в данном случае, непрерывные грани 3д моделей растеризуются в дискретный набор пикселей. Отказаться можно будет много от чего — упрощать рендеринг материалов, уменьшать разрешение текстур, детализацию моделей и т.д. Все то, что и так делается всякими лодами, когда объект вдали и пользователь ничего не подозревает даже. Только здесь не замечать все это позволит блюр и тот факт, что это периферическое зрение.
У вас есть текстура 2048х2048. В ней же паровозом уже содержатся все ее уменьшенные версии: 1024, 512, 256, 128 и т.д. (не будем же мы каждый раз при использовании производить уменьшение).
Если вам надо наложить текстуру на близкий объект, 2D-размер которого составляет, допустим, 500 точек, вы выбираете либо текстуру на 512, либо на 1024. Если вы выберете текстуру 16х16 для этого, то что вы выиграете от растягивания ее до размера проекции объекта? Так зачем использовать уменьшенные текстуры на крупных объектах? Есть смысл использовать заранее уменьшенные текстуры на мелких объектах вдалеке. И это делается издавна. В контексте данной темы ничего не меняется.
Геометрия — это то, что действительно имеет какой-то потенциал в оптимизации. Уменьшенное количество полигонов в периферийной области немного снизит нагрузку. И то, только в тех сценах, где этих полигонов слишком много. Иначе вообще бестолковая затея. А вот расходы на это каковы? Насколько гармонично это удастся реализовать?
Ок, это все рассуждения. Но давайте вернемся к nvidia и их предложениям. Если вы ходили по ссылке в блог и читали субтитры в видео (в районе 00:40), то там так и написано: можем сэкономить за счет пикселей на пол экрана! А можем и не экономить (показывают дальше нормальное изображение).
Т.е.
— рендерить, к примеру, в 16 раз меньше пикселей — это значит получить соизмеримое снижение вычислительных затрат (и повышение дискомфорта пользователей, которые не совсем еще слепые).
— накладывать на крупные объекты мелкие текстуры — можно, но выхлоп стремится к нулю
— подсовывать низкополигональные модели — можно и даже нужно, когда общее их видимое количество в сцене слишком велико, иначе выхлоп хоть и не будет нулевым, но едвали порадует.
— и чуть не забыл — снижение сложности шейдеров тоже может дать выгоду
Если вам надо наложить текстуру на близкий объект, 2D-размер которого составляет, допустим, 500 точек, вы выбираете либо текстуру на 512, либо на 1024. Если вы выберете текстуру 16х16 для этого, то что вы выиграете от растягивания ее до размера проекции объекта? Так зачем использовать уменьшенные текстуры на крупных объектах? Есть смысл использовать заранее уменьшенные текстуры на мелких объектах вдалеке. И это делается издавна. В контексте данной темы ничего не меняется.
Геометрия — это то, что действительно имеет какой-то потенциал в оптимизации. Уменьшенное количество полигонов в периферийной области немного снизит нагрузку. И то, только в тех сценах, где этих полигонов слишком много. Иначе вообще бестолковая затея. А вот расходы на это каковы? Насколько гармонично это удастся реализовать?
Ок, это все рассуждения. Но давайте вернемся к nvidia и их предложениям. Если вы ходили по ссылке в блог и читали субтитры в видео (в районе 00:40), то там так и написано: можем сэкономить за счет пикселей на пол экрана! А можем и не экономить (показывают дальше нормальное изображение).
Т.е.
— рендерить, к примеру, в 16 раз меньше пикселей — это значит получить соизмеримое снижение вычислительных затрат (и повышение дискомфорта пользователей, которые не совсем еще слепые).
— накладывать на крупные объекты мелкие текстуры — можно, но выхлоп стремится к нулю
— подсовывать низкополигональные модели — можно и даже нужно, когда общее их видимое количество в сцене слишком велико, иначе выхлоп хоть и не будет нулевым, но едвали порадует.
— и чуть не забыл — снижение сложности шейдеров тоже может дать выгоду
Да филрейт не выиграем, но выхлоп от текстур это выигрыш в плане шины, по которой эти текстуры нужно будет гонять. Очень важная нынче вещь, когда разработчиками этой шины постоянно мало. Можете покрутить в играх настройки разрешения текстур и оценить, насколько это может сожрать производительность.
Кроме геометрии я еще упомянул упрощенный шейдинг. В современных играх таки сцены очень сложные и найти где порезать незаметные для периферии техники будет очень просто.
Кроме геометрии я еще упомянул упрощенный шейдинг. В современных играх таки сцены очень сложные и найти где порезать незаметные для периферии техники будет очень просто.
Уши вроде тоже у всех людей плюс-минус одинаковые. Однако некоторые отличают невероятно глубину звука lossless в самом новомодном формате с битрейтом в десятки мбит/с по золотым кабелям… Но если делают и продают — значит это кому-то надо)
Более того, этот стереотип даже поддерживать будут. Надо же кому-то будет продавать видеокарты за $1000. Тем не менее большинство устроит и такой «упрощенный» вариант.
Думаю, будет возможность выбора. Если компьютер достаточно производительный, то степень и область размытия можно будет настраивать по желанию, кому что.
Насчёт loss/lossless:
Давно как-то спорил, что сгенерирую сигнал в котором все услышат отличие между исходным wav и сжатым с максимальным качеством mp3.
Сгенерировал сигнал из двух прямоугольных (или пилообразных — не помню уже) сигналов, плавно меняющих частоты.
Думал — все сразу услышат — оказалось, не совсем так.
Большинство, действительно, почувствовало разницу, но всё равно оставалась часть людей, её не слышащих.
Но! Выяснилось, что можно тем людям, которые разницы не слышат, рассказать, на что именно обратить внимание при сравнении этих записей. И тогда начинали слышать и они.
Давно как-то спорил, что сгенерирую сигнал в котором все услышат отличие между исходным wav и сжатым с максимальным качеством mp3.
Сгенерировал сигнал из двух прямоугольных (или пилообразных — не помню уже) сигналов, плавно меняющих частоты.
Думал — все сразу услышат — оказалось, не совсем так.
Большинство, действительно, почувствовало разницу, но всё равно оставалась часть людей, её не слышащих.
Но! Выяснилось, что можно тем людям, которые разницы не слышат, рассказать, на что именно обратить внимание при сравнении этих записей. И тогда начинали слышать и они.
На хороших наушниках (не про, но почти студийных, правда на встройке) я чувствовал разницу между lossless и лучшими мп3 вплоть до 192 кбпс но только на классической музыке, а на 224 уже скорее всего нет. Что же касается именно мп3, то няз его спецификация была очень свободная и определяла только как поток следует ДЕкодировать, оставляя широкую свободу относительно того как именно его следует сжимать, в результате многие ранние энкодеры были совершенно негодными и производили жуткий шум и писк на высоких частотах. С другой стороны, это создало полевозможностей для конкуренции между разными энкодерами что породило лейм и вообще многолетние холиворы и лулзы в 90х- начале 2000х
скорее я знал что большинство людей способны услышать разницу на битрейтах меньше 200кбпс. =Ж
На самом деле до 192 кбпс обычно применяется joint stereo которое очень корежит фазы высоких частот. И это слышно даже на дешевых наушниках, если вы не глухой.
Слепой тест нужно делать на шумах. С музыкой включается личностное восприятие и ты теряешь нить в потоках тонов.
Я заметил, что если трек нравится, то разницы 320кбпс или вав не заметно. Если же можешь отвлечься на прослушивание, то слышно отсутствие высоких выше 18кгц.
Я заметил, что если трек нравится, то разницы 320кбпс или вав не заметно. Если же можешь отвлечься на прослушивание, то слышно отсутствие высоких выше 18кгц.
Нет проблем! Я не против сверхдорогой техники для аудиофилов, пока я могу купить дешёвое оборудование, досаточное для меня. Так и с ВР — я не против, если будет премиум-сегмент для любителей незамыленной картинки, если при этом я смогу купить бюджетный вариант. Вообще, несказанно радует эта тенденция — хоть кто-то задумался об оптимизации, вместо того чтобы сказать «у вас просто устаревшее железо, что ж вы хотели — покупайте новое».
Это те же ребята, которые делаю light field с несколькими дисплеями для имитации фокусировки глаз?
разве всё равно не нужно рендорить всё? или там типа тени в тех местах блюра не рендорятся?
Для периферии, как я понимаю, можно текстурки меньшие подгружать, снижая нагрузку на ГП
Разбиваем площадь экрана на массив квадратов. Участки в фокусе рендерим 1 к 1. Участки вне фокуса зрения рендерим с разрешением 1:2, 1:4 и так далее. Самый максимум можно выжать, если эти сектора будут виртуальными дисплеями для видеокарты, которые на ходу смогут менять разрешение. Соответственно, сильно заточить железо и драйвер под мультидисплейный рендер. Увы, с стоковыми видеокартами такой вариант не прокатит, однако можно выпустить видеокарты special for vr, и это действительно будет профит и большой выигрыш по производительности.
Как раз в последних видеокартах от NV эти технологии и реализованы (Simultaneous Multi-Projection Engine), они даже VR стерео картинку за 1 проход делают и разбивают кадр на мультипроекции с любым шагом и любой кривизной избавляясь от артефактов при выводе на многомониторную конфигурацию, так что технология в статье в полушаге от применения.
Точно, комментарием ниже beeruser написал вариант и для стоковых видеокарт, даже проще.
Весь кадр рисуется с разрешением x0.5-x0.25. Эт на порядки повышает производительность. И лишь в области фокуса мы рисуем четкую картинку, которая втрое-вчетверо меньше по размеру чем весь дисплей. В итоге минимум двукратный прирост производительности. Если подумать, тоже самое можно использовать и для _самых_ обычных мониторов, получая выигрыш в производительности для обычных ПК в играх. Естественно предполагается, что пользователь сидит достаточно близко к full hd монитору, что конечно не очень приятно и полезно для зрения.
Весь кадр рисуется с разрешением x0.5-x0.25. Эт на порядки повышает производительность. И лишь в области фокуса мы рисуем четкую картинку, которая втрое-вчетверо меньше по размеру чем весь дисплей. В итоге минимум двукратный прирост производительности. Если подумать, тоже самое можно использовать и для _самых_ обычных мониторов, получая выигрыш в производительности для обычных ПК в играх. Естественно предполагается, что пользователь сидит достаточно близко к full hd монитору, что конечно не очень приятно и полезно для зрения.
Картинки «просто заблюренная периферия» и «заблюренная периферия с сохранением необходимого уровня контрастности», похоже, перепутаны.
В очках виртуальной реальности основная проблема — это запаздывание изображения за движениями головы, так что многих людей тошнит с непривычки. Глаза же движутся намного быстрее головы — как решили эту проблему? Не получится ли в итоге дороже, чем честно рендерить картинку целиком?
Я читал, что тошнота вызывается диссонансом между зрительной информацией и той, что получает вистибулярный аппарат. Для этого либо делают перемещение скачкообразным, из точки в точку, либо поверх изображения рисуют приборную панель или подобное. Мне кажется заблюривание относится ко второму варианту.
Ну тут как обычно вылезают тонкости. Если зритель в игре(фильме) движется — запаздывание менее заметно. Если стоишь на месте озираясь, лаг будет проявляться во всей красе.
Впрочем, в «дешевый» ВР уже завтра все равно не верится. Для этого нужны недорогие карты с производительностью близкой к нынешним топам, не жить же с 720p и «киношными» 30 fps?
Впрочем, в «дешевый» ВР уже завтра все равно не верится. Для этого нужны недорогие карты с производительностью близкой к нынешним топам, не жить же с 720p и «киношными» 30 fps?
На мой взгляд, тут уже немного другой случай, но можно и нужно применять ту же самую технику, а именно радикальное ухудшение качество картинки с целью повысит в разы FPS! Попробуйте на быстро вращающейся карусели не водить глазами, цепляясь за объекты, а просто зафиксировать голову и взгляд. Увидите размытое изображение. Если при сильном панарамировании во время игры уменьшать качество и повышать FPS, то запаздывания изображения будет меньше, а ощущения более правдоподобными.
Достаточно даже офисного стула(кресла) на газ лифте — поднять ноги над полом и чуть толкнуться. Если подавить рефлекс глаз скакать цепляясь за отдельные объекты (с быстрой их сменой) то картинка размывается так что пипец.
Правда не ясно это из-за самого движения(ограничения при обработке мозгом поступающей информации) или просто из-за того что глаз не успевает фокусироваться оптически и это мыло аналогично фотографиям не в фокусе.
Ну и головокружение от такого очень быстро наступает — гораздо быстрее чем если «цепляться» глазами за объекты и при этом вращаясь с такой же скоростью. И в случае с ВР и так уже у многих проблемы с этим.
Правда не ясно это из-за самого движения(ограничения при обработке мозгом поступающей информации) или просто из-за того что глаз не успевает фокусироваться оптически и это мыло аналогично фотографиям не в фокусе.
Ну и головокружение от такого очень быстро наступает — гораздо быстрее чем если «цепляться» глазами за объекты и при этом вращаясь с такой же скоростью. И в случае с ВР и так уже у многих проблемы с этим.
Правда не ясно это из-за самого движения(ограничения при обработке мозгом поступающей информации) или просто из-за того что глаз не успевает фокусироваться оптически и это мыло аналогично фотографиям не в фокусе.
Думаю, что в этом случае поток информации возрастает очень сильно. Когда мы смотрим в одно место в течение продолжительного времени, то мозг получает информацию о том, что было, строит прогноз и сравнивает со вновь поступающей информацией. При панарамировании у мозга нет предыдущей информации о только что появившихся объектах, он не может отследить их перемещения и возможные действия в перспективе из за недостатка информации, получается своеобразный перегруз, что в конечном итоге ведёт к тому, что большая часть информации просто отбрасывается и не обрабатывается. А раз так, то зачем снабжать мозг в этот момент качественной информацией (картинкой)? Вполне подойдёт и грубая, плохо обсчитанная копия. Но вот если частота смены кадров будет невысокой, картинка будет застывать и дёргаться, то мозг почувствует что то неладное. Так не бывает в реальной жизни и он это чувствует.
Лучше бы научились полностью кадр под каждый глаз не перерендеривать, а определять общие для двух кадров элементы.
Получается, что изображение будет дважды размыто. Сначала видеокартой, потом самим глазом.
Зато изображение не в фокусе не нужно рендить с таким же разрешением и тем самым можно повысить производительность.
Видимо из-за этого и необходимо повышать контрастность размытой части изображения.
Это нужно потому что «размытие» компьютерным блюром и глазом на периферии сильно разные по своей природе.
Компьютерный блюр — это на самом деле исходное (высокое) разрешение, но просто соседние пиксели смешиваются друг с другом и в результате имеют очень близкие цвета со слабо выраженными переходами между ними. Т.е имеем большое кол-во элементов со слабыми переходами.
А нечеткость зрения глаза на периферии — это именно низкое разрешение (из-за малого количества светочувствительных клеток сетчатки на единицу площади — чем дальше от центра, тем их становится меньше). В результате имеем малое кол-во элементов с довольно сильными (грубыми) переходами между ними.
Увеличивать физический размер пикселя(уменьшая их количество) от центра экрана к краям, чтобы имитировать глаз они понятно не могут.
И поэтому повышая контрастность после применения блюра они пытаются плавно размазанную картинку сделать похожей на картинку «рисованную грубыми мазками» (как рисунок художника кистью против нечеткой фотографии) — это больше похоже на то, как видит глаз по краям области зрения чем простой блюр.
Компьютерный блюр — это на самом деле исходное (высокое) разрешение, но просто соседние пиксели смешиваются друг с другом и в результате имеют очень близкие цвета со слабо выраженными переходами между ними. Т.е имеем большое кол-во элементов со слабыми переходами.
А нечеткость зрения глаза на периферии — это именно низкое разрешение (из-за малого количества светочувствительных клеток сетчатки на единицу площади — чем дальше от центра, тем их становится меньше). В результате имеем малое кол-во элементов с довольно сильными (грубыми) переходами между ними.
Увеличивать физический размер пикселя(уменьшая их количество) от центра экрана к краям, чтобы имитировать глаз они понятно не могут.
И поэтому повышая контрастность после применения блюра они пытаются плавно размазанную картинку сделать похожей на картинку «рисованную грубыми мазками» (как рисунок художника кистью против нечеткой фотографии) — это больше похоже на то, как видит глаз по краям области зрения чем простой блюр.
А за что товарища минусуют? По сути-то он прав. Лукавят господа производители.
Периферическое зрение действительно имеет более ризкое разрешение. Но это не значит, что если подсунуть ему худшую картинку — человек не зависит разницы.
Это примерно то же самое, что с слабо слышащим пытаться разговаривать шёпотом. Ну а что? Он же слышит плохо — давайте ему бубнить сквозь зубы будем — всё-равно не поймёт ничего.
Про экономию вычислительных ресурсов — замечательно. А вот что это не ухудшит восприятие деталей — лукавство.
Периферическое зрение действительно имеет более ризкое разрешение. Но это не значит, что если подсунуть ему худшую картинку — человек не зависит разницы.
Это примерно то же самое, что с слабо слышащим пытаться разговаривать шёпотом. Ну а что? Он же слышит плохо — давайте ему бубнить сквозь зубы будем — всё-равно не поймёт ничего.
Про экономию вычислительных ресурсов — замечательно. А вот что это не ухудшит восприятие деталей — лукавство.
Нет это про то, что слабо слышащему бесполезно loss-less музыку слушать с максимальным качеством. Пойдет и 128 кбит MP3, но зато с громкостью выкрученной на максимум (в случае видео — с усиленным контрастом при сниженной детализации).
А зачем нам тогда мониторы 32bpp и 120 Гц? Глаз столько «не видит».
Что бы «добавить красок» с помощью «неощущаемого»… убрать мерцание.
Ровно то же и с периферическим зрением.
Что бы «добавить красок» с помощью «неощущаемого»… убрать мерцание.
Ровно то же и с периферическим зрением.
Ну хотя бы поэтому https://rc.nsu.ru/distance/Biology/Archives/033.html
Интересует тема глубже — множество различных -педий в помощь, как и просто учебники биологии (посовременнее).
ЗЫ: Как тут весело — минусовать в карму за мнение отличное от толпы — тут можно ежесекундно и без особых причин.., за то «несогласные» комментировать — раз в час. Такая вот навальная демократия…
Интересует тема глубже — множество различных -педий в помощь, как и просто учебники биологии (посовременнее).
ЗЫ: Как тут весело — минусовать в карму за мнение отличное от толпы — тут можно ежесекундно и без особых причин.., за то «несогласные» комментировать — раз в час. Такая вот навальная демократия…
>А зачем нам тогда мониторы 32bpp и 120 Гц?
Не знаю, расскажите пожалуйста.
Не знаю, расскажите пожалуйста.
Затем, что 16бит/пиксель для человека с нормальным зрением явно недостаточно — глаз точно и легко видит больше оттенков если человек не дальтоник. А не кратные степени 2ки схемы кодирования в компьютерах применять особо смысла нет из-за особенностей двоичной архитектуры, поэтому следующая ступенька сразу 32бит на пиксель.
При этом большинство мониторов сейчас всего 18 бит цвета + FRC(эмуляция дополнительных цветов) в реальности показывают принимая 32бит сигнал и подавляющему числю людей этого уже вполне достаточно. Хотя желательно все же полноценные 24 бит (8 на канал).
120 Гц больше из области «золотых кабелей» для аудиофилов (т.е. больше психологии и плацебо). Хотя в некоторых случаях имеют смысл — для «хардкор» геймеров. Или например для вывода псевдо 3Д картинки (где попеременно выводятся кадры для левого и правого глаза, поэтому 120 Гц превращаются всего лишь в 60 Гц стереокартинки). Поэтому опять же доля таких мониторов очень мала от общего количества — большинству они просто не нужны и не имеют смысла. И эта доля была бы еще меньше, если бы были распространены мониторы с промежуточными вариантами — оптимум(после которого разницы уже практически незаметно) лежит где-то в районе 85 Гц. Но на практике после того как ЖК захватили рынок убив ЭЛТ обычно выбор между «офисным» стандартом 60 Гц и «игровыми» 120 Гц и кому маловато 60 Гц приходится брать сразу 120 Гц.
P.S.
Мы же говорили об ограниченном зрении. Т.е. человеке с плохим слухом/зрением (или плохой областью зрения для здорового человека если ближе к исходной теме). Люди с плохим зрением точно за мониторами со 120 Гц и максимально точной цветопередачей не гоняются. Попробуйте включить в ОС схему с оформлением для слабовидящих. Там минимум цветов с резкими грубыми переходами и крупные (увеличенные) элементы и шрифты. Но как раз для слабовидящих такая «некачественная» с точки зрения нормально видящего картинка как раз лучше чем тонкие цветовые переходы и больше количество элементов с высокой детализацией.
При этом большинство мониторов сейчас всего 18 бит цвета + FRC(эмуляция дополнительных цветов) в реальности показывают принимая 32бит сигнал и подавляющему числю людей этого уже вполне достаточно. Хотя желательно все же полноценные 24 бит (8 на канал).
120 Гц больше из области «золотых кабелей» для аудиофилов (т.е. больше психологии и плацебо). Хотя в некоторых случаях имеют смысл — для «хардкор» геймеров. Или например для вывода псевдо 3Д картинки (где попеременно выводятся кадры для левого и правого глаза, поэтому 120 Гц превращаются всего лишь в 60 Гц стереокартинки). Поэтому опять же доля таких мониторов очень мала от общего количества — большинству они просто не нужны и не имеют смысла. И эта доля была бы еще меньше, если бы были распространены мониторы с промежуточными вариантами — оптимум(после которого разницы уже практически незаметно) лежит где-то в районе 85 Гц. Но на практике после того как ЖК захватили рынок убив ЭЛТ обычно выбор между «офисным» стандартом 60 Гц и «игровыми» 120 Гц и кому маловато 60 Гц приходится брать сразу 120 Гц.
P.S.
Мы же говорили об ограниченном зрении. Т.е. человеке с плохим слухом/зрением (или плохой областью зрения для здорового человека если ближе к исходной теме). Люди с плохим зрением точно за мониторами со 120 Гц и максимально точной цветопередачей не гоняются. Попробуйте включить в ОС схему с оформлением для слабовидящих. Там минимум цветов с резкими грубыми переходами и крупные (увеличенные) элементы и шрифты. Но как раз для слабовидящих такая «некачественная» с точки зрения нормально видящего картинка как раз лучше чем тонкие цветовые переходы и больше количество элементов с высокой детализацией.
Эта «технология» называется foveated rendering и без nvidia уже было несколько реализаций
>> Сейчас вся картинка в ВР-гарнитурах отрисовывается с одинаковой степенью качества.
Зависит от чипа. На старых чипах реализуется рисованием в 2 прохода и наложением чёткого пятна в центре.
Современные же чипы умеют создавать рендер-таргеты с переменной плотностью пикселей.
>> Сейчас вся картинка в ВР-гарнитурах отрисовывается с одинаковой степенью качества.
Зависит от чипа. На старых чипах реализуется рисованием в 2 прохода и наложением чёткого пятна в центре.
Современные же чипы умеют создавать рендер-таргеты с переменной плотностью пикселей.
Ну наконец-то. Если nvidia этим занялась, то можно ждать что-то потенциально качественное и массовое. Помимо экономии мощностей GPU, при должной проработке это еще сильно сэкономит канал пересылки от GPU к очкам (да пусть хоть и через USB). С частотой в 100гц создается и посылается низкокачественная картинка, с частотой в 50гц создается качественная фовеальная картинка, и посылается в очки. Если происходит саккада, то это провоцирует «ускоренный» перерендеринг фовеальной области. А внутри очков происходит перепроекция, объединение, прекомпенсация дисперсии линзы, блюр и вывод. Если смогут сделать несколько уровней разрешения (мипов), и в сами очки встроят все эти манипуляции, то может получиться очень круто. Экономия будет по всем фронтам. Конечно, фовеальное запаздывание в какой-то степени по-любому будет присутствовать, но ИМХО от этого голова кружиться не будет. Просто будет немного запаздывающее «наведение резкости». Причем запаздывание это можно уменьшить, если уменьшить эту зону, и рендерить фовеальную часть с максимальным приоритетом. А слежение за зрачками помимо этого еще кучу полезностей даст для VR, и не только для VR. Чувствую, что именно за этим направлением может быть будущее.
Ну наконец-то. Если nvidia этим занялась, то можно ждать что-то потенциально качественное и массовое.
И, зная любовь нвидии к проприентарщине, работающее только на их видеокартах. Плавали, знаем.
Давненько мы ждали реализации нашего изобретения 1996 года, изложенного в патенте РФ №2134053 для снижения необходимых вычислительных мощностей для обработки видео сигнала и для прочих нужд.
Позже, для «защиты видеоинформации от несанкционированного доступа, распространения и использования», нами подан патент РФ 2220514
www1.fips.ru/fips_servl/fips_servlet?DB=RUPAT&rn=2796&DocNumber=2220514&TypeFile=html
А затем и патент США
patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=7950029.PN.&OS=PN/7950029&RS=PN/7950029
Долгие годы мы (изобретатели ) ожидали, когда стоимость EYEtracker снизится до стоимости монитора или стоимости телевизора.
Это время пришло. Уже существует организация, которая уже продает eyetracker
geektimes.ru/company/medgadgets/blog/250644
И эта же организация уже анонсировала hardware — VR, совмещенную с eyetracker
www.cnet.com/news/eye-tracking-vr-headsets-future-mwc-virtual-reality-oculus-samsung-gear
Ждем с таможенниками с нетерпением даты начала продаж описанных приборов NVIDIA в России.
Позже, для «защиты видеоинформации от несанкционированного доступа, распространения и использования», нами подан патент РФ 2220514
www1.fips.ru/fips_servl/fips_servlet?DB=RUPAT&rn=2796&DocNumber=2220514&TypeFile=html
А затем и патент США
patft.uspto.gov/netacgi/nph-Parser?Sect1=PTO1&Sect2=HITOFF&d=PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=7950029.PN.&OS=PN/7950029&RS=PN/7950029
Долгие годы мы (изобретатели ) ожидали, когда стоимость EYEtracker снизится до стоимости монитора или стоимости телевизора.
Это время пришло. Уже существует организация, которая уже продает eyetracker
geektimes.ru/company/medgadgets/blog/250644
И эта же организация уже анонсировала hardware — VR, совмещенную с eyetracker
www.cnet.com/news/eye-tracking-vr-headsets-future-mwc-virtual-reality-oculus-samsung-gear
Ждем с таможенниками с нетерпением даты начала продаж описанных приборов NVIDIA в России.
А ещё можно сэкономить на рендеринге слепых пятен, хе-хе.
Рендер игрового движка тоже играет немаловажную роль, и его оптимизация под видеокарты
Если отслеживать движение зрачков, можно много на чем сэкономить.
Рекламщики будут оценивать эффективность контекстной рекламы по расширению зрачков, как торговцы опытные вживую, побочный возможный эффект. Что-то впечатлило человека, сразу можно выявить обратную связь и использовать это против.
Или отслеживать, какие именно виды рекламы/изобржений заставляют человека сразу перевести на них взгляд, насколько надолго… бесценная информация в нужных руках)
Когда уже там новые серии Черного зеркала) Как раз вторую серию напомнило.
На самом деле eye tracking даст кучу всяких геймплейных фишек, которые совершенно невозможны иным способом. Например, симуляция того же «туннельного зрения» в определённых критических ситуациях. Какие-нибудь «червячки», которые будут ползать по периферии и отвлекать взгляд. Или же наоборот — показывать затенённый центр как при нарушениях в хрусталике или сетчатке бывает (в качестве «реалистичного» индикатора совсем серьезных травм). И это не говоря о скриптовых триггерах, которые будут срабатывать когда на что-то посмотришь. Да тот же depth field, который будет настраиваться на точку фокусировки. Фактически фокус взгляда может стать дополнительным контроллером, который можно круто встраивать в геймплей. В том числе обнаруживать что глаза закрыты (обнаруживать степень открытости), и менять таким способом поведение монстров (напугают, когда откроешь).
Кстати говоря да. Вспоминая некоторые игрушки, которые ломали четвертую стену отвлекая тебя чем-то якобы из реального мира и прочее… Черт, да это будет бесценная вещь для хоррор игр. Я уже хочу этот Сайлент Хилл, где монстры будут пробегать в тени как только я туда не смотрю. И где чтобы пройти какую-то часть уровня мне нужно не отводить взгляд от дороги, например.
Сразу подумал о разных ужастиках/триллерах. Когда какие-нибудь неясные образы / тени будут подбираться к тебе в зоне периферического зрения, но мгновенно исчезать как только переведешь на них взгляд/повернешь голову как буд-то ничего там не было.
Должно очень хорошее впечатление давать.
Должно очень хорошее впечатление давать.
Все реально.
За исключением того, что карта будет успевать пересчитывать участки столь оперативно как движется глаз человека.
Это вызывает большие сомнения. Задержки неминуемы. Их трудно-трудно обойти.
За исключением того, что карта будет успевать пересчитывать участки столь оперативно как движется глаз человека.
Это вызывает большие сомнения. Задержки неминуемы. Их трудно-трудно обойти.
Раз уж заговорили об подстройке под человека, я например читал инфу, что у мужчин действительно туннельное зрение и может сработать, а вот у женщин периферийное зрение развито, и что тогда делать?
пост тупая фигня от начала до конца. блёра нет. строчки горизонтального жалюзи на переферии решат ваши проблемы достаточно глубоко настоьлко что вы тоже скажете что пост тупая фигня от начала до конца вместе с комментами. Моим тоже. не спорь с кем-то там чтобы не быть чем-то не тем
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
NVIDIA ищет пути оптимизации ВР-изображения