Комментарии 102
Заголовок: "Canon: ни одна камера не может снимать видео для Apple Vision Pro"
Статья: "Руководители Canon признали, что в настоящее время ни одна из камер компании не может обеспечить..."
Фактически это можно написать как ни одна доступная камера не может снимать видео для Apple Vision Pro . Так как RED недоступен финансово практически 99% блогеров. Плюс он не позволяет снимать без профессионального света стоимостью еще в ред.
Зачем снимать нативно, когда уже есть куча upscale методов и даже те,которые сразу раздваивают видео в стереоскопическое. Снял на любой калькулятор, прогнал через АИ и вот тебе 16к стере видео . По поводу ,что глаз чего-то не видит ,это у Вас с глазами проблема видимо . К офтальмологу сходите .
Скорее Сони первой сделает подобное решение, учитывая их недавнюю камеру с глобальным затвором A9III. А для обработки потока надо просто процессоруню мощность, что достигается экстенсивно. Но все равно, такое решение будет стоить больших денег и расходы в ближайшее время не отобьются.
Зачем такое разрешение, если глаз имеет разрешение всего 0.3 мегапикселя, слепое пятно по центру зрения, остальное придумывает мозг на ходу, в том числе маскирует слепое пятно полностью придумывая недостающее изображение. Большее разрешение имитируется мозгом "программно", он несколько минут может рассматривать объект, по аналогии со сканером, понемногу накапливая информацию о деталях. Вот например при рассматривании лица, центр зрения наиболее четки смещается по всем деталям поочередно, сканируя картинку
На этом фоне 14К при 60 Гц кажутся завышенным, что-то тут не оптимизировано. Так как 99.99% в каждый момент глазу не нужно, он туда не смотрит. А боковое зрение весьма расплывчато и предназначено для определения движения.
Откуда Вы эти данные о 0,3 мегапикселя взяли?
К фоторецепторам в сетчатке глаза человека относятся 3 вида колбочек (каждый тип возбуждается светом определённой длины волны), которые отвечают за цветное зрение, и один вид палочек, который отвечает за сумеречное зрение. В сетчатке глаза человека насчитывается 110 ÷ 125 млн палочек и 4 ÷ 7 млн колбочек[5].
Потому что эти миллионы пустая цифра, забудьте их. Тут подробный разбор
Палочки, в свою очередь, собираются в группы по несколько тысяч — для них важна не резкость картинки, а яркость. Итак, промежуточный вывод:
каждая колбочка в самом центре сетчатки имеет свой аксон,
колбочки на границах центральной ямки собираются в рецептивные поля по несколько штук,
несколько тысяч палочек соединяются с одним аксоном.
Здесь начинается самое интересное — ~130 миллионов рецепторов превращаются за счёт группировки в 1 миллион нервных волокон (аксонов).
Это мнение автора. По моим впечатлениям, аксоны по пути теряют информацию и доходит в чистом виде 0.3 мегапикселя, а не 1. С частотой обновления около 3-5 Гц.
По моим впечатлениям, аксоны по пути теряют информацию и доходит в чистом виде 0.3 мегапикселя, а не 1.
А с чего вы решили что они теряют, а не сжимают?
Потому что это медленные аксоны, весьма глупые, по сути 1-битные.
Определяющей характеристикой потенциала действия является то, что это "все или ничего" – каждый потенциал действия, генерируемый аксоном, имеет, по существу, одинаковый размер и форму. Эта характеристика "все или ничего" позволяет передавать потенциалы действия от одного конца длинного аксона к другому без какого-либо уменьшения размера. Однако существуют некоторые типы нейронов с короткими аксонами, которые передают градуированные электрохимические сигналы переменной амплитуды.
https://en.wikipedia.org/wiki/Axon#Sensory
Немиелинизированные аксоны обычно имеют диаметр менее 1 мкм и скорость проведения ниже 2,5 м/с. Сигнал, возникший в рецепторе стопы человека и распространяющийся по немиелинизированному аксону со скоростью 1 м/с, дистигает спинного мозга примерно через 1 с. У миелинизированных аксонов диаметр от 1 до 20 мкм, а скорость проведения 3-120 м/с. Мотонейрон спинного мозга, аксон которого проводит сигналы со скоростью 100 м/с, вызовет сокращение мышцы пальца стопы примерно через 10 мс.
Разрядность и скорость не сравнимы с цифровыми каналами, где скорости в миллионы раз выше.
Сжатие и разжатие (с элементами придумывания как в примере со слепым пятном) уже мозг делает. Аксоны самое слабое звено системы.
что такое резкость? это разница между темным и светлым в пределах высоких пространственных частот
Во первых, спайкуют они асинхронно из-за чего "пиковая" скорость там под 1000Гц. Было кучу исследований про анализ визуальной информации, и если коротко - новый стимул задержка ~100мс, стимул который перемещается в области видимости задержка <10мс.
Второе, хоть разрешение на глаз и маленькое, мозг контрит это постоянными движениями глаз, от чего если стоять неподвижно эффективное разрешение на глаз вырастает ощутимо. Люди вполне себе легко отличают хд экраны смартфонов и фулхд, а вот фулхд от 4К уже не все.
Нету там скорости 1000Гц или это надуманная виртуальная цифра. Там скорость передачи сигнала от 1 до 100 м/с, уже это вносит задержку до 10 мс, физический канал медленный. Асинхронность это скорее минус. Если мы заменим в компьютере синхронный канал на асинхронный, скорость это не повысит, а скорее понизит.
хоть разрешение на глаз и маленькое, мозг контрит это постоянными движениями глаз
На что уходит до 1 минуты (медленная механическая развертка), итого FPS 0.02 Гц. К электронике требования жестче и FPS считается по полному кадру, когда обработан каждый пиксель. Выгораживая свои глаза придумываем всякие оправдания чтобы выгородить отсталые медленные приборы.
Люди вполне себе легко отличают хд экраны смартфонов и фулхд
Если смотрят в одну точку пристально. Я играл когда-то в Quake 1 в разрешении 320*200 и мне хватало, канал зрительный был забит полностью. И проблема была не в разрешении, а в том что FPS был 20 кадров. А так хватало чтобы четко понимать что происходит. И более высокие разрешения мне казались не естественными, пластиковые текстуры. Низкое разрешение более естественно, чего не видно мозг сам придумывает, как при чтении книги.
Если что-то проходит через поле зрения, вызывая срабатывание всех последующих соседних рецепторов вдоль траектории, то общая задержка информации об объекте равна задержке самого медленного рецептора а не сумме задержек.
итого FPS 0.02 Гц
Что не мешает вам различать в играх даже 20 и 60 фпс. Потому, что эта вся якобы медленность играет роль только при при условии, что всё поле зрения обновляется быстрее, чем вы его сканируете, но в условиях такой динамики и сканирования ни какого нет в реальности. При движении в пространстве модель (ландшафт и другие предсказуемо движущиеся предметы) достраивается мозгом, а глаз сканирует только новую информацию, которая поступает из-за поворота, горизонта или наличия других новых движущихся предметов.
К электронике требования жестче и FPS считается по полному кадру, когда обработан каждый пиксель.
То есть, если у меня на экране из электронных чернил поля книги не обновляются никогда, то фпс равен нулю? Очевидно, это не так.
но в условиях такой динамики и сканирования ни какого нет в реальности
Боковое зрение может быстро реагировать на появление крупного объекта, на вспышку например. Тут не сканирование, а реакция на объект нечеткий и не в фокусе зрения. Но для этого не нужно 8К, достаточно 1 большой пиксель, светодиод например. Так же и подсветка Ambilight
https://ru.wikipedia.org/wiki/Ambilight
несколько пикселей на краю экрана берутся и как-бы продляют экран в стороны в виде подсветки. Там зрение расплывчато и эффект расплывчатый, смотрится приятно. Сотни пикселей хватает чтобы удовлетворить запросы бокового зрения.
То есть, если у меня на экране из электронных чернил поля книги не обновляются никогда, то фпс равен нулю? Очевидно, это не так.
То же самое с картиной бумажной, один раз напечатали и висит неизменной. FPS=0
Я про быстрое движение самого человека. Например, если на машине едете - сканируется только сравнительно небольшой телесный угол, а остальное достраивается мозгом на основе увиденного ранее и бокового зрения. То есть, боковое используется только для позиционирования ранее увиденных предметов, детали которых уже известны.
Если есть время покрутить глазами механически. А если времени нет, то все плохо, информации катастрофически мало доступно.
Я про это и говорю. Но то, что уже ранее попало в туннель, остается в модели, и вы это воспринимаете.
Как пример, если вы уже видели лестницу, то у вас есть её пространственное представление, и вы спокойно поднимаетесь, не запинаясь, даже еси смотрите в другую сторону или вообще в телефон. Но если вы спускаетесь в темноте и ошиблись числом ступенек, то в какой-то момент "проваливаетесь" с жестким ударом.
То же самое и с движением на скорости - я знаю дорогу перед собой, хоть и смотрю вдаль на десятки метров. Просто потому, что я уже видел полосу, и мозг её интерполирует в соответствии с моделью движения.
Потому туннельное зрение является проблемой только в контексте внезапно возникших вне туннеля событий. При неизменном же окружении оно никак не мешает, хоть возможности оглядываться по сторонам и нет.
Вот только память у мозга не цифровая. То что в неё попало или размывается или искажается. И попадание информации в туннель зрения, ещё не гарантирует то что всё ещё учитывается мозгом.
А порой мозг не может правильно распознать попавший в фокус объект и принимает его за другой или обманывается сопутствующими факторами(помните про платье?). А помимо этого есть ещё проблемы с расчётом дальности до объекта и его формы(выпуклый/вогнутый).
Глаза и мозг очень несовершенная штука и сами по себе, а если они изношены или зашумлены, то результат ещё хуже.
Нам только кажется что картинка идеальная.
Вот обратные примеры, автопилот Теслы спасает от аварий, иногда помогает нечеловеческая реакция и полные контроль пространства на 360 градусов. Когда сзади пытается ударить грузовик мало кто из водителей среагирует
Окей, давай по другому
Нейроны живут не сами по себе, они образуют сети, и в этих сетях информация может кодироваться не просто 1 спайком а сдвигами относительно других спайков, тоесть фазой сигнала. Нейроны также имеют замечательное свойство синхронно спайковать, что даёт нам возможность задать опорную частоту.
Что мы в итоге получаем? Если мы смотрим на белый фон и там резко появляется точка, то мозг среагирует по самому быстрому пути обработки, обычно это около 30мс. Но если мы начнём двигать эту точку, мы можем наблюдать за ней с потенциально бесконечным разрешением времени, а по факту до 1мс. Тоесть если точка будет плавно двигаться на дисплее в 240Гц и подлагивать всего на 1-2 кадра, мы сможем это заметить. Но ещё раз, если точка резко появляется, то мы ограничены скорость реакции, ведь сигнал надо обработать и только потом следить за его изменением.
В целом корковые зоны так и обрабатывают информацию, они фиксируют стимул и регистрируют его изменение и предсказывают его появление. Любое несоответствие модели вызывает возмущение, что субъективно оценивается как что-то плохое. И даже если люди физически не могут это заметить, из-за слаборазвитого зрения(имею ввиду коры), у них всёравно возникает "странные чувство что что-то не так".
ЗЫ, мозг прикольная штука и даже если ты имеешь развитый зрительный аппарат то какой-нибудь дед который не видит разницы между 60/240Гц всёравно будет ловить мух лучше чем ты, ибо он прокачал свой мозг по другому.
По факту все же люди не такие критичные. Долгое время и 24 Гц хватало в телевидении. В офисе на кухне наш снабженец поставил все лампочки без фильтра, они мерцают с частотой 100Гц и амплитудой на 100%. И это вижу только я и потому что освещение мое хобби. Остальным как ни показываю карандашные тесты или съемку лампочки камерой где полосы идут, они не обращают внимания, типа ерунда какая-то, все же видно и нормально. Я развивал навык видеть пульсации, обычные люди наоборот, игнорировать пульсации и их это не напрягает. Там правда на кухне только чай пьют 5 минут в день, работы ни какой не ведется.
Нейроны также имеют замечательное свойство синхронно спайковать
А еще у них время релаксации 5 мс после срабатывания, что очень долго. Может потому и выбрали в телевидении частоту кадров в 25-30 Гц, так как полный кадр готов для восприятия когда нейроны передали сигнал и восстановились для нового кадра. Может при просмотре телевидения и навык просмотра вырабатывается, нейроны подстраиваются так, что перестают замечать частоту кадров. А недостающую динамику мозг сам придумывает, по аналогии со слепым пятном.
И даже, если предположим зрение воспринимает картинку в разрешении 0.3-1 мегапикселя, у нашего зрения есть и другие способности.
Допустим в центральной области зрения (5-8 градусов) разрешение может быть выше по мегапиксилям, чем в районе периферического зрения, то есть чем дальше от центрального зрения, тем хуже разрешение используется.
Вторая способность - возможность фокусировать зрение на определенных расстояниях. Тогда уже при просмотре изображения на дисплее есть возможность рассмотреть неестественность изображения, допустим фактуры поверхности материала из-за пикселизации.
Это чисто мои предположения, могу быть и не прав )))
возможность фокусировать зрение на определенных расстояниях.
Да, эта проблема вообще ни как не решается. Например в центре объект в фокусе, фон размыт. А мы хотим осмотреть фон, а он все равно остается размыт. А в естественных условиях ближний план должен размыться, а задний сфокусироваться. Компромиссное решение снимать все четко и фон и передний план, но это тоже не естественно, ты смотришь на предмет перед носом, а горы на заднем плане четкие остаются.
Где—то я читал, что, по некоторым исследованиям, эти группы работают наподобие блоков в jpeg, т.е. по каждому волокну передается не пиксель, а, грубо говоря, некая приближенная форма, напоминающая то, что отображается на данном блоке рецепторов, причем, передача происходит только если картинка в данном блоке меняется, что позволяет сэкономить пропускную способность нервного канала плюс мозгу, отчасти, не требуется самому вычислять области поля зрения, где происходит движение, т.к. сам факт того, что в этом блоке пришли данные уже говорит о том, что что-то происходит
Это у лягушек так. Нейронов еще меньше и видят они только движущиеся предметы, чтобы поймать из и съесть. Статические объекты не различают. Это все сжатие с потерями, которые мозг при наличии ресурсов пытается декодировать или полностью придумывать (в области слепого пятна например).
На самом деле, мы тоже не различаем, просто мы постоянно движемся и двигаем глазами, из-за этого постоянно возникают изменения на сетчатке. Попробуйте, например, лечь неподвижно в комнате, где не движутся тени и долго смотреть в одну точку не мигая (что само по себе довольно трудно, т.к. мозг постоянно генерирует позывы или моргнуть или пошевелить глазами): через какое-то время вы сможете заметить, все поле зрения начнет, как-бы, заполняться серой пеленой из-за того, что глаза не будут посылать новых сигналов об изменениях. Особенно этот эффект заметен на периферии зрения (я, правда, не биолог и не врач, и могу ошибаться в реальных причинах такого явления, но факт есть, если не двигаться, то все затягивает серая пелена).
В том то и дело что нет там кучи мегапикселей, а меньше одного и то мозг ленивый(как в общем то и весь человек), обрабатывает поток не попиксельно, а образами. Так дешевле с точки зрения энергетических затрат. Потому визуальные глюки, когда что то показалось или обознался, обыденное явление.
Но вот частота, важна. Ниже 72Гц, уже проблемы у большинства(тошнота, головная боль, резь в глазах). Но у некоторых порог ниже/выше. Для меня 85Гц минимум, иначе красноглазик, через пару часов, а то и голова разболится, если подсветка мерцает.
Скорее всего это рецепторы разражаются от пульсаций света. Особенно актуально на CRT мониторах было, где экран именно мигал, полностью переходя в черный цвет между кадрами. На LCD герцы уже другие, это частота обновления и для статической картинки может быть 0.1Гц, для текста например в книгах где электронные чернила.
Глаза да, от мерцания. А вот мозги от низкой частоты. Это не монитор, мозгу просто не за что зацепится для стабилизации.
Если для видеороликов 60к/с ещё нормально(а если это профессионально снятый фильм, то и 30 кадров достаточно), т.к. головой не вертишь, то вот для игр такая задержка заметна визуально, при резких движениях.
Электронные чернила же не мерцают, даже 0.1Гц, они выводят картинку, а дальше ток на электроды не подается, пигмент остается в том состоянии, в каком был на момент вывода страницы, или я что-то путаю?
Да, они обновляются только раз и то не полностью(в зависимости от настроек). Т.к. обновлять картинку просто так, нет никакого смысла. Даже если физически выдернуть аккумулятор и подождать пару тройку лет, то изображение не изменится.
Так и LCD монитор не мерцает. Картинка остается в предыдущем состоянии пока не придет новый кадр от видеокарты.Мерцание добавляют специально в игровые мониторы, имитирую CRT мониторы, black frame insertion. Так глаз более четко движение воспринимает похоже. Ну и частоты там 120 Гц и выше.
Что за бред вы несёте. У ЛСД мониторов есть мерцания за счёт шима подсветки, мерцание не добавляют специально, это бред как и какой-то блэкфрэйм. Фэйспалм.
Блекфреймы это реальная опция у многих высокочастотных мониторов, применяется для снижения гостинга.
ШИМ подсветки не во всех мониторах, некоторые просто ток снижают, при этом пульсации отсутствуют. Про блекфрейм уже уточнили в соседнем комментарии. Да и ШИМ в 1000Гц заметить невозможно. Это пульсации другого типа, в CRT мониторах именно каждый кадр был отдельной вспышкой, картинка видна была только из-за инерции сетчатки. И частоты были от 50 Гц.
ШИМ в 1000Гц заметить невозможно.
Только при условии низкой скважности и неподвижного глаза. Иначе вполне возможно. Вот выше 5кГц уже да - трудно заметить.
Есть же мониторы изначально без ШИМ, яркость можно снизить напряжением на лампах
11 лет назад / 06 февраля 2013 15:18
Список мониторов без ШИМ:
Apple Cinema и Thunderbolt 27'' (H-IPS, глянцевые)
BenQ GW2760HS (1920x1080, AMVA, ?) - по заявлению производителя, независимо пока не подтверждено)
Dell U2312HM, только ревизия A06 (e-IPS, матовый)
Dell S2340T (?-IPS, глянцевый, тачскрин)
Dell U2713H (AH-IPS, полуматовый, GB-LED, 10 бит, широкий охват)
Dell U2713HM (AH-IPS, полуматовый; осциллограммы: 1 и 2)
Dell S2740L (1920x1080, AH-IPS, глянцевый)
Dell U2913WM (AH-IPS; полуматовй, 21:9: 2560x1080)
HP ZR2740w (H-IPS, матовый)
корейские ноу-неймы 27'' (H-IPS, глянцевые)
Samsung S24A850DW (PLS, полуматовый; осциллограмма)
Samsung S27A850D (PLS, полуматовый; осциллограммы: 1 и 2)
Samsung S27B970D (PLS, полуматовый; осциллограммы: 1 и 2)
ViewSonic VP2770-LED (PLS, полуматовый)Мониторы с гибридной системой управления подсветкой (Eizo EV2436WFS и т.п.) не включены.
Хотя ШИМ может имитировать эффект Black frame insertion, кому-то наоборот в играх будет лучше с черным кадром между двух ключевых.
Разве существование мониторов без ШИМ или с более высокочастотным ШИМ как-то опровергает то, что 1000Гц можно заметить?
Я вижу пульсации 100Гц боковым зрением если присмотреться, обычные LED лампочки без конденсаторов удешевленные. 90% моих знакомых этого не видят. 1000Гц думаю увидеть невозможно. Может специально карандашом махать перед экраном и то не уверен.
Угловая скорость при быстром движении глаз может быть значительно выше скорости махания карандашом. Особенно, если экран далеко. Китайские RGB штуки всякие обычно 200-400 Гц - при движении глаз раскладываются в пунктирную радугу. А 100Гц это вообще ниочем - ад и содом.
Но и, как я заметил выше, помимо частоты важна скважность. Если скважность очень низкая, то даже при низкой частоте длина "черного кадра" будет маленькой. Скважность 90 (то есть, очень низкая яркость) при 1000Гц будет давать примерно такой же длины "черный кадр" как скважность 0,1 (90% яркость) при 100 Гц.
при движении глаз раскладываются в пунктирную радугу
И ни как это глаз не утомляет, просто забавный эффект. На стоп сигналах машин на глазок 100Гц бывает и когда они яркие, тогда могут раздражать, но это и плюс, они и нужны чтобы выделяться на фоне.
помимо частоты важна скважность
Да, на 1000 Гц и низкой яркости паузы может быть около 1 мс, а при 100 Гц и высокой яркости длительность паузы тоже может быть 1 мс, остальные 9 мс источник света включен. Вероятно газ больше замечает паузу между вспышками, а не саму их частоту.
Вопрос был про можно заметить а не про утомление. В первую очередь это касается удаленных предметов в боковом зрении - они постоянно мерцают, раскладываются в пунктир и тд при обычном "сканировании" чего-то перед собой. Лично меня бесит дичайше.
Он замечает факт миганий. То, что это связано с длительностью состойний вкл/выкл, достаточно очевидно. Но если бы длительность этих состояний была меньше скорости реакции рецепторов, то не замечал бы. И вот с реально высокочастотным ШИМ так и происходит. То есть, на 5-10кГц уже действительно нереально увидеть мерцаний без каких-то очень специальных ухищрений. Ни боковым зрением ни движущимся - никак. Нужны очень большие расстояния и угловые скорости чтобы что-то различить.
Это, мягко говоря, не совсем так: у LCD статична только подсветка, да и то, для экранов с led подсветкой она статична тольно на максимальной яркости, т.к. снижение яркости подсветки достигается простым ШИМ-ом, или попросту говоря, мерцанием. Сам же пиксель имеет некоторую задержку изменения состояния после изменения управляющего сигнала, что позволяет несколько снизить или убрать мерцание на предельных частотах, но в свою очередь, устанавливает потолок на частоту обновления, т.к. на более высокой пиксель просто не будет успевать менять свою яркость, что будет приводить к артефактам изображения
так не проблема один и тот же кадр 5 раз подряд показать, чтобы удовлетворить требованию по высокой частоте кадров!
Какая чушь, во первых вы видели изображение 0.3Мпикселя? Это почти как смотреть видео в ютубе в 360p, вы хотите сказать, что номер автомобиля на расстоянии 100м нам мозг сам додумывает и о чудо каким то образом видимо теория вероятности совпадает когда мы его видим на расстоянии 10м. Про герцовку вторая чушь сразу видно человека который врядли даже школу окончил, я помню ламповый тв где частота развёртки была 30гц, мониторы элт где выше 50гц не поднималась, у меня уставали глаза? Да я сутками играл в компьютерных клубах. Тогда ещё пропаганды небыло по тв и было что посмотреть часами от тв оторваться не мог, да и в денди и сеги играл на том же тв, так там эффектов было побольше и ярче чем современных играх на пк
вы видели изображение 0.3Мпикселя?
На сетчатке вашего глаза. Когда вы читаете текст вряд ли в зоне высокой четкости помещается более 1 слова.
номер автомобиля на расстоянии 100м нам мозг сам додумывает
Нет, механически поворачивает 2 глаза так, что номер точно в центре зрения, остальное расплывчато.
Вот так видит глаз, в центре четкая картинка по краям расплывчато, плюс слепое пятно, остальное мозг придумывает на ходу
На картинке херня показана, во первых углы обзора, во вторых чёрные границы, которые для нас прозрачные благодаря наличию двух глаз и нарисованные некорректно, третье чёткость, ну сколько до дерева пара метров, человеческий глаз способен разглядеть точку на расстоянии 5 метров это считается нормальным зрением, что то подобное тут видим? Нет. Сплошная каша. Я на смарте на расстоянии вытянутой руки пик ели пик ели, символы в строке состояния вижу, даже если смотрю рядом не на них, мозги додумывают? Нет. Фокус у человека примерно 1,5см на расстоянии 5м, он все чётко будет видеть, а если ближе, насколько 1,5см станут больше на расстоянии 1м, люди номера самолётов на высоте 10000м видят уж с 0.3мпс и на расстоянии 10 метров чётко ничего невозможно увидеть
и на расстоянии 10 метров чётко ничего невозможно увидеть
Именно так. Если глазам нет времени медленно механически пройти по картинке, информации почти нет, она накапливается медленно и часто глючно. Черной картинки тоже мы не видим, но это медвежья услуга мозга, он что-то придумывает заполняя пустоту, но информация там может быть ложной. Кажется что нет пешехода, а он есть, попал в зону слепого пятна например или не в фокусе и мозг его проигнорировал.
Вы бы почитали статью, прежде чем писать. 0.3Мп это в реал тайме обрабатывается. По сути это можно сравнить с динамическим разрешением. В центре(в фокусе), картинка максимально чёткая и чем дальше от центра, тем менее подробная информация и больше додумывает мозг.
Можете провести тест поздним вечером, глазами не шевелите, но сосредоточьтесь на периферийной зоне. Днём ещё нормально, а вот когда света недостаточно, можно словить движение там где его нет(что то ползёт по стене). Потому что мозгу не хватает данных для постройки чёткого образа.
Про герцовку. Эффект выжившего, может слышали? То что вам нормально, совершенно не значит что нормально и всем остальным. Телевизоры люди не смотрят вблизи. Он занимал не больше одной девятой от видимого глазами изображения. Вероятно этого мозгу достаточно чтобы не страдать от мерцания.
Стандарты безопасности не дураки писали в TCO99 ввели минимальную частоту мерцания в 85Гц. И её были обязаны соблюдать все производители. Но производители эту частоту ещё раньше начали поддерживать. У меня есть старая нонейм пятнашка. Так и она 85Гц поддерживает.
Не дураки писали тсо99, и там нет ни слова про герцовку, тсо 99, это стандарт энергосбережения и безопасности, защита от излучения короче, там написано характеристики электромагнитного излучения, радиационной, электростатики, но ни слова про герцовку нет, впервые про герцовку написали в тсо 03, а потом тсо умер, потому что умерли crt мониторы, герцовка актуальна была только для crt, на lcd роли не играла долгое время
Я думаю Вас это сильно расстроит, но мы все имеем картинку в ~1 Мп… живите с этим :) Так прямой подсчёт колбочек и палочек в глазу в данном случае некорректен, зрительная система человека это не только глаза, но и ещё пропускная система, с каждого глаза выходит зрительный нерв плотностью ~1 Мп (от 770 тысяч до 1,6 млн пикселей — кому как повезло), дальше нервы с левого и правого глаз пересекаются в оптической хиазме. Упрощая физиологию процесса - далее сигнал из таламуса поступает в зрительную кору. Здесь происходит невероятное количество процессов, например, слияние картинок с двух глаз в одну — происходит что-то типа наложения (1 Мп так и остаётся). Ещё уйма «фотошопа», и наконец, вывод финального изображения — то, ччтоназываетсч феноменом зрения.
Но это уже сжатая картинка в пучке.
Сжатие там примитивное. Суммирование сигналов от зрительных клеток, иногда 1000 палочек/колбочек на один нерв. Выделение движение, типа alarm на перепад яркости на большой площади. И сжатие, аксоны 1-битные, а палочки/колбочки передают оттенки яркости и это все нужно впихнуть в 1-битный медленный канал.
Да, надо отслеживать направление взгляда. Шлемы VR могут отслеживать положение головы например, следующий шаг отслеживать направление взгляда.
Это не следующий шаг, а уже давно используется. Что Apple Vision Pro, что PlayStation VR2 используют отслеживание взгляда и делают это великолепно, а последний уже год на рынке.
Картинка отрисовывается с максимальным разрешением по направлению взгляда, а прочее пространство упрощается. Но пользователю это совершенно незаметно из-за особенностей зрения.
у крайних мета-девайсов по-моему тоже эта фишка присутствует
Крайних слева или крайних справа?
У QuestPro. В Quest3 убрали, так как аппарат становится дороже, а популярность ямкового рендера в играх низкая. Цукерберг сказал, что мб в следующей итерации вернут в потребительский сегмент, если смогут удержать себестоимость в разумных пределах.
Сейчас для Q3, продающегося за 500 долларов, себестоимость без учёта ресерча, рекламы и тд, чисто сборка, составляет порядка 700 долларов. То есть они продаются в убыток, как, например, консоли. С прицелом на окупаемость за счет магазина платформы.
Но если делать видео, а не 3Д графику, снимать придется четко всё поле зрения с учетом вращения глаз
вот это реально круто, почитать бы разбор про это.
Ну дык в гарнитуре надо показывать всё сразу, ибо глаз в любой момент может посмотреть в область периферии. Если ещё при рендеринге можно поиграть как-то с датчиком зрачка, то видео то всё равно надо писать в полном разрешении...
Если по краям картинки второстепенные детали, их можно на ходу придумывать. Нейросети это уже умеют, "расширяя" картины.
Так, предположим я хочу эти края рассмотреть, поворачиваю зрачки и что вижу?
Пока вы повернёте зрачки, изображение успеет несколько раз сменится, под новую точку фокуса.
Напомню, что речь идёт об изображении, которое снято заранее.
Программное поднятие качества видео уже давно реальность.
Информация из ниоткуда не берётся. Но если просто для красоты, то прокатит, конечно.
Основная информация в ключевых кадрах, а дополнительная генерируется для эффекта погружения, это просто иллюзия для обмана рецепторов человека. Там нет особо важной информации, ее можно на лету генерировать.
Это повышение фпс только работает так, а повышение разрешения только чистая генеративка.
Не совсем чистая. Во первых учитываются контрольные точки реального изображения, во вторых нейросеть знает что примерно должно быть на изображении, иначе будут видны артефакты.
А то что у каждого по сути своё уникальное видео, не страшно. На результат это не влияет.
В динамическом изображении детали всё равно мозгом смазываются, а современные кодеки идут с динамическим битрейтом(из за чего порой видны артефакты, если изображение без пост обработки).
Ну если какое-то динамическое движение, то пойдёт, а если вы в горах где-то на природе стоите на месте и любой взгляд в сторону - это мыло, то это уже шляпа.
Шестипалые ногорукие галлюцинации нейросети :))
Шестипалые ногорукие галлюцинации нейросети :))
Глюки молодой технологии. Поправят ошибки и можно будет смотреть все вокруг не относящееся к центральной сцене. В каких-нибудь Звездных Войнах рассматривать интерьер вокруг главных героев, но скорее всего там ничего интересного не будет. А еще каждый раз там будет все разное, по усмотрению ИИ )
он несколько минут может рассматривать объект, по аналогии со сканером, понемногу накапливая информацию о деталях.
Именно так. Но при низком разрешении информации, которую можно бы было накапливать, просто нет.
В идеале нужно детально показывать ту часть экрана, куда смотрит глаз, остальным хватит низкого разрешения. И динамически подстраивать картинку под глаз.
Еще ситуация напоминает вопрос со звуком лет 10-20 назад. Тогда все тоже переживали что 16 бит и 44.1 кГц очень мало, потом оказалось этого хватает с запасом пользователей, как и MP3 кодека на 128 кбит. А форматы в 192 кГц и 32 бита остались не востребованными.
Там всё сложнее. Низкое разрешение, всё равно заметно боковым зрением.
Потому придумывают хитрые алгоритмы, чтобы и картинку впустую не обрабатывать по полной и чтобы заметно не было.
Чтобы было что показывать центру глаза, это всё равно должно содержаться в исходном видео. А значит, разрешение камеры нужно высокое.
Ну всё-таки порядка 1Мп, которые ещё компенсируются постоянными микродвижениями глаза, который как бы ощупывает наблюдаемую картинку.
А причём тут эта особенность зрения и видеоконтент? Люди имеют такую прекрасную особенность, как индивидуальные реакции и в одну точку все смотреть не будут. Это можно использовать для снижения затрат на расчеты вывода картинки, следя за зрачками и меняя динамически разрешение в зоне взгляда, но для исходников(для которых и нужна камера) это не важно. Исходник должен быть резким по всему полю кадра.
Стесняюсь спросить, а Apple Vision умеет показывать видео с такой гипотетической камеры? Вроде как максимум который можно натянуть на 360* 8к
14к физически не потянет ни один мобильный процессор сейчас, даже существуй оно в природе
И сколько будет занимать памяти подобные 14к видео, а сколько будет занимать их доставка и какими способами? Это очень специфиная продукция доступная только для киношников и на их оборудовании для демонстрации, обычному пользователю оно не нужно. Даже 4к не так популярно. В стиме есть статистика мониторов. Да и на торрентах видно что люди качают. Как и 3д фильмы это единичное боловство.
Canon: ни одна камера не может снимать видео для Apple Vision Pro