Телефон Pixel 3 учится определять глубину на фотографиях

[nckma]

Я так понял, то, что раньше делалось с помощью простой диафрагмы (глубина резкости), теперь будет делаться с помощью ПО? А зачем?

[tumbler]

Для того чтобы получить это с помощью простой диафрагмы, ее размер должен быть как у полноформатных камер, с соответствующим расстоянием до матрицы. В телефоне это недостижимо.

[achekalin]

Переводя на русский: все, что говорят в рекламе «на телефоне вы получите качество съемки профессиональных камер» разбивается (никто и не сомневался!) о законы физики. Это относится и к размеру элементов матрицы, и к диафрагме, и к разрежающей способности телефонной «оптики».

Причем, что особенно пугает неграмотных маркетологов, даже если написать на телефоне «Цейс» или «Лейка», снимок не получается даже близким к тому, что получается обычной камерой Leica.

[ProLimit]

В старой версии приложения «Камера» была функция, когда пользователь сам сдвигал телефон на большое расстояние для получения стереопары. Работала отлично на любом смартфоне, размывала достаточно хорошо, так как качество карты глубин было высокое из-за большого паралакса. Но зачем-то ее выпилили. Видимо, иначе не продать смартфон с двумя камерами. И спустя 5 лет, оказалось что две камеры дают плохую стереопару, внедряем новый софтовый алгоритм. Нельзя ли просто старый режим вернуть?

[korobkov-k]

Учитывая, что не все объекты статичны, особенно люди на портретах — как оно будет работать? Нет ли артефактов на снимках? Все-таки две камеры делают снимок одновременно.

[ProLimit]

Именно на портретах и селфи люди статичны. Понятно, что этот метод не идеален. Но даже если предмет движется в кадре, артефакты не будут ужасными, ведь страдает только карта глубин. Если добавить нейросеть, то можно будет достраивать области, где было движение и она не определена.

[betrachtung]

Ох, зря вообще они эту имитацию придумали. Не, примеры смотрятся неплохо, а реальных пользовательских фотографий я с пикселей особо и не видел, зверь в наших краях редкий. Но даже на фотках с айфонов искуственность размытия заметна невооружённым взглядом, я уж молчу о всяких китайцах.

[memtew]

Не читал, но осуждаю?

[2Dzot]

Через пару лет допилят, будет во всех профессиональных фотоаппаратах. Крупные матрицы вымрут из-за ненадобности

[any2key]

«На всяких китайцах» камера на порядок лучше по всем характеристикам, чем у айфона. Я про huawei p20 pro.

[winotix]

Могу ошибаться, но что-то мне подсказывает, что 99% результата достигается скорее за счет нейросети, обученной на большом объеме «обычных» пользовательский данных (портреты), и PDAF тут вообще ни при чем.
И, полагаю, входная картинка может быть самая обычная…
А вот снять какую-нибудь сетку-рабицу на фоне леса — будет уже проблематично. Но опять же, нужно знать целевую аудиторию и ее пожелания.

[3Dvideo]

Это не так. Подсказка по глубине от PDAF очень существенна. Сходите по последней ссылке статьи, они там достали из под капота данные на основе чистой кросс-фильтрации PDAF и нейросетевого метода, берущего исходные данные PDAF за основу, но лажающего на ровных областях и горизонтальных границах.

[Alcpp]

Так что, скоро можно будет с Пикселя постить 3д фото в фейсбук, как сейчас с Айфона?

[sith]

Кстати, для тех, кто не видел, на самом деле это очень весело:

www.facebook.com/nauroman/posts/10214632109530217

www.facebook.com/nauroman/posts/10214630798097432

www.facebook.com/nauroman/posts/10214623991767278

www.facebook.com/nauroman/posts/10214580269394246

www.facebook.com/nauroman/posts/10214622547811180

www.facebook.com/nauroman/posts/10214619457653928

www.facebook.com/nauroman/posts/10214616431138267

www.facebook.com/nauroman/posts/10214588941931054

www.facebook.com/nauroman/posts/10214580306435172

[anthonio]

Когда ожидать в продаже «Франкенфон»? :)

[Gryphon88]

Почитал про PDAF, ничего не понял, кроме того, что используется специальная матрица с «полупикселями». Вопрос: что именно детектируется и почему оно вообще должно работать? По ссылке в статье это не ясно.

[3Dvideo]

Пленоптический сенсор ) — современная технологическая магия. Пишем статью про камеры глубины, там про это будет. Стереобаза, правда, при таком размере объектива получается очень мала, но это частично компенсируется разрешением. И дальше нейросеть получает на вход стерео, размытие картинки и семантику и кардинально улучшает результат по сравнению с «традиционными» методами кросс-фильтрации.