48 мегапикселей для смартфона


    Сравнение обычного изображения с разрешением 12 мегапикселей (слева) и кадра, снятого с нового сенсора IMX586 с разрешением 48 мегапикселей (справа)

    Компания Sony представила IMX586 — первый в мире КМОП-сенсор для смартфонов с эффективным разрешением в 48 миллионов пикселей. Это значит, что сенсор сможет фиксировать кадры размером 8000×6000 пикселей без программной интерполяции! Раньше такой размер был доступен только на дорогих профессиональных камерах, и то не на всех.

    Ну а снимать видео со скромным разрешением 4K (4096×2160) для такого сенсора проще простого. Он это делает на скорости 90 кадров в секунду.

    Технические характеристики сенсора весьма впечатляют. Судя по всему, камеры на 48 мегапикселей очень скоро станут главным козырем топовых смартфонов. Компания обещает начать массовые поставки IMX586 уже в сентябре 2018 года.

    Как Sony добилась такого кардинального увеличения разрешения? Что ж, без определённых хитростей здесь не обошлось. IMX586 сочетает в себе две ключевые технологии:

    • Очень маленький размер светочувствительных элементов (очень высокое разрешение)
    • Обработка сигнала цветным фильтром Quad Bayer с несколькими алгоритмами для повышения разрешения


    Концептуальная диаграмма пиксельной решётки нового сенсора (Quad Bayer Array) и схема её преобразования с помощью оригинального алгоритма обработки сигналов (справа)

    Физический размер сенсора составляет 1/2" или 6,4×4,8 мм. Это большой размер — самый большой, какой только ставят в смартфоны, за редким исключением. Обычно в телефонах используют сенсоры формата 1/3", то есть почти вдвое меньшего размера. Но 48 мегапикселей никак не втиснешь в 1/3", а вот с форматом 1/2" такой фокус получился.

    Если посчитать на калькуляторе, то можно прикинуть физический размер каждого из 48 миллионов светочувствительных элементов на сенсоре 6,4×4,8 мм. Получаются пиксели со стороной около 0,8 микрометра.

    Теперь об оригинальном цветовом фильтре Quad Bayer. Его работа показана на диаграмме выше. Он работает так, что у каждого блока 2×2 пикселей одинаковый цветовой фильтр. Это позволяет по-разному обрабатывать данные, в зависимости от условий.

    В условиях плохого освещения данные с четырёх фотоэлементов объединяются — и они работают фактически как единый элемент с размером стороны 1,6 мкм. В этом случае разрешение сенсора снижается в четыре раза и он «превращается» в стандартный сенсор на 12 мегапикселей, только наверное с меньшим уровнем теплового шума.

    Ну а в условиях хорошего освещения, когда тепловой шум незаметен, а энергии фотонов более чем достаточно, сенсор работает в полную силу, каждый фотоэлемент независимо от других фиксирует сигнал — и в результате получается качество, которое показано на КДПВ от Sony. Но это всё-таки не совсем честные 48 миллионов пикселей, а некое приближение к ним после цифровой обработки сигнала. Очень интересно будет посмотреть, как этот сенсор работает на самом деле и насколько в реальности заметна разница между кадрами на 12 и 48 МП. Если всё работает как обещано, то такой смартфон можно использовать как своеобразный «бинокль» — не фотографировать, а многократно зуммировать картинку на экране, чтобы разглядеть невидимые глазу детали далёких объектов.

    В своём пресс-релизе Sony говорит, что у нового сенсора динамический диапазон в четыре раза больше, чем у обычных сенсоров. По мнению экспертов, здесь используется такая же система, как в сенсоре IMX294, где часть пикселей работает с неполной выдержкой, защищаясь от засветки, но в то же время записывая детали в тенях. По крайней мере, структура фильтра Quad Bayer хорошо подходит для такого метода работы.

    Получается, что сенсор работает в трёх режимах: низкая освещённость (12 МП),
    высокое разрешение (48 МП) или увеличенный динамический диапазон в высококонтрастных сценах. Это интересный подход, который чем-то напоминает технологию Fujifilm Super CCD EXR.

    Скорее всего, новый сенсор сначала увидит свет в смартфоне Sony, а потом и в смартфонах других производителей. С высокой вероятностью его поставят в Sony Xperia XZ3, запланированном к выходу в сентябре.
    Поделиться публикацией

    Комментарии 39

      +13
      Какой объектив использовался при съемки КДПВ? Обычный смартфонный или специальный высокого качества?
        +7
        У меня тот же вопрос.
        +7
        По сути идея совсем не нова. Еще 5 лет назад выпускалась Люмия 1020 с 41 мегапикселом на борту. На нее даже кино какое-то снимали помнится :)
          +3
          А до нее в далеком 2012 была Nokia 808 PureView. Но оба варианта скорее вчсего использовали и программые трюки для получения снимков
            +1
            Nokia 808 как раз была фактически фотоаппаратом в форм-факторе смартфона.

            А вот Lumia 1020 — тут уже вопросы.
              +1

              Никаких трюков — https://habr.com/post/222845/

                0
                Но оба варианта скорее вчсего использовали и программые трюки для получения снимков
                Я аж чаем поперхнулся… Как обладатель 1020.
                Вы предпочитаете гадать по какому способу? По заварке или по звездам? Не, ну если простой факт вместо проверки предпочитаете выдумывать…
                  0
                  А в 2007 была Nokia N93i, на которую сняли, ЕМНИП, какой-то фильм для МТВ о премии «Каннские львы». Честный оптический зум, 480@30фпс
                +7
                Кадры размером 8000×6000 пикселей при размере сенсора 6,4×4,8 мм — это 1250 пикселей на милиметр (625 пар линий на миллиметр). Где они возьмут объективы с хотя бы близкой разрешающей способностью — я не знаю.
                  0
                  Может они будут делать хитрую постобработку используя характеристики конкретного объектива?
                    +1
                    Помнится, теория говорит, что для объектива с относительным 1/1.8, радиус кружка Эри будет около микрона (1.22*0.54*1.8).
                    Да тогда он не сможет полностью реализовать разрешение такой матрицы, нужно ещё светосильней.
                      +3
                      в реальности всё ещё сложнее.
                      в матрице в каждом пикселе нет всех RGB компонент,
                      красный синий и зелёный расположены в разных соседних пикселях,
                      поэтому при интерполяции цвета вылазят цветовые артефакты где цвет меняется,
                      их в минус бесконечность децибел задавить нереально,
                      поэтому ставят физический НЧ фильтр после линз, чтоб разница между цветами между блоками пикселей 2х2 — 6х6 (в случае фуджифильма и экзотики) была минимальной.
                      поэтому можно предположить что вместо НЧ фильтра уменьшение размера пикселя — ещё один способ обойтись простой MHC или улучшеной билиниариальной интерполяцией которая требует 10-20 операций на пиксель а не тысячи — десятки тыщь на пиксель как в нормальных алгоритмах обработки RAW изображений — дешевле ДСП процессор и возможно это позволит упростить сам процессор так что станет дешевле вся система в целом.

                      При этом фактическое разрешение объектива не сильно важно как «натуральность картинки», после агрессивных алгоритмов цветовой интерполяции вылазит много артефактов уже не цветовых — края усиливаются и появляются каёмки, цвета уползают а в мелких деталях исчезают вообще, картинка в целом блеклая а после обратного усиления цветов выглядит немного странно если первоисточник сравнивать, алгоритмы интеполяции «додумывают картинку», 1 может стать L, 8 в 0, появляются узоры и «лабиринты», «лестницы» на ровном фоне, и вообще видит иллюзии прям из занимательной нейрооптики. И чем сильнее алгоритм цветовой интерполяции давит цветовые артефакты тем больше он «додумывает» и больше ему видится иллюзий, либо в тыщи раз больше вычислений.

                      В нашей компании берут часто матрицы 8-16мегапикселей и делают из их данных 2-4 мегапиксельный SDI выход — это проще и дешевле в разы чем делать сложный DSP проц на тыщи FPS.

                      но это только мои догадки на основе только опыта только моего работодателя.
                      добавлю уточнение термина: цветовые артефакты они же false color или 偽色 (на работе используется только японский)
                        –1
                        У самсунга уже есть объектив со светосилой 1/1.5 и в целом, еще есть куда стремиться, скажем в 1/1.4 нет ничего невероятного, и уж он то разрешит эту матрицу, пусть и только в центральной области.
                      +5
                      Можно свой вариант?
                      image
                        0
                        И что вы этим хотите показать? Для современных фильтров такой шум не представляет никаких сложностей.
                          0

                          Гм, тут не только шум. Похоже и смаз каким то образом снижен

                            +1
                            Сделать из шума мазню для них нет сложности. Что на любом смартфонном снимке и видно.
                              0
                              удалено
                                0
                                Да, но изображение после удаления шумов зачастую выглядит, как акварель
                                0
                                К тому же, снимок сделан в тоже мгновение. Волны одинаковы
                                  +3
                                  Первый сделан из второго.
                                    0
                                    Это мог быть просто постер. Было бы странно куда то ездить что бы сфоткать корабль, тащить лабораторное оборудование…
                                +14
                                Я всё понимаю, прогресс и всё такое…
                                Но лично мне не интересно чего они сейчас продают, мне интересно как они смогли нагнуть законы физики!
                                Ведь получается что через дырочку диаметром в 1мм тусклый свет делится ещё на 48 миллионов, + ещё на 90 (кадров в секунду), после чего получается яркая презентабельная картинка… бред сумасшедшего менеджера.
                                А размер пикселя? Каким образом светочувствительный элемент равный длине волны может различать (фильтровать) отдельную частоту???

                                И ещё.
                                С такими выкрутасами над бедной физикой, в продаже просто обязаны появиться монстры для гиков, в формате больших и тяжёлых зеркалок. Способных фотографировать бактерии на расстоянии в сотни метров.
                                Однако зеркалки есть, но бактерии они не видят. У них ведите-ли запрет на нарушение физики.
                                  –2
                                  +1
                                    +3
                                    Скорее всего изначально надо понимать, что есть матрица на 12 МП + софт, который доводит картинку до уже нужных 48 МП. В рекламах уже не раз были замечены снимки сделанные на топовые зеркалки, которые в будущем выдавали за снимок со смартфона.
                                      0
                                      Статью не читай, комментарий пиши =)
                                      Там не 12, а 48 миллионов элементов, которые сгруппированы по 4 штуки под одним фильтром.
                                      0
                                      >в продаже просто обязаны появиться монстры для гиков, в формате больших и тяжёлых зеркалок

                                      Ну, не зеркалка, конечно, но тоже нечто странное.
                                        0
                                        Собственно берем телескоп, делаем к нему адаптер а ля макролинза (иначе не сфокусируется), адаптер для цифрозадника и вперед, снимать бактерии с предметного стекла за 100м. Солнце выступит подсветкой. ;-)
                                        0
                                        Обработка сигнала цветным фильтром Quad Bayer с несколькими алгоритмами для повышения разрешения

                                        Мне кажется, или «с несколькими алгоритмами» это и есть «программная интерполяция», просто не силами ПО смартфона а силами контроллера камеры?
                                          0
                                          Как вариант, купили технологию у nvidia
                                          deep learning и все такое

                                            +1
                                            Результат поражает!


                                          +6
                                          Производители флэш-памяти для смартфонов довольно потирают руки.
                                            0
                                            Лишь бы проц не перегревался в приложении камеры.
                                            +16
                                            Подготовил для Sony аутентичный маркетинговый материал, демонстрирующий характеристики сенсора IMX586:
                                            Sony IMX586 - ебучий шакал JPEG
                                              +2
                                              В блоке с болтом надо было поместить целую портянку с шутейкой про Enhance.
                                                0
                                                Вы не поверите, но это ТОТ САМЫЙ винт.
                                              +1
                                              Физический размер сенсора составляет 1/2" или 6,4×4,8 мм. Это большой размер — самый большой, какой только ставят в смартфоны
                                              Это, мягко говоря, неправда.
                                              В качестве примеров можно привести как продающийся в данный момент Huawei P20 Pro с матрицей 1/1.7", так и старенькую Nokia 808 с матрицей 1/1.2".
                                                0
                                                Лучше бы что-нибудь с шумами бы сделали и размером матрицы, а то толку от этих мегапикселей в сумерках.
                                                  +7
                                                  В тему:

                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                  Самое читаемое