На днях видеоблогер MKBHD опубликовал результаты своего ежегодного «слепого теста», где пользователи выбирают лучшие снимки, не зная, на какой телефон они сделаны. Как и в предыдущие годы, итоги оказались очень контринтуитивными: можете попытаться сами угадать, какой телефон победил, и почти наверняка ткнёте пальцем в небо. «Слепые» оценки противоречат тому, что пишут в умных обзорах и что считается очевидным.
Я не встречал на Хабре упоминаний этого теста, а по-моему, это очень интересные данные, заставляющие по-новому смотреть на ситуацию. Поэтому решил описать текстом и свежие результаты Маркеса Браунли (так зовут MKBHD), и общие выводы за несколько лет.
Методология
Маркес действует следующим образом: берёт 16 смартфонов, разбивает их попарно, создаёт турнирную таблицу. Делает на все телефоны фотографии в идентичных условиях, выкладывает в соцсети и просит подписчиков выбрать лучший из двух кадров в каждой паре. Телефон-победитель из пары проходит на следующий этап, там на восемь таких «прошедших» телефонов делают новый кадр, и процесс повторяется, пока в финале не сходятся два последних. В тесте нигде не подписано, на какие телефоны сняты кадры, чтобы исключить любую пристрастность.
У некоторых подписчиков возникает возражение «соцсети страшно пережимают снимки, выложи исходные файлы поразглядывать как следует». Однако для Маркеса в этом и заключается идея: оценить то, как люди чаще видят снимки в реальной жизни, а не сравнивать сферических коней в вакууме.
Есть и более существенная придирка: поскольку у разных камер разные сильные стороны, выбывание из-за единого промаха может быть непоказательным. Например, если какой-то телефон прекрасно работает в условиях плохой освещённости, но на первом же задании при хорошем освещении его обошёл другой, то мы сразу лишаемся шанса оценить первый по достоинству. Так что стоит держать в голове, что тут мы получаем лишь часть картины. Но и её достаточно, чтобы впечатлиться.
И ещё, конечно, стоит сделать оговорку про репрезентативность аудитории. Раз опрос проводит техноблогер — вероятно, участвуют в нём люди, которых волнуют гаджеты и их качество фотосъёмки, а не просто случайные «казуалы», среднестатистические для всего населения. Тем удивительнее смотреть на результаты.
Итоги 2021-го
В этом году в тесте участвовали такие телефоны (указываю с разбивкой по парам в первом этапе):
Samsung S21 Ultra против ZTE Axon 30 Ultra
ASUS ROG 5 против Lenovo Legion Duel
Sony Xperia Pro I против Oppo Find X3 Pro
Xiaomi Mi 11 Ultra против OnePlus 9 Pro
Google Pixel 6 Pro против Google Pixel 5a
iPhone 13 Pro против Motorola Edge
ASUS Zenfone 8 против Poco X3 GT
Microsoft Surface Duo 2 против Realme GT
Можете теперь из интереса попробовать спрогнозировать результаты, не заглядывая под спойлер. Кто победит в этих парах? Какие четыре телефона дойдут до полуфиналов? Какой из них победит в конечном счёте?
А теперь перейдём к результатам:
Взять красную таблетку и узнать, как глубока кроличья нора
Где-то в результатах нет ничего неожиданного: вряд ли кого-то удивит, что в первом этапе суперфлагманы Samsung S21 Ultra и iPhone 13 Pro победили своих соперников. Другие победители этого этапа: ASUS ROG 5, Sony Xperia Pro I, OnePlus 9 Pro, ASUS Zenfone 8Н, Realme GT.
Но уже в первом этапе произошло и совершенно контринтуитивное: Google Pixel 5a выиграл у Pixel 6 Pro. То есть бюджетную версию из прошлого поколения (стоит от $399) люди оценили выше, чем флагман из нового поколения (от $899). Если бы бюджетный телефон от одного производителя выиграл у флагмана от другого, это ещё можно было бы объяснить, но как одна и та же компания смогла в новой дорогой модели ухудшить для людей то, что уже было у неё в прошлой недорогой?
Дальше — больше. На втором этапе вылетели и айфон, и Samsung S21 Ultra, причём второй уступил телефону ASUS ROG 5. А это, на минуточку, геймерское устройство, то есть упор там сделан не на камеру. Я открыл первый нагуглившийся обзор на него, и это очень забавно: там написано «The phone’s few shortcomings, like its limited camera suite, haven’t been radically improved to come to parity with standouts like the Samsung Galaxy S21 range». То есть в обзорах буквально чёрным по белому писали, что камера заметно отстаёт от S21, а реальные пользователи посчитали наоборот.
Полуфиналы получились с такими моделями: ASUS ROG 5, OnePlus 9 Pro, Google Pixel 5a, Realme GT. По-моему, правильно спрогнозировать такой расклад практически нереально — поднимите руку (в комментах), если угадали хотя бы две модели из четырёх.
А окончательным победителем из них стал Pixel 5a — телефон среднего ценового сегмента, который в обзорах хвалили, но в формате «топ за свои деньги». Для фотосъёмки в нём используется то же железо, которое Google до этого использовал уже несколько лет (а затем в Pixel 6 сильно поменял фотосистему и старательно объяснял, насколько новая лучше).
Выводы
В 2021-м получились ещё не самые жёсткие результаты. Скажем, айфоны раньше выбывали вообще на первом этапе, проигрывая кому угодно (хотя в рейтинге DXOMARK они вечно входят в топ-5). А в 2018-м, обскакав все эти айфоны, в финал вышел вообще Pocophone: бюджетный телефон, который ни в каких фоторейтингах даже не фигурирует. ЧТО ВСЁ ЭТО ЗНАЧИТ?
Ну, отчасти всё объясняется методологией теста. У флагманов может быть лучше с чёткостью, там всё так детализированно, что хоть на рекламный биллборд распечатывай (собственно, Apple и распечатывает). Но когда люди видят не биллборд, а пережатые версии на маленьком мобильном экране, детали от них всё равно ускользают. Так что эта разница стирается, и цена перестаёт иметь значение: Маркес отмечает, что в турнирной таблице очень часто пользователи выбирали из двух телефонов более дешёвый.
Хорошо, раз чёткость не важна, что тогда важно? Есть разные факторы вроде реалистичной передачи красного цвета (в этом году он сыграл роль). Но похоже, что главным образом среднестатистический участник опроса просто хочет «штоб поярче смотрелось». При прочих равных яркие цветастые фотографии выигрывают у тёмных и блёклых. А ещё, как отмечает Маркес, для людей типично пользоваться в съёмке одной-единственной кнопкой (даже не тапать для фокуса) — так что им хочется не кнопку «снять как всё на самом деле» и потом художественно играться фильтрами, а кнопку «сделать хорошо», где уже поигрались за них.
Многие замечают, что на самом деле «ярче» не означает «лучше». Действительно, тут вспоминаются «Денискины рассказы», где герой был уверен, что чем громче поёшь — тем лучше пение. Но возникает интересный вопрос: а что вообще такое «на самом деле лучше», кто это определяет, если пользователи считают иначе?
Мы привыкли рассуждать о качестве смартфонных камер как о чём-то, что можно точно сравнить по одной шкале, в интернете много таких уверенных сравнений: в обзорах, рейтингах, просто чьих-то репликах. А тест Маркеса показывает, что такой единой шкалы в принципе не существует, всё слишком зависит от контекста. Даже принцип «флагманы снимают лучше бюджетных», с которым обычно никто не спорит, разбивается вдребезги: оказывается, в определённом контексте ничем не лучше.
Поэтому на вопрос «какая смартфонная камера лучше» невозможно просто взять и ответить — необходимо сначала разобраться с другими вопросами:
Лучше для чего: чтобы результат нравился самому или собирал побольше лайков в Instagram?
Как на снимки с этой камеры будут чаще смотреть — на телефонах, мониторах, бумаге, ещё как-то?
Будут ли эти снимки как-либо обрабатывать (хотя бы на уровне «наложить фильтр»)?
А в эпоху computational photography возникают дополнительные нюансы. Раз сегодня любой смартфонный снимок — это результат автоматической обработки, встаёт вопрос «какой именно должна быть эта обработка». Скажем, должен ли производитель телефонов делать снимки яркими и цветастыми, если людям так больше нравится и это делает их счастливее? А что делать тем, кому так не нравится? Как пользователю отказаться от излишней обработки, которую ему уже насильно встроили в кнопку съёмки, но при этом не переходить к возне с RAW? А как правильнее действовать разработчикам сторонних фотоприложений?
Я лично порадовался бы, если бы в фотоприложениях вместо одной кнопки спуска появилось две разных: «сделать хорошо» и «сделать похоже на правду». Думаю, пользовался бы обеими в зависимости от ситуации.
Напоследок — минутка рекламы. Если текст про смартфоны заинтересовал вас из-за того, что вы разрабатываете приложения для них, вам может быть интересна наша конференция Mobius. А если вы не разработчик, но не мобильный, среди наших конференций всё равно может быть подходящая вам.
