«За и против»: апскейлинг исторических видеороликов — почему он нравится не всем [«1000 и 1» мнение по теме]

    На критику деятельности «апскейлеров», опубликованную в одном из топовых научпоп изданий, гиковское сообщество отреагировало ярким обсуждением темы. Рассказываем, что к чему.

    Автор фотографии: Jonathan Petersson. Источник: Unslpash.com
    Автор фотографии: Jonathan Petersson. Источник: Unslpash.com

    [У нас на Хабре] — интервью с инженерами аудиосистем и отчеты с выставок.

    Что случилось

    Апскейл-ролики Дениса Ширяева и документальный фильм Питера Джексона «Они никогда не станут старше» поставили в один ряд. Сделал это журналист Wired, снабдивший статью точечными комментариями историков и специалистов по реконструкции. Мнения были далеки от хвалебных.

    Раскритиковали не столько обоих авторов, сколько само явление — апскейлинг и колоризацию исторических записей. Материал попал в топ Hacker News, где завязалась дискуссия, а на днях — активно обсуждался и на Хабре. Мы изучили более 300 оценок по теме и выделили главное.

    Пинг-понг мнений

    «Удалить артефакты и шум — вернуть запись в оригинальный вид. Обработка сверх этого только убивает подлинник», — открыли обсуждение «реконструкторы». «Часть из того, что мы видим на масштабированном изображении, отсутствовала в отснятом материале. Так можно дойти и до сокрытия исторический фактов», — продолжали они, намекая на манипулирование аудиторией.

    «Джексон хотел привлечь внимание к трагическим событиям, чтобы люди не повторяли ошибок и не ввязывались в войны. Колоризация и апскейлинг черно-белой хроники помогла ему по-настоящему вовлечь зрителя в происходящее на экране», — объясняли в ответ пользователи Hacker News.

    Но были и те, кто не поддержал колоризацию: «Иммерсивное погружение и историческая точность — разные задачи. Как работает масштабирование картинки, знают далеко не все, поэтому публике следует быть внимательнее к тому, что они видят в таких фильмах». «Точность восстановления хроники зависит от того, как обучали нейросеть. Будет ли вникать в такие тонкости обыватель?»

    Автор фотографии: Randy Jacob. Источник: Unslpash.com
    Автор фотографии: Randy Jacob. Источник: Unslpash.com

    «Да, в какой-то степени это — иллюзия. Об этом нужно помнить. Но отказываться от просмотра не стоит. Все-таки исторические съемки — это не какие-то руины, которые нам предлагают реставрировать. Оригиналы остаются в архивах, а красочная картинка только привлекает к ним больше внимания», — продолжали те, кто выступил в поддержку апскейлеров.

    Звучали самые разные аргументы: «Слушайте, а чем оригинал лучше? Люди в то время жили не в черно-белом мире, поэтому исторические записи — тоже в какой-то степени иллюзия».

    В ответ на это кто-то дал ссылку на удивительные по своей красочности работы Сергея Михайловича Прокудина-Горского, документировавшего жизнь в Российской империи во время своих фотопоездок. Другие — залинковали колоризованную игру в снежки 1896 года в Лионе, выразив восхищение столь качественными «иллюзиями», и даже немного помечтали об «апскейлах будущего» для VR.

    Что со всем этим делать

    Говорить об исторической хронике как о некотором приближении. Помнить про эффект Райана Гослинга. Не использовать масштабирование картинки с помощью систем ИИ в следственных мероприятиях. Понимать, что нейросеть может быть непредсказуема.

    Рекомендации, реплики и мнения в треде на HN перевалили первую сотню буквально за пару часов с момента выхода статьи, запустившей обсуждение: «Чего вы боитесь? Неточности воспроизведения цвета крыш? Или после обработки люди на пленке вдруг пересядут с поезда на лошадь?»

    Автор фотографии: Frank Okay. Источник: Unslpash.com
    Автор фотографии: Frank Okay. Источник: Unslpash.com

    «А что делать, если произойдет путаница с цветом военной формы? Что если на записи человек с седыми волосами, а вы сделаете из него блондина? Как быть с точностью отображения цвета кожи? Черно-белая хроника — другое дело. Вы просто знаете, что она не претендует на достоверность в этих вопросах», — продолжали спорить резиденты площадки, пока кто-то из них не заметил, что колоризацию можно улучшить, если заглянуть в справочники, соответсвующие дате съемки оригинала. По ним получится точнее воспроизвести цвет отдельных предметов, тканей и материалов.

    «Чтобы исключить инсинуации, до или после апскейл-версии стоит посмотреть исходную. Так вы сделаете выводы сами», — к таким заключениям пришли сразу несколько участников дискуссии, а один из пользователей Hacker News поделился опытом работы в Библиотеке Конгресса США. Там он участвовал в масштабной программе по оцифровке исторических документов и рассказал, что для условного альбома на виниле нужно смотреть не только аудиозапись, но и все, что имеет к ней отношение: сохранившийся конверт, заметки и то, что известно о процессе создания произведения.

    Другие заметили, что колоризация действительно могла бы выглядеть лучше, и обратили внимание на то, как меняют цвет опоры путей монорельса в Вуппертале. А что думаете вы?

    Аудиомания
    Одна из крупнейших Hi-Fi, High End компаний в СНГ

    Комментарии 18

      +6

      Читал ради подробного разбора темы и выводов, а не ради разношёрстных цитат.
      К тому же, тема на порядок качественнее разжёвана здесь: https://m.habr.com/ru/post/490620/

        0
        Мы занимаемся не только аудиотехникой (даже кинозал свой построили). По теме видео — опубликовали множество хабрапостов и не заметили какой-то цензуры на этот счет.

        Дискуссия привязана к определенным роликам, статье о них (ссылки дали в начале материала) и мнениях по теме нескольких сотен пользователей на Hacker News и на Хабре.

        Если позволите, здесь есть, что обсудить.

        ради разношёрстных цитат

        P.S. Конечно, круто, что вы на 90% переписали комментарий, но все-таки можно полегче относиться к мнениям коллег и их обсуждению. Спасибо!
          +1

          Ну, не на 90, а наполовину, но признаю – чего-то излишне возмутился.
          (самого неприятно удивляют переписанные комментарии)

          +1

          Да, эта статья задала планку, написать что-то аналогичное с перечислением мнений на её фоне, без того, чтобы новая статья выглядела вторичной, сложно.

          +3

          Пока нельзя сказать, что нейросети умеют раскрашивать вообще. Но умеют пускать пыль в глаза)

            +1
            Upscale it!


              +5
              Мы думаем, что апскейлинг делается при сканировании. Фотография на узкой плёнке имеет размер 36 × 24 мм, сканер достаёт из него картинку размером 5600 × 3700 точек. Если говорить про киносъёмку, там кадр будет размером 22 × 16 мм, сканер может взять оттуда картинку размером 3400 × 2500 точек. Поэтому вместо апскейлинга надо улучшить сканирование.

              Ещё мы думаем, что надо ретушировать, убирая дефекты (царапины и пыль), если их нельзя убрать промывкой и иммерсионным сканированием.

              А вот раскрашивать чёрно-белые фотографии или киноплёнки бесполезно. Это не создаёт новых сведений, превращает документы в фантазию, запутывает зрителя и, к сожалению, усиливает охрану авторских прав.

              Что же тут ещё сказать?!
                0
                Спасибо, что читаете и за экспертное мнение!
                  +1
                  Поэтому вместо апскейлинга надо улучшить сканирование.
                  У плёнки есть такой фактор как «зерно». А у старых мало того что зерно изначально было «с кулак», так ещё и деградацию никто не отменял. Раз до сих пор никто «не догадался» делать разрешение сканирования выше, то может не такой уж от это и профит?
                    0
                    С зерном с кулак боролись камерами размером с мамонта, пример снимка выше.
                    А картографы весьма благодарно принимали аэрофотоснимки на ч/б плёнку экспериментального мелкого посева, только вот получалась она через раз.
                  +14

                  Не могу удержаться, бонус выходного дня:


                  Картинка

                    +1
                    Ну Прокудин-Горский при всей своей крутости — тоже тот еще источник по цвету, с учетом того, насколько сложен был процесс сборки финального отпечатка. Плюс, если я правильно помню историю этой коллекции, то ходящие сейчас сканы — это современная пересборка из старых негативов.
                    Вообще, с историческими цветными фото все сложно — если например смотреть на фото 40-50 годов, там пленки ОЧЕНЬ специфично писали. Ну и плюс насмотрелся в начале нулевых на нюансы — таки у фотографов море возможностей в плане того, как играя с выбором техники и пленки можно получить желаемую стилистику в цвете (до сих пор вспоминаю кошмарную синеву типичной коники, приглушенные цвета кодаков, и шикарную, но немного цыганскую цветность фуджи). Кинопленка да — там ситуация получше, но какой процент репортажки снимали на полноценную пленку? С видео не лучше, там мало того, что формат пленки накладывает свои ограничения — так еще и сами стандарты кодирования потребительские ОЧЕНЬ пофигистично относятся к передаче цвета. Ну и цифра как вишенка на торте — в лучшем случае рав где фотограф играет так как видит, или джипег онли когда все отдано на откуп уровню криворукости программеров производителя.
                      0
                      Понятие цвета, если глубоко копать, вообще очень непростое. Любой объект не только свой цвет имеет, но и отражает окружающие цвета. Поэтому лицо на фоне деревьев может быть зеленоватым, серый может поголубеть в яркий солнечный день из-за цвета неба, а вода в море вообще передает цвет дна и неба в каких-то произвольных пропорциях, которые могут зависеть от направления ветра.
                        +1
                        А ля чёрно-бело-золотое платье? Ещё есть структурные цвета (крылья бабочек), есть следы слабой засветки от неярких источников на плёнке, невидимые при обычном просмотре из-за низкого динамического диапазона кинопроектора/сканера.
                        Раскрашивание конечно не претендует на точное цветовоспроизведение, но подчёркивая контуры объектов и слегка подкрашивая делает картинку гораздо сочнее, вспомнить хотя бы детские книжки-раскрашки.
                          0
                          А еще есть разные интересные фильтры. Я помню как вводил в шок операторов фотолабы когда приносил печатать пляжные фото, снятые с поляриком. Они никогда нашу волжскую воду такой не видели :).

                          Так что, любая фотография есть ложь. И если хочется степень ее лживости уменьшить (например, в научной фотографии), то нужно очень, очень сильно постараться и, как правило, хорошо знать матаппарат.
                        –2

                        "А что делать, если произойдет путаница с цветом военной формы? Что если на записи человек с седыми волосами, а вы сделаете из него блондина?"


                        Т.е. то, что цветной мир, показан в виде черно-белого кино, где красная и зеленая форма стала серой, а блондин и седой получили одинаковый оттенок волос — это никого не смущает.
                        А когда черно-белому кино пытаются ВЕРНУТЬ цвет, то сразу фу-фу-фу.

                          0
                          В том и дело, что черно-белая картинка по определению не претендует на ответы, а цвет может быть разным. Об этом и спор, все обсуждение, плюс — сложность точной колоризации.
                            +2
                            То, что из текста выбросили все прилагательные, это никого не смущает. В тексте остались существительные и глаголы.

                            А вот когда тексту пытаются вернуть какие-то прилагательные, возникает вопрос: те ли оценки даны в этих прилагательных?

                            Пример. В жизни было: «Рыжий мужчина закрыл скрипящую дверь и вышел на грязную улицу.» Чёрно-белый снимок отражает: «Мужчина закрыл дверь и вышел на улицу». Колоризуем эту фразу, и вот что получается: «Зеленоволосый мужчина закрыл болтающуюся дверь и вышел на мокрую улицу». Как видите, прилагательные удалось восстановить неточно. Можно ли доверять такому тексту?

                            Исследователи пока не знают, насколько можно доверять такому тексту, и опасаются!

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое