Правда всегда одна?

    В интернете есть почти 62 тысячи человек, которые знают о том как я отношусь к цифровым «улучшения», «восстановлениям» и «реставрациям». Возможно что их даже больше, если считать возможные репосты моего хабра-текста про нейросети. Однако, мало кто в курсе того, что для меня эта тема является повседневной и рутинной, ибо чтение размытых надписей я занимаюсь достаточно часто.

    Началось всё достаточно невидно — я решил написать лёгкий текст о том, насколько достоверны сведения которые прораб из фильма «Операция Ы» сообщает присланному ему Феде.

    image

    Лирическую часть этого рассказа можно будет найти на Пикабу ( https://pikabu.ru/@motopila — текст будет выложен днём ), а здесь я хочу рассказать о вполне ожидаемой технической проблеме с которой мне пришлось столкнуться.

    Всё дело в том, что мне на глаза попалась надпись в сворачиваемой Шуриком газете и я решил найти эту газету. Как показал поиск в интернете, я был не первым кто обратил внимание на заголовок «Ненависть к фашизму», но попыток определить что именно это за газета я не встретил. Пришлось браться за мышку, искать самому и излагать найденное в «лирической части». Однако, в процессе исследования оказалось, что газет в данной сцене больше одной.

    1) Показанные крупным планом «Известия» с куском автобиографии Чарли Чаплина
    2) Как минимум две страницы из «Правды», которыми Шурик бьёт Федю
    3) Газета которую Шурик собирается сворачивать

    И для того, чтобы это выяснить, мне пришлось перестать смотреть версию на официальном Youtube-канале киноконцерна «Мосфильм» и изучить содержимое сайтов, ссылки на которые было бы незаконно размещать на Хабре.

    Да, именно так — официальная отреставрированная версия оказалась малопригодной к использованию её в качестве исторического источника.

    И вот как это выглядит в сравнении.

    * * *

    Это та самая газета с которой Шурик идёт к лежащему Феде.

    image

    Слева кадр с Youtube (скачанный youtube_dl), справа кадр из рипа Blue-Ray диска. Оба имели размер кадра 1080p и были разобраны с помощью ffmpeg.

    image

    Оба варианта нечитаемые, но на том который Blue-Ray можно различить промежутки между буквами, а на фотографии чётко видны люди. На Youtube-версии это просто размытая полоска и абстрактная картина.

    И если вы скажете, что читать газетные заголовки на таких кадрах не самая лучшая затея, то я не соглашусь, и вот почему.

    * * *

    Заголовок в газете Правда: «Демонстрация могущества и единства»

    image

    Да, если смотреть Youtube, то там просто размытые пятна. Слово «Демонстрация» было среди моих вариантов, но про оставшуюся часть заголовка идей не было.

    А вот что получается если сравнить два варианта.

    image

    Справа хорошо читаемая надпись «Демонстрация могущества и единства». Виднеющаяся часть слова «ПРАВДА» не имеет отношения к данной странице, но на других кадрах видно небольшое слово «Правда» в верхней части страницы.

    * * *

    Заголовок в газете Правда: «К новым победам в строительстве коммунизма»

    image

    Я сперва предполагал слово «НОВЫЙ», но на этом идеи закончились. Неофициальный источник вдохновения подсказал правильный вариант.

    image

    «НОВЫМ» и «СТРОИТЕЛЬСТВЕ» — точно. «КОММУНИЗМА» складывается из разных кадров.

    Буквы стоящие после «НОВЫМ» скорее похожи на «ПОБЕДАМ», чем на «УСПЕХАМ» (у обоих по 7 букв).

    Частицы «К» и «В», видные на других кадрах, подбираются по структуре фразы.

    И, нет — ни на каком из кадров в видео скачанного с Youtube нельзя прочитать «СТРОИТЕЛЬСТВЕ КОММУНИЗМА».

    Опять же, судя по другим кадрам, это заголовок с первой страницы газеты «ПРАВДА»

    * * *

    И это рассказ не о том, какой я молодец.
    И не о том, что я планирую найти конкретные номера газет и ответить на вопрос была ли там ОДНА газета «ПРАВДА» или же Гайдай навставлял в фильм закладок, в виде газетных заголовков дополняющих основной сюжет.

    Я просто хочу напомнить название моей хабра-статьи про улучшение картинок с помощью нейросетей — «Когда я слышу слова «нейросеть восстановила», я лезу проверять бэкапы»

    И это не образное выражение, а буквальное — я очень хочу надеяться на то, что где-то есть бэкапы с неотреставрированными сканами фильмов, книг, аудиозаписей и т.п… Или хотя бы, где-то есть бэкапы отреставрированных версий с качеством отличным от того которое нужно для заливки на Youtube и онлайн-кинотеатры.

    image

    Хочу, но не могу, потому что нет никакой надежды на то, что коммерческая компания будет хранить абсолютно избыточные исходники. Ведь мы постоянно слышим новости об утрате исходных кодов к компьютерным играм ( https://habr.com/ru/post/141022/ ), а исходники программ, в отличии от фильмов, являются реально важным активом.

    Поэтому, всё что мне остаётся, это верить в том, что ребята, запекающие магнитные ленты, смогут выиграть нам ещё какое-то время. Время, за которое мы сможем выработать подходы которые помогут нам снизить ущерб от цифрового износа.

    2020-06-26
    Михаил Елисейкин
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 38

      +7
      К статье можно добавить тег «цифровая археология» т.к. тема очень близкая. Оцифровал аудиокассеты с программами ZX-Spectrum — оказалось, что мысль «а зачем это надо — всё уже есть в сети» не совсем правильная. В реальности на кассете может оказаться версия игры немного отличная оттого, что уже есть в сети, что представляет определенный исторический интерес.
        +3

        Вот это вот "всё есть в интернете" это ужасно, согласен.


        В интернете много всего для того, чтобы набрать ПОДХОДЯЩИХ иллюстраций под любую тему, но когда нужно что-то конкретное, то оказывается что есть далеко не всё.

          +10

          закон Мерфи в переложении на Интернет:


          Вот это вот "всё есть в интернете" это ужасно, согласен.

          В ИНТЕРНЕТЕ ЕСТЬ ВСЕ ЧТО УГОДНО, НО НЕ ТО, ЧТО НУЖНО!!!

            0

            Да-да-да, именно так!

        +9

        Крутое исследование.


        Официальная отреставрированная версия оказалась малопригодной к использованию её в качестве исторического источника.

        Да, если смотреть Youtube, то там просто размытые пятна.

        Оба варианта нечитаемые, но на том который Blue-Ray можно различить промежутки между буквами, а на фотографии чётко видны люди. На Youtube-версии это просто размытая полоска и абстрактная картина.

        Или я чего-то не понял, но тут же вина не "качества официальной реставрации", а выбора в качестве хостинга ютуба. Ютуб нещадно пережимает видео (даже если залить его в рекомендуемом формате, битрейте и т.п.), и выцеплять мелкие детали там очень тяжко. А во что превращаются на ютубе футажи тёмных или старых пикселястых 3D-шутеров (или современные стилизрованные под таковые, даже с предварительным аккуратным апскейлом) — вообще печаль. Тупо не хватает битрейта для сохранения детализации, и многие сцены превращаются в неприятную мешанину пикселей :(

          +2

          Речь не о вине, а о том какова реальность.


          В результате жизненного цикла цифровой версии фильма мы имеем ситуацию при которой исследователям доступна версия подготовленная для заливки на Youtube и этим самым Ютубом пережёванная.


          Можно попытаться найти чуть более лучшую копию, которая вымывается из интернета как социальными, так и юридическими механизмами.


          Очевидно, что никто не будет тратить время и деньги на то, чтобы найти исходный целлулоид и посмотреть его в студиях Мосфильма, поэтому работать приходится с тем что есть — что доступно за разумный бюджет и тем что просто осталось.


          Мосфильм при этом выступает в двух ролях:
          1) портит цифровые версии ради получения прибыли + прилагает усилия к тому чтобы убрать из интернета менее испорченные версии
          2) в расчёте на получение прибыли сохраняет и пускает в оборот старые фильмы


          За п.2 им надо сказать "спасбо"
          За п.1 — тяжело вздохнуть и пойти проверить бэкапы.

          +2
          Правда всегда одна?
          С чего бы? Как минимум, была «Комсомольская правда», не говоря о региональных и специализированных изданиях. «Учись, студент» (с).

          Вспоминаются байки про оптику на спутниках, позволявшую читать заголовки передовиц и считать звёздочки на погонах.

          Вопрос хранения информационного наследия зело плачевен.
            0

            Тут то имеется в виду идея о том, ОДИН там номер ПРАВДЫ или большще.


            Вполне возможно, что "Демонстрация могущества и единства" располагался на внутреннем развороте того же номера что и "К новым победам в строительстве коммунизма".


            А может это ДВЕ разных ПРАВДЫ, как выпуски.


            Вспоминаются байки про оптику на спутниках, позволявшую читать заголовки передовиц и считать звёздочки на погонах.

            Как состригу коронавирусные патлы — попробую сделать видео об этой истории.
            Она у меня уе какое-то время лежит проработанная.


            З.Ы. Пруф что я знаю о существовании КП — https://pikabu.ru/story/mekhanizmyi__na_polnyiy_khod_yanvar_1948_7540896. :)

            +1
            видео по теме
              +1

              Спасибо.
              Надо будет посмотреть.

                +2
                Товарищ рассказывает об условном разрешении 4K у древних киноплёнок, но не упоминает про оптику кинокамер?
                +2

                Всё же, как заметили в комментариях выше, довольно странно обвинять Мосфильм в том, что Ютуб сильно пережимает видео. Ютуб — это же онлайн смотрение, и высокий битрейт вреден сразу по нескольким причинам:


                • среднее качество изображения на пользователя падает, потому что выбранное качество зависит от скорости канала у пользователя
                • нагрузка на сеть растёт
                • хранить надо больше
                • от повышения качества люди не начинают смотреть больше, т.е. расходы повышаются, а доходы — нет.
                • ну и, наконец, оптимизируют качество видео в целом, а не отдельных кадров. Например, важнее больше битрейта потратить на лица, чем на газету в углу кадра.

                Всё же Ютуб больше позиционирует себя как хостинг для блоггерского контента.
                По поводу выбора настроек для кодирования каждого из разрешений в сетке есть пара публикаций от Ютуба, в которых они рассказывают как раз про то, что подгоняют сетку битрейтов под распределение скорости интернета у пользователей. Ну и каждую единицу контента они хотят кодировать только один раз, потому что контента у них бесконечно мого.


                Совершенно другое мнение у Нетфликса. Они прям вылизывают процесс кодирования и намного больше нацелены на качество картинки, чем Ютуб. Просто посмотрите на их требования к исходникам.
                Они регулярно перекодируют все свои сериалы для получения всё более хорошего качества, десятки и сотни раз. Последние пару лет они используют per shot encodingкаждая сцена видео кодируется с персональными настройками энкодера, оптимизированными под неё.


                Вполне возможно, что и Мосфильм хранит мастера и оцифрованные пленки в каком нибудь MXF с ProRES 422 и битрейтом 300 мбит/с. Всё же это больше похоже на индустриальный (киношный, не потребительский) стандарт, чем какой нибудь BlueRay или h264 в mp4 контейнере.

                  0
                  Всё же, как заметили в комментариях выше, довольно странно обвинять Мосфильм в том, что

                  А вот интересно. Почему обвинять Мосфильм нельзя, а обвинять меня в том что я обвиняю Мосфильм — можно.


                  Всё же Ютуб больше позиционирует себя как хостинг для блоггерского контента.

                  Да, именно об этом я и говорю — о том что современная интернет индустрия создаёт и оптимизирует контент для целей развлечения, а не для целей сохранения цифровых данных.


                  Что? В этом вы тоже услышали какие-то обвинения?

                    +1
                    А вот интересно. Почему обвинять Мосфильм нельзя, а обвинять меня в том что я обвиняю Мосфильм — можно.

                    Так откуда вы знаете, в каких форматах они хранят оцифрованные плёнки?


                    Да, именно об этом я и говорю — о том что современная интернет индустрия создаёт и оптимизирует контент для целей развлечения, а не для целей сохранения цифровых данных.

                    Потому что люди хотят смотреть видео в целом, а не рассматривать газеты же.
                    К тому же, я специально написал про подход Нетфликса к работе с исходниками и к кодированию. Для них качество изображения — не пустой звук, и они обращают внимание на детали.

                      0

                      Я вот реально не знаю как на это отвечать.


                      Потому что я уже явным образом указал на то что Вы выдумали какие-то "обвинения" и теперь сними боретесь, но Вы продолжаете вести свой священный бой.


                      Ну, ок.


                      Я то тут причём?

                        +1

                        А вы хороши, я честно, без сарказма. Скриншот с Ютуба про "Операцию Ы" и с аккаунтом "Мосфильм", а потом фраза:


                        Хочу, но не могу, потому что нет никакой надежды на то, что коммерческая компания будет хранить абсолютно избыточные исходники.

                        Формально, безусловно, конкретного обвинения конкретно Мосфильма нету. Я воспринял дух статьи как её букву. Был не прав, извините.

                          –2

                          Если и есть в этом тексте какой-то дух, то это дух торжества энтропии над всеми остальными процессами, и неизбежности утраты всего.


                          А то что находятся люди выдумывающие тут какие-то жуалобы и обвинения, это просто демонстрация всё того же торжества энтропии.

                    +2
                    Вполне возможно, что и Мосфильм хранит мастера и оцифрованные пленки в каком нибудь MXF с ProRES 422 и битрейтом 300 мбит/с. Всё же это больше похоже на индустриальный (киношный, не потребительский) стандарт, чем какой нибудь BlueRay или h264 в mp4 контейнере.

                    И как к такому контенту может получить доступ


                    • простой пользователь, заинтересовавшийся некоторым вопросом, касающимся видео?
                    • цифровой археолог на общественных началах?
                    • цифровой археолог-профиссионал, исследующий какой-то конкретный запрос (в случае, если служебного запроса нет, то очевидно, что нужно рассматривать пункт 2, хоть и профессионализм будет выше)?

                    Ну т.е. даже если где-то что-то и хранится, то реальность получения доступа до протухания этого чего-то (как раньше — плёнок) — тот ещё вопрос.

                      0

                      Как минимум надо написать в Мосфильм. Вот эта статья, имхо, вполне достаточный повод для них дать доступ — это же совершенно бесплатный пиар, да ещё и ненавязчивый.

                        +1

                        Современные историки очень часто работают с не самыми вот_прям_таки_архивными документами.


                        Иллюстрации из книг и газет, россыпь старых фотографий на барахолке, плёнка валявшаяся в забытой коробке.


                        Просто потому, что в какие-нибудь серьёзные архивы попадает лишь малая часть информации, а если и попадает, то нет никакой гарантии что документ не будет уничтожен как "не имеющий научной ценности".


                        Так что, есть шанс, что через 50-100 лет, исследователям придётся работать именно с той версией которая была залита на Youtube.

                        0
                        Госфильмофонд России — основной архив кинофильмов РФ.
                        В рамках услуги комплект исходных материалов фильма, созданного при государственной финансовой поддержке, обязательный экземпляр фильма готовятся к сдаче на государственное хранение организацией кинематографии

                        Стал принимать на цифровых носителях. Вопрос только как они продиагностируют и будут восстанавливать с цифрового носителя, который умрет лет через 20 хранения.
                        HD архив фильма на LTO кассете и жестком диске (DPX lin секвенция, WAV mix, WAV m&e, тифлокомментарии+субтитры для глухих, фоны под надписи, если надписи выполнены не на нейтральном фоне )
                        • HD архив фильма на LTO кассете и жестком диске (DPX log секвенция, WAV mix, WAV m&e, тифлокомментарии+субтитры для глухих, фоны под надписи, если надписи выполнены не на нейтральном фоне )
                        Видеофонограмма (мастер) в формате HDCAM

                        gosfilmofond.ru/priem-na-hranenie
                          +1

                          А потом приходит реальный исследователь, с реальными сроками и бюджетами.


                          И у него есть два варианта:
                          1) Писать запрос в госфильмофонд, ждать разрешения, очереди и ради пары минут просмотра пилить хз куда, особенно если он не в Москве живёт.
                          2) За пару минут найти на ютубе или в онлайн-кинотеатре


                          Догадываетесь что именно он выберет?


                          Правильно — п.2


                          Потому, что для него это выбор "долго и за конский прайс" и "быстро и бесплатно".


                          И чтобы она выбрал п.1 ему надо объяснять, что разница между п.1 и п.2 состоит не только в "время и деньги", а ещё и в "информация есть" и "даже следов информации нет".


                          Именно к этим людям я обращаюсь, когда пишу "нет никакой надежды на то, что коммерческая компания будет хранить абсолютно избыточные исходники".


                          К ним, а не к работникам кинокомпаний или любителям игры с кодеками.

                      +3
                      Как-то увидел переозвученные старые советские мультфильмы, вместо музыки – что-то дешёвое на стрёмном синтезаторе, голоса, которые никак не клеятся к персонажам.
                      Напомнило известную историю о реставрацию старой фрески прихожанкой, когда в итоге получились детские каля-маля.
                      (Специально не искал, на youtube находится по запросу «Аленький Цветочек. Советские мультфильмы. Союзмультфильм. StarMediaKids»
                      Речь не о видео, но оригинальный звук тоже не мало значит.
                        0
                        Если интересна работа действительно профессионального реставратора (правда из другой области, но, вероятно на работу реставратора за компьютером наблюдать всё равно скушновато) — посмотрите Baumgartner restoration.
                          +2
                          Получите двойное удовольствие.
                          Оригинал
                          Ремастеринг

                          И это ещё не самый плохой пример.
                            +3
                            Да, это оно, из этой же серии. Когда там появляются синтезаторные музыкальные вставки – это вообще ужас. Кто-то же оплатил этот даунгрейд.
                          0
                          Вы переживаете, что в Мосфильме сидят совсем уж идиоты и потеряют все исходники. Переживаете, что торренты позакрывают (почему-то употребив извилистую формулировку «вымывание юридическими механизмами».
                          Ну так вы купите Blu-ray (а не «Blue-Ray») с этим фильмом и никуда он от вас уже не денется. Бэкапы только делайте.
                            +1
                              0
                              И...? В чём меня должна убедить эта ссылка?
                                +1
                                «Blu-ray… с этим фильмом и никуда он от вас уже не денется.» Но это не точно.
                                Не убеждения ради а напоминания для. Учитывая иссякание новых BD приводов в продаже, временная(?) неработоспособность заметной доли плееров намекает на возможность сценария, когда читабельные диски будет просто не на чем прочесть.
                                  +1
                                  Первое, что надо сделать с купленым Blu-ray, это скопировать.
                                  И всё.
                              +1
                              Вы переживаете, что в Мосфильме сидят совсем уж идиоты и потеряют все исходники.

                              Нет, не переживаю.
                              Такие утраты происходят постоянно и это часть жизни.
                              Вы никогда не обращали на это внимания?


                              почему-то употребив извилистую формулировку «вымывание юридическими механизмами»

                              Потому, что кроме торрентов есть и другие каналы распространения, как легальные, так и нелегальные.


                              И у Мосфильма есть возможности заставить онлайн кинотеатры показывать новую версию взамен старой.


                              Ну так вы купите

                              Если Вы перестанете выискивать у меня "переживания", то обратите внимания на то, что текст не о моих личных проблемах (как легко заметить, у меня всё хорошо и я свою задачу решил), а о имеющейся ситуации.

                                0
                                А, это вы так за весь мир переживаете. Ну, не переживайте, не потеряют и без вашего напоминания.
                                у Мосфильма есть возможности заставить онлайн кинотеатры показывать новую версию взамен старой
                                1. Какие возможности?
                                2. Зачем ему это делать?
                                  +1
                                  А, это вы так за весь мир переживаете. Ну, не переживайте, не потеряют и без вашего напоминания.

                                  Да Вы не переживайте — я не переживаю.


                                  Я ведь историк и знаю сколько всего уже просрано, просирается прямо сейчас и будет просрано в будущем.

                                    0
                                    Давайте конкретнее — кинопленка «Операции Ы» и её оригинальный скан будут утеряны навсегда?
                                    Я ведь историк
                                    Вы, вроде, бауманку заканчивали? Там нет такой специальности :)

                                    Ну и жду ответа про Мосфильм.
                                      +1
                                      Давайте конкретнее — кинопленка «Операции Ы» и её оригинальный скан будут утеряны навсегда?

                                      Вполне могут быть утеряны — https://ru.wikipedia.org/wiki/%D0%A3%D1%82%D0%B5%D1%80%D1%8F%D0%BD%D0%BD%D1%8B%D0%B9_%D1%84%D0%B8%D0%BB%D1%8C%D0%BC


                                      Вы, вроде, бауманку заканчивали? Там нет такой специальности :)

                                      Ну, пришлось заниматься самообразованием.
                                      Разбираться.
                                      Выяснять что да как.


                                      Знаете, есть такое восхитительное ощущение когда ты понимаешь что если придти всего лет на 5 раньше, то мог бы попасть в библиотеку предприятия… а его уже нет.


                                      Или мог бы месяц назад скачать что-нибудь с сайта… а его уже нет.


                                      У кого-то был пожар, у кого-то был потоп, кто-то просто закрылся и выкинул весь этот ненужный хлам.


                                      Кто-то не оплатил хостинг. Кто-то не продлил договор. Кто-то переконвертировал.


                                      У меня есть много отличных историй после которых у меня нет по этому поводу никаких переживаний, жалоб и обвинений.


                                      Я точно знаю, что просрано будет всё. И просрано будет в очень близкой перспективе.


                                      Ну и жду ответа про Мосфильм.

                                      Мосфильм — коммерческая контора в которой работают люди. У них у всех есть KPI и зарплата. И если они потратили бабло на подкрашивание фильма, то им надо чтобы смотрели их подкрашенную версию, а иначе возникнет вопрос "а нафига мы столько денег потратили".


                                      Они всё это сделают абсолютно не со зла, а просто ради того что бы продолжать быть нужными.


                                      И вопрос не в том, будет это или нет, а в том — когда именно это будет.

                                        0
                                        У вас очень забавные представления о Мосфильме, KPI его сотрудников и лицензионных договорах с онлайн-сервисами :)
                                          0

                                          Возможно.


                                          Но вот эти вот мои представления о том почему и как ведут себя коммерческие (и не только) компании уже неоднократно подтвердились на практике.


                                          Поэтому, я продолжу действовать исходя из них.

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое