«Тайна третьей планеты» с улучшенной нейросетями графикой

    Заметил, что у Хабра есть интерес к теме улучшения графики в старых играх.

    Я как раз сделал мод графики для первой готики.

    А недавно, решил схожим методом улучшить графику в любимом с детства мультфильме —
    "Тайна третьей планеты".

    Тут кадры-сравнения.

    А ниже результат:


    Расскажите, стоит ли этим заниматься. Надо ли это кому-то? Или классику лучше не трогать?

    Использовались следующие технологии:

    • FFMPEG
    • ESRGAN
    • Gigapixel AI

    А теперь немного о том, как это делалось, ведь мы на }{абре.

    Смотрим доступные форматы на ютубе

    youtube-dl -F https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

    Качаем нужные форматы (аудио и видео)

    youtube-dl -f 11 https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

    Проверяем фреймрейт файла

    ffprobe -v error -select_streams v -of default=noprint_wrappers=1:nokey=1 -show_entries stream=r_frame_rate input.mp4

    Раскадровка

    ffmpeg -i "input.mp4" -start_number 0 -vf fps=25 "convert/capture-%002d.png"

    Далее стандартная процедура увеличения кадров с помощью нейросети.

    Склеивание из png + аудио

    • без заданного разрешения - ffmpeg -framerate 25 -i convert/capture-%002d.png -vb 20M -i audio.webm -vcodec mpeg4 -y "ffmpegtest.mp4"
    • с заданным разрешением - ffmpeg -framerate 25 -s 900x720 -i convert/capture-%002d.png -vb 20M -i audio.webm -c:v libx264 -pix_fmt yuv420p -crf 23 -y "ffmpegtest3.mp4"
    Share post

    Comments 116

      +13
      только моя нейросеть не видит разницы?
        0
        моя тоже не видела, пока качество максимально доступное не поставил
          0
          мыла нет
          +12
          На скринах разница конечно заметна в лучшую сторону. А на видео по-моему есть изменения только на крупных планах
            +2
            А если ещё раз прогнать, то 1080 будет?
            +13
            Мне заметно, мне нравится эффект. Делайте пожалуйста :)
              +12

              Спасибо за видео, выглядит гораздо приятнее.


              Видео на YouTube очень сильно пожато. Для лучшего результата можно поискать исходник покачественнее. В идеале — архив Гостелерадио фонда, но реально — какой-нибудь официальный выпуск на DVD или даже BlueRay.

                0
                Если был бы Blue-Ray, то он скорее всего уже в Full HD. Но нет, есть только ремастированный DVD. И да, качество у него не сильно выше чем на Youtube.
                  –4
                  Советские мульты вообще кто-нить мэйнтэйнит..? Мне казалось они умерли вместе с государством(
                  +3
                  Интересно, осталась ли мастер-плёнка? или первая копия?
                  Сравнить бы с ней.
                    +6
                    Я написал в Союзмультфильм — в социалки и на оф.почты с сайта, но меня полностью проигнорировали. Думаю, что они будут в этом заинтересованы только при получении признания этой темы в обществе.
                      +10
                      Думаю, что они будут в этом заинтересованы только при получении признания этой темы в обществе выгоды, желательно мимо кассы. И да, выглядит лучше…
                        +3
                        вы должны радоваться, что с вас не запросили несколько сотен тысяч североамериканский рублей за нарушение прав на распространение медиаконтента.
                          +3
                          Я никогда не собирался на этом зарабатывать, так что моя совесть чиста. Плюс YouTube еще во время обработки видео пометил контент, как принадлежащий определенному правообладателю, и вся монетизация будет отходить ему. Меня устраивает такой вариант.
                            0
                            Не уверен, что желание или нежелание заработать тут какую-то роль играет. Кажется закон не так работает.
                              +3
                              Ну вот вы не уверены, а со мной уже судился монстр IT-индустрии )
                          +8
                          Хочу сообщить, что вчера 23.04.2019 мне ответили из Союзмультфильма.
                          Суть письма в следующем (моими словами): Спасибо за интерес к нашему контенту, сейчас несколько подрядчиков делают upscale, и реставрацию изображения произведений до 2К и 4К. Работы ведутся с небольшим приоритетом и имеют академический интерес.

                          Будем ждать официальных upscale-проектов!
                        +3
                        За мод к Готике огромное спасибо. Но в этом конкретном случае улучшение не слишком очевидно и в общем смотреть не очень приятно, потому что от кадра к кадру качество сильно меняется. Линии слипаются и разлипаются, особенно это заметно на углах и вблизи круглых объектов. Глаза персонажей — яркий тому пример. В статике выглядит хорошо.
                          +2
                          Соглашусь. Плюс, простые, вроде бы, дефекты — дрожание объектов (кажется, что достаточно просто удержать для алгоритма — особенно наглядно на тексте, титрах). Ну, и частота кадров — плавности не хватает.

                          В любом случае, спасибо автору за дельное начинание!
                          +1
                          Если посмотреть на полный экран то разница более чем видна.
                          Хотя конечно по некоторым местам видны огрехи. Так например на среднем плане буква А в названии корабля ПЕГАС довольно сильно стала смахивать на Л. В старой версии там было мыло в котором название скорее угадывалось чем читалось, тут оно читается но А искажается.

                          В целом смотреть приятно, и думаю что многие мультики стоит прогнать такими алгоритмами ибо на больших экранах их смотреть сейчас очень печально (я частично с этим связываю малую популярность добротных старых мультиков у нынешнего подрастающего поколения).
                            0
                            Дело полезное, походу грядёт хайп по улучшению всякого разного из прошлого
                              0
                              Ага.
                              Ждём, когда AI Чарли Чаплина он сам раскрасит.
                                +5
                                Эт можно
                                image
                                  +2
                                  Круто, очень! Не видел ранее.
                                  Но предварительно хорошо настроили, как понимаю.
                                    +8
                                    Да нет, я это сделал за 1 минуту, через colourise.sg
                                    +1
                                    И озвучку еще, пожалуйста :)
                                      +1
                                      Смешно, но есть же примеры восстановления звукового ряда по резонансным колебаниям обычных предметов, попавшим в кадр (правда в контролируемом окружении), так что в каком то смысле можно попытаться восстановить шум на съемочной площадке.
                                        +9
                                        С озвучкой старых лент, не рассчитанных на подобное, нужно быть крайне аккуратным
                                        Заголовок спойлера
                                        image
                                          +5
                                          image
                                            –1
                                            отлично! вспомнился аналогичный кадр из «Маски-шоу» с фразой «не наши!», но иной артикуляцией :))
                                            0
                                            Пучков вполне справится.
                                        +1
                                        И озвучит.
                                      +5
                                      Улучшение по сравнению с исходной версией довольно заметное.

                                      Местами остались и лесенки (например, у летящего флаера на первых кадрах с общим планом) и прочие дефекты — но их почти не заметно, если не всматриваться. А «исходную» на большом экране смотреть просто больно — кажется, что потерян фокус, и глаза напрягаются в попытках его восстановить.

                                      Вроде бы некоторое время назад на Хабре кто-то уже выкладывал свой вариант ремастера «Тайны», по крайней мере, я отчетливо помню, что я ту статью комментировал. Но почему-то не нашёл её ни в трекере, ни гуглом.

                                      Зато нашлась статья про подобный нейросетевой ремастер другого мультфильма — «Рик и Морти» — habr.com/ru/post/438886
                                        0
                                        О да, я находил этот ролик в ВК — vk.com/video47939812_456239146
                                          0
                                          Ага, он самый. И коммент свой там нашёл. Получается, я попутал, подумав что на хабре дело было. Память штука такая, ненадежная.
                                            0
                                            Я тоже помню писал как-то мануал по установке ubuntu на журнал playboy , а потом сказал друзьям поискать по хабру, а мануальчик мой без уведомлений перенесли на мегамозг (или еще куда-то там). Сейчас смотрю — вернули обратно. Но я после такой вольности на 5 лет свалил отсюда.
                                              +1

                                              Хорошо, что вернулись. Простите за форки и мерджи проектов. Мы не со зла, а «ради искусства». Кажется, теперь уже окончательно будет только Хабр.

                                                0
                                                Я тоже помню писал как-то мануал по установке ubuntu на журнал playboy, а потом сказал друзьям поискать по хабру, а мануальчик мой без уведомлений перенесли на мегамозг


                                                Несмотря на то, что сейчас мой скафандр не мог передавать и принимать информацию, я рассчитывала узнать с помощью ракеты о судьбе своих друзей. Работающие на ОО инженеры, как обычно, предусмотрели всё. В том числе и запуск ракет тайконавтами, чьи скафандры не приспособлены для взаимодействия с картографическим модулем.

                                                Для этого на пусковой установке был смонтирован небольшой экран, на который ракета транслировала изображение с камеры. Экран этот, кстати, имел свою собственную историю: когда-то давным-давно, журнал Playboy устроил рекламную акцию, вставив в журнал утолщенную страницу, внутри которой находился крохотный компьютер с жидкокристаллическим дисплеем, показывающий, как вы думаете что? Конечно ггнуху.

                                                Номер моментально стал культовым. Гики охотились за ним, скупая пачками. Чтоб потом перепрограммировать халявные компьютеры, встраивая в свои проекты. В холодильники, умные дома, спутники, подводные лодки, адронные коллайдеры. Со временем это стало традицией. В определенных, очень узких кругах, но тем не менее.

                                                Инженер, создавший эту картографическую систему, рассказал, что из купленной им дюжины журналов у него до текущего момента дожило всего три, и он использует их только в исключительно важных проектах. Таких, как созданная для Луны залпово–картографическая система. И что он надеется, что первый зонд, достигший другой звездной системы, тоже будет содержать один из двух оставшихся у него плееров. (Последний, он видимо собирался приберечь для постройки на его основе большой машины для изменения космологической постоянной в целях остановки разбегания галактик — инженеры порой такие инженеры…)

                                                (с) #Даша_на_Луне
                                          +2
                                          Я подозреваю, что подобным образом «улучшали» многие мультфильмы, которые можно сейчас скачать на торрентах. Во всяком случае, те, что я качал лет 7-9 назад, я сравнивал с тем, что показывают по ТВ (да, на HD каналах, старые мультфильмы) — и разница очевидна, лучше чёткость, лучше контраст, значительно меньше шумов или их отсутствие.

                                          Конкретно это видео мне понравилось. Можно смотреть на большом экране, не напрягаясь и не плеваться на квадратики.
                                          Однако, сама статья выглядит недосказанной — «стандартная процедура» по ссылке, вот по мне, ни разу не стандартная :-) Было бы неплохо эту процедуру прямо здесь, на русском языке, и расписать (ну хотя бы под кат, но по-русски).
                                            0
                                            Не таким.
                                            ESRGAN очень свежая штука.
                                              0
                                              А что там сложного? По ссылке просто указан список ПО, с помощью которого можно увеличивать изображение. Я, к примеру, Waifu2x использую, правда для убирания шумов, но он и upscale так же умеет.

                                              Вся процедура проста:
                                              1) Сохраняем видео покадрово в png.
                                              2) Каждое изображение прогоняем через любую из предложенных по ссылке нейросеток.
                                              3) Склеиваем изображения обратно в видеопоток.
                                              4)…
                                              5) PROFIT!

                                              Вот автоматизировать — это было бы дело.
                                                0
                                                Можно написать простейший скрипт-кликер на AHK.
                                              +4
                                              Круто, но что явно бросается в глаза — низкая частота кадров. Вот бы ещё натренировать нейросеть, чтобы она из двух соседних кадров рассчитывала пяток промежуточных и добавляла их между. Ну и можно доработать вручную некоторые моменты типа дрожание титров вначале.
                                                +1
                                                Да, плюс поправить шум. Думаю, что это все станет возможным уже очень скоро.
                                                  0
                                                  я бы добавил ещё стабилизации кадра. прыгающие титры и картинка очень бросаются в глаза. особенно в HD
                                                    0
                                                    Сейчас очень хорошие шумодавы есть у проекта Avisynth. И добавление промежуточных кадров нейросетью тоже есть, но дорогое.
                                                    +1
                                                    А нужно ли? Современные и не очень устройства, типа smart tv, да и проигрыватели на компе умеют это делать, правда маркетологи эти функции как только не обзывают, иногда и не поймёшь, что реально делает. Но для мультфильмов это не очень полезно, а чаще даже вредно для восприятия (предположу, что это кому как, субъективно) — у меня телевизор с такой функцией, и если её накрутить на максимум — то при быстрых движениях в кадре выглядит слишком реалистично, будто кино смотришь в over9000 60 Hz, или просто в реальности это, для мультфильмов какое-то странное ощущение при просмотре…
                                                      +1
                                                      какое-то странное ощущение при просмотре

                                                      Появляется эффект «театра», раньше называли «театральность» происходящего, а теряется «киношность».
                                                      0
                                                        0
                                                        Жаль что SVP стал платным (кроме Linux версии).
                                                          –1
                                                          совсем недавно раздавали pro-версию за смешные деньги (для РФ), взял не думая.
                                                            –1
                                                            3.1.7a по-прежнему работает.
                                                              +1
                                                              Я купил 2 лицензии пару лет назад за совсем смешные для такого продукта деньги, рублей за 300. До сих пор пользуюсь ими и получаю обновления. Вроде, у автора даже была скидка для жителей бывшего СССР, но я точно не помню.
                                                              0
                                                              Бедные иероглифы.
                                                              0

                                                              Таким способом ничего толкового не выйдет. Получается искусственная пластилиновая плавность, движения становятся не естественными.

                                                                –1
                                                                Смотрю телевизор с добавочными кадрами уже больше 15 лет, мне лично нравится. О каких «естественных» движениях в мультиках вы говорите?
                                                                  0

                                                                  Любая уплавнялка лишь додумывает кадры чтобы перевести картинку из одного состояния в другое. Делает это исключительно с равной плавностью, т.к. информации о скорости движения и тем более ускорениях движений не имеет. Даже с учётом соседних кадров, которые могут не только добавить инфу для повышения корректности интерполяции, но и навредить. И для мультиков это тоже верно. Видео становится как будто пластилиновым, потому что от одного настоящего кадра к другому изображение притерпевает практически идентичные шаги трансформации чего в естественном ходе событий, даже для мультипликации, не бывает. И эту фигню в принципе не исправить никаким супер-пупер алгоритмом, какую бы лапшу ни вешали маркетологи. А вы просто привыкли, глаз замылился. Я же на протяжении нескольких лет видя такую картинку хочу плюнуть в экран, т.к. на мой взгляд это смотреть не возможно. Такое же отношение возникает и к интерполяции полученной любым другим способом.

                                                                    –1
                                                                    Можете как-то подтвердить свои слова:

                                                                    от одного настоящего кадра к другому изображение притерпевает практически идентичные шаги трансформации чего в естественном ходе событий, даже для мультипликации, не бывает.


                                                                    Я как раз вижу что мир состоит из повторения одинаковых шагов. Все ходят, бегают и двигают лицом практически идентично, особенно если это не крупный план. И чаще всего те, кто не привык смотреть доб кадры, говорит что они превращают кино в театр, слишком натурально, и теряется магия. Ощущение что просто мужики ходят по сцене.

                                                                    И я бы не сказал, что у меня глаз замылился, скорее я всегда сам достраивал видео до реальных и плавных движений, и ни когда не ощущал эту «магию кинематографа». Теперь эту работу делает комп, а я могу чуть больше расслабится.

                                                                    И да практически любая интерполяция, которую умудрились продать, как коммерческий продукт — работает. Люди так устроены, что любят градиенты и плавные переходы. А ступенчатые функции для нас понятны аналитически, но не приятны эстетически. Мы используем контраст там, где хотим что-то подчеркнуть и выделить, а плавные переходы там, где хотим приятных эмоций.
                                                                      0

                                                                      Показать можно привести на сильно упрощённом примере. Возьмём линейный график и две точки на нём с ординатами 1 и 5. Будем подразумевать что ось абсцисс — количество кадров. Если не учитывать остальные части графика, то интерполяция, например, для трёх промежуточных точек будет линейной, т.е. равномерной, со значениями 2-3-4. С учётом остальной части графика и применением нелинейных алгоритмов интерполяция несколько усложнится, но все равно останется лишь домыслами. В жизни же человек даже ходит не равномерно. Поэтому интересно смотрится, например, когда человек едет на чем-то вроде моноколеса, где движение в общем то равномерное, но даже здесь есть эпизоды старта и остановки с изменением скорости. Эти моменты нельзя исправить даже с учётом соседних кадров. Динамика движения будет иметь чувствительные погрешности, которые наш мозг будет воспринимать с трудом, т.к. это не будет увязываться с нашим опытом динамики на основе законов физики. В реальности между кадрами может произойти что угодно, что как-то влияет на линейность и равномерность движения. Это легко проверить. Нужна камера снимащая реальные 60 к/с. Далее снимаем небольшой ролик где-нибудь в публичном месте с достаточно интенсивным движением людей. Фильтруем каждый второй кадр и получаем видео 30 к/с. Любимым методом интерполируем обратно в 60 к/с. Сравниваем интерполированные кадры с настоящими. Оцениваем разницу. Это будут в принципе два разных видео. Интерполированное будет выглядеть странно и неестественно.


                                                                      Дело не в повторении шагов, а в динамике. Возьмём опять же простой пример. Махнем рукой. У нас есть замах, движение, торможение. На каждом этапе своя динамика. При интерполяции у нас даже нет точных точек изменения этой динамики. Потому интерполяция будет сглаженной, как бы замыленной. Мозг же гораздо более сложная штука, его интерполяция основана на огромном массиве данных — опыте всей жизни. Никаким алгоритмам и нейронным сеточкам такая точность не будет доступна ещё очень и очень долго.


                                                                      Мой же мозг, например, отлично видно этот обман и неестественность движений. Создаёт ощутимый дискомфорт.


                                                                      Плавные переходы, конечно, приятнее, но при этом большинство не видит разницы между реальностью и интерполяцией, думают что так и должно быть. Так же как когда то с энтузиазмом смотрели диски 10-в-1. Так же как с энтузиазмом жрут хотдоги и запивают колой. Приятно? Им, похоже, что да. Правильно? Явно ведь нет. Это к тому что большинство готово идти на поводу у своих приятностей совершенно не учитывая правильность и адекватность путей достижения. Потому так хорошо работает маркетинг из разряда "два ядра — два гига".

                                                                        0
                                                                        За ликбез спасибо, правда я знаю как работает интерполяция.
                                                                        А что касается резких смен — в мпеге ведь есть ключевые кадры, их при сжатии вставляют как раз на сцены с резкой сменой кадра. Думаю алгоритмы это учитывают при дорисовке, и если сцены сильно отличаются — то игнорируют их.

                                                                        Мозг же гораздо более сложная штука, его интерполяция основана на огромном массиве данных — опыте всей жизни

                                                                        Не понимаю о каком опыте всей жизни идет речь в мультипликации.

                                                                        Никаким алгоритмам и нейронным сеточкам такая точность не будет доступна ещё очень и очень долго.

                                                                        Совершенно не очевидный вывод.

                                                                        Мой же мозг, например, отлично видно этот обман и неестественность движений.

                                                                        Важно не то, что он его видит, а то, почему он считает это важным. Я наверное могу отличить дорогие духи от дешевых, если мне рассказать как это сделать. Но мне это не станет важным.

                                                                        Приятно? Им, похоже, что да. Правильно? Явно ведь нет.

                                                                        Мне не очевидно, почему это не правильно. Если эмоциональный отклик получен. И нет ни каких негативных эффектов, зачем платить больше? Так можно и музыку с винила слушать, кошерную еду покупать только у знакомого мясника, бояться ГМО и не ходить к докторам, там ведь химия!

                                                                        правильность и адекватность путей достижения

                                                                        Вообще не понимаю вас. Что не адекватного в просмотре фильмов в плохом качестве, если зритель не ощущает разницы? Что не правильного в интерполяции, если эффект радует глаз?

                                                                        Вам не радует — больше похоже что проблемы у вас, а не у зрителей.

                                                                        Кстати, вы не задумывались, что люди смотрят фильмы не только так, как это делаете вы? Мой мозг например работает вообще по другому. У меня картинка разбивается в модель, и я смотрю модель, а не фильм. А часто даже и не смотрю на экран, просто слушаю — разницы особо нет, если перевод многоголосый. Потому вы видите как там рука естественно или не очень делает какой-то замах, а я вижу «герой атакует врага из массовки метательным оружием», и пока я могу понять кто, кого и как атакует — я в целом доволен фильмом. Гладкость кадров просто разгружает мои мозги.

                                                                        П.С. я не могу отличить какое я кино смотрю 3д или не 3д, буквально через 2 минуты я перестаю замечать различия. Не шучу, я буквально не могу увидеть отличие стерео картинки от обычной картинки. Я настолько привык что эта информация не нужна для просмотра фильмов, что я ее даже не воспринимаю, что-бы не напрягать мозги. И я не слышу музыку в фильмах и не отличаю качество звуковых эффектов. Сцены где ни кто не говорит для меня немые, а все эффекты можно заменить на звук миксера.
                                                                          0

                                                                          Вообще дело не столько в опыте, сколько в инерционности человеческого зрения, потому дискретные события кажутся непрерывными. Ну а опыт позволяет додумывает детали происходящего согласно естественности происходящего.


                                                                          Пока научились моделировать лишь мозг грызунов, так что до человека ещё очень далеко. Алгоритмы же не обладают такой вариативностью решений какую может обеспечивать нейросеть.


                                                                          Про важность как-то не понял. Есть например физика походки человека и, если он будет идти с ее нарушением, то это будет бросаться в глаза. Так же как бросается в глаза нефизичность китайской киношной "боевой" хореографии.


                                                                          Примеры местами странные. В моем же случае негатива с избытком — только вот наблюдал обладателей последствий этого негатива на пляже, противно смотреть. Это было к тому что многие не понимают что правильно и готовы потреблять любую фигню и, да, радоваться.


                                                                          В принципе пускай эти штуки работают на лету. Моя точка зрения больше связана с тем, чтобы не плодили такое видео и не засирали им сеть. И мои коллеги модераторы пока полностью согласны с этим чтобы не пропускать такой контент на ресурс, хотя возмущенных авторов таких шедевров полученных без особого напряга хватает. Причем они искренне считают что они сделали полезное дело.


                                                                          У меня проблем нет, нравится кому то жевать Г. — кто я такой чтобы запрещать. Но пропагандировать это не стоит. Иначе эта зараза начнет распространяться.


                                                                          Да все мы смотрим фильмы одинаково, физиология одна же. А представлять себе процесс каждый может как ему угодно, это лишь фантазия. Как это было в ЛвЧ 3… "снимаю как человек ест гамбургер… трансцендентно...".


                                                                          Ну, за вас можно только порадоваться. Вы идеальный потребитель, потому что вам все равно. А кого-то, например, может раздражать когда фальшивят в песнях и не попадают в ноты. Большинство этого не слышит и рады себе в неведении. Только это не означает, что стоит на это забить и пускать к микрофону любую бездарность. Иначе в этом дилетантстве со временем просто утонем.

                                                                            –1
                                                                            Пока научились моделировать лишь мозг грызунов,

                                                                            Зрение не люди изобрели, и даже не грызуны. Думаю на додумывание нужна очень малая доля мозга даже грызуна. Не забывайте что у грызуна очень много функций, кроме зрения.

                                                                            Так же как бросается в глаза нефизичность китайской киношной «боевой» хореографии.

                                                                            Она бросается первые два фильма, потом просто привыкаешь и в мозгу «происходит китайская боевая хореография ведущая к победе\поражению», т.к. у них там сразу ясно кто победит.

                                                                            противно смотреть

                                                                            Похоже на вашу проблему, а не на их.

                                                                            Причем они искренне считают что они сделали полезное дело.

                                                                            И я так считаю, т.к. мне надо детям на телеке включать мультики, и без предварительной подготовки. А современные мультики задирают планку графики.

                                                                            Иначе эта зараза начнет распространяться.

                                                                            А кто вы такой, чтоб решать чему можно распространятся, а чему нет?

                                                                            Иначе в этом дилетантстве со временем просто утонем.

                                                                            Ну и что? Почему все должны переплачивать за ваше «веденье»? Люди имеют право потреблять то, что им хочется потреблять. Ни кто не может запретить пускать к микрофону бездарность. Судьбу решает рынок, а не вы и ваши убеждения.

                                                                            В общем в очередной раз радуюсь что не живу в РФ. Тоталитаризм мышления на бытовом уровне, как бы мягко сказать, удивляет.
                                                                              0

                                                                              Как же просто по вашему мнению устроен человеческий мозг… Об этом, похоже, тут вообще спорить будет бессмысленно.


                                                                              Да, к этому привыкаешь, но это все равно хоть и обманка, но все кадры реальные. Наверное, не совсем корректный пример был.


                                                                              Все таки это их проблема, а мне просто противно смотреть. При том что в отеле полно качественной еды, а эти телеса жрут всякую дрянь. Свои же организмы гробят, а я могу и отвернуться.


                                                                              Проблема с этими "хорошими" делами несколько глубже, но её бесполезно объяснять тому, кто никогда не был модератором на подобном ресурсе и не сталкивался со всем тем маразмом, который исходит от пользователей в их стремлениях.


                                                                              Телек ваш, полагаю, и так снабжён одной из уплавнялок. Следовательно и предварительной подготовки не требуется.


                                                                              Делайте что хотите в своей неРФ. Слушайте бездарностей если вам так хочется. Радуйтесь своей толерантности. Кто ж вам запретит то. Мне вообще по барабану кто и что делает, главное чтоб не забывали что их права заканчиваются ровно там где начинаются мои.

                                                                                –1
                                                                                Вы себя явно наделяете расширенными правами, вы вот решаете кто дарность, а кто бездарность. Модерация ресурсов это сложная тема, и она не однозначная. Чем мельче ресурс, тем больше он может модерировать, а чем он больше, как ютуб, тем меньше ему позволяют решать, что у себя хостить. То, что вы можете отвернуться, это здорово, а от вашего мнения люди могут отвернуться?

                                                                                Уплавнялка у меня есть, а вот повышение разрешения и четкости нейронными сетями — нету. И я не хочу зависеть от вашего мнения, на тему какие именно переработки видео можно заливать на ютуб.
                                                                                  0
                                                                                  кто никогда не был модератором на подобном ресурсе и не сталкивался со всем тем маразмом, который исходит от пользователей в их стремлениях.

                                                                                  А сколько от модераторов маразма. Любят оставлять «10 бит 1080 суперкачество» раздачи, а в разделе мобильных или для старых устройств предлагают жрать xdiv. Третьего не дано. Хотя ещё «вчера» были нормальные раздачи 720 8 бит, которые нормально играются моим телефоном.
                                                                                    +1

                                                                                    Да, со стороны это порой выглядит как маразм, но чтобы понять эти вымученные решения нужно смотреть именно с позиции модераторов. Это очень не просто найти консенсус, а угодить всем в принципе не реально. Надеюсь, это и так понятно. Потому, да, модераторы берут на себя право определять что да как. Все таки туда обычно не за красивые глаза попадают и мнение их чего-то да стоит. Просто надо видеть альтернативу каждому решению, чтобы понять что это не вариант.

                                                                0
                                                                А мерцание было всегда, не смог посмотреть и 5 минут.
                                                                  +5
                                                                  slimper, заливка результата на ютуб убивает всё, что вытянула нейросетка. Если по-серьёзному, надо на торренты, и в тему кинуть magnet. Кстати, на рутрекере почти все советские мульты есть в ничего себе качестве, и некоторые даже со звуком 5.1. Почти уверен, что с вашей технологией можно было бы догнать такой материал до FullHD
                                                                    +1
                                                                    Афигеть!
                                                                    Обязательно пересмотрю в вашем варианте. Один из моих любимых мультиков. Я и дочь Алисой назвал:)

                                                                    Кстати, возникла интересная идея.
                                                                    Комиксы. Раскрашивать.
                                                                    Художникам часто не до того — им уж очень много картинок надо нарисовать. А смотреть ч\б в 21 веке как то не торт. А если нейросеть за пару часов все раскрасит…
                                                                    А еще через пару десятков лет и нарисует.
                                                                      +1

                                                                      Раз https://paintschainer.preferred.tech/index_en.html



                                                                      И два (раньше был сайт, но теперь отключен) https://github.com/lllyasviel/style2paints


                                                                        0
                                                                        Ха! Но это самому нужно быть художником. Как минимум быть способным цвет правильный выбрать.
                                                                        Кстати, обидно, что художники сами не раскрашивают таким способом. Может не знают?
                                                                          0
                                                                          Кто-то должен быть художником, что-бы нарисовать комикс. Если художником будет АИ, то он и сюжет будет строить. А если АИ помощник художника, то откуда ему взять хотя-бы стартовую информацию о цвете? Если разукрасить Призрака в Доспехах в няшные цвета, что это будет? В комиксах часто есть 1-2 страницы с цветом. Их можно брать за основу. Но для этого сеть должна выделать не просто образы, а персонажей, и помнить кого и как надо разукрашивать.
                                                                            0
                                                                            Ха! Но это самому нужно быть художником. Как минимум быть способным цвет правильный выбрать.
                                                                            В версии на сайте раньше можно было выбрать один из предустановленных наборов цветов. Но она, как уже написали, сгинула.
                                                                            Кстати, обидно, что художники сами не раскрашивают таким способом.
                                                                            Раскрашивают, но с другой целью: смотрят сочетание разных цветовых схем по-быстрому, чтобы потом так раскрасить вручную.
                                                                        0
                                                                        Интересно, получится ли сделать что-то с Monkey Dust. Если я ничего не путаю, лучше DVD rip качества нет, да и в каждой серии куча разных стилей анимации. А на какой машине вся эта радость считалась?
                                                                          0
                                                                          И что еще интересно — как долго?
                                                                            0
                                                                            Я скоро опубликую статью по сравнению нескольких способов апскейла.
                                                                            Но ответ по Topaz вас не обрадует: в моих тестах, он обрабатывал 38 секунд видео FullHD -> 4K за… 7680 секунд. То есть за 2 с лишним часа. Впрочем, если вас устроит апскейл до FullHD и с сетью низкого качества, то будет быстрее.
                                                                            Это на одной 1080ti.
                                                                          0

                                                                          Очень странное замыливание на вполне себе прямых линиях на 18:49 на ногах. Учитывая разницу от кадра к кадру и даже на одном кадре на разных ботинках — кажется ещё есть куда сетку тренировать.

                                                                            +1
                                                                            Попробуйте улучшить видео с убийством Кеннеди. До сих пор не ясно откуда же стреляли. А фильм очень шумный.
                                                                              0
                                                                              Анекдот в тему
                                                                              Тетенька из известного города приводит сына фотографироваться. А получив фотографии звонит:
                                                                              -Вы таки знаете, но в шляпе получилось не очень. Вы не могли бы сделать без шляпы?
                                                                              -Без шляпы… Тут виден цвет волос. А на какую сторону ваш сын зачесывает волосы?
                                                                              -Шо за странные вопросы вы задаете? Снимите шляпу и вы сами все увидите!

                                                                                0
                                                                                Одесса?
                                                                                Таки да! =)
                                                                              0
                                                                              Очень круто. Спасибо! Первые публикации на Хабре на данную тему, как-то оставили в сомнениях — то ли у меня с глазами что не так, то ли я делаю что-то не так. А тут прямо результат на лице налицо.
                                                                                0
                                                                                USS Calister
                                                                                  +1
                                                                                  Посмотрел немного начала, на 3:08 все-таки есть мыло в верху, у головы Зеленого.
                                                                                    +1
                                                                                    Автор, а можешь выложить видео-туториал для «чайников» незнакомых с нейросетями и показать куда надо что задавать? Хочу видео из своего архива улучшить. Спасибо!
                                                                                      0
                                                                                      вот здесь подобный процесс расписан поподробнее: habr.com/ru/post/438886
                                                                                        0
                                                                                        А если интересует не 4к, а 720/1080, как здесь?
                                                                                          0
                                                                                          так в «размере изображения» всё настраивается:
                                                                                          image
                                                                                      +2
                                                                                      Получилось круто!

                                                                                      Но вот блок «как это делалось» — какой-то странный. Детально расписаны элементарные шаги о том, как разобрать видео по кадрам и как собрать обратно увеличенные кадры, а как провести сам пересчет кадров — просто ссылка на инструмент. При том, что смысл статьи именно в этом инструменте и разобраться с ним значительно сложнее чем скачать видео с youtube и разобрать/собрать (что кстати можно сделать любым видеоредактором).

                                                                                      На мой взгляд, тут логично или просто дать ссылки на инструменты, чтобы человек сам гуглил и разбирался, или, разобрать-таки процесс апскейла кадров. Вот такую статью лично я бы очень хотел прочесть.

                                                                                      Да, и итоговое видео здорово бы загрузить на какой-то файлообменник, чтобы youtube не портил картинку еще раз.
                                                                                        +1
                                                                                        Я скоро опубликую статью со сравнением способов апскейла, там вы сможете посмотреть настройки разных программ, в том числе Topaz.
                                                                                          +1
                                                                                          Сравнение — это хорошо, но так ли оно нужно, на самом деле?

                                                                                          На данный момент и так ясно, что результат работы хороших классических алгоритмов и нейросетей — не отличается кардинально. Вероятно, на каких-то изображениях нейросети дадут лучший результат, на каких-то — худший. И вероятно речь будет идти о не особо значительных отличиях.

                                                                                          Предположим, в результате обширнейшего и подробнейшего тестирования, в номинации «аниме» победит Topaz. Значит ли это, что правило «Аниме апскель Топазом» — оправдано и незыблемо? Нет. Главное и огромное отличие нейросетей от классических алгоритмов — их потенциал. Невозможно аналитически восстановить полностью утраченные детали изображения. Но нейросети это делать не нужно, потому что зрителю очень часто важны не сами детали, а их наличие.

                                                                                          Если я вижу волосы персонажа — мне не важно, как именно лежит каждый волосок, мне важно общее ощущение реализма. А для этого нужны «дополнительные данные» (о том, как выглядят волосы вблизи) и из распространенных инструментов, учитывать эти дополнительные данные умеют только нейросети.

                                                                                          Поэтому неважно кто сегодня победит в рейтинге, важно, что «на длинной дистанции», победа так или иначе придет к инструменту на основе нейросети (или чем-то подобном). Поэтому куда важнее научиться работать с подобными инструментами, понимать принципы управления и т.п. Практическая статья на эту тему с подробными примерами — могла бы кого-то направить в верном направлении (например, меня), а не только обозначить сравнительный срез текущих достижений в области апскейла.

                                                                                          p.s. Вопрос механики сравнительного анализа алгоритмов на самом деле тоже открытый. Кажется, что достаточно уменьшить качественные изображения, вернуть им прежний размер с помощью разных алгоритмов и попиксельно сравнить с исходником — это верный подход. Но этот принцип не учитывает особенности нейросетей. Их задача, как я писал выше, по сути, не «восстановить детали», а «дорисовать что-то похожее на отсутствующие детали». Четкая текстура с несколько смещенным и/или изменённым рисунком — субъективно гораздо лучше размытой, но попиксельное сравнение может дать ей более низкую оценку. Получается, что автоматизированный текст — не даст гарантированную оценку потребительских свойств алгоритма. Не поставит «точку в споре».
                                                                                          Альтернатива — массовый опрос пользователей, мог бы помочь, но на сегодня отличия в результате работы алгоритмов незначительны, опрос может выродиться в классическую задачу про нос императора, и опять-таки не дать однозначного результата.


                                                                                          p.s.2. Ни в коем случае не отговариваю от написания упомянутой статьи. Просто хотел обозначить свое IMHO по данному вопросу.
                                                                                        +1
                                                                                        Автор, сделай пож-та обработку «Путешествия муравья». А то мульт классный, но смотреть SD больно.
                                                                                          +1
                                                                                          Вы, как и Яндекс, почему-то забыли добавить сравнение с обычными фильтрами повышения резкости.
                                                                                            0
                                                                                            Есть еще вот такая замечательная штука — github.com/nagadomi/waifu2x
                                                                                              0
                                                                                              мне понравилось, мульт хороший, он достоин и бОльшего улучшения
                                                                                                0
                                                                                                А вот мне сразу подумалось, а возможно ли, чтобы нейросети «додумывали» картинку до формата 16:9?
                                                                                                  0
                                                                                                  Нет, на данный момент это невозможно.
                                                                                                  0
                                                                                                  А дрожание картинки (вверх-вниз) нейросеть может убрать? Вот это кмк было бы актуальнее…
                                                                                                    0
                                                                                                    я пробовал убрать через ffmpeg — получилось очень плохо, надо другие варианты пробовать
                                                                                                    0
                                                                                                    Толку от четкости, если мерцание и «тряска» остались.
                                                                                                    Для полной реставрации нужно выровнять кадры по яркости, пройтись «дешейкером». Ну и потом Smooth Video Pack — до 60фпс — для полного совершенства.
                                                                                                      0
                                                                                                      60 fps не надо, они убивают всё впечатление.
                                                                                                      «Магия кино» заключается в том числе в малой частоте кадров.
                                                                                                        0

                                                                                                        Какое ещё совершенство? Промежуточные кадры — искусственная фигня далёкая от истины.

                                                                                                          +1
                                                                                                          24 кадра — вот это точно искусственная фигня, жалкое подобие истины. Промежуточные кадры помогают избавиться от этого несовершенства.
                                                                                                          Конечно, алгоритмы дорисовки этих кадров часто ошибаются. Но я без них уже не могу. Замыленная «кинематографичность» — или, наоборот, дерганность 15-кадровой анимации — не для меня.
                                                                                                            –1
                                                                                                            Согласен с вами, но 60 кадров из 24 получаются плохо. Лучше 100 или 120.
                                                                                                              0

                                                                                                              24 кадра может и не достаточно, но явно не стоит исправлять одну фигню другой. Алгоритмы же ошибаются всегда так как, не располагая достаточной информацией об ускорении движений между кадрами, создают практически равномерное перемещение в каждом выдуманном кадре, а иногда вообще гонят лажу результатом которой является какой-то сюрреализм. И в этом точно нет ничего похожего на истину, даже жалкого подобия. Но многие обманываться рады.

                                                                                                          0
                                                                                                          Класс, любимый мультик до сих пор, спасибо большое! Сравнил уже видео с оригинальным — разница колоссальна — www.youtube.com/watch?v=HZodexUkiDI
                                                                                                            0
                                                                                                            О, почти ровно год назад Яндекс таким занимался для нескольких фильмов о Великой Отечественной (https://yandex.ru/blog/company/oldfilms). И, помнится, на конфе про это рассказывали очень эпично.

                                                                                                            Отзывы там положительные (и даже благодарные), так что на вопрос «Надо ли это кому-то? Или классику лучше не трогать?» — думаю надо, и как раз для классики, если результат будет хорошим.
                                                                                                              +1
                                                                                                              Спасибо за инструкцию!
                                                                                                              Скрытый текст
                                                                                                              image

                                                                                                              Особенно подробен был пункт
                                                                                                              Далее стандартная процедура увеличения кадров с помощью нейросети.
                                                                                                                0
                                                                                                                =) я сниму видос про то, как это делается.
                                                                                                                +1
                                                                                                                На мой взгляд, данный результат намного лучше чем «официальная» восстановленная версия от союзмультфильма. www.youtube.com/watch?v=HZodexUkiDI
                                                                                                                А вообще то в сети есть «оригинал» с пастельными тонами а не монохромными заливками текстур.
                                                                                                                  +1
                                                                                                                  У вас нет ссылок на этот «оригинал»?
                                                                                                                    0
                                                                                                                    Вот да, очень хотелось бы глянуть оригинал.
                                                                                                                    0
                                                                                                                    Как раз искал способ восстановления этого: www.youtube.com/watch?v=XRhZlmbOsH4&feature=youtu.be&fbclid=IwAR1ryHa0Y2WA1P8rh4m_hkpvSngxhTKHgA36FmQPLKSfk_lju_miKwKElHM

                                                                                                                    Но судя по всему нейросетка просто хорошо убирает сглаживание, ( ну или не очень хорошо (см. лицо Алисы, на тех кадрах где она не крупным планом) ). Боюсь, для зашумленной картинки это вряд ли сработает.
                                                                                                                      0
                                                                                                                      Вспомнил одну из старых своих разработок.
                                                                                                                      А что если без нейронок?

                                                                                                                      Если нарезать мультфильм на сцены. Т.е. куски когда происходит только плавная смена плана? Или хотя бы режем по I-фреймам.

                                                                                                                      Для каждого такого куска в YUV делаем ТРЕХМЕРНОЕ преобразование Фурье или вейвлет для Y компоненты. Третьей координатой у нас является время, точнее, номер кадра. Результат фильтруем (ту гугель «повышение резкости изображение FFT»). Таким образом, как минимум, можно избавиться от дерганья изображения между кадрами.

                                                                                                                      Вангую что хорошие результаты даст преобразование Хаара.
                                                                                                                        0

                                                                                                                        Чтобы пост не потерялся, добавьте пожалуйста хабы Машинное обучение и Работа с видео.

                                                                                                                          –1
                                                                                                                          Спасибо. Суперски получилось!!!

                                                                                                                          Only users with full accounts can post comments. Log in, please.