Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 23
Раньше, чтобы «оцветнить» чёрно-белое изображение на экране телевизора, использовали плёнку-светофильтр с плавным переходом цветов по вертикали. Теперь, наоборот, искусственно омонохромливают изображение на экранах устройств с iOS и Android штатными средствами этих ОС.
Да хватит уже врать, никакой это не ИИ. Ну да, есть там какая-нибудь нейронная сетка, которая пытается что-то угадать по десяткам или сотням заранее загруженных образцов. Причём получается у неё это так себе. ИИ, если был бы, рассуждал логически, что во что покрасить.
Это кстати хорошо заметно, когда взаимодействуешь с очень невнятно говорящим человеком. По мере набора информации, качество распознавания речи возрастает. :)
Ключевое свойство любой нервной системы (даже состоящей всего из трёх нейронов) — обучаемость.
Именно поэтому раскрашенная чёрно-белая «классика» зачастую вызывает негативные эмоции — несоответствие индивидуального воображаемого образа и того, что было задумано режиссёром вызывает некий диссонанс.
И действительно, как Вы заметили, всё зависит от количества обработанной информации. В качестве примера приведу эпизод из детства — современные (по тем временам) фильмы показывали по польским каналам и мы, жители приграничного района, смотрели именно их (ни интернета, ни VHS тогда не было). Надо ли говорить, что польским языком мы владели на очень приличном уровне?
Именно поэтому раскрашенная чёрно-белая «классика» зачастую вызывает негативные эмоции — несоответствие индивидуального воображаемого образа и того, что было задумано режиссёром вызывает некий диссонанс.
И действительно, как Вы заметили, всё зависит от количества обработанной информации. В качестве примера приведу эпизод из детства — современные (по тем временам) фильмы показывали по польским каналам и мы, жители приграничного района, смотрели именно их (ни интернета, ни VHS тогда не было). Надо ли говорить, что польским языком мы владели на очень приличном уровне?
Ваш — да!
Синие и зелёные лица, ярко вспыхивающие рукава и многое другое…
VHS-style
Для видео, мне кажется, трехмерные сверточные сети очень неплохо бы себя проявили, потому что видео как раз можно представить в виде трехмерного параллелепипеда.
Я не могу представить видео как трёхмерный параллелепипед. Вы бы еще музыку как тессеракт попросили вообразить ((
Все просто — картинка двухмерная, а время является дополнительной осью.
На самом деле в общем случае (безотносительно восстановления цвета) вход для видео будет даже четырёхмерным, т.к. придётся подсовывать ещё и 3 цветовых канала (RGB/HSV/whatever), чтобы получить дополнительные данные. В частном же случае трёхмерное представление вполне оправдано.
Представить трёхмерную или четырёхмерную модель можно как видеоплёнку, нарезанную на кадры, которые затем сложены стопкой в порядке следования. В каждый момент времени мы будем рассматривать определённое подмножество кадров в стопке, а определённые участки нейросети будут реагировать на определённые участки или объекты в рамках этого подмножества, а затем воссоздавать недостающую информацию.
Представить трёхмерную или четырёхмерную модель можно как видеоплёнку, нарезанную на кадры, которые затем сложены стопкой в порядке следования. В каждый момент времени мы будем рассматривать определённое подмножество кадров в стопке, а определённые участки нейросети будут реагировать на определённые участки или объекты в рамках этого подмножества, а затем воссоздавать недостающую информацию.
Интересно, а почему не обучать тоже на видео?
а в чем принципиальная разница между оцвечиванием изображений и видео? учитывая что видео, по сути, последовательность изображений.
Врятли они это делают как-то иначе, емнип все ПО для монтажа\постобработки видео при рендере обрабатывает видео именно покадрово.
Как раз следует загонять в нейросеть последовательность кадров, а не один кадр, это сильно снижает ошибку. Говорю потому, что сам активно занимаюсь нейросетями, особенно их приложением к графике и видео. Потому работа в этой статье в значительной мере проведена халтурно: при корректной реализации проблемы «плавного перехода между кадрами» либо не существовало бы вовсе, либо это бы менее бросалось в глаза.
Видео — не всегда последовательность четких изображений. Там может быть куча всяких шлейфов.
Не хочется обижать авторов, но заявление слишком громкое. Пока фактически достигнут уровень «Растительность окрашена в зеленый цвет».
пока как то такЗарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейронные сети научились расцвечивать черно-белые видео