Comments 26
Я честно не очень понимаю, как при upscale можно повысить качество. Несуществующую информацию при апскейле можно только придумать, ведь если ее не было в исходном изображении, то ее не откуда взять.
Или «придумывание» на лету всех устраивает?
Или «придумывание» на лету всех устраивает?
Взгляд цепляется за контуры. Если контур объекта повреждён алиасингом или шумом, объект будет казаться нечётким. Если оконтурить объект, картинка будет восприниматься как более качественная, в некоторых телевизорах это используется. Шум можно эффективно отсеивать фильтрацией.
Ещё информация необязательно несуществующая, скажем, на некоторых кадрах объект показан более крупно или на нём сфокусировался объектив камеры. На основании более удачных кадров можно построить модель (геометрия, текстуры) этого объекта и использовать её для восполнения информации об объекте в кадрах, где он показан в худшем качестве.
Можно вообще использовать внешнюю базу объектов — скажем, в кадре промелькнул Lamborghini Diablo — взять хоть его полную 3D модель и её рендер вставить. На фоне модели лужайки, да. Никто же не придерётся к отрендеренной лужайке, если есть за что зацепиться взгляду.
Ещё информация необязательно несуществующая, скажем, на некоторых кадрах объект показан более крупно или на нём сфокусировался объектив камеры. На основании более удачных кадров можно построить модель (геометрия, текстуры) этого объекта и использовать её для восполнения информации об объекте в кадрах, где он показан в худшем качестве.
Можно вообще использовать внешнюю базу объектов — скажем, в кадре промелькнул Lamborghini Diablo — взять хоть его полную 3D модель и её рендер вставить. На фоне модели лужайки, да. Никто же не придерётся к отрендеренной лужайке, если есть за что зацепиться взгляду.
Да, но можно «придумать» эту информацию так чтобы она совсем незначительно отличалась от той что была бы в истинном разрешении. Если натренировать сеть на кадрах конкретной игры, то кадры конкретной игры можно вполне себе успешно предсказывать. Если картинка почти не отличается от нормального разрешения при достойном количестве FPS, то почему бы и нет.
Ну и если уж на то пошло — везде теперь цифровая обработка, и всё что не видишь в живую — придумано хитрыми камерами, алгоритмами обработки, сжатия, декодирования и т.д.
Ну и если уж на то пошло — везде теперь цифровая обработка, и всё что не видишь в живую — придумано хитрыми камерами, алгоритмами обработки, сжатия, декодирования и т.д.
То есть все таки придуманное…
Понятно.
Понятно.
Вычисленное. Эти пиксели и так, и так вычислялись бы, просто часть вычислений погоняли на компьютерах Нвидии. Если уж на то пошло — наш мозг тоже много чего «придумывает» из того что видит, и все живут с этим =)
UFO just landed and posted this here
Ну как вам сказать. Вот вроде как при конверсии из 30fps в 60fps тоже «кадры придуманные» — а результат просто ошеломительный.
Думаю в статье имеется ввиду улучшение к примеру теней, освещения, детализации объектов за счёт уменьшения количества пикселей. Пиксели немного поломаются, но в сумме картинка будет лучше.
Вам «придумывают» новый пиксель грубо говоря между двумя существующими. Придумывают не просто так, а на основе миллиарда аналогичных кадров, это же обученная нейросеть. То есть с большей долей вероятности придуманный пиксель будет к месту и вы этого даже не заметите. Да, точность (достоверность) картинки будет не 100%, а скажем 90-95%. И это очень круто, потому что если рендерить картинку в полном разрешение, то фпс будет в 2-4 раза меньше. По моему замечательный компромисс.
У вас есть массив 1-2-3-4-пропуск-6-7-8-9. Какое число с наибольшей вероятностью на месте пропуска? Утририрую, конечно, но суть, думаю, должна быть понятна.
UFO just landed and posted this here
>она по определению должна хорошо рендерить весь софт
Нет. Вы заметили, что NVIDA/AMD продают разные карточки за разную стоимость? У них существенно разная мощность, и самая последняя карточка «entry» уровня не потянет в 4K современные игры. Тупо уменьшать разрешение — либо в два раза (будут видны пиксели) либо с искажением (мониторы не могут использовать промеждуточное разрешение).
Нет. Вы заметили, что NVIDA/AMD продают разные карточки за разную стоимость? У них существенно разная мощность, и самая последняя карточка «entry» уровня не потянет в 4K современные игры. Тупо уменьшать разрешение — либо в два раза (будут видны пиксели) либо с искажением (мониторы не могут использовать промеждуточное разрешение).
В свое время антиалиазинг рекламировали как улучшение графики-но в итоге первые версии выдавали мутную мыльную картинку, при этом заметно уменьшая количество кадров в секунду. Затем научились это делать практически «бесплатно». Возможно и тут надо несколько версий подождать. Главное, чтобы это можно было программно отключать, если игроку эффект не будет нравится.
на картинке Google TPU 3.0 довольно высоковольтные кондёры (100uFx100V). Интересно, какое первичное напряжение подаётся на плату (с ходу не нашёл)
Так чем тензор отличается от матрицы?
Написано же в начале. Матрица — частный случай тензора (ранг 2).
Я имел в виду матрицу любой размерности.
Матрица — частный случай тензора (ранг 2).Интересно, Вачовски об этом знают?
Я не эксперт в этих процессорах и пишу на основании краткого гугления, но кажется, что слово «тензорное ядро» было придумано не с каким-то смыслом, а просто ради красоты, потому что к тензорам оно отношения не имеет. Тензор — это не просто набор чисел, уложенный в виде многомерной матрицы, а геометрический объект, компоненты которого определённым образом изменяются в зависимости от замены координат, а его польза в том, что из тензоров можно строить инварианты, которые во всех координатах одинаковы. А «тензорное ядро» не подразумевает наличие координат и какого-либо геометрического смысла, а просто умеет быстро выполнять некоторые арифметические операции с обычными матрицами.
Термин с machine learning где обычно тензорами как раз и называют многомерные массивы, без геометрического смысла. Отсюда и TensorFlow, Tensor cores. Документация TensorFlow PyTorch
Так я узнал почему массивы в универе называли векторными :)
Sign up to leave a comment.
Что такое тензорные ядра: вычисления со смешанной точностью