Задача освещенности — одна из фундаментальных в компьютерном зрении. Например, наша команда CV Lab прошлым летом разработала модуль освещенности для сервиса видеосвязи Контур.Толк: он способен справиться с по-настоящему экстремальной темнотой, но вот в умеренных кейсах ведет себя не так уверенно. И тут не совсем понятно, как решать проблему: то ли держать целую коллекцию моделей под разные уровни освещенности, то ли внедрять вспомогательные эмбеддинги в архитектуру модели. Потенциальных решений уйма, но у всех есть свои недостатки в силу отсутствия пластичности.

Авторы статьи, которую мы разберем, элегантно справляются с проблемой путем внедрения Neural ODE в пайплайн. Если поиграться с моделькой, то работать может шустро, а значит, вполне возможно, что скоро и вы сможете с ней повзаимодействовать в Контур.Толк :-)

Полезно было бы уметь генерировать по текстовому описанию не только картинки, а полноценный 3D-объект, который можно рассмотреть со всех сторон. Это открывает огромные возможности для дизайна, игр, виртуальной реальности. Однако генерация 3D-контента — задача непростая. Современные методы требуют огромных объемов данных для обучения и страдают от несогласованности между разными ракурсами.  

Авторы DiffSplat предлагают подход, который решает эти проблемы элегантно и, что более важно, быстро! Вместо того чтобы создавать 3D-модели с нуля, создатели используют уже предобученные text-to-image модели. И просто «перепрофилируют» их для работы с 3D-гауссовыми сплатами.  

В данный момент мы находимся на стадии развития глубинного обучения, когда просто увеличивать кластера для более качественного результата становится проблематично. А потому все начинают спускаться на уровень ниже. И одна из таких ниш для улучшения это, конечно, оптимайзеры.

В мире, к сожалению, все еще главенствуют Adam и AdamW. Но у них есть ряд проблем, которые исследователи усердно пытаются решить, и одна из них – это память. AdEMAMix предлагает максимально топорное решение данной проблемы путем внедрения двух импульсов с различными β. Но от этого оно менее эффективным не становится!