Если будет интересно попробовать, у меня на гитхабе есть докеризованная версия обернутая в FastAPI и сконвертированная в TensorRT для повышения производительности: https://github.com/SthPhoenix/InsightFace-REST
Правда для быстрой работы GPU уже просто необходимы. С некоторыми оптимизациями сетки по ссылке выше можно запускать на видеокартах GTX 1080 на скоростях около 70-90 кадров в секунду
Пока не устарели ни Retinaface ни ArcFace. ArcFace вот на днях вообще новая модель вышла значительно более точная — Partial_FC.
Единственное, как со многим опенсорсом придется потратить много времени чтобы из отдельных модулей собрать единое оптимизированное решение.
FaceNet уже года 2-3 как устарел в плане точности. Лучше посмотреть в сторону Deepinsight Insightface и их же детектор лиц Retinaface (писали тут уже в комментариях).
К тому же буквально на днях опубликовали обновленную модель предобученную на 500 тыс. уникальных персон и чуть меньше 20 млн. лиц.
Погонял для интереса сравнение с сеткой FaceNet. Прогнал несколько фоток друзей через сайт, собрал картинки правильных и ложных совпадений, и потом через FaceNet строил матрицы евклидовых расстояний.
В общем сайт работает просто на порядки точнее, FaceNet очень часто завышал близость с ложными совпадениями, например были случаи когда верное совпадение имеет расстояние 1.2 а ложное 0.3, при том что на сайте верное выскакивает на первое место с оценкой 0.82(не знаю какая метрика используется у авторов SearchFace).
Не уверен, что такие подходы без проблем транслируются в 3d моделирование. В том плане, что у нас получится один большой mesh с большой площадью в низком разрешении и маленькой в большом, что вероятно негативно скажется на скорости отрисовки. Сугубо ИМХО, опыт моей работы с игровыми движками стремится к нулю )
Хотя думаю, что ничего не мешает сначала обработать растр а потом вырезать из него фрагмент уже подогнанный по высоте
Интересная статья, сам много работал с данными SRTM, правда в целях картографии. Сам пробовал делать визуализацию на UnrealEngine, но все не хватает времени разобраться как GeoTIFF нормально в сцену добавить.
Ещё было бы интересно почитать что-то подобное про использование карты высот полученной с аэрофото )
SRTM хорош для рендеринга обзорных сцен больших территорий, когда требуется «крупный» план нужно уже искать более детальные данные, для каких-то участков можно найти данные по аэрофото, иногда даже карты высот по данным лидаров.
Еще отдельная не тривиальная задача обеспечить плавный переход от SRTM к более точным данным — низкое разрешение SRTM может привести к тому, что перепад высот на границах может достигать 80-90 метров. Самое простое решение максимально подогнать высоту более точных данных к менее точным и не допускать появления перехода в одном кадре, или маскировать его какими-то объектами.
Если будет интересно попробовать, у меня на гитхабе есть докеризованная версия обернутая в FastAPI и сконвертированная в TensorRT для повышения производительности: https://github.com/SthPhoenix/InsightFace-REST
Сейчас для поиска и распознавания лиц существуют более продвинутые библиотеки, например https://github.com/deepinsight/insightface.
Правда для быстрой работы GPU уже просто необходимы. С некоторыми оптимизациями сетки по ссылке выше можно запускать на видеокартах GTX 1080 на скоростях около 70-90 кадров в секунду
Пока не устарели ни Retinaface ни ArcFace. ArcFace вот на днях вообще новая модель вышла значительно более точная — Partial_FC.
Единственное, как со многим опенсорсом придется потратить много времени чтобы из отдельных модулей собрать единое оптимизированное решение.
поправка, 360 тысяч уникальных персон
FaceNet уже года 2-3 как устарел в плане точности. Лучше посмотреть в сторону Deepinsight Insightface и их же детектор лиц Retinaface (писали тут уже в комментариях).
К тому же буквально на днях опубликовали обновленную модель предобученную на 500 тыс. уникальных персон и чуть меньше 20 млн. лиц.
В общем сайт работает просто на порядки точнее, FaceNet очень часто завышал близость с ложными совпадениями, например были случаи когда верное совпадение имеет расстояние 1.2 а ложное 0.3, при том что на сайте верное выскакивает на первое место с оценкой 0.82(не знаю какая метрика используется у авторов SearchFace).
Хотя думаю, что ничего не мешает сначала обработать растр а потом вырезать из него фрагмент уже подогнанный по высоте
Ещё было бы интересно почитать что-то подобное про использование карты высот полученной с аэрофото )
SRTM хорош для рендеринга обзорных сцен больших территорий, когда требуется «крупный» план нужно уже искать более детальные данные, для каких-то участков можно найти данные по аэрофото, иногда даже карты высот по данным лидаров.
Еще отдельная не тривиальная задача обеспечить плавный переход от SRTM к более точным данным — низкое разрешение SRTM может привести к тому, что перепад высот на границах может достигать 80-90 метров. Самое простое решение максимально подогнать высоту более точных данных к менее точным и не допускать появления перехода в одном кадре, или маскировать его какими-то объектами.