Совсем пустые участки нам не интересны, обычно это область за пределами образца. Сам образец достаточно насыщен деталями. Однако на нем тоже бывают области с малой контрастностью, и здесь аналогичная головная боль возникает - то ли движение слишком резкое было, получился смаз, и кадр некачественный, то ли действительно в кадре мало деталей, но качество хорошее.
В нашем решении используется относительно высокий порог отклика, потому что мы хотим все-таки собирать хорошие кадры. Ну и локальное повышение контрастности (CLAHE) помогает вытягивать детали из изображения, за счет чего отклик тоже возрастает.
Если же отклик нас не устраивает - мы ждем некоторое количество кадров на случай, если все-таки снова попадется четкая область в той же области. При этом предупреждаем пользователя, что трекинг затруднен - нужно замедлить движение.
Если трек окончательно потерян, тогда запускаем глобальный поиск похожих кадров по ключевым точкам и просим пользователя вернуться в знакомое место. Эта операция уже тяжелее, поэтому за фрейм удается только часть снимков проверить, проверка дробится на несколько фреймов.
На самом деле задача сшивки большого скана из набора маленьких фоток не нова, и уже существуют промышленные решения для этого - Whole Slide Imaging (WSI) scanner. Кладешь образец в сканер, он сам фотографирует и сшивает изображения. Но стоит такой аппарат немало, $10k и более.
Задача была как раз в том, чтобы создать более доступное решение для быстрых исследований. Имея обычный цифровой микроскоп или даже смартфон со специальной линзой и штативом можно уже получать полные сканы образцов. При этом не обязательно снимать всю площадь предметного столика - можно отснять только интересующие части.
Конкретно это решение не пробовали. Пробовали ститчер на основе OpenCV и некоторые более специализированные реализации для изображений с микроскопов, но они оказались бесполезны для нашего случая.
У нас может быть множество кадров, попадающих на одну область, некоторые из них могут быть смазанными. Если ститчеру и удается правильно сопоставить изображения (что тоже не всегда работало), то потом при блендинге получалась полная каша. Т.е. как минимум нужна более хитрая фильтрация кадров и выборка нужных пикселей.
А специализированные решения всегда рассчитаны на известный порядок изображений - змейкой или построчно по сетке.
В Hugin, я так понимаю, тоже имеется Mosaic Mode для этого. Но за наводку спасибо, можно будет поизучать подробнее.
Информация
В рейтинге
Не участвует
Зарегистрирован
Активность
Специализация
Десктоп разработчик, Инженер по компьютерному зрению
Совсем пустые участки нам не интересны, обычно это область за пределами образца. Сам образец достаточно насыщен деталями. Однако на нем тоже бывают области с малой контрастностью, и здесь аналогичная головная боль возникает - то ли движение слишком резкое было, получился смаз, и кадр некачественный, то ли действительно в кадре мало деталей, но качество хорошее.
В нашем решении используется относительно высокий порог отклика, потому что мы хотим все-таки собирать хорошие кадры. Ну и локальное повышение контрастности (CLAHE) помогает вытягивать детали из изображения, за счет чего отклик тоже возрастает.
Если же отклик нас не устраивает - мы ждем некоторое количество кадров на случай, если все-таки снова попадется четкая область в той же области. При этом предупреждаем пользователя, что трекинг затруднен - нужно замедлить движение.
Если трек окончательно потерян, тогда запускаем глобальный поиск похожих кадров по ключевым точкам и просим пользователя вернуться в знакомое место. Эта операция уже тяжелее, поэтому за фрейм удается только часть снимков проверить, проверка дробится на несколько фреймов.
На самом деле задача сшивки большого скана из набора маленьких фоток не нова, и уже существуют промышленные решения для этого - Whole Slide Imaging (WSI) scanner. Кладешь образец в сканер, он сам фотографирует и сшивает изображения. Но стоит такой аппарат немало, $10k и более.
Задача была как раз в том, чтобы создать более доступное решение для быстрых исследований. Имея обычный цифровой микроскоп или даже смартфон со специальной линзой и штативом можно уже получать полные сканы образцов. При этом не обязательно снимать всю площадь предметного столика - можно отснять только интересующие части.
Конкретно это решение не пробовали. Пробовали ститчер на основе OpenCV и некоторые более специализированные реализации для изображений с микроскопов, но они оказались бесполезны для нашего случая.
У нас может быть множество кадров, попадающих на одну область, некоторые из них могут быть смазанными. Если ститчеру и удается правильно сопоставить изображения (что тоже не всегда работало), то потом при блендинге получалась полная каша. Т.е. как минимум нужна более хитрая фильтрация кадров и выборка нужных пикселей.
А специализированные решения всегда рассчитаны на известный порядок изображений - змейкой или построчно по сетке.
В Hugin, я так понимаю, тоже имеется Mosaic Mode для этого. Но за наводку спасибо, можно будет поизучать подробнее.