Процесс разработки приложения Python по дедупликации файлов с использованием контрольных сумм

Есть программка jdupes под Linux. Делает примерно то же самое. Из заметных оптимизаций - она сначала собирает все размеры файлов и считает CRC только если есть файлы одного размера.

Сам я её пользуюсь примерно для того же (выкидывания одинаковых файлов). Запускаю примерно так:

jdupes --recurse --linkhard /path/to/photo/storage