Сервис проверки пользовательских файлов «powered by pytest»: нужно повозиться, но оно того стоит

[conopus]

Порадовали подробности кухни pytest. Не всякий копнет так глубоко! Но, возможно стоило поискать специализированные фреймворки по качеству данных. Это только мое предположение. Сам я к этой области отношения не имею.

[serhit]

Честно говоря, мы не использовали фреймворки по качеству данных.
Более того в нашей постановке задачи до работы таких фреймворков мог не дойти ход, если пользователь подсунет файл, "покореженный креативом", в котором колонки и листы переименованы "потому, что так удобнее".

[dolfinus]

Смущает запуск синхронного validator.run_test внутри асинхронного endpoint, это заблокирует event loop

[serhit]

Мда, все так... Надо копать глубже. Возможно найду как запустит внешний процесс и отдать управление обратно в event_loop. Беглый поиск результатов пока не дал.
Если вдруг есть идеи как это сделать - поделитесь.

[serhit]

Да, нашлось решение - получилось даже проще, чем изначально. Статью дополнил, репо обновил. Спасибо за комментарий!

[SkiffCMC]

Не питонист, но идея заюзать для валидации данный тестовый фреймворк крутая, пасиб!

[serhit]

Надо сказать, что тут даже не совсем "валидация данных", а сначала "валидация структуры", потом только - данных. Если говорить про валидацию "структурно чистых" данных - возможно, мы бы смотрели на какие-то другие фреймворки, как предлагал комментатор выше.