Топовые научные конференции просят воспроизводимости экспериментов в науках о данных. И это нужно для повышения доверия к работам, для извлечения пользы (повторной используемости и цитируемости), ну и «тренд» (согласно опросу журнала Nature).

Ожидания растут, в 2021 уже 9 из 10 конференций предлагают авторам провериться на воспроизводимость. Сдать тест, заполнить опросник, привести свидетеля и т. д. 

О чем речь и зачем нужна воспроизводимость, какие проблемы нужно решать, обсудим в этой статье. 

В этой статье я расскажу на примере, как невнимание к коду может привести к неверному результату в исследовании данных. 

При работе над одним проектом по автоматизации экспериментов, у нас возникла задача подготовить шаблон репозитория для курсовых работ по машинному обучению. Такая курсовая работа, по сути, уже почти полноценная статья с проведенным экспериментом. Работы выкладываются на Github вместе с исходным кодом и предполагают возможность повторения проведенных исследований.

В одной из работ я заметил интересную аномалию в представленных результатах и решил воспроизвести результаты. Тем более, что это пригодится для проектной задачи.

Как оказалось, даже на примере отдельной работы можно показать важность внимания к коду и полезность автоматизированного тестирования в проектах машинного обучения.