Стратификация, или как научиться доверять данным

[LinearLeopard]

А что у графиков по x?

[ashagraev]

Это графики вариационных рядов. Берём все полученные значения (например: прогнали CV 100 раз, получили 100 значений), сортируем их в порядке неубывания, выводим на график. Т.е. по оси X — порядковый номер величины в вариационном ряду.

[LinearLeopard]

а, то есть значения с одинаковой координатой x не обязательно связаны? И могли получиться в ходе разных измерений?

Интересно было бы увидеть графики сходимости. Можете их добавить?

[ashagraev]

Они не связаны, более того — они by design являются результатами независиммых измерений. Скажем, для кросс-валидации — результатами независимо проведённых кросс-валидаций с разным seed'ом разбиения. Мне кажется, что такой график хорошо показывает и среднее, и дисперсию.

[jzha]

Отличная статья, спасибо!
Про снимок с Трумэном. В то время полстеры уже разбивали ген. совокупность (точнее, sampling frame) на страты по региону, полу, расе и т.д. Тем не менее, это была квотная выборка, а не стратификационная. Этот нюанс, в частности, и привел к фиаско.

[ashagraev]

Всё верно :)