Как бы я рассказал про линейную регрессию (если б меня кто-то спросил)

[Abyssal]

Здравствуйте, очень интересная и комплексная статья. Получается что в принципе воспроизводится метод Множественной Линейной Регрессии методом включения, но методика оценки применима и для метода исключения? И как по вашему мнению, стоит ли для оценки опираться только на вклад предикторов в увеличение дисперсии исходного ряда? Спасибо.

[Dreamlone]

Небольшая сноска про терминологию чтобы быть на одной волне: метод включения - когда в модель постепенно добавляют признаки, а при методе исключения наоборот, из полной модели (когда все что есть используется) исключаются те предикторы, которые дают наименьшую пользу или оказываются статистически незначимыми.

> Получается что в принципе воспроизводится метод Множественной Линейной Регрессии методом включения, но методика оценки применима и для метода исключения?

Что касается личного опыта, я в подавляющем большинстве случаев (если речь не идет про очень тонкую настройку когда уже погружен в преметную область и знаешь как именно трансформировать признаки чтобы аккуратно добавлять информацию в модель) беру все признаки что доступны, обучаю линейные модели с регуляризацией, и использую кросс валидацию. Это помогает почти автоматически исключать незначимые признаки. Сэкономленое время обычно инветсирую в построение других нелинейных моделей и эскпериментирование с предобработкой и трансформацией признаков. Такой себе практический фокус. В статье так же: строим простую модель (это бейзлайн и концепт чтобы обьяснить простые понятия из линейной регрессии - нужно чтобы начать повествование и потом постепенно усложнять), затем набираем побольше признаков - регуляризуем и проверяем метрики на кросс валидации. Звучит как "метод исключения" на мой взгяд :)

Отвечая более общо, - да, такая логика (измеряем метрики на кросс валидации) применима к обоим методам: при включении мы оцениваем измнение качества модели после добавления признака, при исключении, - после его удаления.

> И как по вашему мнению, стоит ли для оценки опираться только на вклад предикторов в увеличение дисперсии исходного ряда?

Во второй части вопроса используется термин "ряд". Отмечу, что в статье я не рассматривал временные ряды и другие случаи, где наблюдения зависимы между собой, там есть своя специфика. Если же понимать "ряд" как выборку независимых наблюдений, то я бы не советовал опираться только на коэффициент детерминации R² (не самая моя любимая метрика, честно говоря).

Коэффициент детерминации почти всегда растёт при добавлении новых признаков, даже если их практическая польза невелика. Да, можно посчитать скорректированный коэффициент детерминации и замерять его значени на тестовых данных. Нюансы. Но на практике я обычно предпочитаю смотреть шире: на ошибку модели на тестовой выборке, на интерпретируемые метрики вроде MAE или RMSE, даже лучше на связку метрик - хотя бы по одной из каждой группы (из статьи, если помните, красные, синие и зелёные), а также на смысл самих признаков.

Поэтому вклад предикторов в объяснённую вариацию отклика я бы рассматривал как один из ориентиров, но не как единственный или главный критерий оценки

[badsynt]

В разделе про аппроксимацию и экстраполяцию не хватает известной картинки про заказ свадебных тортов.

[normal]

фантастическая работа, особенно на фоне засилья нейрослопа на хабре. для таких олдскульных статей прям нужен отдельный "олдскул хабр")

[egaoharu_kensei]

Спасибо за статью: интересно было прочитать. Особенно был удивлён, когда увидел ссылку на свою статью по линейной регрессии :)