Разбираемся в ML без воды: от базы до Attention. Часть 2: Линейная регрессия

[VAF34]

Очень понятно объясняется ситуация, связанная с решением уравнения Xw=y

[johnnyBoy1984]

если знаете, посоветуйте пожалуйста простые Jupiter notebooks, где можно было бы на пальцах посмотреть все расчеты по этой теме?

[Trecydda]

Можете написать лс, если будет, то скину

[ysrgsyn]

Можете глянуть вот это:

https://github.com/hse-ds/iad-intro-ds/tree/master

Здесь и лекции замечательного преподавателя Евгения Соколова и семинары с ноутбуками.

С другой стороны, в следующей статье мы уже добьем линейную регрессию и закрепим всё кодом

[LORDDREGS]

Здравствуйте, я изучаю классический ML и глубокие нейронные сети, у нас в унике в следующем семестре будут пары по МО, но я заранее хотел бы подготовиться. Можете ли вы порекомендовать курсы/литературу/документацию по нейронкам, чтобы допустим за летние каникулы уже быть прошаренным в этой теме и наверное попробовать себя в стажировке в крупных компаниях?? И ещё у меня к вам вопрос, как новичок я выбрал Kaggle для практики своих знаний ( собираю данные, ранжирую их, чищу от лишнего, делаю ансамбли, тюнинг и через метрики смотрю результаты) и у меня дикое желание попасть в топ какого-нибудь конкурса (любого), но я не понимаю как люди туда попадают и занимают призовые места вместе с наградами (от мерча до деняг), может быть вы знаете как?

[ysrgsyn]

Здравствуйте

Из книг посоветую это

А также читайте оф. документацию scikit learn, pytorch и т.д. документация – наше всё

Насчёт конкурсов, увы, ничего не подскажу, т.к. нет универсальной формулы "попасть на конкурс и занять первое место"

[dimitriansync]

А Ridge и Lasso можно как-то совмещать, или это всегда выбор: или одно, или другое?

[ysrgsyn]

Хороший вопрос!

Почему-то, не знаю почему, забыл об этом написать в статье.

Есть такое понятие, как ElasticNet: это буквально a*lasso + (1-a)*ridge , где a число на [0,1].

[dmagin]

Где-то между 1-й и 2-й частью потерялось важное объяснение - что именно мы делаем, решая матричное уравнение.
У нас есть набор кортежей X (факты). Атрибутами которых могут быть в том числе и категориальные типы. Факты - это базисные кортежи.
Далее на вход подается еще один кортеж с теми же атрибутами (но другими значениями).
Наша задача - разложить данный входной кортеж в линейную комбинацию базисных. То есть найти такие веса для каждого базисного кортежа, чтобы их линейная комбинация (взвешенная сумма) давала (почти) требуемый (входной) кортеж. Поскольку идеального совпадения как правило не бывает, то мы ищем линейную комбинацию, которая наиболее близка ("почти" это и есть МНК).
А для чего нам эта линейная комбинация? Чтобы использовать ее для оценки таргета (мне больше нравится термин "корень"). Поскольку теперь корень для входного кортежа тоже можно представить в виде линейной комбинации корней базисных кортежей.

Если же рассмотреть, как ведут себя в линейной комбинации значения категориальных атрибутов, то становится понятным, почему эти значения выписывают в отдельную колонку матрицы коэффициентов, записывая 1 в тех ячейках, где они встречаются. И понятно, почему такие матрицы становятся сильно разреженными.