w0lkolak Jul 6 at 21:47

Метод наименьших квадратов

Easy

7 min

12K

Python*Mathematics*Machine learning*

Tutorial

Comments 17

AleksejG Jul 6 at 21:58

в пространственной, регрессирующей геометрии обратите, пожалуйста, внимание на "вариативность" результатов для системы 1 из 3 и 2 из 3 при переборе С!=0. Надо таргетизирующую функцию вычленять областью определения.

w0lkolak Jul 6 at 22:08

Из перечисленных слов я только "область определения" знаю. Имеете ввиду, что нужно было где-то указать, что и указать диапазон? Не уверен, что правильно Вас понимаю. Можете пояснить попроще?

AleksejG Jul 6 at 23:03

логично, если третьей оси у вас нет. только все-таки рационализировать... если не секрет, градиент для ИИ? =)

w0lkolak Jul 7 at 07:04

Градиент находит коэффициенты хоть в рамках машинного обучения хоть в рамках статистики, что значит "градиент для ИИ"? В смысле пользовался я ли алгоритмом из sklearn? Нет, я использовал самописный

Dimaush Jul 7 at 08:29

В формуле после слов

2 признака + С.

несколько ошибок: отсутствие верхнего предела суммирования, отсутствие скобок, равенство нулю. Правильно вот так:

$\sum\limits_{i=1}^n {{ \big( y_i - (k_1 \cdot X_{i,1} + k_2 \cdot X_{i,2} + C) \big) }^2} \to \min$

w0lkolak Jul 7 at 08:29

Да, с нулем я увлекся

Imaginarium Jul 7 at 11:42

Текст безумный просто, написан как попало, даже рунглиш не помог (такой парадокс: сейчас все пишут как угодно, можно на клавиатуру сесть и всем говорить, что я так вижу ~~Слова для этого предназначены, остальное вторично~~, а выходит всё хуже и хуже, текст всё более бессмысленный).

Задачу-то какую решали?

w0lkolak Jul 7 at 11:54

Хотел понятную статью про объясняющую что такое МНК и откуда он берётся. Вы можете уточнить, что считаете бессмысленным?

Imaginarium Jul 7 at 12:39

Если Вы хотели только этого, то Вы, к сожалению, не достигли своей цели: статья непонятна и она не объясняет, откуда берется МНК. И вот, навскидку, почему:

В тексте написана другая формулировка "задания":
```
class GradientDescentMse:    
    """    
    Базовый класс для реализации градиентного спуска в задаче линейной МНК регрессии     
    """
```
Если это подразумевает "разработать базовый класс...", то Вашего решения я не увидел, кода класса нет, про градиентный спуск ни слова, результатов тестов нет, примера применения тоже. То есть, задача не решена, ответа, правильность которого можно проверить -- нет, отсюда непонятность ничего не объясняющего толком текста, мне нужно догадываться обо всём самому. Если бы Ваш текст был курсовой работой или отчетом по лабораторной у меня в вузе -- Вам бы его вернули после прочтения первого абзаца, потому что отчетный текст (вроде Вы его пишете) читается до первой смысловой ошибки.
Определение линейной регрессии другое, это модель, в общем виде она сразу выглядит иначе, включает в себя параметры и без функции одной переменной слева, которую Вы зачем-то ввели (да еще и справа написали).
В разделе "Что важно:" не понял -- а Вы хотите получить коэффцициент , или наоборот, пытаетесь избежать его введения? Неясное объяснение, почему вводить его придется. "Решением для n=m и n=m+1 будет нахождение идеально подходящих значений коэффициентов." -- так какой вариант Вы решаете? Оба? А в чем разница в решении? Вопросов всё больше, текст теряет смысл с каждой строкой. Текст дальше выглядит самостоятельной врезкой, никак не связанной с предыдущим текстом -- все эти рассуждения про и и про предсказательную способность.
Бездарное использование $\TeX$ 'а, с ненавистью к нижним и верхним индексам (можно же их везде писать, а не ляпать x1_i?), к пределам суммирований, правильному использованию знаков операций и т.д. делает текст грязным и нечитаемым, разбираться не хочется, это крайнее неуважение к читателю (я долго пытался понять, что такое "Х-ы", даже "-ы" было бы лучше).
Функционалом называется другое.
Что такое MAE? То есть, кому-то понятно, что это mean absolute error, но вводите термин Вы в статье первый раз, и положено писать расшифровку в скобках рядом. Ну или Вы пишете статью для серьезных профессионалов, а они и так знают, откуда берется и как работает МНК, и статья бесполезна.
Что такое МНК? Понятного определения Вы не дали, просто написали, что "это метод из статистики", на этом всё. Если Вы имели целью, как говорите, написать "понятную статью про объясняющую что такое МНК и откуда он берётся" -- то Вы очень далеки от своей цели. Даже если не заметить лишнее слово "про".
Статья обрывается нахождением каких-то коэффициентов из решения какой-то СЛАУ. Ни к одной заявленной задаче это не имеет ни малейшего отношения.
Почему выборка (если это она) такая маленькая? Что там с коэффициентами Стьюдента? Они не нужны? Почему?
"Это логично, так как МНК и вообще ЛР появились задолго до ML. Учебники по статистике и эконометрике могут быть полезны." -- логично что именно? Давайте я поправлю Вашу фразу: учебники полезны. Так будет лучше, попробуйте начать с них. И с учебника русского языка тоже, пожалуйста.
И наконец, в тексте нет ссылок на прочитанные Вами статьи и материалы. Из-за этого все Ваши утверждения про "В ML ВСЕГДА или почти ВСЕГДА не хотят решать исходную СЛАУ:", "В итоге самые короткие и простые я прочёл.", "Нашёл такую формулу:" и т.д. выглядят попросту неприлично, а иногда как просто бред частного лица на заданную тему -- понять нельзя, проверить негде.

Наверное, что-то ещё можно найти, но, думаю, что этого короткого обзора ляпов достаточно для переписывания всей статьи. Разберитесь с этим.

Успехов.

w0lkolak Jul 7 at 18:48

Почему вы говорите, что я не показал откуда берется МНК, если я по шагам показываю, как коэффициенты вырисовываются из исходных данных?

По пунктам:

Цель, обозначенная в задании не может быть достигнута, так как МНК это уже метод нахождения коэффициентов и он не может быть достигнут через спуск: это два разных способа получения одних и тех же коэффициентов. Мне кажется, из моего текста очевидно, что одно нельзя получить из другого, тем более если вы знаете про линейную регрессию и даже преподаёте.
Я пишу, что ЛР это сведение зависимости к линейному уравнению, в котором ответ зависит от входных данных, умноженных на коэффициенты + свободный. Это не так? Я только что полистал источники на русском и английском - есть некоторые вариации формулы (f(x) бывает вместо Y, и иногда добавляют слагаемое шума), но это та же формула. Скопируйте пожалуйста ту формулу, которая смотрелась бы лучше
В разделе ВАЖНО я объясняю, что свободный коэффициент появляется если уравнений в системе больше чем переменных на 1.Объясняю, почему. Зачем мне здесь что-то решать, неочевидно. Рассуждение про предсказательную способность, чтобы пояснить сочетание слов "идеальный коэффициенты". Они идеальны только для исходной СЛАУ и более ни для чего другого.
Согласен. Исправлю.
Я делал статью для начинающего, вроде себя самого за неделю до написания текста, мне трудно было представить человека, которому понадобился МНК, но он не знает про MSE. Но лучше добавить определение, соглашусь.
Если уберу слово вспомогательная, будет приемлемо? Функция от функции это функционал, так?
Заголовок МНК это место, где я демонстрирую из чего он получается и почему именно так.
Статья заканчивается нахождением каких то коэффициентов через МНК, для этого мне потребовались какие то данные. Вот.
Я осознанно взял маленькую выборку, позволяющую посчитать коэффициенты на листочке чтобы прочувствовать применение метода. Для большей выборки правила те же.
Боюсь мне тут нечего прокомментировать.
Цель - дать понимание, что происходит с данными при использовании МНК без сложной математики. Я нашёл формулу, и проверил её настолько насколько мог, той математикой, которую не забыл за 8 лет.

Спасибо, что уделили время на написание большого комментария, но, к сожалению, не все указанные проблемы мне понятны.

Imaginarium Jul 7 at 19:29

О, Боже. Сначала хотел начать отвечать по пунктам, но потом наткнулся на "Скопируйте пожалуйста ту формулу, которая смотрелась бы лучше", и понял, что мои слова действительно не были поняты совсем.

Я не должен никаких формул лучше/хуже писать, потому что Вы опять не указали, что Вы читали и где листали, и я не понимаю, что Вы пытаетесь написать. Это ниоткуда не следует и не имеет большого смысла пытаться понять. С другой стороны, мы обсуждаем Ваши формулы и только Вы должны приводить какие-то аргументы и ссылки, а не другие люди.

Я понимаю Ваше желание написать просто о сложном, но в конкретно Вашем случае в Вашем тексте в погоне за простотой была утрачена важная информация, а сам текст не имеет цельности. В итоге, у Вас получилась такая статья, с которой обсуждаемую тему можно понять хуже, чем без неё. Она вредна для понимания.

P.S.: про функционал забудьте лучше, Вы ещё хуже написали.

Kealon Jul 9 at 08:34

Imaginarium прав, ваша статья вредна.

Где теория измерений? Где матричное представление? Где сокращённые формулы?

Если хотите написать просто, достаточно показать вывод для двумерного случая, но хорошо.

Ps: ответ почему минимизируется сумма квадратов очевиден если рассмотреть алгоритм генерации нормального распределения «Преобразование Бокса — Мюллера»(2-й вариант) и сложить это с теорией измерений

nUser123 Jul 7 at 15:53

Навернок, ошибочно считать, что МНК позволяет строить только линейные приближения. Можно также квадратичные, кубические поверхности нужной размерности искать, главное чтоб неизвесные образовывали СЛАУ. Очень нравится мне производные искать с помощью МНК. Также можно при известной частоте находить амплитуду и фазу синусоидального сигнала.

Imaginarium Jul 7 at 16:14

Кстати, совершенно верно. Это мощный и красивый инструмент, помню ещё лет 15 назад в сети видел отличный русскоязычный любительский сайт для химиков (найти бы его, эх), где предлагалось загрузить свои данные и посчитать на них очень много видов зависимости разных степеней, на выбор, с помощью МНК.

w0lkolak Jul 7 at 19:02

Вы правы, МНК не ограничен линейными приближениями. Я акцентировал внимание на том случае, где знаю, как его применить. Кажется, я нигде не указывал, что МНК только для линейной модели.

nUser123 Jul 7 at 23:13

Мне показалось, что можно было описать тему несколько шире. И для понимания полезно и статья бы могла выйти лучше

sci_nov Jul 8 at 15:53

Мне понравилась публикация по МНК https://vk.com/wall-156386853_39