Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 27
Написано интересно, без лишней воды, сразу вспомнился Тарик Рашид. Читали его легкое введение в ml?
Статья понравилась, спасибо! Жду следующую!)
Статья очень интересная, жду 2 часть и хотелось бы чтобы вы еще показывали как то или иное выполняется кодом т е помимо теории показать как реализовать кодом и принципы
а так статься очень хорошая, жду продолжение
Благодарю!
До кода, думаю, пока рано. Но он обязательно будет.
Мы слегка копаем теоретическую часть. Вот дописал вторую часть, увы, вышла половина запланированного, чтобы не перегружать читателей двумя потоками инфы. Как допишу всё, что хотел рассказать о линейной регрессии будет статья с практической задачей с каким-то кагл датасетом и примером
А с чего это вдруг это пространство евклидово?
В
-мерном вещественном евклидовом пространстве
Х и омега рассматриваются как элементы R^{k+1}, а сумма их поэлементных произведений — это каноническое скалярное произведение в евклидовом пространстве.
Действительно, в машинном обучении бывают случаи, где пространство признаков может быть комплексным или даже функциональным. Но в рамках вводной статьи про линейную регрессию я сознательно не стал уходить в эти дебри.
Замечание правильное, - это конечно не евклидово пространство. Люди путают точечное произведение (координат) и скалярное. Потому что в ортогональном базисе они совпадают. Но тут нет никакой метрики, а значит, и "скалярного произведения" в его классическом понимании. Вы (и все мы) тут используете точечное произведение (dot product). Результат которого тоже скаляр, но оно не "скалярное".
Пространства с метрикой тоже могут быть (те же графы, например). В них заданы элементы базиса, и между ними определены либо расстояния, либо скалярные произведения. И если базис не ортогональный, то приходится различать "точечное" и "скалярное" произведения.
В контексте классической линейной мы естественным образом рассматриваем векторы из R^{k+1}, в котором стандартное скалярное произведение порождает евклидову метрику
Как только мы заявляем, что точечное произведение является скалярным, то автоматически объявляем ортогональность неких базисных векторов. Но во всех обычных примерах эта ортогональность ниоткуда не вытекает (почему "мужской пол" должен быть ортогонален "возрасту" и что это вообще значит?). И непонятно, зачем надо напирать на "евклидовость" пространства.
Нам достаточно уметь определять "близости линейных комбинаций" (ну или "близости координат"). Подразумевает ли это обязательную евклидовость? Вроде как нет. Нигде ортогональность базиса не используется.
ну или "близости координат"
"Близость координат" предполагает метрику, иначе что такое близость? А в R^n стандартная метрика индуцируется скалярным произведением. Ортогональность базиса — следствие этой структуры, а не семантики признаков (стандартный базис автоматически ортонормирован). Я, честно, понимаю о чем вы, но по факту как только мы используем dot product, мы уже (минимум) в евклидовом пространстве. И это не плохо на мой взгляд, а даже наоборот.
Да, это правильный вопрос - что такое близость? Кажется, что в пространствах без метрики близости быть не может. Но это заблуждение. Метрика делает пространство жестким, оформленным. А близость есть и без нее.
Простой пример - аффинное пространство,- метрики нет. Однако линейные комбинации (элементов пространства) есть. И мы можем выразить, например, треугольник через базисный (треугольник), - построив его на серединах сторон базисного. И определить, что его площадь будет в 4 раза меньше базисного. Это все следствие линейных комбинаций. - Метрики нет, но мы знаем, что площадь в 4 раза меньше. А чем ближе будут точки нашего вписанного треугольника к базовым, - тем будет ближе сам треугольник к базисному. Вот и появилось "ближе".
Отличие лишь в том, что в аффинном пространстве не задана форма базисного треугольника, - он может быть любым, но соотношение площадей будет справедливо для любой формы.
Я привел пример треугольника, потому что на нем визуально понятнее, что метрика фиксирует форму. Но тоже самое можно было бы показать и на отрезках и на любых других объектах.
В регрессиях нечто подобное, - нам нужна только близость (входного кортежа к базисным). И метрика тут не нужна (да и откуда бы ей взяться).
А чем ближе будут точки нашего вписанного треугольника к базовым ...
Здесь вы уже используете понятие расстояния, раз сравниваете точки по близости.
Вот координаты точки x(t) в аффинном базисе из двух точек (a, b):
x(t) = a*(1 - t) + b*t, где t - скаляр. Метрика не нужна, - мы не знаем расстояние |a, b|. Но чем ближе t к 0, тем ближе точка x к a. Потому что ее барицентрическая координата x_a становится больше.
---
Метрика пространства - это не определение способа измерения расстояний. Это задание самих расстояний между базисными элементами пространства.
---
Вообще если и вводить метрические термины, то уместнее это было бы сделать во 2-й части. Так как МНК можно переформулировать в метрических тензорах и координатах. "Квадратная матрица признаков" - это метрический тензор (грамиан) признаков. Его обращение - дуальный метрический тензор и т.д.
В ваших рассуждениях смешиваются разные структуры: аффинная, топологическая и метрическая, из-за чего термин "близость" используется без явного определения.
В аффинном пространстве выражение x(t)=a(1−t)+bt задаёт лишь аффинную комбинацию точек. Из этой структуры не следует понятие близости или предела — она не содержит ни топологии, ни метрики.
Переход от утверждения "t близко к 0" к “x(t) близко к a" использует структуру на параметрическом пространстве R и индуцированную (через координатное отождествление) топологию на образе R^n. Это уже топологическое, а не аффинное утверждение.
Поэтому утверждение, что 0.99a+0.01b "ближе" к a, чем 0.9a+0.1b, корректно только после фиксации топологии или метрики. В чисто аффинной постановке такая шкала не задана.
Что касается метрики: она задаётся на всех парах точек пространства d(x,y), а не на базисных элементах, поэтому её нельзя интерпретировать как "расстояния между базисом". Базис относится к линейной структуре, а метрика может быть задана и в других классах пространств (без линейных структур).
Переформулировка МНК же через грамиан и метрические тензоры корректна, однако это уже переход к более общей геометрической формализации. В контексте вводного изложения это не исправляет исходную модель, а лишь поднимает уровень абстракции, поскольку стандартное скалярное произведение R^n уже фиксирует необходимую геометрию.
Ну и в конце-концов предлагаю закрыть эту дискуссию, а то такими темпами она станет длиннее статьи :)
Очень познавательно, подпишусь чтобы быть в теме. 🔥
Красавчик.
кто то это реально понимает, или так, ради интереса иероглифы разглядывает? я вот 11 класс закончил, нейросети свободно пишу, backprop уже как родной, GPT свой делаю... захожу ради интереса на статью, предполагающую, что прочтение даст понимание основ... в общем я так и не понял: толи меня спустили с небес на Землю, толи у вас небо в другой галактике
Здесь математика пока не уходит дальше 1 курса или спец классов математики. И да - это самые основы того, как работают алгоритмы машинного обучения. Если ты собираешься поступать куда-то, то после 1 семестра вполне можно понять о чём тут написано. Если нет, то советую уделить время изучению линейной алгебры например на канале 3Blue1Brown, у них есть отдельный плейлист на эту тему, полностью переведённый на русский
Если вам что-то непонятно, напишите в комментариях/в личку, буду рад ответить
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Разбираемся в ML без воды: от базы до Attention. Часть 1։ Введение