Что такое дифференциал первого и второго порядка (Продвинутый уровень) / Хабр

Данная статья подойдет всем любителям математики, кто хочет проверить себя в понимании, казалось бы, элементарного определения.

Введение

В наше время уже в средней школе умные школьники знакомы с понятием производной и дифференциала. Никто не спорит, что их понимание не выделяется невероятной осознанностью, но я заметил, что даже большинство студентов не до конца чувствует тонкость данных определений. Поэтому я решил собрать свои силы и написать свою первую статью, поясняющую различие между дифференцируемостью, дифференциалами, дифференциалами по направлению, вторыми дифференциалами и так далее

Вы, умный читатель Хабра, уверены ли, что знаете, что такое дифференциал функции? А второй дифференциал?

Если вы сомневаетесь, я предлагаю Вам пройти небольшой тест и ответить на вопрос: «Что такое дифференциал функции?»

Очень маленькая величина.
Разность между значением функции в точке и значением функции на малом расстоянии от точки.
Производная функции, умноженная на очень маленькое значение.
Линейное приращение функции вдоль какого‑то направления.
Линейный оператор.
Функция двух переменных.

Если вы ответили 1, 2 или 3, то вы, скорее всего, любопытный пользователь интернета, мало знакомый с математикой. Но не стоит грустить, а, наоборот, радуйтесь, ведь тогда эта статья точно для вас.

Если вы ответили 4, 5 или 6, то поздравляю, вы прошли тест и можете называть себя добрым математиком! Так ведь?

Дифференциал первого порядка

Одномерный случай

Давайте с самого начала. Введем понятие дифференцируемости для одномерного случая

Функция называется дифференцируемой в точкетогда и только тогда, когда $\exists A \in \mathbb{R}$ при $x \rightarrow x_0$

Если вы не знаете, что такое, то, простыми словами, это величина, стремящаяся к нулю тогда, когда $x \rightarrow x_0$

Отсюда следует простое утверждение, что функция дифференцируема тогда и только тогда, когда $\exists y’(x_0) \in \mathbb{R}$

Помните второй вариант ответа в нашем тесте выше? — Разность между значением функции в точке и значением функции на малом расстоянии от точки — На удивление, в качестве определения дифференциала аргумента функции действительно берут обычную разность $dx \stackrel{\text{def}}{=} x - x_0$ . Тогда дифференциал самой функции определяется как $dy \stackrel{\text{def}}{=} Adx$ или, как мы уже выяснили, $dy \stackrel{\text{def}}{=} y'(x_0)dx$ .

Вспомните третий вариант ответа — производная функции, умноженная на очень маленькое значение. На самом деле его тоже можно было посчитать верным, но с некоторыми оговорками. Очень важно понять, что маленькое значение не совсем подходит под определение дифференциала. Да, определение дифференцируемости определяется с помощью маленького приращения аргумента, но сам дифференциал необязательно должен получаться при $x \rightarrow x_0$ . Отсюда необязательно, что дифференциал аргументаи, соответственно, и дифференциал функциидолжны быть малыми. Поэтому первый вариант ответа категорически неверен.

Для наглядности посмотрим на рисунок 1.

Видим, что дифференциал — это приращение линейной аппроксимации функции в точке. А — это помощник, убирающий эту разность между самой функцией и ее линеаризацией. Поэтому 4 определение довольно хорошо описывает геометрический смысл дифференциала первого порядка. Заметим, что чем ближе находится к, тем меньше становитсяи тем больше функция похожа на прямую, что буквально и описывает определение дифференцируемости.

Многомерный случай

Теперь перейдем из одномерного пространства в пространство большей размерности. На удивление, определение дифференцируемости практически не меняется. Только теперь— это не число, а вектор, а произведение междуитеперь скалярное.

В таком случае дифференциал функции определяется ровно таким же образом, как и для одномерного случая, то есть. А что же это такое? Точно! Это наше 5 определение! То есть на самом деле дифференциал — это линейный оператор, который получает приращение аргумента и возвращает приращение линейной аппроксимации функции. На самом деле и для одномерного случая мы тоже могли сказать, что дифференциал это линейный оператор, но обычно про них говорят только в размерностях больших единицы.

Но что если функцию нельзя линеаризовать? Представьте себе торт, у которого отрезан один кусочек. Если рассматривать верхушку этого торта ровно по центру, то заметим, что как бы мы ни старались придумывать плоскость, аппроксимирующую верхушку торта, мы не сможем создать ее такой, чтобы на месте пропущенного кусочка мы не падали резко вниз, делая маленький шажок с начальной точки. Говоря математическим языком, в центральной точке функция недифференцируема и говорить про дифференциал в нашем старом понимании мы не можем. (Дифференциал в старом понимании называется дифференциалом Фреше).

Для этого введем понятие дифференциала по направлению (или дифференциал Гато).

Рассмотрим точкуи вектор. Дифференциалом по направлению функциив точкеназывается
$dy(x_0, h) = \frac{dy(x_0 + th)}{dt}|_{t=0}$

Иногда дифференциал по направлению называют производной по направлению (в таком определении это одно и то же). А частная производная — это по сути та же производная по направлению, но векторберется единичным и вдоль главных осей. Обобщая, дифференциал по направлению — это приращение функции, которое мы бы получили, если бы прошлись вдоль прямой, аппроксимирующей функцию в плоскости, образующейся с помощью вектора, на расстояние, равное длине вектора. Если вас испугало вышенаписанное предложение, то предлагаю вам взглянуть на рисунок 2, после которого, надеюсь, все прояснится.

Представьте себе эллиптический параболоид, которого разрезали плоскостью, параллельной главным осям аргументов функции . Вдоль этой плоскости от точкиисходит вектор. По главной осии векторустроится новая плоскость, разрезающая параболоид на параболу. Тогда от точкиберется обычный дифференциал вдоль этой параболы и получается дифференциал по направлению.

Если функция дифференцируема, то все так жеявляется производной. Только теперь многомерной, или, говоря по‑математически — градиентом. Но обратное неверно: существование градиента $\nabla y$ не гарантирует дифференцируемость функции. Более того, даже если существуют все дифференциалы по направлению и даже если они все равны, не значит, что функция дифференцируема. Простой контрпример:

$y(x_1, x_2) = \begin{cases} 1, & \text{если } x_2 = x_1^2 \text{ и } x_1 \neq 0 \\ 0, & \text{иначе} \end{cases}$

Рассматривая точку (0, 0), легко заметить, что все дифференциалы по направлению равны нулю, но тогда и $\nabla y = 0$ , но тогда, что в действительности неправда, то есть функция не дифференцируема.

Дифференциал Фреше — по сути, частный случай дифференциалов по направлению, когда функция дифференцируема в точке. Вернемся к одномерному случаю и поймем, что там на самом деле мы тоже брали направления, когда говорили про. Правда, их оказывалось всего 2 — вдоль и против оси. А производная в нашем привычном понимании на самом деле является частной производной или дифференциалом по направлению осис единичной длиной (можете сами в этом убедиться).

Что мы узнали? Что дифференциал оказывается функцией двух переменных! Он зависит от начальной точкии от направления. То есть наше шестое определение наиболее четко описывает понятие дифференциала, так как пятое определение было абсолютно верно только при фиксированной точке, ведь иначе дифференциал уже не является линейным оператором.

Дифференциал второго порядка

Вот мы и подошли к финалу данного текста. Что же такое дифференциал второго порядка? Недавно я проводил опрос среди своих друзей на эту тему. Мягко говоря, мои друзья не самые глупые люди, но буквально каждый 1.2 отвечал: «Очевидно же, что это дифференциал от дифференциала первого порядка». Да, действительно, по определению дифференциал второго порядка — это дифференциал от дифференциала первого порядка, но объяснить его суть или хотя бы показать геометрически, где он находится, мне никто не смог.

Мы узнали, что дифференциал — это не число, а функция. Мы уже научились брать дифференциал у функции, что же нам мешает взять еще один ровно таким же образом? — Вектор. Помните, мы говорили, что дифференциал это функция двух переменных? А дифференциал мы умеем брать только от функции одной переменной! (Тут должна быть небольшая оговорка, ведь кто‑то может сказать, что мы также научились брать дифференциал в многомерном пространстве, что эквивалентно функции многих переменных, но мы здесь разделяем переменные в качестве их «физического смысла» — по начальной точке и направлению).

На самом деле все проще, чем кажется. Теперь мы просто будем говорить, что дифференциал — это функция одной переменной. Зафиксируем вектори возьмем новый дифференциал в том же направлении.

$d^2y = d(dy) = d(\nabla y dx) = d(\nabla y) dx = dx^T H dx$

Предпоследнее равенство получилось за счет того, что мы зафиксировали (заморозили).— матрица Гессе функции (или, для одномерного случая, обычная вторая производная). Заметим, что при выборе того же направления(что чаще всего используется, например для разложения в ряд Тейлора), дифференциал второго порядка ‑квадратичная форма.

Итак, если дифференциал первого порядка показывает приращение функции в направлении, то дифференциал второго порядка показывает приращение дифференциала первого порядка в направлении. Давайте взглянем на следующую гифку.

Как видим— фиксирована, аменяется в зависимости от изменения начальной точки.

До этого для второго дифференциала мы выбирали то же направление, в таком случае мы снова получали функцию двух переменных —и. Но на самом деле у нас есть возможность все так же зафиксировать, но для второго направления выбрать абсолютно другой вектор. Назовем его вектором.

В таком случае дифференциал второго порядка станет функцией не двух, а трех переменных —,,— и будет показывать, как изменится дифференциал первого порядка (который направлен вдоль вектора), если мы будем перемещать точку вдоль вектора.

Если переобозначитьв привычный нам, ав, то формульно дифференциал второго порядка будет выглядеть так:, то есть уже как билинейная форма.

Вывод

Если вы прочитали эту статью и не узнали абсолютно ничего нового, и все для вас здесь было очевидно, то теперь точно можете звать себя гуру дифференциалов. Но если вы открыли для себя хоть что‑то новое, то я рад, что не зря потратил свое время и рассказал вам все, что знаю сам, и теперь вы все равно можете называть себя гуру дифференциалов.