
Вспомним математический анализ
Непрерывность функции и производная
Пусть
Определение 1 (предел функции по Коши):
Функция
Обозначение:
Определение 2:
- Интервалом
называется множество
;
- Интервал, содержащий точку
, называется окрестностью этой точки.
- Проколотой окрестностью точки называется окрестность точки, из которой исключена сама эта точка.
Обозначение:
-
или
— окрестность точки
;
— проколотая окрестность точки
;
Определение 3 (предел функции через окрестности):
Определения 1 и 3 равносильны.
Определение 4 (непрерывность функции в точке):
непрерывна в
непрерывна в
Из определений 3 и 4 видно, что
(
Определение 5:
Функция
Определение 6:
- Функция
, определённая на множестве
, называется дифференцируемой в точке
, предельной для множества
, если существует такая линейная относительно приращения
аргумента функция
[дифференциал функции
в точке
], что приращение
функции
представляется в виде
- Величина
называется производной функциив точке
.
Также
Определение 7:
- Точка
называется точкой локального максимума (минимума), а значение функции в ней — локальным максимумом (минимумом) функции
, если
:
- Точки локального максимума и минимума называются точками локального экстремума, а значения функции в них — локальными экстремумами функции.
- Точка
экстремума функции
называется точкой внутреннего экстремума, если
является предельной точкой как для множества
, так и для множества
.
Лемма 1 (Ферма):
Если функция
Утверждение 1 (теорема Ролля):
Если функция
Теорема 1 (теорема Лагранжа о конечном приращении):
Если функция
Следствие 1 (признак монотонности функции):
Если в любой точке некоторого интервала производная функции неотрицательная (положительная), то функция не убывает (возрастает) на этом интервале.
Следствие 2 (критерий постоянства функции):
Непрерывная на отрезке
Частная производная функции многих переменных
Через
Определение 8:
Функция
Соотношение (1) можно переписать в следующем виде:
Если перейти к координатной записи точки
Обозначим
При
Из (3) получаем
Определение 9:
Предел (4) называется частной производной функции
Пример 1:

Градиентный спуск
Пусть
Определение 10:
Градиентом функции
Градиент — это то направление, в котором функция быстрее всего возрастает. А значит, направление, в котором она быстрее всего убывает, — это и есть направление, обратное градиенту, то есть
Целью метода градиентного спуска является поиск точки экстремума (минимума) функции.
Обозначим через
В формуле выше параметр
- если шаги будут слишком маленькими, то обучение будет слишком долгим, и повышается вероятность застрять в небольшом неудачном локальном минимуме по дороге (первое изображение на картинке ниже);
- если слишком большие, можно бесконечно прыгать через искомый минимум взад-вперёд, но так и не прийти в самую нижнюю точку (третье изображение на картинке ниже).

Пример:
Рассмотрим пример работы метода градиентного спуска в простейшем случае (
Пусть
Пусть
Пусть
Список используемой литературы:
- «Математический анализ. Часть 1», В.А. Зорич, Москва, 1997;
- «Глубокое обучение. Погружение в мир нейронных сетей», С. Никуленко, А. Кадурин, Е. Архангельская, ПИТЕР, 2018.