Математика для ИИ: Дифференциал, производная и правила дифференцирования

[garryq]

Много приблизительных высказываний. Например, «свойства пределов» ни разу не очевидны, там нужна хотя бы дифференцируемость. Правило Лопиталя (это про деление) работает не всегда. «Домножение на сопряженное выражение» – некорректная операция, выражение должно быть по крайней мере строго ненулевым.

[neuromancertdi]

Благодарю за ваш комментарий. Да, много всяких оговорок нужно было бы упомянуть, но я в этом не разбираюсь. Я не подумал о том, чтобы указать про это в предисловии. Основная цель статьи - рассказать про то, что такое дифференциал и про правила дифференцирования

[dyadyaSerezha]

А где тут были ИИ (из заголовка) и машинное обучение (из тэга)?

[neuromancertdi]

Ну, про ИИ, это значит, что я рассказываю в статье про математику, которая используется для обучения нейросетей. А хаб "машинное обучение" я поставил, так как я буду делать статью про алгоритм автоматического дифференцирования для глубокого обучение, который реализуется на основе правил дифференцирования, про которые я и сделал статью

[WLMike]

Кроме неточностей непонятно на кого это рассчитано. Это изучают где-то семестр в ВУЗе. Вряд ли можно хоть чего-то содержательно понять, если не знал и так, просто прочитав статью

[neuromancertdi]

Благодарю за обратную связь. Я не подумал о том, чтобы уточнить для чего я сделал эту статью. Я сделаю статью про алгоритм автоматического дифференцирования, в котором нужно понимать то, как работают правила дифференцирования. Я сделал эту отдельную статью, чтобы не впихивать это все в статью про autograd

[GospodinKolhoznik]

Как свидетельствуют очевидцы, когда Николай Алексеевич Некрасов впервые прочитал статью Алмаза Хуснутдинова по дифференциальному исчислению, он был в невероятно восторге и поспешил поделиться ей со своим близким другом Виссарионом Григорьевичем Белинским.

«Новый Фихтенгольц явился!» — закричал Некрасов, входя к нему со статьей — «У вас Фихтенгольцы-то как грибы растут», — строго заметил ему Белинский, но рукопись взял. Когда Некрасов опять зашёл к нему, вечером, то Белинский встретил его «просто в волнении»: «Приведите, приведите его скорее!».

[neuromancertdi]

Не понимаю этот рассказ, это наверно отрывок с каким-то юмором.

Я просто не подумал упомянуть о том, для чего я сделал эту статью. Я выложу статью про алгоритм автоматического дифференцирования, который используется для обучения нейросетей. Для его понимания нужно понимать правила дифференцирования и вообще само понятие дифференциала. Как-то так

[kciray]

На Хабре встречаются люди-цитаторы, которые любят какую-то идею или личное впечатление от статьи переносить в завуалированном виде (цитируя классиков), зачастую делают это без понимания материала статьи или без цели принести пользу

[Exlt8]

Нда, коллеги выше мьельнир в руки брали) А если конструктивно, то как именно берете по слоям в конечных разностях производные с учетом машинной точности? Не аналитически же вы все это делаете..

[neuromancertdi]

Не совсем понял вопрос. Здесь я рассказал про правила дифференцирования, которые буду использовать для объяснения алгоритма autograd, не подумал упомянуть об этом. А аналитические значения нужны как раз для этого алгоритма. Их нужно будет использовать при обратном распространении ошибки для расчета производных на основе цепного правила, которое будет использовать формулы для каждой отдельной арифметической операции и элементарных функций

[YDR]

про предел функции нескольких переменных написано неправильно. Пределы по x1 затем по х2, и сначала по х2 затем по х1 могут оба существовать и быть одинаковыми, но нужно, чтобы все пределы по любым последовательностям существовали и были одинаковыми, чего может и не быть.

[neuromancertdi]

Благодарю за обратную связь. Я не особо разбираюсь в этом, поэтому не знаю как правильно это нужно рассказывать. Не подумал упомянуть, что я плохо в этом разбираюсь. Я просто привел эти определения, чтобы как бы немного ввести в тему - что есть некое понятие предела, на основе которого выводится понятие дифференциала.

[MasterMentor]

Хорошая маленькая статья с ясным изложением. +

PS Те, кто осведомлён, что такое "Дифференциал, производная и правила дифференцирования" - просто её не читайте! :)

[SergeMukhin]

X->0, lim (sin(X)/X) = lim (sin(X)) / lim(X)?

[neuromancertdi]

По идее так и есть

[631052]

нет, тут слева 1, а справа 0/0, причём не не определённость, а именно число ноль, делённое на число ноль (после предельного перехода это уже действительны числа).

т. е. правая часть равенства не имеет смысла

[631052]

нет.

справа в знаменателе ноль

[Flokis_guy]

Нет, как выше написали, выходит неопределенность вида 0/0. В этом случае можно использовать либо правило Лопиталя, ну или в ряд Тейлора синус разложить.

[631052]

нельзя, ни Лопиталя ни Тейлора, получится порочный круг.

слева "первый замечательный предел", он равен единице. это оказывается геометрически.

[Flokis_guy]

Это вполне возможно, мы получаем единицу по правилу Лопиталя, так как выходит cos(0). При разложении синуса в ряд Тейлора около нуля мы получаем первый член равным 1, а все остальные стремятся к 0.

[631052]

так при вычислении производной синуса и используется тот факт, что 1й з. п. равен единице.

поэтому и нельзя

[Flokis_guy]

А, понял, про что вы имеете в виду. Да, формально, очевидно, нельзя использовать результат для доказательства, в любом случае придётся геометрически доказывать.

[MasterMentor]

PPS Читал в советах "Как писать статьи" от Хабра, что критерий успеха статьи - не плюсы, а закладки.

На 23:38 13.01.2025 плюсов 0 и 35 закладок (что много).

Делайте выводы, господа. ;)

[SmartTherm]

Это еще цветочки.

Вот на гитхабе есть ягодки, например вот CarND-PID-Control-Project. 130 звезд, 1.4к форков.

Подозреваю, что и там, и тут резвятся студенты