Квазиньютоновские методы, или когда вторых производных для Атоса слишком много

[@Pand5461]

А почему может в DFP или BFGS не иметь место разложение Холецкого? Матрица же вроде должна всегда симметричной положительно определённой оставаться.
Или имеется в виду, что для решения может быть удобнее какое-то другое представление матрицы?

[@alexkolzov]

Теоретически возможно, что на некоторой итерации матрица потеряет положительную определенность и тогда разложение Холецкого для неё существовать не может. Есть вариант qr-разложения, но он вычислительно менее эффективен. Практика показала, что потеря положительной определенности скорее является исключением, чем правилом, так что обычно на этот счёт не заморачиваются.

[@alexkolzov]

Это если не конкретизировать то как проводится линейный поиск. Обычно при формулировке законченного метода что формулу DFP, что BFGS дополняют линейным поиском по схеме Вульфа, условия которого помимо всего прочего обеспечивают положительную определенность матрицы. Но как не так давно было показано, могут приводить к отсутствию сходимости.