Определение 2.1.3

Пусть х * – искомое решение и сходящийся итерационный метод генерирует в процессе работы векторную последовательность . Тогда будут справедливы следующие утверждения: 1. Метод сходится к х* с линейной скоростью (или со cкоростью геометрической последовательности), если для всех k, начиная с некоторого k * ³ 0 и 0 £ q < 1, выполнено условие çç х (k +1) – х *êç £ q çç х (k) – х *êç. (2.1.6) 2. Метод сходится к х* со сверхлинейной скоростью, если для всех k, начиная с некоторого k * ³ 0, выполнено условие çç х (k +1) – х *êç £ qk çç х (k) – х *êç, (2.1.7) где числовая последовательность сходится к нулю. 3. Метод сходится к х * с квадратической скоростью, если для всех k, начиная с некоторого k * ³ 0 и q ³ 0, выполнено условие çç х (k + 1) – х *çê £ q çç х (k) – х *êç2. (2.1.8)

При решении задачи (2.1.1) элементы векторной последовательности строятся, начиная с начального приближения x ⁽⁰⁾ Î E_n, согласно рекуррентному соотношению

x ^{(k + 1)} = x ^(k) + a _ks ^(k), k = 0, 1, 2, …, (2.1.9)

где s ^{( k )} Î E_n – вектор, указывающий направление движения из точки x ^{( k )}
в точку x ^{( k + 1)}. Вектор s ^{( k )} выбирается таким образом, чтобы обеспечить выполнение условия

f (x ^{(k + 1)}) < f (x ^(k)). (2.1.10)

В этом случае его принято называть направлением спуска.

a _k – число, указывающее длину шага в направлении s ^{( k )}. Длина шага определяется из условия

f (x ^(k) + a _ks ^(k)) = min f (x ^(k) + a s ^(k)), (2.1.11)

a Î E ₁

т. е. в результате решения задачи одномерной оптимизации (см. гл. 1). В тех случаях, когда решение задачи (2.1.11) оказывается довольно трудным или нецелесообразным, выбор a _k на k -м шаге процесса можно осуществлять, исходя из более слабого условия, согласно которому достаточно выполнения соотношения

f (x ^{(k + 1)}) < f (x ^(k)). (2.1.12)

В качестве условий (критериев) идентификации оптимального решения задачи (2.1.1) могут использоваться необходимые и достаточные условия экстремума функции нескольких переменных.

Приведем еще несколько определений.