Математическая постановка задачи

В методе наискорейшего спуска направление движения при поиске минимума F(x) задается вектором антиградиента − gradF(p¹,p²) функции F(p¹,p²) в рассматриваемой точке, т.е:

( (4.2)

Функция F(p¹,p²) расчитывается как квадрат ошибки расчетных и фактических значений отклика:

 (4.3)

Составляющие вектора градиента в точке xk определяются значениями частных производных первого порядка функции F(x) по соответствующим переменным, вычисленным в точке (p¹_k, p²_k):

 (4.4)

Направление вектора градиента совпадает с направлением наискорейшего возрастания функции F(p¹,p²). Вектор − gradF(p¹,p²) называется антиградиентом, его направление совпадает с направлением наискорейшего убывания функции. Предполагается, что компоненты градиента могут быть записаны в аналитическом виде или с достаточно высокой точностью вычислены при помощи численных методов.

Выбор величины шага λ осуществляется путем решения задачи минимизации F(p¹,p²) в направленииgradF(p¹,p²) с помощью одного из методов одномерного поиска.

Преимущество метода в том, что при переходе от шага к шагу обеспечивается выполнение неравенстваF(p¹ _k+1,p²_k+1)<= F(p¹ _k,p²_k), т.е. значение функции цели улучшается.

Скорость сходимости метода при решении некоторых задач является недопустимо низкой.

Это связано с тем, что изменения переменных непосредственно зависят от величины градиента, которая стремится к нулю в окрестности точки минимума. Поэтому метод наискорейшего спуска эффективен при поиске на значительных расстояниях от точки минимума x* и плохо работает в окрестности этой точки.