Многомерная безусловная градиентная оптимизация

Рассмотрим методы отыскания экстремума функ­ции R(x) без активных ограничений. Активными принято называть такие ограничения, на границе которых находится решение. Величина шага D х в соотношении

xⁱ⁺¹ = xⁱ +Dxⁱ

вычисляется с использованием градиента целевой функции R(x), т.е.

Dxⁱ = ¦(gradR(xⁱ)),

при этом шаг может определяться с использованием градиента в одной (текущей) или в двух (текущей и предыдущей) точках. На­правление градиента, как известно, показывает направления наискорейшего возрас­тания функции, а его модуль — скорость это­го возрастания.

Вычисление градиента предполагает непрерывность функции многих переменных

Поисковые методы оптимизации содержат задаваемые па­раметры, которые су­щественно влияют на эффективность поиска, вследствие чего один и тот же метод может дать совершенно различные траектории поиска. По­этому для всех методов, рассматриваемых далее, на рис.3.5 приводится лишь одна из возможных траекторий.

Рис. 3.5. Иллюстрация траекторий поис­ка минимума функции градиентными

методами:

1 — оптимум; 2 -— траекто­рия метода градиента; 3 — траектория метода

тяжелого шарика; 4 — траек­тория метода наискорейшего спуска;

5 — траектория метода сопряженных градиентов;

Кроме того, для всех приве­денных траекторий выбраны различные начальные условия, с тем, чтобы не загромождать построения. На этом и последующих ри­сунках зависимость R(x ₁, x ₂ ) приведена в виде линий уровня на плоскости в координатах x ₁ - x ₂.