Определение 2.1.6. Глобальный минимум

Очевидно, что для одноэкстремальной функции точка ее локального минимума одновременно является и точкой ее глобального минимума.
Для многоэкстремальной функции точка глобального минимума функции совпадает с точкой (точками) того локального минимума, в которой функция достигает наименьшего значения.

Точка глобального минимума функции f (x), очевидно, является оптимальным решением задачи (2.1.1). Однако, как и в случае одномерной оптимизации, практически все используемые методы многомерной оптимизации ориентированы на поиск только одного минимума функции, в общем случае являющегося локальным, поскольку отыскание глобального минимума для многоэкстремальных функций чрезвычайно затруднено и требует просмотра всех ее локальных экстремумов. Поэтому в дальнейшем будем считать, что построение оптимального решения задачи (2.1.1) аналогично нахождению локального минимума функции f (x).

Сформулируем теперь необходимые и достаточные условия наличия локального экстремума дифференцируемой функции f (x) в точке x Î E_n. Предположим, что скалярная функция f (x) и ее частные производные до второго порядка включительно определены и непрерывны для любых x Î E_n. Как известно, функция f (x) может иметь экстремум лишь в тех точках, в которых все ее частные производные первого порядка равны нулю или терпят разрыв. Последнее в силу предположения о непрерывности функции и ее частных производных исключается из рассмотрения, что позволяет на данном этапе не усложнять изложение материала.

Введем вектор градиента функции f (x)

Ñ f (x) = (¶ f (x)/ ¶ x ₁, ¶ f (x)/ ¶ x ₂, …, ¶ f (x)/ ¶ x_n) ^т.

Тогда функция может иметь минимум только в точках x ^*Î E_n, где Ñ f (x ^*) = 0. Такие точки называют стационарными.

Условие Ñ f (x ^*) = 0 является необходимым условием экстремума.
В стационарных точках функция может иметь минимум, максимум, седловую точку или не иметь ни того, ни другого.

Достаточным условием наличия в стационарной точке x ^* локального минимума функции f (x) является положительная определенность матрицы Гессе для данной функции в этой точке. Матрица Гессе для функции
n- переменных – квадратная матрица, составленная из частных производных второго порядка данной функции. Матрица Гессе H (x ^*) будет положительно определенной в точке x ^*, если для любого ненулевого вектора x Î E_n выполняется условие

x ^т H (x ^*) x > 0.

Таким образом, для того чтобы точка x ^* Î E_n, в которой выполнено условие Ñ f (x ^*) = 0, являлась точкой минимума дважды непрерывно диф-ференцируемой функции f (x), достаточно выполнения в этой точке условия x ^т H (x ^*) x > 0. При этом условие Ñ f (x ^*) = 0 – необходимое, а x ^т H (x ^*) x > 0 – достаточное условие существования в точке x ^* Î E_n минимума функции f (x). В общем случае минимум может встречаться в точках, в которых сформулированные условия не выполняются, например в точках разрыва частных производной или самой функции, т. е. в тех точках, которые были исключены из предыдущего анализа. Однако если сформулированные необходимые и достаточные условия выполнены, то точка x ^* Î E_n является точкой локального минимума.

Многие известные методы решения задачи (2.1.1) используют необходимые условия экстремума в том смысле, что они ориентированы на поиск решения уравнения

Ñ f (x) = 0,

т. е. на поиск стационарных точек минимизируемой функции.

Рассматриваемые в данном пособии методы многомерной минимизации, как и методы одномерной минимизации, можно классифицировать по признаку использования частных производных минимизируемой функции следующим образом:

– методы нулевого порядка – их реализация не требует вычисления частных производных функции f (x);

– методы первого порядка – их реализация требует вычисления частных производных первого порядка функции f (x);

– методы второго порядка – их реализация требует вычисления
частных производных второго порядка функции f (x).