Будем рассматривать методы поиска минимума в многомерных задачах на примере функции двух переменных f (x, y), так как эти методы легко аппроксимировать на случай трех и более измерений. Все эффективные методы поиска минимума сводятся к построению траекторий, вдоль которых функция убывает. Разные методы отличаются способами построения таких траекторий, так как метод, приспособленный к одному типу рельефа, может оказаться плохим для рельефа другого типа. Различают следующие типы рельефа:
1) Котловинный (гладкая функция) | 2) Истинный овраг | 3) Разрешимый овраг | 4) Неупорядоченный |