Среди наиболее известных и часто используемых на практике численных методов нелинейного программирования выделяют методы нулевого, первого и второго порядка. К методам нулевого порядка относят методы, реализация которых предполагает вычисление и использование только значений минимизируемой функции. В методах первого порядка помимо значений минимизируемой функции требуется вычисление ее производных первого порядка. Методы второго порядка предусматривают вычисление и использование значений минимизируемой функции, а также ее производных до второго порядка включительно. В соответствии с изложенным в предыдущих разделах, мы будем рассматривать численные методы нелинейного программирования применительно к решению задач вида
(3.5.1)
(здесь – множество простой структуры), а также применительно к решению задач безусловной минимизации
(3.5.2)