Метод Хука-Дживса

Выполняются итерации с перебором, которого параметра по отдельности с заданным шагом до оптимизации функции потерь на заданном критерии сходимости. Данный метод применяют, когда квазинастоновский или симплекс метод не дают хорошего результата.

К дополнительным методам относятся:

• Розенброка

• Метод Гессе или комбинированные методы

Для функций, не являющихся линейными (то есть достаточно произвольных), когда хотят подчеркнуть некие свойства, употребляют термин нелинейные функции. Обычно это происходит, когда функциональную зависимость вначале приближают линейной, а потом переходят к изучению более общего случая, часто начиная с младших степеней, например рассматривая квадратичные поправки.

То же относится и к употреблению слова нелинейные в отношении других объектов, не обладающих свойством линейности, например — нелинейные дифференциальные уравнения.

В ряде случаев этот термин может применяться и к зависимостям f = kx + b, где, то есть к неоднородным линейным функциям, поскольку они не обладают свойством линейности, а именно в этом случае и. Например, нелинейной зависимостью считают σ(τ) для материала с упрочнением.

Среди класса нелинейных функций, параметры которых легко оцениваются с помощью МНК, следует назвать хорошо известную в эконометрике равностороннюю гиперболу:

Она может быть использована для характеристики связи удельных расходов сырья, материалов, топлива с объемом выпускаемой продукции, времени обращения товаров от величины товарооборота. Классическим ее примером является кривая Филлипса, характеризующая нелинейное соотношение между нормой безработицы х и процентом прироста заработной платы у. Английский экономист А.В.Филлипс, анализируя данные более чем за 100-летний период, в конце 50-х годов 20 века, установил обратную зависимость прироста заработной платы от уровня безработицы.

Заменив в уравнении равносторонней гиперболы 1/х на z, получим уравнение линейной регрессии y = b₀ + b₁ z + u, оценка параметров которого может быть дана с помощью МНК.

Модели вида

называются полулогарифмическими моделями. Эти модели также относятся к нелинейным моделям относительно включенных в анализ объясняющих переменных, но линейным по параметрам.

Такие модели обычно используются в тех случаях, когда необходимо определять темп роста или прироста каких-либо экономических показателей. Например, при анализе банковского вклада по первоначальному вкладу и процентной ставке, при исследовании зависимости прироста объема выпуска от относительного (процентного) увеличения затрат ресурса, бюджетного дефицита от темпа роста ВНП, темпа роста инфляции от объема денежной массы и т.д.

Зависимость

где Y₀ – начальная величина переменной Y (например, первоначальный вклад в банке); r – сложный темп прироста величины Y (процентная ставка); Y_t– значение величины Y в момент времени t (вклад в банке в момент времени t). Эта модель легко сводится к полулогарифмической первого вида, параметры которой легко оцениваются с помощью МНК.

Иначе обстоит дело с регрессией, нелинейной по оцениваемым параметрам. Данный класс нелинейных моделей подразделяется на два типа: нелинейные модели внутренне линейные и нелинейные модели внутренне нелинейные.

Если нелинейная модель внутренне линейна, то она с помощью соответствующих преобразований может быть приведена к линейному виду. Например в экономических исследованиях при изучении эластичности спроса от цен широко используется степенная функция

где y – спрашиваемое количество

х – цена

u – случайная ошибка.

Данная модель нелинейна относительно оцениваемых параметров, так как включает параметры а и b неаддитивно. Однако ее можно считать внутренне линейной, так как логарифмирование данного уравнения, например, по основанию e приводит его к виду

Оценка параметров в полученном уравнении может быть произведена с помощью МНК.

Наибольшее распространение степенной функции в эконометрике связано с тем, что параметр b имеет четкое экономическое истолкование, – он является коэффициентом эластичности. Это значит, что коэффициент b показывает, на сколько % в среднем результат, если фактор изменится на 1%.

Для степенной функции коэффициент эластичности будет рассчитываться следующим образом

При b<0 характеризуется эластичность спроса, а при b>0 – предложения.

В других функциях коэффициент эластичности зависит от значений фактора x. В силу этого для них обычно рассчитывается средний показатель эластичности

Если же модель степенной регрессии представить в виде

то она становится внутренне нелинейной, так как ее невозможно превратить в линейный вид. В этом случае, то есть, если модель внутренне нелинейна по параметрам, используются итеративные процедуры, успешность которых зависит от вида уравнений и особенностей применяемого итеративного подхода. Модели внутренне нелинейные по параметрам могут иметь место в эконометрических исследованиях, однако гораздо большее распространение получили модели, приводимые к линейному виду.

Рассмотренные функции регрессий легко обобщаются на большее количество переменных.Ввиду четкой интерпритации параметров наиболее широко используется степенная функция.