Использование методов оптимизации для анализа и обработки информации

Еще одна широкая область применения оптимизационных методов в инженерной практике связана с задачами инженерного анализа, в частности с задачами нелинейного регрессионного анализа. Среди наиболее общих проблем, возникающих в процессе разработки инженерных моделей, можно выделить проблему определения параметров некоторой полуэмпирической модели на основе заданного множества экспериментальных данных. Такого рода задачи обработки информации, или задачи регрессионного анализа, путем несложных преобразований приводятся к виду оптимизационных задач, поскольку выбор значений параметров модели осуществляется в соответствии с критерием качества описания имеющихся данных с помощью этой модели.

Предположим, что некоторая переменная у зависит от некоторой независимой переменной х, а связь между ними задается равенством y=f(x, Θ₁,Θ₂), в котором фигурируют два параметра Θ₁ и Θ₂. Для того чтобы определить соответствующие значения Θ₁ и Θ₂, необходимо провести серию экспериментов, в каждом из которых задается значение независимой переменной х и регистрируется значение зависимой переменной у. Результатом серии из  N экспериментов является множество пар чисел (y_i, x_i), i = 1…N. Затем на основе полученной информации делается попытка подобрать значения Θ₁ и Θ₂  таким образом, чтобы обеспечить хорошую точность описания экспериментальных данных с помощью функции f. Наиболее часто используемая на практике мера качества описания экспериментальных данных определяется так называемым критерием наименьших квадратов, в соответствии с которым требуется минимизировать функцию

Разность y_i—f(x_i,Θ₁,Θ₂) между зарегистрированным значением y_i и теоретическим значением f(x, Θ₁,Θ₂) показывает, насколько точно выбранная модель описывает имеющиеся данные, и называется остатком. Сумма квадратов остатков по всем экспериментальным точкам является мерой точности описания данных.

Действительно, если значение L(Θ₁,Θ₂) равно нулю, то сделанный выбор Θ₁ и Θ₂ обеспечивает точное описание, поскольку экспериментальные данные совпадают с теоретической кривой. Таким образом, задачу описания данных можно рассматривать как задачу оптимизации, в которой требуется найти значения параметров Θ₁ и Θ₂ минимизирующие функцию L(Θ₁,Θ₂).