Методы оценивания параметров

Существует несколько различных методов оценивания параметров:

- максимального правдоподобия;

- моментов;

- оценивание по Байесу;

- наименьших квадратов.

Метод максимального правдоподобия базируется на использовании априорной информации, полученной из эксперимента. Получают выборку значений случайной величины X(x₁,x₂,...,x_n). Рассматривают оцениваемые параметры b как случайные величины с некоторым законом распределения вероятности. Затем это распределение перестраивается таким образом, чтобы получить апостериорное распределение вероятности, плотность которого несет информацию о возможных значениях b на основе экспериментальных данных X. Этот метод приводит к эффективным и состоятельным оценкам, однако оценки могут быть смещенными.

Метод моментов является одним из наиболее старых методов. При его использовании вычисляются первые n моментов случайной величины, которые затем приравниваются выборочным моментам. После этого находят n значений оцениваемых параметров b.

Оценивание по Байесу как и метод максимального правдоподобия основывается на использовании априорной информации. Определяется плотность распределения вероятностей x, и на основе апостериорной информации принимается решение.

Метод наименьших квадратов (МНК) является самым распространенным методом при оценивании параметров модели. Поэтому рассмотрим его более подробно на примере линейной модели с одной независимой величиной.

Уравнение модели с одной независимой величиной имеет вид:

(4.13)

Оценкой уравнения (4.13) будет:

(4.14)

Уравнение (4.13) на плоскости представляет теоретическую линию регрессии, а (4.14) эмпирическую линию регрессии (рис.4.2). Коэффициенты b₀ и b₁ являются оценками истинных коэффициентов b₀ и b₁.

На рис.4.7 обозначены точки (y_ij,x_i) - одно измерение; - выборочное среднее наблюдение при x_i; - предсказанное значение выходной величины y_i при x_i; - истинное значение выходной величины h_i при x_i. Для несмещенных оценок , т.е. h_i есть математическое ожидание при .

По результатам опыта вычисляются коэффициенты b₀ и b₁. Если бы все экспериментальные точки оказались на теоретической линии регрессии, то или

, i=1,2,...n (4.15)

и тогда коэффициенты b₀ и b₁ могли быть определены решением системы уравнений (4.15).

Однако, в реальных условиях левая часть (4.15) отличается от нуля на величину e_i

(4.16)

Рис.4.7.

а – теоретическая линия регрессии; б –эмпирическая линия регрессии.

Величина e_i называется невязкой. Она может быть вызвана ошибкой эксперимента или неправильным выбором линейной модели. Поэтому возникает задача найти такие коэффициенты уравнения регрессии, при которых невязка будет минимальной. Лучшей оценкой является выражение . Это выражение приводит к методу наименьших квадратов: