Матричная форма метода наименьших квадратов

 

3.3.1.Уравнение наблюдений в матричной форме

 

Запишем наблюдения в каждой точке i с учетом (3.1):

                                                                 (3.4)

Введем в рассмотрение матрицу плана наблюдений или матрицу базисных функций (не путать с вектором ).

                                                  (3.5)

Тогда при условии линейного вхождения вектора параметров  в модель, получим:

 

                                                                 (3.6)

 

Справедливость уравнения (3.6) проверяется переводом уравнения (3.6) в скалярную форму по правилу умножения матрицы X на вектор .

В уравнении наблюдений (3.6)

= (b ₀ ,b ₁ ,….,b _j ,….b _n) - n – мерный вектор оцениваемых параметров;

= (e₀,e₁,….,e_j,….e_n); - N – мерный вектор остатков;

= (y ₀ ,y ₁ ,….,y _j ,….y _n); - N – мерный вектор наблюдений.

Замечание: Если структура модели нелинейна по , т.е.  входит в базисную функцию, то записать уравнение (3.6) невозможно и классический метод наименьших квадратов непримерим.

 

3.3.2.Нормальные уравнения регрессии и формула для параметров уравнения

 

Используем известную формулу из матричной алгебры:

                                                                       (3.7)

Тогда, опуская стрелки с учетом того, что  получаем:

 

                               (3.8)

                                                                                (3.9)

 

Система нормальных уравнений запишется в виде:

                                                                                         (3.10)

где (X ^T X) – матрица нормальных уравнений.

Пусть обратная матрица (X ^T X)^-1 существует (она называется информационной матрицей Фишера). Тогда получим явную матричную формулу для оценки коэффициентов (параметров) уравнения регрессии:

 

                                                

 

Если det(X ^T X)^-1=0, то матрица нормальных уравнений необратима и вычислить вектор параметров  нельзя.

Если det(X ^T X)^-1¹0, но очень мал, то обращаемая матрица плохо обусловлена. Возникает вычислительные проблемы обращения матриц большей размерности.