Матричная форма метода наименьших квадратов: спецификация множественной регрессионной модели в матричной форме, вывод оценки вектора параметров модели

Метод наименьших квадратов — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений (когда количество уравнений превышает количество неизвестных), для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции.

Метод наименьших квадратов (МНК) дает оценки, имеющие н а и м е н ь ш у ю дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели. МНК минимизирует сумму квадратов отклонения наблюдаемых значений 𝑦_𝑖 от модельных значений . Оценки, полученные по МНК, обладают свойствами несмещенности, эффективности и состоятельности. Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией. Достоверность доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценокхарактеризует увеличение их точностис увеличением объема выборки.