Тема 5. Многомерный статистический анализ

Уравнения системы независимых уравнений могут рассматриваться самостоятельно в произвольном порядке, то есть к каждому их них применимы все операции, которые мы рассматривали выше для линейных уравнений.

Если зависимая (исследуемая переменная) одного уравнения выступает в качестве факторных переменной в последующих уравнениях, то может быть построена модель в виде системы линейных рекурсивных уравнений:

. (4.2)

Уравнения системы рекурсивных уравнений также могут рассматриваться по отдельности. В случае системы линейных уравнений параметры модели могут определяться с помощью МНК. При выполнении прогнозных значений необходимо будет производить вычисления последовательно, начиная с первого уранвения.

Наибольшее распространение в эконометрических исследованиях получила система одновременных (взаимозависимых) уравнений. В ней одни и те же зависимые (исследуемые) переменные в одних уравнениях входят в левую часть, а других – в правую часть системы. Даже в простейшем случае системы одновременных линейных уравнений ( eё также называют структурной формой модели – СФМ):

. (4.3)

определение параметров модели сталкивается с большими трудностями и не всегда возможно в принципе. Для нахождения параметров модели исходная система одновременных линейных уравнений сводится к приведённой форме модели (ПФМ), которая имеет вид системы независимых переменных:

(4.1)

Такое сведение всегда возможно произвести с помощью алгебраических преобразований исходной системы уравнений. Параметры приведённой системы δ_ij можно находить с помощью МНК. Основная трудность заключается в том, что не всегда возможно по коэффициентам приведённой системы восстановить коэффициенты исходной системы уравнений, то есть осуществить обратный переход (подобно тому, как мы это делали, сводя нелинейное уравнение к линейному, находя параметры линейной модели, а затем производя обратный пересчёт параметров нелинейной модели).

Проблема перехода от приведённой формы (ПФМ) системы уравнений к исходной СФМ называется проблемой идентификации. Различаются идентифицируемые, неидентифицируемые и сверхидентифицируемые модели.

1. Модель идентифицируема, если все коэффициенты исходной модели определяются однозначно, единственным образом по коэффициентам приведённой модели. Это возможно когда число параметров исходной модели равно числу параметров приведённой формы (здесь и далее не учитывается число свободных коэффициентов в уравнениях). Процедура нахождения коэффициентов идентифицируемой модели носит название косвенного метода наименьших квадратов (КМНК) и содержит следующие этапы:

а) исходная модель преобразуется в приведённую форму модели;

б) для каждого уравнения приведённой формы модели применяется обычный МНК;

в) коэффициенты приведённой модели трансформируются в коэффициенты исходной модели.

2. Модель неидентифицируема, если число параметров приведённой системы меньше чем, число параметров исходной модели, и в результате коэффициенты исходной модели не могут быть оценены через коэффициенты приведённой формы.

3. Модель сверхидентифицируема, если число приведённых коэффициентов больше числа коэффициентов в исходной модели. В этом случае на основе коэффициентов приведённой формы можно получить два и более значений одного коэффициента исходной модели. Сверхидентифицируемая модель в отличие от неидентифицируемой модели практически разрешима, но требует специальных методов исчисления параметров. Наиболее распространённым является двух шаговый метод наименьших квадратов (ДНМК). Основная идея ДНМК – на основе приведённой формы модели получить для сверхидентифицируемого уравнения (имеются критерии для определения идентифицируемости каждого уравнения исходной системы) теоретические значения исследуемых переменных, содержащегося в правой части уравнения. Далее, подставив эти значения вместо фактических значений (результатов наблюдений), применяется МНК к сверхидентифицируемому уравнению исходной системы.

Для того, чтобы модель была идентифицируема, необходимо, чтобы каждое уравнение модели было идентифицируемо. Если хотя бы одно уравнение СФМ неидентифицируемо, то вся модель считается неидентифицируемой.

Рассмотрим необходимые и достаточные условия идентифицируемости отдельного уравнения модели.

Необходимым условием идентифицируемости отдельного уравнения модели является счетное правило. Если обозначить через Н число исследуемых переменных y_l, присутствующих в i -м уравнении, а через D обозначить число факторных переменных x_j, отсутствующих в i -м уравнении, то счётное правило формулируется следующим образом:

- если D + 1 < H, то уравнение неидентифицируемо;

- если D + 1 = H, то уравнение идентифицируемо;

- если D + 1 > H, то уравнение сверхидентифицируемо.

Достаточное условие идентифицируемости отдельного уравнения модели выполняется, если определитель матрицы, составленной из коэффициентов в других уравнениях при переменных (как исследуемых y, так и факторных x), отсутствующих в данном i -м уравнении не равен нулю, а ранг этой матрицы, одновременно, не меньше, чем количество всех исследуемых переменных в системе уравнениё за вычетом 1.

Пример 4.1. Дана структурная модель:

Необходимо проверить каждое уравнение системы на выполнение необходимого и достаточного условия идентифицируемости и сделать вывод об идентифицируемости системы уравнений в целом.

Всего в системе присутствуют три исследуемые переменные y₁, y₂, y₃ и четыре факторные переменные x₁, x₂, x₃ и x₄.

В первом уравнении три исследуемые переменные: y₁, y₂, y₃ (H=3). В нём отсутствуют две факторные переменные: x₃ и x₄ (D=2). Необходимое условие идентифицируемости D + 1 = H выполняется. Для проверки достаточного условия составим матрицу из коэффициентов при отсутствующих в первом уравнении x₃ и x_4, взятых во втором и третьем уравнениях:

Уравнения, из которых взяты коэффициенты при переменных	Переменные
x3	x4
	a23	a24

Во второй строке матрицы стоят нули, поскольку x₃ и x₄ отсутствуют в третьем уравнении. Определитель такой матрицы равен нулю. Значит, достаточное условие не выполнено, и первое уравнение нельзя считать идентифицируемым. Следовательно, и вся система не является идентифицируемой. Тем не менее проверим, являются ли другие уравнения системы идентифицируемыми.

Во втором уравнении присутствуют две исследуемые переменные: y₁, y₂ (H=2). В нём же отсутствует одна факторная переменная x₁ (D=1). Необходимое условие идентифицируемости D + 1 = H выполняется. Для проверки достаточного условия составим матрицу из коэффициентов при отсутствующих во втором уравнении y₃ и x_1, взятых в первом и третьем уравнениях:

Уравнения, из которых взяты коэффициенты при переменных	Переменные
y3	x1
	b13	a11
	-1	a31

В третьем уравнении (вторая строка таблицы) при y₃ коэффициент равен -1, так как эта переменная стоит в левой части уравнения. Третье уравнение можно записать в виде

и тогда равенство b₃₃ = -1 становится очевидным. Определитель матрицы не равен нулю. Ранг матрицы равен 2, что совпадает с числом исследуемых переменных минус один. Значит, достаточное условие выполняется, и второе уравнение является идентифицируемым.

В третьем уравнении присутствуют три исследуемые переменные: y₁, y₂, y₃ (H=3). В нём отсутствует две факторные переменные x₃ и x₄ (D=2). Необходимое условие идентифицируемости D + 1 = H выполняется. Для проверки достаточного условия составим матрицу из коэффициентов при отсутствующих в третьем уравнении x₃ и x_4, взятых во первом и втором уравнениях:

Уравнения, из которых взяты коэффициенты при переменных	Переменные
x3	x4
	a23	a24

Определитель такой матрицы равен нулю. Следовательно, достаточное условие не выполняется, и третье уравнение нельзя считать идентифицируемым.

В итоге мы получили что идентифицируемым является только второе уравнение, а первое и третье уравнения не являются идентифицируемыми, поэтому система в целом не является идентифицируемой.

Рассмотрим на примере применение косвенного метода наименьших квадратов (косвенного МНК).

Пример 4.2. Пусть дана идентифицируемая модель из двух уравнений, содержащая две исследуемые и две факторные переменные:

.

Задан набор фактических данных:

№ наблюдения	y1	y2	x1	x2
	33,0	37,1
	45,9	49,3
	42,2	41,6
	51,4	45,9
		37,4
	49,3	52,3

Решение: Исходную модель можно преобразовать в приведённую форму модели вида:

.

Приведённая форма модели является системой независимых уравнений, к каждому из которых для нахождения коэффициентов можно применить МНК, подобно тому, как это делается для построения линейной модели множественной регрессии, состоящей из одного уравнения. Для нахождения коэффициентов первого уравнения мы применим в MS Excel обработку Cервис/ Анализ данных/ РЕГРЕССИЯ выбрав в качестве диапазона данных для исследуемой переменной колонку данных для y₁, а в качестве диапазона данных для факторных переменных – колонки данных для x₁ и x₂. Аналогично для определения коэффициентов второго уравнения применим обработку РЕГРЕССИЯ, взяв данные для y_1, x₁ и x₂. В итоге получим следующую систему уравнений (ПФМ):

Для перехода от приведённой формы к структурной форме модели найдём x₂ из второго уравнения:

.

Подставим это выражение в первое уравнение вместо x₂ , и после необходимых арифметических преобразований, получим первое уравнение структурной формы:

Далее выразим x₁ из первого уравнения ПФМ

и подставим это выражение во второе уравнение ПФМ вместо x₁. После очевидных преобразований получим второе уравнение структурной формы:

Окончательный вид структурной модели:

Компонентный анализ является методом определения структурной зависимости между случайными переменными. В результате его использования получается сжатое описание малого объёма, несущее почти всю информацию, содержащуюся в исходных данных. Основой компонентного анализа является построение таких линейных комбинаций исходных переменных (главных компонент), которые бы имели максимальную дисперсию и минимальную зависимость друг от друга.

Более общим методом преобразования исходных переменных по сравнению с компонентным анализом является факторный анализ. Центральной проблемой, которую приходится решать при обработке экспериментальных данных, является задача её “сжатия”, выделения существенной информации, которая затемнена разного рода данными, не имеющими отношения к сути изучаемого явления. Поэтому задача уменьшения размеров исходного массива данных тесно связана с задачей выявления закономерностей изучаемого явления. Наблюдаемые параметры зачастую являются лишь косвенными характеристиками изучаемого объекта. На самом деле существуют внутренние (не наблюдаемые непосредственно) параметры или свойства, число которых мало и которые определяют значения наблюдаемых параметров. Эти внутренние параметры принято называть факторами. Задача факторного анализа – представить наблюдаемые параметры в виде линейных комбинаций факторов.

Кластерный анализ – это совокупность методов, позволяющих классифицировать многомерные наблюдения, каждое из которых описывается набором признаков (параметров). Целью кластерного анализа является образование групп схожих между собой объектов, которые принято называть кластерами (классами). Особое место кластерный анализ занимает в тех отраслях науки, которая связана с изучением массовых явлений и процессов. Необходимость развития кластерного анализа и их использования продиктована тем, что они помогают построить научно обоснованные классификации, выявить взаимосвязи между единицами наблюдаемой совокупности. Кроме того, методы кластерного анализа могут использоваться в целях сжатия информации, что является важным фактором в условиях постоянного увеличения и усложнения потоков статистических данных.

Дискриминантный анализ является разделом многомерного статистического анализа, который включает в себя методы классификации многомерных (по ряду показателей) наблюдений по принципу максимального сходства при наличии обучающих факторов (то есть используется алгоритм, автоматически учитывающий изменения в данных).

Если в кластерном анализе рассматриваются методы многомерной классификации без обучения, то в дискриминантном анализе новые кластеры не образуются, а формулируется правило, по которому на основании данных наблюдений за новым объектом производится отнесение его к одному из уже существующих классов (кластеров, обучающих подмножеств). Такое правило базируется на сравнении определённых статистических характеристик изучаемого объекта со значениями дискриминантной функции, которая строится, чаще всего, в виде линейной статистических характеристик имеющихся классов.

Предположим, что существуют две или более совокупности (группы) и что мы располагаем множеством выборочных наблюдений над ними. Основная задача дискриминантного анализа состоит в построении с помощью этих выборочных наблюдений правила, позволяющего отнести новое наблюдение к одной из совокупностей.

Дискриминантный анализ может использоваться и для прогнозирования поведения наблюдаемого объекта путем сопоставления изменения его показателей с поведением аналогичных показателей объектов обучающих подмножеств.

Например, можно по ряду показателей выделить группы развитых и развивающихся стран. При этом мы должны уже иметь некоторые группы стран, явно относящиеся к одной из этих групп, а также иметь наборы значений некоторых показателей (среднедушевой доход, продолжительность жизни, уровень образования, производительность труда и т.д.). При отнесении других стран к одному из этих классов, мы должны построить дискриминантную функцию, зависящую от статистических характеристик имеющихся наборов данных, и сравнивать значения этой функции для каждой изучаемой страны со значениями этой же функции для каждой из двух групп. Та группа, которая будет иметь более близкое значение дискриминантной функции и примет в свои ряды новую страну. Далее зная динамику изменений показателей в этой группе, мы можем делать некоторые прогнозы изменения показателей изучаемой страны. В простейшем случае одного показателя, например, среднедушевого дохода, мы можем просто вычислить среднее значение этого показателя для каждой из групп и сравнить среднедушевой доход изучаемой страны с полученными средними значениями. Если у изучаемой страны этот показатель будет ближе к доходу осреднённому для развитых стран, то мы и отнесём её к группе развитых стран.

Аналогичный подход можно применить к предприятиям, разбив их на группы: крупные, средние, мелкие. Проделав соответствующий анализ, мы можем отнести новое предприятие к одной из групп, а далее постараться сделать прогноз развития предприятия на основании сравнения с изменением показателей предприятий этой группы. Такой подход может быть достаточно продуктивным, особенно если все предприятия относятся к какой-то одной отрасли.