Регрессионный анализ: определение, уравнение регрессии, факторы, параметры, отклик. Метод наименьших квадратов. Решение уравнения МНК в матричной форме

Основы математической статистики: динамические и статические случайные величины, и их характеристики (мода, медиана, математическое ожидание, дисперсия). Статистические гипотезы: методы доказательства основных гипотез.

Случайные характеристики (шумы):

1. Дискретные – выражаются числом. Независимые – выражаются функцией распределения.

2. Зависимые – вероятность зависит от какого-либо объятия^(?). Независимые – не зависят ни от чего.

3. Белый шум – распределены по всему диапазону одинаково. Красный шум – распределение смещено вправо. Синий шум – распределение смещено влево.

Характеристики шумов:

1. Мода – наиболее часто встречаемое значение. Пример:

2 1 8 2 6 8 – в данном ряду модой являются числа 2 и 8.

2. Медиана – средняя при расположении в ряд по возрастанию или убыванию величина. Пример:

1 2 2 6 8 8 – в данном ряду медиана 4 (1 2 2 6 8 8 à 2 и 6 дают медиану 4).

3. Математическое ожидание – средневзвешенное значение случайной величины:

M(x) = Σx_ip_i = Σx_i = x_ср.

M(x) =

Свойства математического ожидания:

3.1. Математическое ожидание от постоянной равно самой постоянной:

M(с) = с

3.2. Постоянный множитель можно внести за скобки:

M(cx) = cM(x)

3.3. Математическое ожидание суммы равно сумме математических ожиданий:

M(x+y) = M(x) + M(y)

3.4. Математическое ожидание произведения 2 независимых случайных величин равно произведению их математических ожиданий:

M(xy) = M(x) * M(y)

4. Центральный момент случайной величины:

mⁿ(x) = M(x-M(x))ⁿ = M(x-M(x))ⁿ

1-го порядка: m(x) = M(x-M(x))ⁿ = M(x) – M(M(x)) = 0

2-го порядка: m²(x) = M(x-M(x))² = Σ(x_i-x_ср.)² = D(x) – дисперсия

3-го порядка: m³(x) = M(x – M(x))³ = Σ(x_i-x_ср.)³ – коэффициент ассиметрии

1. m³(x) > 0 2. m³(x) > 0 3. m³(x) = 0

4-го порядка: m⁴(x) = M(x-M(x))⁴ = Σ(x_i-x_ср.)⁴ – коэффициент эксцесса

1. m⁴(x) = 0 2. m⁴(x) < 0 3. m⁴(x) > 0 m⁴(x)₁ > m⁴(x)₂

5. Свойства дисперсии D(x):

5.1. D(c) = 0

5.2. D(cx) = |cx = y| = D(y) = Σ(y_i - y_ср.)² = Σ(cx_i - cx_ср.)² = c² * Σ(x_i - x_ср.)² = c^{2 *}D(x)

5.3. D(x + y) = M((x + y) - M(x + y))² = M(x + y - M(x) - M(y))² = M((x - M(x)) + (y – M(y))² = M(x-M(x))² + 2M ((x – M(x))(y – M(y)) + M(y – M(y))² = D(x) + D(y) + cov (x,y)

(cov (x,y) – корреляционный момент (ковариация))

5.4. D(xy) ≠ D(x) * D(y)

R = (R – коэффициент корреляции)

Статистическая гипотеза – любое предположение относительно свойств генеральной совокупности случайных величин.

Ошибки 1 рода (α) – принятие неверной гипотезы.

Ошибки 2 рода (β) – отвержение на самом деле верной гипотезы.

Регрессионный анализ: определение, уравнение регрессии, факторы, параметры, отклик. Метод наименьших квадратов. Решение уравнения МНК в матричной форме.

Регрессионный анализ – статистический метод исследования или влияния от одной или нескольких зависимых переменных на зависимую переменную.

Уравнение регрессии представляет собой бесконечный ряд:

y = a₀ + a₁x₁ + a₂x²₁ + a₃x₁x₂ + …

(y – отклик (зависимая переменная), x – факторы, a – параметры регрессии)

Поиск линии регрессии осуществляется с использованием метода наименьших квадратов, когда минимизируется остаточная сумма квадратов (S):

S = (N – объём выборки, y_i – экспериментальное значение отклика, y_i _ср.– расчётное значение).

Если S → min, то:

Параметру a₀ добавим фактор x₀, равный во всех случаях 1:

Дифференцируем остаточную сумму квадратов по a₀:

Разделяем переменные:

Дифференцируя аналогичным образом S по a₁ и a₂, получаем:

В итоге получаем три уравнения с тремя неизвестными коэффициентами регрессии. Данную систему уравнений удобнее решать в матричном виде. Для этого введём матрицу X, представляющую собой вектор-строку: