Дифференцирование по векторному аргументу

Определение 1. Производной скалярной функции от векторного аргумента размерности называется вектор-строка размерности :

.

Определение 2. Производной векторной функции размерности от векторного аргумента размерности называется матрица размерности , составленная из производных (матрица Якоби):

.

При определение 2 переходит в определение 1.

Правила дифференцирования по векторному аргументу

1. Пусть , при этом

.

Заметим, что — скаляр. В самом деле, размерность найдем с учетом размерности и X:

.

Тогда

.

2. Пусть — скалярная функция, — матрица , — . Тогда:

.

Для нахождения минимума функции (9) по , возьмем производную по .

Производная от суммы — есть сумма производных. Производная от первого члена будет нуль (т.к. от не зависит); производную от второго члена найдем, используя правило 1 и равенство (8), где играет роль :

; (10)

производная от третьего члена с использованием правила 2, где играет роль А:

. (11)

Дифференцируя (9) по , с учетом (10) и (11) получим:

.

Для нахождения минимума функции по полученный результат приравняем к нулю:

.

Далее находим :

.

Полученный результат и есть решение по обычному методу наименьших квадратов (OLS, Ordinary Least Squares Method).