С учетом введенных обозначений (5.3) принимает следующий вид

J(w) = .                           (5.4)

Данное выражение представляет собой квадратичную форму относительно w и по­тому для положительно определенной матрицы R, что чаще всего имеет место, функция (5.4) имеет единственный минимум, для нахождения кото­рого необходимо приравнять нулю вектор градиента:

grad J(w) = -2p + 2Rw = 0.

Отсюда получаем искомое решение для оп­тимальных коэффициентов фильтра:

w = .                                        (5.5)

Такой фильтр называется фильтром Вине­ра. Подстановка (5.5) в (5.4) дает минимально достижимую дисперсию сигнала ошибки:

.                                (5.6)

Несложно также показать, что =0 и =0.  Т.е. сигнал ошибки для фильтра Винера не корре­лирован со входным и выходным сигналами фильтра.

Алгоритм LMS

Один из наиболее распространенных адаптивных алгоритмов основан на поиске минимума целевой функции (5.3) методом наи­скорейшего спуска (вариант метода градиентного спуска при выборе наилучшего шага на каждой итерации спуска). При использовании дан­ного способа оптимизации вектор коэффици­ентов фильтра w(k) должен рекурсивно об­новляться следующим образом:

                  (5.7)

где  – положительный коэффициент, называемый размером шага. Подробный анализ схо­димости данного процесса приведен, например, в [6]. Скорость сходимости за­висит от разброса собственных чисел корреляционной матрицы R – чем меньше отношение наибольшего и наименьшего ее собственных значений,тем быстрее сходится итерационный процесс.

Для расчета градиента необходи­мо знать значения матрицы R и вектора р. Но на практике могут быть доступны лишь оценки этих значений, получаемые по входным данным. Простейшими такими оценками являются мгновенные значения корреляционной матрицы и вектора взаимных корреляций, по­лучаемые без какого-либо усреднения:

При использовании данных оценок формула (5.7) принимает следующий вид:

 (5.8)

Выражение, стоящее в скобках, согласно (5.2) представляет собой разность между образцовым сигналом и выходным сигналом фильтра на к- м шаге, т.е. ошибку фильтрации e(k). С учетом этого выражение для ре­курсивного обновления коэффициентов фильтра оказывается очень простым:

                                       (5.9)

Алгоритм адаптивной фильтрации, осно­ванный на формуле (9), получил название LMS (Least Mean Square, метод наименьших квадратов). Можно получить ту же формулу и несколько иным образом: использовав вместо градиента статистически усредненного квадрата ошибки    градиент его мгновенного значения .

Основным достоинством алгоритма LMS является предельная вычислительная простота – для подстройки коэффициентов фильтра на каждом шаге нужно выполнить N + 1 пар операций «умножение–сложение». Платой за простоту является медленная сходимость и повышенная, по сравнению с минимально достижимым значением (6), дисперсия ошибки в установившемся режиме – коэффициенты фильтра всегда флуктуируют вокруг оптимальных значений (5), что и увеличивает уровень выходного шума.

Существует большое число модификаций алгоритма LMS, направленных на ускорение сходимости либо на уменьшение числа арифметических операций. Ускорение сходимости может быть достигнуто за счет улучшения используемой оценки градиента, а также за счет преобразования входного сигнала с целью сделать его отсчеты некоррелированными. Уменьшение вычислительной сложности может быть достигнуто, в частно­сти, за счет использования в (5.3) не самих сигнала ошибки и содержимого линии задержки фильтра, а лишь их знаков. Это позволя­ет полностью избавиться от операций умножения при обновлении коэффициентов фильтра. В целом следует отметить, что требования ускорения сходимости и сокращения вычислительных затрат являются противоречивыми.