Теоретические основы моделей линейного предсказания

 

     2.1. Модель авторегрессии в корреляционной теории

 

  2.1.1. Принципы построения модели авторегрессии

 

В основу модели АР положена корреляция отсчета случайного процесса в текущий момент времени с некоторым конечным или бесконечным числом отсчетов в предыдущие моменты времени. Корреляционные связи позволяют осуществить регрессию текущего отсчета на предшествующие отсчеты. Такой вид регрессии называется авторегрессией. В уравнении АР текущий отсчет представляется взвешенной суммой предыдущих с некоторыми коэффициентами веса

 ,                                 (1)

где - коэффициенты АР, - некоррелированные случайные отсчеты, - порядок модели АР.

Величина

,                                          (2)

называется предсказанием случайной величины . Разность между текущим значением отсчета и его предсказанием называется ошибкой предсказания

 .                                            (3)

Величина  характеризует, по существу, максимальную точность предсказания текущего отсчета, а ее статистические свойства определяют выбор порядка модели АР.

Из (1) видно, что построение АР модели случайного процесса сводится к нахождению коэффициентов АР и определению порядка . Умножив правую и левую части (1) на ^, а затем усреднив, можно получить систему  уравнений

,  ,                             (4a)

,                                             (4б)

где - значения функции корреляции случайного процесса

- дисперсия ошибок предсказания модели АР, - дисперсия случайного процесса . Набор уравнений (4а) и (4б) называется полной системой уравнений Юла - Уокера. Решением этой системы являются коэффициенты АР и дисперсия ошибок предсказания. При выводе уравнений (4а) было учтено, что 

, , ,                                    (5a)

, , .                                    (5б)

Соотношения (5) следуют из некоррелированности ошибок предсказания . Решение системы уравнений (4а) можно представить в матричном виде

 ,                                                      (6a)

где

, , .        (6б)

Как видно из (4а), уравнение не изменится, если вместо  использовать нормированные значения функции корреляции , которые называются коэффициентами корреляции. Очевидно, что при этом параметры модели АР останутся прежними.

Как следует из (6а,б), для первого порядка модели АР 

.                                                 (7)

Для модели АР второго порядка коэффициенты АР равны

                                  ,     

.                                 (8)

Отметим важное свойство коэффициентов АР, на котором основано использование моделей предсказания в качестве обеляющих фильтров. Коэффициенты АР, рассчитанные с помощью уравнений Юла-Уокера (4а) минимизируют дисперсию ошибки предсказания

                   .                              (9)

В этом легко убедиться, продифференцировав (9) по ^, и приравняв производную к нулю. При этом полученная система уравнений совпадает с (4а).

Достоинством модели АР является ее конструктивность, заключающаяся в возможности синтеза довольно простым образом алгоритмов обработки случайных процессов. На рис. 1 представлен АР фильтр предсказания (обеляющий фильтр), алгоритм действия которого описывается выражением (3). Он состоит из линий задержки, усилителей с коэффициентами усиления , и сумматора. Ошибки предсказания на выходе этого фильтра будут отсчетами белого шума, а точнее некоррелированным процессом. Дисперсия ошибки предсказания на выходе фильтра будет иметь минимальное значение, если коэффициенты АР найдены из уравнения (4а).

Порядок процесса АР определяется с использованием различных критериев, как правило, основанных на минимизации некоторой теоретико-информационной функции. Для определения порядка модели пользуются методами Бартлетта [1], Акайке, Парзена. Порядок модели можно находить из условия не убывания дисперсии ошибки предсказания при дальнейшем повышении порядка. Довольно эффективным методом определения порядка модели АР является метод, основанный на проверке близости корреляционной функции случайного процесса на выходе обеляющего АР фильтра к корреляционной функции белого шума.

 

    

 

                                                                 

                                                                                                               

 

 

Рисунок 1. АР фильтр предсказания

 

Процессы АР можно характеризовать конечным числом значений функции, определяемой корреляционной функцией. Такая функция носит название частной автокорреляционной функции. Ее можно выразить через коэффициенты АР, порядок которых изменяется от единицы до . Т.к. коэффициент АР с номером  полагается равным нулю, то процесс АР можно характеризовать конечным набором не равных нулю коэффициентов АР, с номером равным р для моделей АР с порядками от единицы до ^- , . Поэтому значения частной автокорреляционной функции полагаются равными , . Можно показать, что первые три значения частной автокорреляционной функции описываются выражениями вида

                         ,

                       ,

 .                    (10)

Достоинством частной автокорреляционной функции по сравнению с автокорреляционной функцией является ее конечная длина. Как показал Бартлетт [1], значение частной автокорреляционной функции можно полагать равным нулю, если оно меньше , где - длина реализации, по которой производилась оценка значений функции корреляции. Таким образом, по существу, производится оценка порядка модели АР. 

 

2.2.1. Спектр процесса авторегрессии

 

 Формула для нахождения спектра модели АР лежит в основе параметрического спектрального оценивания. Для ее вывода будем рассматривать процесс АР как реакцию формирующего фильтра , на вход которого подаются некоррелированные отсчеты . Можно показать, что -преобразование передаточной функции АР фильтра имеет вид

,                                          (11)

где

 , .                             (12)

-преобразования СПМ выходного и входного процессов связаны соотношением

.                           (13)

Чтобы найти СПМ выходного АР процесса необходимо в (13) сделать замену  и положить, что для белого шума  - постоянная величина. Тогда из (13) следует выражение для параметрической оценки СПМ

 .                               (14)

Выражение (14) широко используется в параметрическом методе спектрального оценивания. В качестве параметров, полностью характеризующих спектральную оценку случайного процесса, выступают коэффициенты АР и порядок модели. Параметрическое спектральное оценивание обладает рядом преимуществ по сравнению с традиционными методами спектрального оценивания. К ним относятся: более высокое спектральное разрешение при использовании коротких выборок, отсутствие боковых лепестков.

С помощью модели АР можно получать спектральные оценки случайных процессов со сложной формой СПМ. Для этого может быть придется использовать модели АР большого порядка. На основе модели АР легко синтезируются оптимальные фильтры подавления, согласованные не только по частоте и полосе спектра, но и по форме спектра случайного процесса. Достоинством формулы (14) является возможность анализировать СПМ в аналитическом виде, что невозможно сделать при использовании традиционных методов спектрального оценивания на основе преобразования Фурье. Например, можно найти формулы для определения частоты максимумов и минимумов СПМ. 

Чтобы определить положение максимума или минимума АР оценки СПМ, нужно взять производную от (14) по  и приравнять ее к нулю. Корни полученного уравнения определяют положение экстремумов функции СПМ. При , можно показать, что 

,                              (15)

где  - частота на которой находится максимум СПМ. 

 

 

   2.1.3. Характеристическое уравнение модели авторегрессии

 

Модель АР, описываемая уравнением (1), может быть представлена в операторной форме

 ,                                         (16)

где оператор АР  имеет вид 

.                             (17)

Действие оператора сдвига z на текущий отсчет описывается следующим образом

 .                                          (18)

Из условия устойчивости формирующего АР фильтра с рациональной передаточной функцией (11), следует условие стационарности АР процесса. Для проверки стационарности случайного АР процесса используется характеристическое уравнение

.                                  (19)

Если корни характеристического уравнения (19) лежат внутри единичного круга на комплексной плоскости, то процесс АР удовлетворяет условию стационарности и его корреляционная функция стационарна. Характеристическое уравнение (19) можно представить также в виде

 .                              (20)

Тогда условие стационарности заключается в том, что корни характеристического уравнения (20)  должны лежать вне единичного круга на комплексной плоскости.

Используя (19) или (20) оператор АР (17) можно представить в виде

 .                          (21)

Из (21) следует, что уравнение АР (1) можно записать следующим образом

.                                      (22)

 Сравнивая (1) и (22) найдем связь между коэффициентами АР и корнями  характеристического уравнения (20). Приведем соответствующие формулы для :

,                                                                                           (23a)

;

,                                                                                 (23б)

;

;

,                                                                          (23в)

;

;

    ;

   ,                                                                  (23г)

где первый индекс в квадратных скобках указывает на соответствующий порядок модели. Полученные формулы оказываются весьма полезными для определения коэффициентов АР по заданным характеристикам случайного процесса.

Отметим, что корни характеристического уравнения полностью описывают модель АР. Свойства модели зависят параметров, через которые они выражаются. Если корень действительный, то его можно представить в виде экспоненциальной функции [2]

,                                            (24а)

где - коэффициент демпфирования равный , а -ширина полосы -го пика СПМ. Тогда действительные корни характеристического уравнения принимают вид

 .                                          (24б)           

Комплексные корни характеристического уравнения описываются выражениями

 , ,                     (25)

где  - собственная частота модели АР с поправкой на демпфирование, соответствующая -тому пику СПМ. 

 

  2.1.4. Генерация коррелированного случайного процесса

 

В задачах статистического моделирования часто возникает необходимость генерации случайного процесса с заданной корреляционной функцией или с заданной формой и характеристиками СПМ. Для этих целей эффективно использовать генератор процесса АР, показанный на рис. 2. Генерация случайного процесса осуществляется методом порождающего случайного процесса. Порождающий процесс в виде белого шума, обычно с гауссовой функцией распределения, пропускается через формирующий фильтр, параметры которого определяются соответствующей моделью АР.

                                   

 

 

                                                                                       

                                                          

 

 

Рисунок 2. Генератор процесса АР

 

Для генерации процесса нужно выбрать необходимое количество пиков СПМ. Тогда порядок модели АР равен удвоенному числу пиков. Так, для СПМ с одним пиком на ненулевой частоте, порядок модели равен 2. Для СПМ с двумя пиками порядок модели равен 4. Затем выбирают частоту пика и его ширину полосы. Вычисленные значения корней характеристического уравнения по формулам (24), используются для нахождения коэффициентов АР. Для этого корни подставляются в соответствующие выражения (23). Генерация процесса осуществляется с помощью рекуррентного выражения (1) с использованием порождающего белого шума a[t]. Алгоритмы генерации белого шума можно взять, например из [3]. Функция распределения a[t] может быть любой, но, как правило, используют нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Белый шум с нормальным распределением получают из белого шума с равномерным распределением.

   

 3. Решетчатые фильтры для стационарных случайных процессов

  3.1. Достоинства решетчатых фильтров 

Построение АР модели или синтез АР фильтра требуют вычисления коэффициентов АР. Для этого не­обходимо обращать корреляционную матрицу, а эта операция, как правило, сопряжена с большим объемом вычислений. Поиски эффективных алгоритмов вычисления коэффициентов АР привели к синтезу решетчатых структур. Решетчатые структуры могут быть реализованы в виде решетчатых фильтров (РФ). Параметрами РФ являются коэффициенты отражения и число звеньев фильтра. Коэффициенты отражения однозначно свя­заны нелинейными соотношениями с параметрами АР и определяются, в конечном счете, корреляционной функцией случайного процесса. Число звеньев РФ равно порядку АР модели. РФ, также как и АР фильтры, являются фильтрами предсказания, минимизирующими дисперсию ошибки предсказания.

Несмотря на то, что АР фильтры и РФ математически эквивалентны, между ними существует ряд раз­личий, существенных с практической точки зрения. При цифровой реализации фильтров особое значение иг­рает шум округления. Его появление связано с тем, что значения величин приходится представлять конечным числом разрядов. Как показывает опыт, в этом отношении РФ более эффективны. Объясняется это тем, что ошибки округления (i-1)-го звена в РФ частично компенсируются в i-м звене РФ, чего нет в АР фильтрах.

Дру­гим существенным свойством цифровых фильтров является их чувствительность к квантованной форме пред­ставления параметров фильтра. Поэтому, естественно, возникает вопрос: насколько сильно зависят характе­ристики фильтра от отклонения величин параметров? Доказано, что РФ менее чувствительны к погрешностям квантования параметров по сравнению с фильтрами прямой реализации. При синтезе РФ, состоящего из p звеньев, используются те же коэффициенты отражения, что и у (p-1)-звенного фильтра. В АР фильтре при увеличении числа звеньев фильтра приходится заново пересчитывать все коэффициенты АР фильтра. Следо­вательно, использование РФ для обработки случайных сигналов имеет ряд преимуществ, по сравнению с АР фильт­рами. 

 

3.2. Синтез решетчатого фильтра

Несмотря на близость РФ и АР фильтров, использование РФ требует введения новых понятий и соот­ношений, на основе которых выводится структура РФ. Прежде всего, необходимо остановиться на выводе ре­куррентных соотношений, которые носят название алгоритма Левинсона-Дарбина. Алгоритм позволяет вы­числять для р-го порядка коэффициенты АР и отражения РФ по найденным коэффициентам АР модели сигнала 1…р порядков.

  По аналогии с фильтром прямого предсказания для сигнала, описываемого моделью АР р-го порядка, можно ввести фильтр обратного предсказания, описываемый выражением

,                                (26)

где  - коэффициенты фильтра обратного предсказания, состоящего из р звеньев,  - ошибка обратного предсказания на выходе р-го звена фильтра. Уравнение описывает регрессию значения случайного процесса  на последующие . Значения коэффициентов фильтра обратного предсказания находятся с помощью системы урав­нений, аналогичной системе уравнений Юла-Уокера. Объединяя уравнения (2.4а) и (2.4б), можно представить обобщенные уравнения Юла-Уокера в матричном виде

,                          (27)

где -квадрат СКО, равный дисперсии ошибки прямого предсказания, R_p - корреляционная матрица (p+1) –го порядка

.                                    (28)

Чтобы не выходить за рамки общепринятых в теории решетчатых фильтров обозначений (например [4]), в дальнейшем изложении будет использоваться замена и .

Умножив левую и правую части уравнения на , и усреднив, легко получить уравнение Юла-Уо­кера для фильтра обратного предсказания, аналогичное (27)

,                             (29)

где  - дисперсия ошибки обратного предсказания на выходе p-го звена фильтра обратного предсказа­ния. Объединив матричные уравнения (27) и (29) можно записать общее уравнение

.                           (30)

Очевидно, что для (р+1)-звенного фильтра должно так же выполняться соотношение типа 

.                       (31)

Но, как показано в [4], от матричного уравнения (30) можно перейти к матричному уравнению (31) лишь в том случае, если коэффициенты фильтров прямого и обратного предсказания p-го порядка связаны с коэффи­циентами фильтра (p+1)-го порядка следующим образом

 ,             (32)                                        

где - некоторые, так называемые, коэффициенты отражения. Умножив справа левую и правую части матричного уравнения (32), на корреляционную матрицу  можно показать, что коэффициенты отражения удовлетворяют соотношениям

,                                                 (33а)

.                                               (33б)

    Величины, входящие в соотношения (33а) и (33б), описываемые выражениями

,                                              (34а)

,                                           (34б)

как будет показано ниже, интерпретируются как взаимная корреляция ошибок прямого и обратного предска­зания при единичной задержке. Для скалярного случая справедливы равенства 

.                       (35)

Используя соотношения (23а), (23б) и учитывая (23), алгоритм Левинсона-Дарбина, позволяющий вычислять коэффициенты АР по коэффициентам отражения, можно предста­вить в виде

         (36)

 ,                          (37)

,                                                                          (38)

с инициацией

, .                             (39)

Найденный алгоритм Левинсона-Дарбина позволяет получить структуру РФ. Формулы (1) и (37) дают выражение

,           (40)

которое с помощью (26) и учетом (35) для р -го звена приводится к виду

 .                                            (41)       

Аналогично можно найти выражение для ошибки обратного предсказания в р звене

.                                             (42)

Полученные выражения (41) и (42) дают возможность представить структуру РФ в виде, изображенном на рисунке 3.

 

 

Рисунок 3. Обеляющий РФ.

 

При поступлении сигнала на вход фильтра на выходе каждого звена фильтра появятся ошибки пред­сказания вперед и назад. Как видно из рисунка 3 ошибки предсказания вперед и назад связаны друг с другом соот­ношениями (41) и (42).

  Можно показать, используя соотношение (42), что решение задачи минимизации дисперсии ошибки предсказания относительно коэффициента отражения К_p дает следующее выражение для коэффици­ента отражения

.                               (43)

К этому же соотношению можно придти путем несложных преобразований выражений (41) и (42). Таким обра­зом, РФ, коэффициенты отражения которого определяются алгоритмом Левинсона-Дарбина, минимизирует дисперсию ошибки предсказания. Выражение (43) дает удобную оценку коэффициентов отражения РФ, позволяющее обновлять их при адаптации фильтра.

Из рисунка 3 видно, что текущий отсчет случайного процесса можно представить в виде

 , ,                           (44)

т.е. взвешенным суммированием ошибок обратного предсказания в предшествующий момент времени с ко­эффициентами веса, равными коэффициентам отражения. Случайная величина х_t, представленная в виде (44), полностью определяется коэффициентами веса, роль которых играют коэффициенты отра­жения. Таким образом, коэффициенты отражения полностью характеризуют случайный процесс в рамках мо­дели АР. Это свойство коэффициентов отражения РФ позволяет использовать их в качестве информативного признака при распознавании и спектральном оценивании.