Формула Шеннона и интервал Найквиста

Развитие телеграфной техники привело к необходимости теоретически оценить предельно достижимую скорость передачи элементарных посылок тока через канал связи, рассматриваемый как линейный фильтр нижних частот с частотой среза F _н (Проблема № 3 ПТИ). Первым, кто в 1928 г. успешно решил эту задачу, был американский электроинженер шведского происхождения Гарри Найквист. Он доказал, что интервал между соседними элементарными телеграфными посылками T _э должен быть не менее, чем величина 1/(2 F _н): T _э ≥ 1/(2 F _н). Подчеркнём, что при аналого-цифровом преобразовании сигналов s (t) со спектром, ограниченным величиной F_m, величина интервала дискретизации Δ t _д, напротив, должна быть не более, чем величина 1/(2 F_m): Δ t _д ≥ 1/(2 F_m).

По предложению Шеннона предельное значение интервала (шага, периода) дискретизации Δ t _макс = 1/(2 F_m), где F_m – максимальное значение частоты финитного спектра детерминированного сигнала s (t) с ограниченной энергией или энергетического спектра W _ξ(ω) эргодического случайного сигнала ξ(t), называется интервалом Найквиста (см. разд. 15), хотя сам Найквист проблемой дискретизации не занимался. Однако рассуждения Г. Найквиста относительно предельно достижимой скорости телеграфирования оказались настолько логически безукоризненными и нашли такое широкое применение в современных цифровых системах электросвязи, что они безусловно должны войти в курс «Прикладная теория информации» как пример глубокого инженерного подхода к математическим проблемам.

В 1924 г. Г. Найквист опубликовал статью «Некоторые факторы, влияющие на скорость телеграфирования» [53], в которой он сформулировал эвристическое положение (p. 332-333): «Скорость, с которой сообщение может передаваться по телеграфной линии, имеющей заданную … частоту следования элементарных посылок, может быть определена приблизительно следующей формулой … W = K log m, где W – скорость передачи сообщения, m – число уровней тока [используемых в многоуровневой телеграфии – Г. Х.], – константа».

Отметим, что в 1924 г. Найквист пользуется термином “ intelligence ” (сообщение), а не “ information ” (информация).

Вместе с тем, величина K в формуле Найквиста должна зависеть от частоты среза F _Н полосы пропускания телеграфной линии, рассматриваемой как фильтр нижних частот, поскольку элементарные посылки тока претерпевают в проводной линии связи соответствующие линейные искажения: затягивание фронтов импульсов тока, наличие у телеграфных сигналов на выходе линии связи «хвостов» и т. п.

Сотрудник Найквиста по Белловским телефонным лабораториям Ральф Хартли в 1928 г., на основании анализа переходных процессов в телеграфнойсистеме, пришёл к следующем качественному выводу (цит. по рус. переводу [50], с. 24): «… максимальная скорость передачи информации, возможная в системе, частотный диапазон которой ограничен некоторой областью [не обязательно частотой среза по низким частотам – Г. Х.], пропорциональна ширине этой полосы частот. Отсюда и следует, что о б щ е е к о л и ч е с т в о и н ф о р м а -ц и и, к о т о р о е м о ж е т б ы т ь п е р е д а н о п о с р е д с т в о м т а к о й с и ст е м ы, п р о п о р ц и о н а л ь н о п р о и з в е д е н и ю п е р е д а в а е -

м о й п о л о с ы ч а с т о т н а в р е м я, в т е ч е н и е к о т о р о г о с и с т е-м а и с п о л ь з у е т с я д л я п е р е д а ч и» [разрядка Р. Хартли – Г. Х.]. Кроме того, он считает, что следующую элементарную посылку нужно передавать тогда, когда переходные процессы в телеграфной линии практически уже затухли. Подчеркнём, что в 1928 г. Хартли использует уже термин “ information ” и обобщает меру количества информации, предложенную Найквистом (log m) для случая равновероятных дискретных сообщений.

В фундаментальной статье 1928 г. [54] Г. Найквист пишет (p. 617): «Чтобы определить степень искажения телеграфных сигналов, нужно рассчитать переходные процессы в телеграфной системе. Эта методика использовалась различными авторами [в том числе и Хартли – Г. Х.], а их решения справедливы для телеграфных систем с простыми начальными условиями...

Статья “атакует” эту же проблему с альтернативной точки зрения: с использованием характеристик установившегося режима в системе».

Вначале Найквист рассматривает «многоуровневую телеграфию», при которой длительности подряд идущих элементарных прямоугольных посылок одинаковы и равны τ_э, а каждая элементарная посылка имеет свой индивидуальный множитель a_h. Если взять N таких телеграфных посылок, то спектр Фурье последовательности посылок с амплитудами a ₁, a ₂, …, a_h, …, a_N будет линейчатым и определяться «фактором формы»:

F (f_n) = 2 sin (π f_n τ_э)/(π f_n τ_э) = 2 sinc (π f_n τ_э), где sinc (x) ≡ (sin x)/ x.

Наоборот, если имеется элементарная посылка, спектр которой является равномерным в полосе частот f от f = 0 до f = F _Н, а вне этой полосы – нулевой, то её форма есть s _э(t) = 2 F _Н sinc (2 π F _Н t). Позже эту функцию назвали функцией отсчётов (см. разд. 15).

При t = 0 величина s _э(0) = 2 F _Н, а при t_k = k /(2 F _Н); k ≠ 0; величина s _э(t_k) = 0. Отметив этот математический факт, Найквист переходит к анализу сигналов во временнόй области.

Телеграфный канал в первом приближении можно считать фильтром нижних частот с частотой среза F _Н. Поэтому на выходе системы сигнал s _вых(t) по отношению к входной прямоугольной посылке длительностью τ_э будет «затянутым», и часть энергии предыдущих элементарных посылок будет попадать в интервал времени, отведённый для текущего элемента, что вынуждает уменьшать скорость телеграфирования (скорость поступления на вход телеграфного канала элементарных посылок), то есть подавать элементарные посылки с частотой (0,5... 0,7) F _Н, что характерно для обычного однополюсного двухуровневого телеграфа.

Как истинный инженер-изобретатель, Найквист вводит неожиданный, но почти очевидный критерий отсутствия межсимвольных искажений. Он замечает, что если на выходе телеграфной линии, на которую поступают прямоугольные (элементарные) посылки с различными амплитудами из множества (многоуровневая телеграфия), измеряются мгновенные напряжения (или токи) в середине каждой посылки и если измеренные напряжения будут пропорциональны этим амплитудам, то на выходе канала можно будет синтезировать последовательности прямоугольных посылок, подобные входным последовательностям. В таком случае, несмотря на межсимвольную интерференцию, имеющуюся на выходе телеграфной линии с ограниченной полосой пропускания F _Н, передача сообщений будет неискажённой.

В Прил. II -А к статье [54] Найквист показывает, что такому критерию удо-влетворяют сигналы, которые имеют равномерную амплитудно-частотную характеристику в диапазоне частот f от f = 0 до f = F _Н, то есть s _вх(t) = a_h sinc (π t /τ_э), где τ_э = 1/(2 F _Н). На выходе канала связи с равномерным коэффициентом передачи в полосе частот f от f = 0 до f = F _Н вклад всех элементарных посылок, предшествующих данной посылке, в середине временного интервала, который соответствует текущей посылке, будет нулевым, и межсимвольных искажений не будет.

Такие телеграфные системы – нереализуемы. Однако Найквист доказывает, что если к сигналу с идеальной прямоугольной амплитудно-частотной характеристикой (АЧХ) добавить сигнал, спектр которого симметричен относительно F _Н(с точностью до знака), то получившийся суммарный телеграфный сигнал также не будут вносить межсимвольных искажений и будет передавать сообщения со скоростью v _т, близкой к величине 2 F _Н, что в 2-3 раза превышает скорость телеграфирования в обычном (однополярном) телеграфе. Правда, для этого в телеграфной системе должна производиться сложная синхронная нелинейная обработка сигналов, что было реализовано лишь в 1980-х годах в системах электросвязи с многоуровневой амплитудной манипуляцией N-ASK.

На рис. 27 представлены действительные и мнимые части коплексных спектров телеграфной волны (элементарной посылки), которая позволяет пере-

давать телеграфные сообщения с максимальной скоростью телеграфирования

по телеграфной линии связи без помех, имеющей коэффициент передачи вида: = 1 при | f | >> F _Н. Рис. 27. а соответствует идеальному телеграфному сигналу s _вх(t) с прямоугольной амплитудно-частотной характеристикой и с физически не реализуемой формой s _вх(t) = A sinc (2 π F _Н t).

На рис. 27. б и 27. в представлены соответственно действительные и мнимые части спектра сигнала, имеющего нулевые переходы в точках: t_k = k /(2 F _Н), где k = 0, ± 1, ± 2, … На рис. 27. г – действительная часть спектра суммарного сигнала s _вх(t), который может быть передан по рассматриваемой телеграфной линии с максимальной скоростью телеграфирования v _т = 2 F _Н. Покажем, что добавочный сигнал s ₊(t), который имеет «кососимметричную» реальную и симметричную относительно точки f = F _Н мнимую части спектра , изображённые на рис. 27. б, не будет вносить линейных искажений в значения сигнала s _вх(t) = A sinc (2 π F _Н t) в точках t_m = m /(2 F _Н) = m /τ_э.

Действительно. Выделим в спектре сигнала s ₊(t) элементарные полосы частот шириной Δ f около частот f _{+ n} = F _Н + n Δ f и f _{– n} = F _Н – n Δ f ; n ≠ 0.

Получим элементарные колебания:

По построению (см. рис. 27. б) имеем:

,

Значит, s_n (t) = s _{+ n} (t) + s _{– n} (t) =

Если просуммировать все элементарные составляющие добавочного сигнала s ₊(t), то получим:

или то есть добавочный сиг-

1

0,5

0 F _Н f 0 F _Н f

а)

0,5

Δ f n Δ f n Δ f

0 F _Н f 0 F _Н f

б )

1

0,5

0 F _Н f 0 F _Н f

в)

Рис. 27. Синтез оптимального телеграфного сигнала по Найквисту

сигнал s ₊(t) представляет собой некоторый амплитудно-модулированный сигнал без несущей и с огибающей и высокочастотным заполнением cos (2 π F _Н t).

Огибающую сигнала можно выбрать так, чтобы она не имела нулевых переходов вообще. Тогда временнóе положение t_l⁺ нулевых переходов добавочного сигнала s ₊(t) будет определяться равенством:

cos (2 π F _Н t_l⁺) = 0, или 2 π F _Н t_l⁺ = (l – 1/2) π, или t_l⁺ = τ_э (l – 1/2).

Если во входном элементарном сигнале s _вх(t) = A sinc (π t /τ_э) ввести задержку на величину t _з = τ_э /2, то во всех характерных (отсчётных) точках t_m = τ_э (m + 1/2) сигнала s ₀(t) = s _вх(t – τ_э /2) = A sinc [2 π F_Н(t – τ_э /2)] величина cos (2 π F_Н t_m) = cos [2 π F_Н τ_э (m + 1/2)] = cos [π (m + 1/2)] = sin (m π) равна нулю. Значит, построенный нами добавочный сигнал s ₊(t) в мгновенные значения идеального телеграфного сигнала s ₀(t) в середине каждого из элементарных временных интервалов длительностью τ_э линейных искажений вносить не будет, но зато может «погасить» колебания идеального сигнала s ₀(t) при t ≤ 0 и сделать его физически реализуемым.

Всё это справедливо для многоуровневой телеграфии, в которой (в подавляющем большинстве случаев) соседние посылки не имеют одинаковых амплитудных множителей a_h. В двухуровневой однополярной телеграфии (в обычном телеграфе) это может случаться очень часто. Поэтому в обычном телеграфе следует на интервале длительностью τ_э передавать одну из двух элементарных посылок с амплитудами a_h = + A либо – A и длительностью τ _h = τ_э /2. Спектр таких посылок будет равным S (ω) = ± A sinc (ω τ_э /4). В пределах полосы пропускания телеграфной линии связи [0, F _Н = 1/(2 τ_э)] будет располагаться лишь часть энергии элементарной посылки. Чтобы наиболее полно использовать линию связи (то есть максимизировать отношение сигнал/помеха на выходе телеграфного канала), следует скорректировать характеристику АЧХ посылки, сделав её прямоугольной в полосе частот [0, F _Н = 1/(2 τ_э)]. А чтобы коэффициент передачи телеграфной линии был физически реализуемым, нужно к нему добавить соответствующий «кососимметричный» член.

Такие характеристики телеграфной линии связи могут быть реализованы с помощью хорошо разработанных методов синтеза электрических цепей с минимально-фазовыми коэффициентами передачи. Обычно в качестве физически реализуемого коэффициента передачи такой линии электросвязи используют

функцию «приподнятого косинуса» с коэффициентом скругления α = 0,3 [35]:

при ;

при ;

0 при .

В Прил. II -В к статье [54] Найквист приводит простой пример реализации телеграфной системы, которая может передавать сообщения со скоростью v _т = = 2 F _Нбез межсимвольных искажений (см. рис. 28. а). При поступлении прямоугольных посылок на вход такой системы на её выходе получаются сигналы (рис. 28. б ), представляющие собой затухающие колебания с эквидистантным расположением своих нулевых переходов (как у функции отсчётов!), что и обеспечивает неискажённую передачу сообщений с предельно возможной скоростью.

Далее Найквист получает аналогичные результаты для многоканального телеграфа с частотным разделением каналов, рассматривает телеграфию с произвольной формой элементарных посылок и эквивалентность (дуальность) временнóго анализа и частотного. Тем самым он полностью решает вопрос о значении коэффициента К в формуле W = K log т:величина К не может превосходить величину 2 F _Н,но может быть достаточно близкой к ней.

Наконец – он возвращается к оценке возможного числа уровней т,используемых для многоуровневой телеграфии. Найквист приходит к выводу, что число т ограничивается двумя факторами: максимально возможными (в данной телеграфной системе) уровнями токов или напряжений и уровнями электрических помех. Найквист заключает [54]: «Если помеха непредсказуема, её абсолютная величина должна быть меньше, чем половина разности между любыми двумя уровнями тока, используемыми для телеграфирования [курсив наш – Г. Х.]».

Рис. 28. Реализация (Найквиста) телеграфной системы,

имеющей наибольшую скорость телеграфирования

Отсюда непосредственно следует формула (Найквист почему-то её не приводит): W = 2 F _Нlog (I _мaкc / I _п+ 1), где W – скорость передачи сообщений (мы бы сказали: информации); F _Н– частота среза частотной характеристики телеграфного канала; I _мaкc – максимально допустимый ток в телеграфной линии; I _п – максимальный уровень помех в этой линии.

Как видим, роль Г. Найквиста в разработке прикладной теории информации аналогична роли М. Фарадея в разработке электродинамики: К. Шеннону «оставалось только обобщить»результаты Найквиста и провести их строгое математическое обоснование. Хотя содержание статьи Найквиста [54] 1928 г. не имеет прямого отношения к теореме отсчётов, результаты этой статьи являются выдающимися, что по достоинству было оценено лишь в конце 1980-х гг.

Таким образом, фундаментальные результаты Г. Найквиста по оцениванию предельно достижимой скорости телеграфирования могут быть практически реализованы, по крайней мере, в двух простейших вариантах.

Если мы передаём аналоговый сигнал с финитным спектром, ограниченным верхней частотой F_m, то (без учёта электрических помех в линии связи) для его передачи можно использовать аналоговый канал с «кососимметричным» коэффициентом передачи и с частотой среза (Найквиста) F _Н = F_m. При этом на входе канала передачи «непрерывных сообщений» передаваемый сигнал превращается в ступенчатый сигнал с длительностью «элементарных ступенек» τ_э = 1/(2 F_m) и значениями амплитуды этих «ступенек», равными мгновенным значениям передаваемого сигнала в середине каждой «ступеньки».

На выходе канала связи мгновенные значения выходного сигнала в середине соответствующих интервалов времени длительностью τ_э будут пропорциональны соответствующим им мгновенным значениям переданного сигнала. Зная этот коэффициент пропорциональности (например, измеряя его текущее значение по эталонной – единичной – посылке), можно восстановить все дискретные отсчёты переданного сигнала и в соответствии с теоремой Котельникова-Шеннона полностью восстановить переданное сообщение.

Если мы хотим передавать некоторое бинарно-закодированное сообщение с помощью обычного телеграфа со скоростью v _т, то следует организовать синхронизированную линию электросвязи такого телеграфа с тактовой частотой синхронизации v _т = 2 F _Н и с коэффициентом передачи типа «приподнятого косинуса» с частотой среза F _Н. Сообщения следует передавать бинарными посылками длительностью τ _э = 1/(4 F _Н), а на приёмном конце телеграфа реализовать синхронную обработку согласно методу Найквиста.

В статьях 1940 и 1948 гг. ([46], с. 433-460 и 243-332) Клод Шеннон завершил создание основ прикладной теории информации, продолжив развитие идей своих старших коллег по БТЛ Г. Найквиста и Р. Хартли. Он впервые ввёл в рассмотрение меру количества информации для неравновероятных сообщений

(энтропию источника ДИС), а также количественную меру для степени потери информации в каналах КПДС при наличии в последних различного рода помех (пятый постулат ПТИ – см. разд. 7).

В разд. 9 мы провели оценивание информационной ёмкости ℰ каналов передачи дискретных сообщений (КПДС), то есть рассмотрели информационную эффективность передачи сообщений по различным каналам КПДС в статическом режиме его работы. Проведённые в разд. 16 рассуждения позволяют достаточно просто обобщить результаты разд. 9 на динамические каналы КПДС, работающие в режиме реального времени в присутствии помех.

Итак, дискретные сообщения из ансамбля с помощью квантованных уровней электрического напряжения на входе линии связи мы можем (в отсутствие в канале КПДС помех) без линейных искажений передавать с «физической скоростью» v _т = 1/(2 F _Н), где F _Н – частота среза линии электросвязи (Найквиста). В этом случае скорость передачи информации v _и (при полностью снятой избыточности источника дискретных сообщений) будет определяться выражением: v _и = log N /(2 F _Н).

Как же повлияют помехи в канале КПДС на величину скорости v _и, если «физическую скорость передачи» мы увеличить не можем, поскольку она определяется частотой Найквиста F _Н?

Пусть в полосе пропускания канала электросвязи присутствует аддитивный белый гауссовский шум (АБГШ) со средней спектральной плотностью мощности N ₀ и пусть модуль коэффициента передачи канала имеет вид:

при | ω | ≤ 2 π F _Н и при | ω | > 2 π F _Н.

Тогда на выходе канала электросвязи корреляционная функция R _Н(τ) шума АБГШ ξ_Н(t) есть:

R _Н(τ) = .

Значит, при τ _n = n τ_э корреляционная функция R _Н(τ _n) = 0.

Если же мы к прямоугольному коэффициенту передачи добавим «кососимметричный» член, то получим результирующий коэффицеинт передачи канала связи:

Отсюда:

или

Таким образом, получаем:

В силу зеркальной симметрии функции и чётности функции cos (2 π f τ) получаем:

.

Корреляционная функция «добавочного» шума R ₊(τ), в силу чётности функции , есть:

где – огибающая функции , а F _Н – частота её высокочастотного заполнения.

Значит, стационарные гауссовские шумы на выходе канала электросвязи с коэффициентом передачи имеют в качестве корреляционной функции

R _Σ(τ) функцию: R _Σ(τ) = R _Н(τ) + K ₀² cos (2 π F _Н τ).

Корреляционная функция имеет нулевые переходы в точках τ _n, удовлетворяющих уравнению: 2 F _Н τ _n = n /2. При F _Н = 1/(2 T _э) получаем: τ _n = n τ_э /2.

Значит, корреляционная функция R _Σ(τ) шумов ξ_Σ(t) на выходе канала электросвязи с коэффициентом передачи имеет нулевые значения в точках τ _n = n τ_э /2, то есть мгновенные значения реализаций шума ξ_Σ(t) в точках t = t ₁ и t = t ₂ при t ₂ – t ₁ = τ_э не коррелированы, а в силу их гауссовости – независимы.

Мы доказали, что

в динамическом многоуровневом канале передачи дискретных сообщений, имеющем линию электросвязи с шириной полосы пропускания Δ F = 2 F Н (по уровню половины модуля коэффициента передачи линии), количества передаваемой по каналу КПДС информации, которое соответствуют дискретным отсчётам, отстоящим друг от друга на интервалы n τэ = n /(2 F Н), суммируются.

В разд. 9 мы рассмотрели информационную ёмкость ℰ(Q) статических каналов КПДС и вывели её асимптотическую оценку – формулу Клода Шеннона: ℰ_Ш(Q) = log .

Поскольку в динамическом канале КПДС в единицу времени мы можем передавать 1/ T _э = 2 F _Н отсчётов, то при стационарном режиме работы динамического канала КПДС мы можем передавать сообщения с информационной скоростью C _Ш(Q) = 2 F _Н ℰ_Ш(Q) = F _Н log (1 + Q).

Таким образом, мы связали информационную статику с информационной динамикой, теорему Котельникова-Шеннона с интервалом и частотой Найквиста и доказали центральную теорему прикладной теории информации:

информационная скорость передачи дискретных сообщений (по обычным каналам электросвязи) при наличии в них аддитивных белых гауссовских шумов ограничена сверху пределом C Ш(Q) = F Н log (1 + Q), где F Н – частота среза (Найквиста) линии электросвязи, рассматриваемой как фильтр нижних частот (Гц), Q – отношение сигнал / шум (по мощности), C Ш(Q) – информационная пропускная способность аналогового канала передачи дискретных сообщений (бит / с).

Формулу C _Ш(Q) = F _Н log назовём формулой Шеннона информационной динамики.

Перейдём к рассмотрению так называемых «непрерывных сообщений» и «оптимальных каналов» передачи таких сообщений.

Вопросы для самопроверки

1. Какова простейшая математическая модель динамического источника дискретных сообщений?

2. Что такое производительность динамического источника дискретных сообщений?

3. Какова максимальная производительность бинарного динамического источника дискретных сообщений?

4. Каким образом передаётся дискретная информация в динамической системе передачи информации в отсутствие помех?

5. Как формулируется основная теорема Шеннона информационной динамики для дискретного канала без помех?

6. Как формулируется основная теорема Шеннона информационной динамики для дискретного канала при наличии в канале помех?