Теоремы Шеннона о кодировании

Существует способ кодирования, позволяющий передать всю информацию источника по каналу без помех, если выполняется условие:

V_slog₂m > V_bH(X)

(пропускная способность канала выше производительности источника).

V_s – скорость передачи канальных символов,

m – объем алфавита символов,

V_b– скорость выдачи знаков источником,

H(X)–энтропия источника (количество информации на один знак).

При высокой скорости выдачи знаков источником в них может быть мало информации. Надо кодировать канальными символами равновероятные последовательности знаков источника. Тогда на каждый символ будет приходиться максимальное количество информации.

Существует способ кодирования, позволяющий передать всю информацию источника по каналу с помехами со сколь угодно малой вероятностью ошибок, если пропускная способность канала С выше производительности источника: С > V_bH(X)

Согласно теореме Шеннона – Хартли, пропускная способность канала

F – ширина полосы пропускания канала (F = 1/V_s),

S – средняя мощность сигнала,

N – средняя мощность шума,

E_b– энергия, приходящаяся на один бит,

R_b– битовая скорость,

N₀ – спектральная плотность мощности шума.

При m = 1 + S/N «расстояние» между сигналами, соответствующими разным символам, сравнимо с уровнем шума, так что вероятность символьной ошибки очень велика. Однако, применяя помехоустойчивое кодирование, можно исправить большинство ошибок.

Есть ограничение на скорость, но не на точность передачи информации.