Широкие возможности представляет стандарт МРЕG -4 для кодирования звука. Впервые используются раздельные алгоритмы для кодирования звуков музыкального происхождения и речи, введены мощные средства создания и обработки синтезированного звука.
Наиболее широкий круг звуковых объектов, от низкоскоростных моно до многоканального звука вещательного качества, относится к категории универсального звука (GA — General Audiо). В качестве основного алгоритма кодирования звуков различного происхождения принят известный из МРЕG -2 алгоритм ААС с незначительными усовершенствованиями. Одно из них касается введения режима PNS (Реrсерtuаl Nоisе Substitutiоn — перцептуальное замещение шумом). Суть данного метода заключается в обнаружении в приходящем сигнале шумоподобных составляющих и исключении их из общего процесса кодирования. Декодеру передается информация о мощности шумовых компонентов в отдельных участках спектра, и он подменяет соответствующие спектральные коэффициенты псевдослучайными сигналами с требуемой мощностью. Режим PNS иллюстрируется структурной схемой, показанной на рисунке 1.7.
|
|
Рисунок 1.7 — Схема реализации режима PNS:
а) кодер; б) декодер
Еще одно усовершенствование связано с введением алгоритма ВSАС (Вit-Sliсеd Аrithmеtiс Соding — арифметическое кодирование с побитовым расщеплением). Чтобы получить масштабируемый поток, ВSАС использует альтернативный по отношению к ААС модуль кодирования квантованных коэффициентов с точным управлением скоростью потока в пределах от 16 кбит/с до 64 кбит/с с шагом 1 кбит/с.
Существенный выигрыш в скорости потока для стационарных гармонических и квазигармонических сигналов позволяет получить метод долговременного предсказания LТР (Long Теrm Рrеdiсtiоn). В технике кодирования речи этот метод широко используется во временной области. В стандарте МРЕG -4 он интегрирован в схему универсального кодера (см. рисунок 1.8), где операции квантования и кодирования осуществляются над спектральными представлениями входного сигнала.
Рисунок 1.8 — Схема универсального кодера с LТР
Для работы схемы LТР кодированный сигнал предыдущего кадра переводится обратно во временную область с помощью инверсного преобразования TNS и синтезирующего БФ, в блоке LТР он сравнивается с приходящим сигналом, а полученная разность опять переводится в спектральную область. Специальный переключатель FSS (Frequency Selective Switch — переключатель с частотной избирательностью) выбирает исходный или разностный сигнал в зависимости от того, какая альтернатива в данный момент предпочтительнее. По сравнению с предсказанием из МРЕG -2 ААС данный метод предсказания требует вдвое меньших ресурсов памяти и производительности процессора.
|
|
Для увеличения эффективности кодирования музыкальных сигналов на низких скоростях разработан алгоритм Twin VQ (Тrаnsfоrm-dоmаin Wеightеd Intеrlеаvе VQ — взвешивающее векторное квантование с перемежением и преобразованием областей). Основная идея — заменить обычное кодирование спектральных компонентов в ААС перемежающим векторным квантованием, приложенным к нормализованному спектру (см. рисунке 1.9).
Рисунок 1.9 — Алгоритм Twin VQ векторного квантования спектральных компонентов
Квантование спектральных коэффициентов осуществляется в два шага: на первом они нормализуются к некоторому пределу, на втором — квантуются с использованием векторного квантования. Процесс нормализации включает оценку спектра по шкале Барка, извлечение периодических компонентов и оценку мощности спектральных составляющих. В результате нормализации спектральные коэффициенты выравниваются и нормализуются вдоль частотной оси. Затем нормализованные коэффициенты описываются как многомерный вектор, чередуются в субвекторы, как показано на рисунке 1.9, и квантуются с использованием векторного квантования. Остальная часть алгоритма ААС остается неизменной.
Алгоритм Тwin VQ дает хорошие результаты в интервале скоростей от 6 кбит/с до 24 кбит/с и используется в основном в универсальных кодеках МРЕG -4 с масштабированием для формирования базового слоя.
1.6. Профили и уровни стандарта МРЕG -4
МРЕG -4 представляет собой обширный набор средств и алгоритмов кодирования аудиовизуальных объектов. Чтобы сделать реализацию декодера экономически оправданной и облегчить проверку на соответствие стандарту, в некоторых разделах определены ограниченные наборы инструментов, называемые профилями. Для каждого из профилей установлены один или несколько уровней, ограничивающих требования к вычислительным способностям декодера. Понятие профиля введено для визуальных объектов, аудио, системы и описаний сцены. Однако специфика МРЕG -4 потребовала некоторых дополнений по сравнению с предшествующими стандартами. В МРЕG -2 видеокадр можно представить себе как один прямоугольный объект, занимающий всю сцену, и для него достаточно определить один профиль. В МРЕG -4 объектов может быть несколько, для каждого оптимальным будет свой профиль, поэтому введена дополнительная градация, как промежуточная между уровнем и профилем — тип объекта. Этот параметр определяет синтаксис (структуру) цифрового потока для одиночного объекта. Профиль же определяет набор типов объектов, которые могут присутствовать в сцене.
Для натуральных объектов определены пять типов объектов:
1) простой — прямоугольный объект с произвольным форматом, использует простые средства кодирования, основанные на I - и Р-VОР;
2) простой масштабируемый — прямоугольный объект с пространственным и временным масштабированием;
3) базовый — производный от простого, с добавлением В-VОР; чересстрочная развертка не поддерживается;
4) основной — обеспечивает высшее качество, по сравнению с базовым дополнительно поддерживает градационное кодирование формы, спрайты, чересстрочное разложение;
5) N -битовый — аналогичен базовому, но допускает квантование плоскостей яркости и цветности с разрядностью от 4 до 12 бит.
Для кодирования неподвижных натуральных визуальных объектов существует специальный тип объекта:
6) неподвижная масштабируемая текстура — неподвижное изображение произвольной формы, использует волновое кодирование и пошаговую загрузку и восстановление.
Для синтетических объектов определены следующие три типа объектов:
7) анимированная двумерная сетка — объединяет синтетическую сетку (прямоугольную или топологии Делоне) с натуральным видео, кодируемым по базовому типу. Видео может отображаться на сетку и деформироваться путем перемещения ее узлов — это дает интересные анимационные возможности. Визуальный объект может быть любой формы;
|
|
8) базовая анимированная текстура — анимация неподвижных изображений (таких, как в типе 6);
9) примитивное лицо — средство анимации человеческого лица. Этот тип объекта не определяет конкретное лицо, анимация может быть применена к любой выбранной модели.
Профили определяют, какие типы визуальных объектов могут присутствовать в сцене. В первой версии стандарта определено 9 профилей; допустимые сочетания профилей и типов объектов приведены в таблице 1.1.
Таблица 1.1 — Профили и типы объектов МРЕG -4 видео
Профиль Тип объекта | Простой | Простой масштабируемый | Базовый | Основной | N -битовый | Масштабируемая текстура | Простой, анимация лица | Базовая анимированная структура | Гибридная |
Простой | ● | ● | ● | ● | ● | ● | |||
Простой масштабируемый | ● | ||||||||
Базовый | ● | ● | ● | ● | |||||
Основной | ● | ||||||||
N -битовый | ● | ||||||||
Масштабируемая текстура | ● | ● | ● | ● | |||||
Анимированная D -сетка | ● | ||||||||
Базовая анимированная структура | ● | ● | |||||||
Примитивное лицо | ● | ● | ● | ||||||
Число уровней |
Простой профиль допускает присутствие только объектов простого типа и предназначен в первую очередь для мобильных служб и Интернета. Прфиль поддерживает до 4-х объектов в сцене с максимальным разрешением QCIF, три уровня ограничивают скорость потока в пределах от 64 кбит/с до 384 кбит/с, максимальную площадь, занимаемую объектом, и число макроблоков в секунду, которое декодер должен обработать. Простой масштабируемый профиль может осуществлять кодирование с масштабированием при тех же предпосылках, имеет два уровня.
|
|
Базовый профиль воспринимает типы объектов простой и базовый, полезен для интерактивных приложений. Основной профиль создавался с учетом вещательных служб. Самый высший уровень основного профиля поддерживает до 32 объектов простого, базового или основного типа и максимальную суммарную скорость потока до 38 Мбит/с. N -битовый профиль работает с объектами простого, базового и N -битового типа и полезен в специальных системах наблюдения и медицинского контроля, где требуется широкий динамический диапазон яркости и насыщенности.
Из остальных профилей наибольший интерес представляет гибридный, объединяющий натуральные (базовый) и синтетические (все три) типы объектов. Он полезен при помещении «реального» объекта в синтетический мир и, наоборот, синтетического объекта в реальное окружение.
В нижней строке таблицы 1.1 указано число уровней, определенных в стандарте для каждого профиля. В таблице 1.2. показаны параметры потока для некоторых уровней.
В стандарте установлены следующие точки соответствия: простой профиль и базовый профиль с размерами сцены QСIF и СIF, скоростями потока 64, 128, 384 кбит/с и 2 Мбит/с. Для основного профиля нормируются форматы СIF, Рек. ВТ.601, ТВЧ со скоростями 2, 15 и 38,4 Мбит/с.
Вторая версия стандарта добавила три профиля к натуральному видео:
1) простой усовершенствованный профиль реального времени — обеспечивает эффективное кодирование с использованием обратного канала (видеотелефония, телеконференции, дистанционное наблюдение);
2) базовый масштабируемый профиль — поддерживает пространственное и временное масштабирование в базовом профиле;
3) профиль с улучшенной эффективностью кодирования — подходит для мобильного приема вещательных передач и других применений, где требуется высокая эффективность кодирования.
Таблица 1.2 — Параметры потока для некоторых профилей МРЕG -4 видео
Профили и уровни | Типовой размер сцены | Скорость потока, бит/с | Максимальное число объектов | Общая ёмкость памяти, макроблоков | |
Простой профиль | L 1 | QCIF | 64 к | ||
L 2 | CIF | 128 к | |||
L 3 | CIF | 384 к | |||
Базовый профиль | L 1 | QCIF | 384 к | ||
L 2 | CIF | 2 М | |||
Основной профиль | L 2 | CIF | 2 М | ||
L 3 | Рек. 601 | 15 М | |||
L 4 | 1920 1088 | 38,4 М |
Три новых профиля введены в синтетическое видео, в том числе простой профиль анимации лица и фигуры.
Общее число визуальных профилей достигло 15.
После принятия второй версии работа над дополнениями к стандарту продолжена. В частности, предполагается ввести студийный профиль, в котором VОР с кодированием формы могли бы передаваться со скоростью несколько сот мегабит в секунду.
В таблице 1.3 показаны основные параметры студийного профиля стандарта МРЕG -4.
Низкий уровень этого профиля мог бы соответствовать высокому уровню профиля «4:2:2» из стандарта МРЕG -2, в двух других уровнях предлагается ввести два подуровня — с дискретизацией «4:2:2» и «4:4:4». Группа МРЕG изучает кодирование 2 D и 3 D анимаций, цифровой кинематограф и другие вопросы.
Таблица 1.3 — Параметры студийного профиля стандарта МРЕG -4
Уровень | Максимальный размер изображения и частота кадров | Максимальная скорость отсчетов | Скорость цифрового потока, Мбит/с | Квантование, дискретизация | |
Низкий (совместим с 4:2:2 P @ HL) | 1920 1088 30Гц | 10 битов 4:2:2 | |||
Основной | 4:2:2 | 2048 2048 60Гц | 10 битов 4:2:2 | ||
4:4:4 | 10 битов 4:2:2 4:4:4 | ||||
Высокий | 4:2:2 | 4096 4096 120Гц | 10/12 битов 4:2:2 | ||
4:4:4 | 10/12 битов 4:2:2 4:4:4 |
Как и для видеообъектов, в стандарте введена классификация типов объектов для звука. В общей сложности первая версия определила 15 типов объектов, часть из них базируется на алгоритме ААС, один на алгоритме Twin VQ, три типа объектов связаны с алгоритмами кодирования речи, еще четыре определяют типы объектов для синтезированных звуков.
Определены 4 профиля кодирования звука.
Речевой профиль — совместим с тремя «речевыми» типами объектов, имеет два уровня, допускает до 20 объектов в сцене одновременно.
Масштабируемый профиль — обеспечивает высококачественное кодирование при низкой скорости цифрового потока и гибкое приспособление к изменениям скорости в канале, наилучшим образом приспособлен для передачи звука в Интернете. Число объектов в сцене, число потоков и частоты дискретизации определяются четырьмя уровнями, определенными в условных «единицах сложности» — производительности процессора в миллионах операций в секунду (РСU) и объеме памяти в тысячах слов (RCU): уровень 1 — один моно объект любого типа, частота дискретизации до 24 кГц; уровень 2 — один стерео или два моно объекта, частота до 24 кГц; уровень 3 — один стерео или два моно объекта, частота до 48 кГц; уровень 4 — один объект 5.1 или группа объектов, частота до 48 кГц, сложность до 30 РСU и 19 RCU.
В качестве примера в таблице 1.4 приведены требования к декодеру, работающему в одном из уровней данного профиля.
Таблица 1.4 —Требования к декодеру звука масштабируемого профиля
Тип объекта | Тактовая частота, кГц | Быстродействие процессора, млн. операций/с | Емкость памяти, тыс. слов |
ААС основной | |||
ААС простой | |||
ААС с масштабируемой тактовой частотой | |||
ААС с долговременным предсказанием | |||
ААС масштабируемый | |||
Twin VQ | |||
CELP | |||
CELP | |||
CELP | 8/16 | ||
HVXC |
Синтетический профиль — группирует типы объектов синтезированного звука, может использоваться в тех случаях, когда источником звука служит не микрофон и требуется обеспечить передачу при очень низких скоростях.
Основной профиль — наиболее сложный профиль, объединяющий возможности всех остальных; пригоден для звуков всех видов, обеспечивает высочайшее качество звучания. Примеры применения — запись на DVD и мультимедийное вещание. Профиль имеет 4 уровня.
Соответствие звуковых профилей и типов объектов МРЕG -4 показано в таблице 1.5.
Таблица 1.5 — Профили и типы объектов МРЕG -4 аудио
Профили Типы объектов | Речевой | Масштабируемый | Основной | Синтетический |
ААС основной | ● | |||
ААС с масштабируемой тактовой частотой | ● | |||
ААС простой | ● | ● | ||
ААС с долговременным предсказанием | ● | |||
ААС масштабируемый | ● | ● | ||
Twin VQ | ● | ● | ||
CELP | ● | ● | ● | |
HVXC | ● | ● | ● | |
TTSI | ● | ● | ● | |
Основной синтетический | ● | ● | ||
Wavetable синтезатор | ● | ● | ||
Общий MIDI | ● | ● | ||
Алгоритмический синтез | ● | ● | ||
Число уровней |
Во второй версии стандарта введены 4 новых профиля: высококачественный (High Quality), LD (Low Delay) — профиль с малой задержкой, натуральный (Natural) и межсетевой мобильный (Моbilе Audiо Intеrnеtwоrking).
Большое число возможных алгоритмов заставило ввести также три графических профиля, четыре профиля описаний сцены и один профиль дескрипторов объектов. Эти профили перечислены в таблице 1.6.
Таблица 1.6 — Профили графических средств и описаний сцены в МРЕG -4
Средство | Профиль |
Графика | Простой 2D |
Полный 2D | |
Полный | |
Описание сцены | Звуковой |
Простой 2 D | |
Полный 2 D | |
Полный | |
Дескриптор объекта | Базовый |
Стандарт МРЕG -4 не предназначен на замену МРЕG -2 в ТВ вещании в его нынешнем виде, но в наш век быстрых изменений можно представить себе, что и традиционная концепция ТВ вещания будет заметно изменяться. Начало этим изменениям положено переходом на цифровое вещание, предоставляющее новые возможности по количеству программ, качеству изображения и звукового сопровождения, передаче дополнительных данных и предоставлению новых услуг. Можно с определенной степенью уверенности прогнозировать слияние ТВ приемника, телефона, спутникового и кабельного терминалов (в дальнейшем к ним присоединится и персональный компьютер) в единое информационное устройство, получающее информацию из общей информационной сети по высокоскоростному цифровому каналу (проводному, оптическому или спутниковому). Большая часть ТВ программ может передаваться по такому каналу в свободное от нагрузки (ночное) время, загружаясь в емкую память информационного блока, в реальном времени будут передаваться только новости и программы, рассчитанные на интерактивное взаимодействие со зрителем.
Теперь представим себе, как расширит возможности восприятия добавление к традиционной программе дополнительной информации в форме наложенного текста, неподвижных изображений (возможно, полупрозрачных), двумерной и трехмерной графики, дополнительных зрительных и звуковых образов. Часть этих улучшений используется и сегодня, но это происходит по воле вещателя, и зритель не в состоянии что-либо изменить. В МРЕG -4 дополнительная информация передается вместе с объектом и ею легко управлять нажатием кнопки. Вы, например, можете вызвать на экран ответ на вопрос викторины, а можете убрать его и самостоятельно поломать голову над загадкой. Возможно изменить точку взгляда на сцену, как бы сменить положение камеры. Это дает возможность лучше воспринять спортивное соревнование или музыкальное шоу. В многоканальной звуковой системе можно выбрать число каналов, язык звукового сопровождения и даже самому включиться в оркестр, исполнив партию на любом понравившемся вам инструменте.
Широкие возможности открывает МРЕG -4 в интерактивной среде. Возможности МРЕG -4 позволят установить связь с несколькими людьми и организовать совместный просмотр программы, изменяя по договоренности ход сюжета, или поиграть в сетевые игры с трехмерными изображениями. А телемагазин?! Насколько расширятся здесь возможности покупателя по всесторонней оценке будущей покупки. Вы можете получить дополнительную информацию о заинтересовавшем вас объекте, например, новой марке автомобиля, подведя к нему курсор и нажав кнопку на пульте, можете рассмотреть автомобиль со всех сторон, пригласить консультанта (виртуального, разумеется) и выслушать его разъяснения, узнать цену и наличие модели на складе. Вы можете послать приятелю изображение автомобиля и всю информацию о нем по электронной почте и тут же получить его совет.