Описание и синхронизация потоков данных для медийных объектов

Медиа-объектам может требоваться поток данных, который преобразуется в один или несколько элементарных потоков. Дескриптор объекта идентифицирует все потоки ассоциированные с медиа-объектом. Это позволяет иерархически обрабатывать кодированные данные, а также ассоциированную медиа-информацию о содержимом (называемом “информация содержимого объекта”).

Каждый поток характеризуется набором дескрипторов для конфигурирования информации, например, чтобы определить необходимые ресурсы записывающего устройства и точность кодированной временной информации. Более того, дескрипторы могут содержать подсказки относительно QoS, которое необходимо для передачи (например, максимальное число бит/с, BER, приоритет и т.д.) Синхронизация элементарных потоков осуществляется за счет временных меток блоков данных в пределах элементарных потоков. Уровень синхронизации управляет идентификацией таких блоков данных (модулей доступа) и работой с временными метками. Независимо от типа среды, этот слой позволяет идентифицировать тип модуля доступа (например, видео или аудио кадры, команды описания сцены) в элементарных потоках, восстанавливать временную базу медиа-объекта или описания сцены, и осуществлять их синхронизацию. Синтаксис этого слоя является конфигурируемым самыми разными способами, обеспечивая работу с широким спектром систем.

Доставка потоков данных

Полученные в результате кодирования элементарные потоки необходимо доставить к декодеру. Для этого MPEG-4 предлагает двухуровневый механизм мультиплексирования, показанный на рис. 13. Элементарные потоки поступают на мультиплексирование, пройдя уровень синхронизации SL (Sync Layer), где в заголовки пакетированных элементарных потоков (ПЭП) вводятся временные метки.

Рисунок 13 - Модель системного слоя MPEG-4

Первый уровень, названный FlexMux, играет вспомогательную роль в мультиплексировании, он объединяет низкоскоростные потоки с одинаковыми требованиями к качеству передачи, чтобы уменьшить их число в сложных сценах и сократить время передачи. Использование FlexMux не является обязательным, и он может быть пустым, если следующий уровень обеспечивает все необходимые функции.

Второй уровень, TransMux (Transport Multiplexing), предлагает транспортные услуги по передаче потоков с заданным качеством обслуживания. Условия передачи предполагают необходимую пропускную способность, допустимый уровень ошибок, максимальное время задержки, приоритет и т.д. TransMux не является транспортным протоколом как таковым, он представляет собой скорее интерфейс между кодером MPEG- 4 и стандартным транспортным протоколом. В качестве такового могут использоваться протокольные стеки RTP/UDP/IP, AAL5/ATM, транспортный поток MPEG-2.

Взаимодействие с транспортной средой управляется протоколом DMIF (Delivery Multimedia Integration Framework — мультимедийная интегрированная система доставки). DMIF, как его определяет стандарт, — сеансовый протокол для управления потоковой передачей в произвольных средах. После запуска он устанавливает соединение с удаленным абонентом, выбирает подлежащие передаче потоки и посылает запрос на их передачу. Порт DMIF посылает отметки к тем точкам, откуда будут передаваться потоки, и устанавливает соединение.

На приемном конце индивидуальные ЭП выделяются из пришедшего транспортного потока путем демультиплексирования (рис. 9). Выделенные после демультиплексирования пакеты ПЭП обрабатываются с целью извлечения из них информации о синхронизации. Эта информация переносится в заголовках пакетов, генерируемых на уровне синхронизации.

Рис. 14 показывает, как потоки, приходящие из сети (или запоминающего устройства), или потоки TransMux, демультиплексируются в потоки FlexMux и передаются соответствующим демультиплексорам FlexMux, которые извлекают элементарные потоки. Элементарные потоки (ES) анализируются и передаются соответствующим декодерам. Декодирование преобразует данные в AV (аудио-визуальный) объект и выполняет необходимые операции для реконструкции исходного AV-объекта, готового для рэндеринга на соответствующем аппарате. Аудио- и визуальные объекты представлены в их кодированной форме. Реконструированный AV-объект делается доступным для слоя композиции при рэндеринге сцены. Декодированные AVO, вместе с данными описания сцены, используются для композиции сцены. Пользователь может расширить возможности, разрешенные автором, взаимодействовать со сценой, которая отображается.