Взаимодействие с медийными объектами

Пользователь видит сцену, которая сформирована согласно дизайну разработчика. В зависимости от степени свободы, предоставленной разработчиком, пользователь имеет возможность взаимодействовать со сценой. Пользователю могут быть разрешены следующие операции:

- изменить точку наблюдения/слушания на сцене;

- перемещать объекты по сцене;

- вызывать последовательность событий путем нажатия кнопки мыши на определенных объектах, например, запуская или останавливая поток данных; выбирать предпочтительный язык, когда такой выбор возможен.

Кодирование видеообъектов

Видеообъекты, составляющие сцену, кодируются по-отдельности. Кодированные видеоданные всех видеообъектов объединяются в последовательность визуальных объектов (VS - Visual Object Sequence). Видеообъект может иметь несколько слоев или уровней, каждому из которых соответствует элементарный поток видеоданных. Наличие нескольких слоев обеспечивает возможность масштабируемости. Базовый слой дает изображение видеообъекта с базовым качеством. Дополнительные или улучшающие (enhanced) слои позволяют получать изображение с улучшенным пространственным разрешением, меньшими искажениями из-за сжатия и т.д.

Изменяющееся во времени изображение видеообъекта передается в виде последовательности его неподвижных изображений в дискретные моменты времени. Эти неподвижные изображения называются плоскостями видеообъекта (VOP - Visual Object Plane). Если видеообъектом является обычное телевизионное изображение, то плоскостями этого видеообъекта могут быть обычные кадры. VOP объединяются в группы (GOV). VOP, как и кадры в MPEG-2, могут кодироваться независимо от других VOP (I-VOP) или с предсказанием и компенсацией движения (P-VOP и B-VOF).

В отличие от MPEG-1,2 в которых применяется фиксированный алгоритм кодирования, в MPEG-4 используется целый набор методов кодирования, включающий как алгоритмы, сходные с применяемым в MPEG-1,2, так и принципиально новые методы кодирования, основанные на понятии видеообъекта. Выбор того или иного метода кодирования в конкретном случае определяется типом видеообъекта и требуемым коэффициентом сжатия информации. MPEG-4 позволяет эффективно сжимать как натуральные, так и синтетические изображения и объединять их при воспроизведении.