Кодирование нескольких видов динамических изображений - Multiview Video Coding (MVC)

Многоракурсное видео (multiview video), записанное синхронизированными фото- или видеокамерами с различных точек наблюдения (ракурсов), дает обширную 3D-информацию о сцене и расширяет зрительские впечатления по сравнению с традиционным видео. Благодаря усовершенствованию технологий захвата и отображения, многоракурсное видео станет востребованным в потребительской сфере, включая 3DTV и телевидение с произвольной точкой наблюдения (ТСПТН - FTV). 3DTV обеспечивает трехмерное ощущение глубины наблюдаемого вида, а FTV дает возможность интерактивного выбора точки наблюдения и направления в пределах определенного рабочего диапазона углов обзора. Реализация 3D-приложений зависит от полного цикла обработки, включая захват, сжатие, передачу, отображение и интерактивное представление. Среди них

MVC является одной из наиболее многообещающих технологий, поскольку огромный объем данных, пропорциональный числу камер, должен быть сжат до такой степени, чтобы его можно было передавать в пределах возможностей сетей связи.

Начиная с 2001 года специальная группа MPEG 3DAV (SD-аудио- и визуальные системы) проводила исследование тематики MVC. В июле 2005 года она выпустила официальное информационное письмо для выдвижения основанных на экспериментальных данных требований, предъявляемых к технологии MVC. Все представленные в ответ на информационное письмо предложения были обратно совместимы со стандартом H.264/ AVC. После проведенных в течение года сравнительных испытаний и оценки была реализована первая модель MVC. Тем временем группа JVT прилагала определенные усилия по введению проекта MVC в качестве еще одной поправки к стандарту H.264/AVC и подошла к завершению поправки MVC. Поправка MVC к стандарту H.264/AVC, наряду с временным предсказанием, предполагает использование межракурсного (inter-) предсказания для устранения межракурсной статистической избыточности.

Поправка MVC допускает широкий диапазон совместно применяемых структур временного и межракурсного предсказания, что делает возможным достижение компромисса между эффективностью кодирования и сложностью декодирования, включая управление задержкой и буфером декодированного изображения. Все возможные структуры совместно применяемых временного и межракурсного предсказания в основном относятся к особым случаям, определяемым поправкой масштабируемого кодирования видео (SVC). Таким образом, не требуется внесение изменений в SVC, за исключением некоторых разработок высокого уровня, сосредоточенных на интерфейсе, передаче битовых потоков MVC и управлении ресурсами декодера MVC.