2014-02-10
1662
Устройства обработки видеоданных
При обработке видеоданных на компьютере исходные данные обычно вводятся со следующих видеоустройств: телевизора, видеокамеры, видеомагнитофона или видеоплеера, либо непосредственно с телеантенны (наземной или спутниковой), либо с выхода системы кабельного телевидения. Кроме того, видеоданные могут быть созданы (с помощью специализированных программных средств) непосредственно на компьютере и сохранены во внешней памяти. Результат обработки видеоданных часто выводится на телевизор или видеомагнитофон (например, при создании видеоклипов или рекламных роликов).
Устройства обработки видеоданных обеспечивают следующие основные функции:
· прием аналоговых или цифровых видеоданных от внешних видеоустройств, либо непосредственно с телеантенны или телевизионного кабеля;
· отображение принимаемых видеоданных в реальном времени на экране монитора и вывод звукового сопровождения на звуковую карту;
· «захват» отдельного кадра или фрагментов (видеоклипов) принимаемых видеоданных;
· сохранение захваченных кадров или видеоклипов на устройстве внешней памяти в одном из графических форматов или форматов видеоданных;
· вывод видеоданных на видеомагнитофон или телевизор.
Основные компоненты устройств обработки видеоданных, реализующие эти функции, приведены на рис. 1.3.41. Конкретные устройства обеспечивают не все приведенные на рисунки входы и выходы, а также реализуют не все приведенные функции и, соответственно, содержат только часть компонент. Технически компоненты устройств реализуются либо аппаратно (в виде одного или нескольких чипсетов), либо программно.
Рис. 1.3.41. Основные функциональные компоненты
устройств обработки видеоданных
Для приема телевизионных программ устройство обработки видеоданных, как и обычный телевизор, содержит блок настройки для выбора программ телевидения. С его помощью можно, подключив к устройству антенну, принимать телепрограммы в диапазонах дециметровых и метровых волн, а при подключении кабеля – принимать сигналы кабельного телевидения. Настройка и регулирование воспроизведения изображения и звука выполняется с помощью программного обеспечения, поставляемого вместе с устройством. В профессиональных устройствах блок настройки, как правило, отсутствует.
Основной характеристикой блока настройки каналов является максимальное количество выбираемых каналов (обычно 125 или 181).
Видеодекодер обеспечивает преобразование видеосигнала с выхода блока настройки или непосредственно с входа видеокарты в цифровую форму, а затем цифровое декодирование в соответствии с одним из основных телевизионных стандартов: NTSC, PAL, SECAM или HTDV. Кроме этого видеодекодер выделяет принимаемый звуковой сигнал сопровождения и либо сам выполняет его перевод в цифровую форму, либо пересылает на аналоговый вход звуковой карты.
Формирование кадров цветного телевизионного изображения отличается от формирования кадров изображения на мониторе компьютера следующими параметрами:
· разрешением;
· частотой смены кадров (частотой вертикальной развертки);
· способом вывода кадра на экран (построчный или чересстрочный);
· используемой цветовой моделью.
Разрешение видеокарт стандарта SVGA может быть изменено и составляет 800´600, 1024´600 и 1024´768 и выше. Разрешение телевизионного изображения зависит от количества строк и определяется используемым стандартом (см. ниже). Отношение количества пикселей в строке к количеству строк в телевизионном изображении всегда равно 4:3, за исключением стандарта HDTV (на компьютере такое соотношение выдерживается только для разрешения 800´600).
Частота вертикальной развертки монитора компьютера – от 60 Гц и выше, а частота вертикальной развертки телевизионного изображения составляет 50 или 60 Гц в зависимости от используемого телевизионного стандарта.
В компьютере строки кадра выводятся последовательно (построчная развертка, называемая также прогрессивной разверткой – progressive scan), а в телевизорах в основном используется чересстрочная развертка (interlaced scan), когда за первый цикл сканирования электронным лучом экрана формируется изображение нечетных строк, а за второй – четных. В результате чего полный кадр изображения формируется из двух полукадров (полей).
Кадры цветного телевизионного изображения формируются с использованием модели YUV. Компонента Y определяет яркость пикселей изображения в оттенках серого цвета, а цветоразностные компоненты U и V содержат информацию о цвете (в некоторых источниках компоненты U и V обозначаются как Cb и Cr для цифрового сигнала и как Pb и Pr – для аналогового сигнала). Перевод пикселей изображения из представления в модели RGB (см. разд. 2.2.3) в представление в модели YUV выполняется по следующим формулам:
Y = 0,59*G + 0,31*R + 0,11*B;
U = R – Y;
V = B – Y,
где R, G и B – значения соответственно красной, зеленой и синей компонент в модели RGB.
Изображение в модели YUV передается как композитный видеосигнал: в одном канале передаются значение яркости (Y), и на двух поднесущих частотах компоненты U и V. Кроме того, по этому же каналу передаются синхроимпульсы. Такая модель и ее реализация выбраны в первую очередь для того, чтобы цветные телевизионные передачи можно было просматривать на черно-белых телевизорах. Эти телевизоры воспринимают только значения Y, игнорируя остальные компоненты.
На самом деле существует множество разновидностей модели YUV, отличающихся порядком передачи значений компонент, схемой кодирования сигналов и количеством бит, выделяемых для хранения значений компонент (от 8 до 32).
По порядку передачи значений компонент модели YUV делятся на упакованные, когда значения Y,U и V для кадра передаются в одном массиве, и планарные, когда для кадра сначала передается массив значений Y, затем массивы значений U и V.
Схема кодирования сигналов задает порядок и частоту передачи сигналов Y, U и V по горизонтали и вертикали для упакованных моделей или порядок и частоту следования массивов значений Y, U и V для планарных моделей. Частота передачи для упакованных моделей обычно задается в виде y:u:v, где y – частота передачи значения Y, u – частота передачи значения U и v – частота передачи значения V. Так, например, схема 4:2:2 означает передачу следующей последовательности сигналов: YU, YV, YU, YV, т.е. на каждые 4 сигнала Y передаются по два сигнала U и V. Схема 4:1:1 означает последовательность сигналов YU, Y, YV, Y, а схема 4:2:0 означает, что для нечетных строк передаются значения YU, YV, а для четных строк – только значения Y.
Стандарты передачи телевизионных изображений определяют разрешение, частоту кадров, способ вывода кадра на экран, способ передачи компонент YUV, а также способ модуляции видеосигнала и сигнала звукового сопровождения.
В США и 44 других странах Северной и Южной Америки, а также Азии (включая Японию) поддерживается стандарт Комитета национальной телевизионной системы США – NTSC (National Television System Committee). Этот стандарт определяет горизонтальное разрешение 525 строк, из них 45 строк являются служебными, поэтому разрешение в стандарте NTSC равно 640´480. Частота кадров равна 60 Гц при использовании чересстрочной развертки. Значения компонент U и V кодируются как амплитуда и фаза сигнала поднесущей частоты (поскольку при распространении радиоволн может происходить сдвиг фазы, качество передачи цветов в стандарте NTSC не очень высокое). Видеосигнал передается с использованием амплитудной модуляции, а звуковое сопровождение – с помощью частотно-модулированных сигналов (FM-сигналов).
В большинстве европейских стран, в Австралии, Новой Зеландии, а также большинстве стран Африки и в некоторых странах Азии и Латинской Америки (всего 79 стран) принята система PAL (Phase Alternation Line), в которой используется горизонтальное разрешение 625 строк. Поскольку 49 строк отведено под служебную информацию, разрешение в системе PAL равно 768´576. Развертка кадров также чересстрочная, но частота кадров равна 50 Гц. Поскольку при передаче сигнала в PAL сдвиг фаз компенсируется, качество передачи цвета лучше, чем при использовании стандарта NTSC. Видеосигнал и звуковое сопровождение передается так же, как в NTSC.
В некоторых европейских странах (в том числе в Украине и России, а также других странах бывшего СССР) и в некоторых странах Азии и Африки (всего 52 страны) поддерживается разработанная во Франции на основе PAL система SECAM (SÉquentiel Couleur Avec Mémoire – последовательный цвет с памятью). Эта система поддерживает то же разрешение и частоту кадров, что и PAL, но несовместима с ней по цвету, поскольку использует другой механизм передачи цветовых компонент. Поэтому цветное изображение формата PAL будет выглядеть черно-белым в телевизоре, поддерживающим только стандарт SECAM, и наоборот. Кроме того, видеосигнал передается с использованием частотной модуляции, а звуковое сопровождение в некоторых реализациях – с помощью амплитудной модуляции.
Следует отметить, что в Украине в настоящее время некоторые телевизионные каналы (в основном коммерческие) работают по стандарту PAL.
Все большее распространение (в основном в европейских странах) приобретает новая цифровая система телевидения высокого разрешения – HDTV (High Definition Television). В этой системе соотношение ширины и высоты экран равно 16:9 (такое же, как в кинолентах). В системе HDTV используется как чересстрочная развертка, обозначаемая буквой i, так и прогрессивная развертка, обозначаемая буквой p. Количество строк может быть равно 720p, 1080i или 1080p, поэтому разрешение может либо 1280´720, либо 1920´1080.
Стандарт UHDTV.
Стандарты DVB.?????????
Видеоданные в устройствах обработки данных (а также видеокартах) могут вводиться и выводиться в следующих основных форматах телевизионных сигналов:
· Компонентный видеосигнал, в котором каждая компонента модели YUV (YCb Cr или YPbPr) передается отдельно (используется в компьютере). Разъемы для компонентного сигнала приведены на рис.?????а;
· S-Video (используемый в NTSC), в котором сигнал яркости (Y) с синхроимпульсами передается отдельно от сигналов цветности (U и V). Этот сигнал часто называют C-сигналом (от слова chrominance – цветность), а метод обозначается как Y/C. Разъемы для сигнала S-Video приведены на рис.?????б;
· композитный видеосигнал – в одном канале передаются значение яркости (Y), и на двух поднесущих частотах компоненты U и V. Кроме того, по этому же каналу передаются синхроимпульсы. Разъемы для композитного сигнала приведены на рис.?????в. Если вместе с композитным сигналом необходимо передать звук, используются дополнительно два разъема для стереозвука. Такой разъем из трех компонент называется разъемом RCA (рис.?????г).
Рис.?????. Разъемы для видеосигналов различных форматов в устройствах обработки данных и видеокартах (сверху – разъем устройства или видеокарты, снизу – разъем подключаемого кабеля): а) разъемы компонентного видеосигнала;
б) разъемы S-Video; в) разъемы композитного видеосигнала; г) разъемы RCA
В современных устройствах обработки данных и видеокартах все большее распространение получают новые форматы сигналов – HDMI и DisplayPort.
Первая версия формата HDMI (High-Definition Multimedia Interface – мультимедийный интерфейс высокого разрешения) – HDMI 1.0 – появилась в декабре 2002 г. Последней в настоящее время спецификацией является спецификация HDMI 1.3с (август 2008 г.)
Формат HDMI позволяет передавать по одному кабелю как обычные видеосигналы, так и видеосигналы для HDTV, а также использовать 8 каналов для цифровых аудиосигналов. Помимо 24-битного цвета, в HDMI можно использовать и 48-битный цвет, что позволяет поддерживать до 281 трлн. цветов.
В спецификациях HDMI определены три типа соединений по формату HDMI:
· 19-контактное соединение типа A (Type A) или просто соединение HDMI, электрически совместимое, за исключением звуковых каналов, с интерфейсом одноканального DVI-D (рис.?????а);
· 29-контактное соединение типа B (Type B), электрически совместимое, за исключением звуковых каналов, с интерфейсом двухканального DVI-D (не используется ни в одном из выпускаемых устройств);
· 19-контактное соединение типа C (Type C) или mini HDMI, аналогичное соединению типа A, но с разъемом уменьшенных размеров (рис.?????б).
В спецификациях HDMI определены также две категории кабелей для передачи сигналов HDMI:
· кабель категории 1 (standard HDMI cable – стандартный кабель HDMI) с полосой пропускания 74,25 МГц, что соответствует сигналам 720p или 1080i в HDTV;
· кабель категории 2 (high speed HDMI cable – высокоскоростной кабель HDMI) с полосой пропускания 340 МГц, что соответствует сигналам 1080p и выше;
Рис.?????. Разъемы для видеосигналов форматов HDMI в устройствах обработки данных и видеокартах: а) разъемы HDMI Type A (штекер и гнездо); б) отцовский и материнский разъемы HDMI Type C (mini HDMI)
Формат HDMI обеспечивает пропускную способность передачи видео и аудиоданных в диапазоне от 4,9 до 10,2 Гбит/с. Длина кабеля в спецификации не определена, однако из-за затухания сигналов она является ограниченной. В настоящее время составляет максимальная длина стандартного кабеля HDMI составляет 15м, а максимальная длина высокоскоростного кабеля HDMI 7-8м.
Увеличить расстояние между устройствами, соединенными с помощью разъемов HDMI, например, проигрывателями DVD (Blu-ray), телевизором или проектором, можно с помощью повторителя HDMI (HDMI repeater), являющегося усилителем сигнала (рис.?????а). Если необходимо соединить несколько устройств с разъемами HDMI, используются разветвители HDMI (HDMI splitters) (рис.?????б) или коммутаторы HDMI (HDMI switchers) (рис.?????в).
Рис.?????. Устройства HDMI: а) повторитель HDMI; б) разветвитель HDMI (вид спереди и сзади); в) коммутатор HDMI (вид спереди и сзади)
Первая версия формата DisplayPort, разработанная VESA (Video Electronics Standards Association – Ассоциация стандартов видеоэлектроники) появилась в 2006 г. В настоящее время действует версия DisplayPort 1.1a, принятая в январе 2008 г. Этот формат определяет цифровой обмен видео и аудиоданными между компьютером и монитором или компьютером и системой домашнего театра.
Формат DisplayPort определяет главный канал, содержащий:
· 1, 2 или 4 пары для передачи данных;
· канал передачи тактовых сигналов;
· необязательный канал передачи аудиосигналов.
Обмен данными по каждому каналу ведется либо на скорости 1,62 Гбит/с (по низкоскоростному кабелю), либо на скорости 2,7 Гбит/с (по высокоскоростному кабелю). Длина кабеля в спецификации не определена, но при полной полосе пропускания она составляет 2м, а при уменьшенной полосе пропускания, достаточной для разрешения 1920´1080p и 24-битового цвета, может достигать 15 м или (при использовании усиления сигналов) до 30 м.
Кроме этого, в формате DisplayPort определен двунаправленный вспомогательный канал для передачи данных управления и контроля на скорости 1 Мбит/с.
Формат DisplayPort поддерживает 18, 24, 30, 36 и 48-битовые цвета для модели RGB, а также 16, 20, 24 и 32-битовые цвета для модели YCbCr 4:2:2 и 24, 30, 36 и 48-битовые цвета для модели YCbCr 4:4:4.
В спецификации DisplayPort определен 20-контактный разъем для подключения к устройствам (рис.?????а). Компания Apple разработала собственный разъем mini DisplayPort уменьшенного размера (рис.?????б), который она рекомендует использовать для портативных компьютеров.
Рис.?????. Разъемы для видеосигналов форматов DisplayPort в устройствах обработки данных и видеокартах (разъем устройства или видеокарты и разъем подключаемого кабеля): а) разъемы DisplayPort; б) разъемы mini DisplayPort
Основными характеристиками видеодекодера являются:
· поддерживаемые телевизионные стандарты (NTSC, PAL, SECAM и/или HDTV);
· количество и типы аналоговых видеовходов;
· схема кодирования сигнала и связанная с ней глубина оцифровки (так для схемы 4:2:2 для значения Y отводится 8 бит, а для значений U и V по 4 бита – всего 12 бит);
· частота оцифровки сигнала, определяющее получаемое разрешение по горизонтали (тем больше частота, тем больше разрешение в строке).
Видеоконтроллер выполняет следующие действия:
· преобразование из телевизионного формата YUV в формат RGB;
· масштабирование изображения;
· «подгонку» частоты кадров телевизионной картинки под частоту регенерации экрана монитора.
Преобразование из телевизионного формата YUV в формат RGB выполняется по формулам:
R = U + Y;
B = V + Y;
G = (Y - (0.31 * R) - (0.11 * B)) / 0.59.
При этом также выполняется перевод схемы кодировки YUV в схему кодировки RGB – обычно в режим HiColor (см. разд. 1.3.6.3), который обозначается как RGB 5:6:5 (по 5 бит для красного и синего цвета и 6 бит – для зеленого цвета). Режим True Color обозначается как RGB 8:8:8.
Масштабирование заключается в приведении изображения к формату вывода на экран монитора. Обычно устройство позволяет задать несколько фиксированных форматов, зависящих от телевизионного стандарта (например, 720´576 для PAL/SECAM или 720´576 для NTSC). Кроме того, для любого стандарта можно вывести полноэкранное изображение.
При «подгонке» частоты приходится учитывать не только отсутствие кратности между частотами кадров телевизионного изображения (50 или 60 Гц) и 60-100 Гц в видеокарте, но и то, что чересстрочное телевизионное изображение передается по полукадрам (с частотой 25 до 30 Гц). Если такая «подгонка» произведена некачественно, возникает эффект дрожания (jitter) изображения.
Основными характеристиками видеоконтроллера являются допустимые входные и выходные схемы кодирования, а также возможности по масштабируемости изображения.
Прямой ввод-вывод последовательности видеокадров и его запись или чтение в оцифрованном виде на внешнем носителе в настоящее время невозможны из-за больших объемов видеоданных и требуемых больших скоростей обмена. Для видеокадра размером 720´576 пикселей минута записи займет на жестком диске 1,2 Гбайта (при этом поток данных превышает 20 Мбайт/с). Уменьшение размера и/или частоты кадров, а также количества цветов приводит к резкому ухудшению качества видеоданных. Наиболее эффективным решением является сжатие данных, выполняемое блоком кодировки данных.
Входными данными для этого блока является цифровой телевизионный сигнал, полученный от видеоконтроллера, или сигнал, полученный с цифрового видеовхода в одном из форматов цифрового телевидения (например, Betacam SX со схемой кодирования 4:2:2 или DV со схемой кодирования 4:2:0).
Отдельные кадры видеоданных преобразуются в блоке кодирования в один из графических форматов (см. разд. 2.2.4) со сжатием или без сжатия с помощью программ. В профессиональных устройствах обычно дополнительно используется формат MJPEG (Motion JPEG – JPEG для движения). При использовании этого формата кадр разбивается на блоки размером 16´16 пикселей. Каждый из этих блоков с помощью так называемого косинусного преобразования переводится в частотную область, а затем преобразуется в цифровую форму с округлением. Хотя разрешение кадра при этом снижается и появляются некоторые искажения, данный метод обеспечивает значительное сжатие данных (коэффициент сжатия конкретного изображения зависит от его характера и задаваемого сохранения качества).
Форматы MPEG (Moving Pictures Experts Group – группа экспертов по движущимся изображениям) специально предназначены для сжатия не отдельных кадров, а их последовательностей. При сжатии последовательности кадров учитывается то, что в следующем кадре меняется только часть изображения (иногда очень незначительная). Поэтому в кадре выделяется так называемое опорное изображение, для которого передается полная информация и остальные фрагменты изображения, для которых передается только информация о его отличии по сравнению с предыдущим или следующим кадром. Поэтому в формате MPEG формируются три типа кадров: I-кадр (Intra frame – внутренний кадр), P-кадр (Predictive frame – кадр предсказания) и B-кадр (Bi-directional frame – двунаправленный кадр). Кадры сжимаются по алгоритму MJPEG, но с разной степенью сжатия. Опорные I-кадры как сжимаются с самым высоким качеством и, следовательно, с самой низкой степенью сжатия. Каждый P-кадр записывается со средней степенью сжатия как ссылка на предшествующий ему I-кадр или P-кадр. И, наконец, B-кадры, которые могут ссылаться как на предшествующие, так и на последующие кадры, сжимаются с максимально возможной степенью. Для кодирования звукового сопровождения стандарт MPEG определяет три высокопроизводительных схемы сжатия звука: Layer 1, Layer 2 и Layer 3 (уровни 1, 2 и 3). Каждый более высокий уровень имеет более сложный и производительный алгоритм кодирования и соотношение качества восстановленного сигнала к величине потока. Стандарт кодирования звукового сигнала MPEG Level 3 или сокращенно стандарт MP3 в настоящее время является основным форматом кодирования для записи и воспроизведения аудиоданных в компьютере и аудиоплеерах.
Первая версия стандарта – MPEG-1 поддерживала кадр размером 352´288 и использовалась для записи фильмов на CD-диски примерно с тем же качеством, что и на видеокассетах.
Стандарт MPEG-2 поддерживает различные уровни разрешения до максимальных значений 720´´576 в стандартах PAL и SECAM или 640´480 в стандарте NTSC. Кроме того, в стандарт была добавлена поддержка многоканального звука (см. разд. 1.3.7.2). Этот стандарт используется для записи фильмов на DVD-диски.
Последняя версия стандарта MPEG – MPEG-4 первоначально разрабатывалась для кодирования видеоданных и аудиоданных при передаче в Internet, т.е. с низкой скоростью – от 64 Кбит/c до 4 Мбит/с. Однако позже появились реализации (профили) MPEG-4 и для цифрового кино со скоростью передачи до 1,2 Гбит/с.
По своей концепции MPEG-4 существенно отличается от MPEG-1 и MPEG-2. В его основу положено разделение кодируемой последовательности кадров на аудио и видеообъекты. Кроме того, стандарт MPEG-4 превосходит MPEG-2 по эффективности сжатия и устойчивости к ошибкам. Однако применение новых алгоритмов сжатия повлекло за собой и существенное увеличение требований к ресурсам компьютера, необходимым для качественной декомпрессии изображения из этого формата. Эти объекты могут кодироваться и передаваться отдельно, а затем собираться вместе с декодером, что позволяет, в частности, задавать язык просмотра фильма и/или язык титров. Стандарт MPEG-4 включает также масштабируемые профили: при кодировке создается один базовый слой и один или несколько дополнительных слоев улучшенного качества, а при передаче или декодировании дополнительные слои игнорируются, если для их обработки не хватает ресурсов. Последние версии MPEG-4 содержат специальный профиль FGS (fine gain scalability – масштабируемость отличного качества).При использовании этого профиля весь поток данных создается как поток высшего качества, но из него можно извлечь версии с более низкого качества.
Если стандарты при скоростях обработки данных современных процессоров могут быть реализованы программно, то качественная реализация стандарта MPEG-4 требует поддержки аппаратных средств. Поэтому для сохранения видеоданных на диске TV-тюнеры используют фирменный формат Microsoft (формат AVI) и/или программное сжатие по стандартам MPEG-1 и MPEG-2. Профессиональные карты, наоборот, обеспечивают аппаратное сжатие для всех стандартов MPEG и, иногда, и для стандарта MJPEG.
Закодированные данные могут быть воспроизведены с помощью программ просмотра графических файлов и видеофайлов.
Основными характеристиками блока кодирования являются:
· схемы кодирования видеосигналов (некоторые блоки в профессиональных устройствах обработки видеоданных выполняют и функции видеодекодера, т.е. на их вход могут быть не только цифровые, но и аналоговые сигналы);
· поддерживаемые стандарты кодирования видеоданных и звукового сопровождения;
· скорость записи данных (в Мбитах/с);
· способ реализации кодирования (аппаратный или программный).
Блок декодирования данных выполняет обратное преобразование данных в один из цифровых телевизионных форматов: DV, DVCam, Betacom SX и других, а блок видеокодера – в один из аналоговых форматов: S-Video, RGB или композитный видеосигнал (иногда эти блоки совмещены). Основной характеристикой этих блоков является набор поддерживаемых видеовыходов и (для композитного выхода) поддерживаемые телевизионные стандарты.
