Рассмотрим теперь применение принципов ДИКМ для передачи телевизионного сигнала, то есть последовательности кадров. Как уже указывалось, в этом случае для каждого элемента изображения следует передавать разницу между его действительным значением и его же значением, предсказанным по элементам изображения, относящимся к предыдущим кадрам.
Реальные изображения, передаваемые по телевидению, обычно содержат неподвижный фон и изменяющиеся или перемещающиеся объекты. Возможен и случай отсутствия неподвижного фона, если передающая телевизионная камера осуществляет панорамирование сцены, то есть сама перемещается или поворачивается. На рис. 3.3 приведен случай перемещения объекта как целого относительно неподвижного фона. Предполагается, что все элементы объекта имеют одинаковую яркость B 0 , а элементы фона – яркость Bф. Для упрощения рассматривается случай кадра, состоящего из 10 строк по 12 элементов в строке.
L t1UKDXHTtVBSKC5JzEtJzMnPS7VVqkwtVrK34+UCAAAA//8DAFBLAwQUAAYACAAAACEAPsgDBsQA AADdAAAADwAAAGRycy9kb3ducmV2LnhtbESPS2vCQBSF94L/YbiFbqSZWDCmqaOIUKg7X1C6u2Ru k9DMnTAzavTXO4Lg8nAeH2e26E0rTuR8Y1nBOElBEJdWN1wpOOy/3nIQPiBrbC2Tggt5WMyHgxkW 2p55S6ddqEQcYV+ggjqErpDSlzUZ9IntiKP3Z53BEKWrpHZ4juOmle9pmkmDDUdCjR2tair/d0cT udlV/vxu1hmvR7qzR87t1JVKvb70y08QgfrwDD/a31rBR55P4P4mPgE5vwEAAP//AwBQSwECLQAU AAYACAAAACEA8PeKu/0AAADiAQAAEwAAAAAAAAAAAAAAAAAAAAAAW0NvbnRlbnRfVHlwZXNdLnht bFBLAQItABQABgAIAAAAIQAx3V9h0gAAAI8BAAALAAAAAAAAAAAAAAAAAC4BAABfcmVscy8ucmVs c1BLAQItABQABgAIAAAAIQAzLwWeQQAAADkAAAAQAAAAAAAAAAAAAAAAACkCAABkcnMvc2hhcGV4 bWwueG1sUEsBAi0AFAAGAAgAAAAhAD7IAwbEAAAA3QAAAA8AAAAAAAAAAAAAAAAAmAIAAGRycy9k b3ducmV2LnhtbFBLBQYAAAAABAAEAPUAAACJAwAAAAA= " adj="0,,0" path="m,l2156005,e" filled="f" strokeweight=".4215mm"> L t1UKDXHTtVBSKC5JzEtJzMnPS7VVqkwtVrK34+UCAAAA//8DAFBLAwQUAAYACAAAACEAI25flMUA AADdAAAADwAAAGRycy9kb3ducmV2LnhtbESPQUsDMRSE74L/ITzBi9hsRZZ1bVpEaBEPpV0Fr4/N c7O4eVmSNN3+e1Mo9DjMzDfMYjXZQSTyoXesYD4rQBC3TvfcKfj+Wj9WIEJE1jg4JgUnCrBa3t4s sNbuyHtKTexEhnCoUYGJcaylDK0hi2HmRuLs/TpvMWbpO6k9HjPcDvKpKEppsee8YHCkd0PtX3Ow ClKa5M635uGzSafyWW8o/my3St3fTW+vICJN8Rq+tD+0gpeqKuH8Jj8BufwHAAD//wMAUEsBAi0A FAAGAAgAAAAhAPD3irv9AAAA4gEAABMAAAAAAAAAAAAAAAAAAAAAAFtDb250ZW50X1R5cGVzXS54 bWxQSwECLQAUAAYACAAAACEAMd1fYdIAAACPAQAACwAAAAAAAAAAAAAAAAAuAQAAX3JlbHMvLnJl bHNQSwECLQAUAAYACAAAACEAMy8FnkEAAAA5AAAAEAAAAAAAAAAAAAAAAAApAgAAZHJzL3NoYXBl eG1sLnhtbFBLAQItABQABgAIAAAAIQAjbl+UxQAAAN0AAAAPAAAAAAAAAAAAAAAAAJgCAABkcnMv ZG93bnJldi54bWxQSwUGAAAAAAQABAD1AAAAigMAAAAA " adj="0,,0" path="m,l2156004,e" filled="f" strokeweight=".4215mm"> L t1UKDXHTtVBSKC5JzEtJzMnPS7VVqkwtVrK34+UCAAAA//8DAFBLAwQUAAYACAAAACEATCL6D8YA AADdAAAADwAAAGRycy9kb3ducmV2LnhtbESPQUsDMRSE74L/ITyhF2mzFqnbbdMigiIeSrsWen1s XjeLm5clien23xtB8DjMzDfMejvaXiTyoXOs4GFWgCBunO64VXD8fJ2WIEJE1tg7JgVXCrDd3N6s sdLuwgdKdWxFhnCoUIGJcaikDI0hi2HmBuLsnZ23GLP0rdQeLxluezkvioW02HFeMDjQi6Hmq/62 ClIa5d435v6jTtfFo36jeNrtlJrcjc8rEJHG+B/+a79rBcuyfILfN/kJyM0PAAAA//8DAFBLAQIt ABQABgAIAAAAIQDw94q7/QAAAOIBAAATAAAAAAAAAAAAAAAAAAAAAABbQ29udGVudF9UeXBlc10u eG1sUEsBAi0AFAAGAAgAAAAhADHdX2HSAAAAjwEAAAsAAAAAAAAAAAAAAAAALgEAAF9yZWxzLy5y ZWxzUEsBAi0AFAAGAAgAAAAhADMvBZ5BAAAAOQAAABAAAAAAAAAAAAAAAAAAKQIAAGRycy9zaGFw ZXhtbC54bWxQSwECLQAUAAYACAAAACEATCL6D8YAAADdAAAADwAAAAAAAAAAAAAAAACYAgAAZHJz L2Rvd25yZXYueG1sUEsFBgAAAAAEAAQA9QAAAIsDAAAAAA== " adj="0,,0" path="m,l2156004,e" filled="f" strokeweight=".4215mm"> L t1UKDXHTtVBSKC5JzEtJzMnPS7VVqkwtVrK34+UCAAAA//8DAFBLAwQUAAYACAAAACEA0MmsmMIA AADdAAAADwAAAGRycy9kb3ducmV2LnhtbERPTWvCQBC9F/wPyxR6KbqxhxhTVxFB0Fu1BfE2ZKdJ aHY27K6a9td3DoLHx/terAbXqSuF2Ho2MJ1koIgrb1uuDXx9bscFqJiQLXaeycAvRVgtR08LLK2/ 8YGux1QrCeFYooEmpb7UOlYNOYwT3xML9+2DwyQw1NoGvEm46/RbluXaYcvS0GBPm4aqn+PFSW/+ p0/nj33O+1fb+wsXfhYqY16eh/U7qERDeojv7p01MC8KmStv5Ano5T8AAAD//wMAUEsBAi0AFAAG AAgAAAAhAPD3irv9AAAA4gEAABMAAAAAAAAAAAAAAAAAAAAAAFtDb250ZW50X1R5cGVzXS54bWxQ SwECLQAUAAYACAAAACEAMd1fYdIAAACPAQAACwAAAAAAAAAAAAAAAAAuAQAAX3JlbHMvLnJlbHNQ SwECLQAUAAYACAAAACEAMy8FnkEAAAA5AAAAEAAAAAAAAAAAAAAAAAApAgAAZHJzL3NoYXBleG1s LnhtbFBLAQItABQABgAIAAAAIQDQyayYwgAAAN0AAAAPAAAAAAAAAAAAAAAAAJgCAABkcnMvZG93 bnJldi54bWxQSwUGAAAAAAQABAD1AAAAhwMAAAAA " adj="0,,0" path="m,l2156005,e" filled="f" strokeweight=".4215mm"> L t1UKDXHTtVBSKC5JzEtJzMnPS7VVqkwtVrK34+UCAAAA//8DAFBLAwQUAAYACAAAACEAv4UJA8MA AADdAAAADwAAAGRycy9kb3ducmV2LnhtbESPS4vCMBSF94L/IVxhNjKmuqi1YxQRBN35gmF2l+ZO W6a5KUnUjr/eCILLw3l8nPmyM424kvO1ZQXjUQKCuLC65lLB+bT5zED4gKyxsUwK/snDctHvzTHX 9sYHuh5DKeII+xwVVCG0uZS+qMigH9mWOHq/1hkMUbpSaoe3OG4aOUmSVBqsORIqbGldUfF3vJjI Te/y+2e/S3k31K29cGanrlDqY9CtvkAE6sI7/GpvtYJZls3g+SY+Abl4AAAA//8DAFBLAQItABQA BgAIAAAAIQDw94q7/QAAAOIBAAATAAAAAAAAAAAAAAAAAAAAAABbQ29udGVudF9UeXBlc10ueG1s UEsBAi0AFAAGAAgAAAAhADHdX2HSAAAAjwEAAAsAAAAAAAAAAAAAAAAALgEAAF9yZWxzLy5yZWxz UEsBAi0AFAAGAAgAAAAhADMvBZ5BAAAAOQAAABAAAAAAAAAAAAAAAAAAKQIAAGRycy9zaGFwZXht bC54bWxQSwECLQAUAAYACAAAACEAv4UJA8MAAADdAAAADwAAAAAAAAAAAAAAAACYAgAAZHJzL2Rv d25yZXYueG1sUEsFBgAAAAAEAAQA9QAAAIgDAAAAAA== " adj="0,,0" path="m,l2156005,e" filled="f" strokeweight=".4215mm">
а) б)
Рис.6.3. Иллюстрация к методу компенсации движения. Положение объекта в первом кадре (а) и во втором кадре (б)
Сравним два идущих друг за другом кадра (рис.3.3,а,б). Изменение положения объекта привело к тому, что во втором кадре по сравнению с первым изменилось значение видеосигнала в 12 элементах изображения. При этом в 6 элементах произошло изменение яркости со значения Bф на B 0 и в 6 элементах произошло изменение яркости со значения B 0 на Bф.
Если за предсказанные значения видеосигнала элементов второго кадра B 2′(i, j)принять значения яркости элементов первого кадра B 1′(i, j) с такими же координатами, то есть B 2′(i, j) = B 1(i, j), где ij – дискретные значения координат по горизонтали и по вертикали соответственно, то при использовании ДИКМ надо передать разностные значения∆ B 2(i, j) = B 2(i, j) − B 2′(i, j), где B 2(i, j) – действительное значение элемента второго кадра, для 12 элементов: 6 значений∆ B 2(i, j) = B 0- Bф и 6 значений ∆ B 2(i, j) = Bф - B 0. Это количество информации меньше, чем полное количество информации в кадре, содержащем 120 элементов изображения. Однако, если использовать дополнительные данные о перемещении объекта, объем передаваемой информации можно еще значительно уменьшить.
В данном примере объект перемещается без поворота. Следовательно, его перемещение можно описать с помощью одного вектора (∆ i,∆ j), где ∆ i,∆ j – смещения объекта как целого по горизонтали и по вертикали соответственно, выраженные в изменениях номера элемента в строке и номера строки. В данном случае Δi = –1, Δj = 1, так как объект сместился на один элемент влево и на одну строку вниз (счет строк идет сверху вниз в соответствии с законом телевизионной развертки).
Если передавать вектор (Δi,Δj), называемый вектором движения, или вектором смещения, вместе с цифровым телевизионным сигналом, то в приемной части системы можно будет в качестве предсказанного значения видеосигнала второго кадра B 2′(∆ i,∆ j)использовать не значение видеосигнала того же элемента первого кадра B 1(i, j), a значение видеосигнала, B 1(i − ∆ i, j − ∆ j)получающегося при смещении кадра на Δi по горизонтали и на Δj по вертикали.
В рассматриваемом примере кадр, предсказанный с учетом смещения B 2′(i − ∆ i, j − ∆ j), в точности совпадет с действительным вторым кадром, то есть разностный сигнал∆ B 2(i, j) =0 для всех i,j. Если передача разностного сигнала осуществляется таким образом, что передаются только отличные от нуля значения∆ B 2(i, j), то для данного примера вообще никакой информации, кроме вектора движения (Δi,Δj),передавать не нужно. Таким образом, вместо 12 чисел, передаваемых при использовании простой межкадровой ДИКМ, необходимо передать 2 числа, описывающих вектор движения.
Такой способ кодирования телевизионного сигнала называется межкадровой ДИКМ с компенсацией движения. Конечно, при передаче реальных сцен оказывается, что объекты не только смещаются относительно фона, но и поворачиваются, приближаются и удаляются, появляются и исчезают, перекрываются и т. д. Кроме того, постепенно, а иногда скачком меняется фон. Поэтому обойтись передачей только векторов движения нельзя. Тем не менее, использование компенсации движения, то есть предсказание текущего кадра по предыдущему с использованием принятых в общем потоке данных векторов движения, позволяет существенно уменьшить требуемую скорость передачи двоичных символов и, следовательно, сузить необходимую для передачи полосу частот канала связи.
Рис.6.4. Система передачи изображений с ДИКМ и компенсацией движения
Рассмотрим структурную схему системы передачи телевизионных изображений с использованием межкадрового кодирования с предсказанием и компенсацией движения (рис. 6.4). По сравнению со структурной схемой системы с ДИКМ на рис. 6.2 здесь прибавился блок оценки движения и дополнительный канал связи для передачи вектора движения. Этот канал введен условно, так как в реальных системах используется тот же канал связи, что и для передачи кодированного с предсказанием изображения.
Для выполнения оценки и компенсации движения кадр разбивается на прямоугольные блоки, называемые макроблоками, чтобы не пугать с блоками, на которые разбивается кадр при внутрикадровом кодировании с применением дискретного косинусного преобразования. Размер макроблоков обычно 16×16 элементов изображения. Средства для выполнения этой операции на рис. 6.4 не показаны.
На вход кодера поступает цифровой телевизионный сигнал x(i,j,n), где i,j – номера, соответственно, элемента в строке и строки, п – номер кадра в последовательности кадров. Пришедший на вход кодера кадр разбивается на макроблоки. Для каждого макроблока R(k,l), где к;1 – координаты макроблока по горизонтали и по вертикали в матрице макроблоков, на которые разделен кадр, находится вектор движения(∆ j,∆ j) kl. Дляэтого выполняются перебор возможных значений вектора движения(∆ j,∆ j) kl, вычисление параметра, равного сумме квадратов разностей всех элементов данного макроблока, и соответствующих элементов смещенного на этот вектор движения макроблока в реконструированном в цепи обратной связи кодера предыдущем кадре x ′(i, j, n -1). Вектор движения (∆ j,∆ j) kl, обеспечивающий минимальное значение этого параметра, и принимается за истинный для макроблока R(k,l). To есть находится вектор(∆ j,∆ j) kl, обеспечивающий минимум суммы
(6.9) где суммирование ведется по всем элементам входного кадра, относящимся к макроблоку R(k,l). В качестве предсказанных значений элементов данного макроблока p ′(i, j, n) берутся элементы реконструированного предыдущего кадра x ′(i, j, n −1), смещенные на(∆ j,∆ j) kl
P ′(i, j, n) = x ′(i − ∆ i, j − ∆ j, n −1). (6.10) Значения p(i,j,n) поступают на вычитатель, формирующий значения разностного сигнала S(i,j,n), которые передаются по каналу связи. Блок предсказания в декодере функционирует аналогично, то есть в нем также выполняется смещение элементов предыдущего кадра на принятый вектор движения в каждом макроблоке. Перебор возможных значений 
в каждом макроблоке осуществляется в пределах заранее установленного диапазона смещений, на которые может сместиться объект за один период кадровой развертки. Для ускорения перебора существует ряд алгоритмов, основанных, например, на последовательном поиске оптимума сначала по одной, а потом по другой пространственной координате, а также на некоторых других принципах. Рассмотренный метод оценки и компенсации движения называется методом соответствующих блоков (blockmatching). Имеются более общие методы оценки движения, в которых используются четырехугольные макроблоки произвольной формы, причем при переходе от предыдущего кадра к текущему могут изменяться не только координаты макроблока, но также его размеры и форма. Это позволяет учитывать и компенсировать повороты и деформации объекта. Следует отметить, что разработанные с целью сжатия потока данных при передаче телевизионных изображений методы оценки и компенсации движения находят и другие применения в различных областях телевидения. Среди них коррекция искажений, возникающих при переходе к чересстрочной развертке в телекинопроекторах, в режиме замедленного воспроизведения в видеомагнитофонах, при переходе от одного телевизионного стандарта к другому и др.
2017-12-16
709
