Морфологический анализ цветных (спектрозональных) изображений

Пытьев Ю.П.

Московский государственный университет, Москва, Россия

1. Введение

Хорошо известно, что изображения одной и той же сцены, полученные при различных условиях освещения и(или) измененных[1] оптических свойствах объектов могут отличаться радикально. Это обстоятельство порождает значительные трудности в прикладных задачах анализа и интерпретации изображений реальных сцен, в которых решение должно не зависеть от условий регистрации изображений. Речь идет, например, о задачах выделения неизвестного объекта на фоне известной местности, известного объекта на произвольном фоне при неконтролируемых условиях освещения, о задаче совмещения изображенний одной и той же сцены, полученных в различных спектральных диапазонах и т.д.

Методы морфологического анализа, разработанные более десяти лет тому назад, [1-5], для решения перечисленных задач, были в основном ориентированы для применения к черно-белым изображениям[2] и оказались достаточно эффективными, [5-11].

Между тем, по меньшей мере два обстоятельства указывают на целесообразность разработки морфологических методов анализа цветных изображений. Во-первых, в задаче обнаружения и выделения объекта последний, как правило, прежде всего цветом отличается от фона. Во-вторых, описание формы изображения в терминах цвета позволит практически устранить эффект теней и влияние неопределенности в пространственном распределении интенсивности спектрально однородного освещения.

2. Цвет и яркость спектозонального изображения.

Рассмотрим некоторые аспекты теории цвета так называемых многоспектральных (спектрозональных, [13]) изображений, аналогичной классической колориметрии [12]. Будем считать заданными n детекторов излучения со спектральными чувствительностями j =1,2,..., n, где l (0,¥) - длина волны излучения. Их выходные сигналы, отвечающие потоку излучения со спектральной плотностью e (l)0, lÎ (0,¥), далее называемой излучением, образуют вектор , w (×)= . Определим суммарную спектральную чувствительность детекторов , lÎ (0,¥), и соответствующий суммарный сигнал назовем яркостью излучения e (×). Вектор назовем цветом излучения e (×). Если цвет e (×) и само излучение назовем черным. Поскольку равенства и эквивалентны, равенство имеет смысл и для черного цвета, причем в этом случае - произвольный вектор, яркость оторого равна единице. Излучение e (×) назовем белым и его цвет обозначим если отвечающие ему выходные сигналы всех детекторов одинаковы:

Векторы , и , , удобно считать элементами n -мерного линейного пространства . Векторы f _e, соответствующие различным излучениям e (×), содержатся в конусе . Концы векторов содержатся в множестве , где Ï - гиперплоскость .

Далее предполагается, что всякое излучение , где E - выпуклый конус излучений, содержащий вместе с любыми излучениями все их выпуклые комбинации (смеси) Поэтому векторы в образуют выпуклый конус , а векторы .

Если то и их аддитивная смесь . Для нее

. (1)

Отсюда следует

Лемма 1. Яркость f_e и цвет j _eлюбой аддитивной смеси e (×) излучений e₁(×),...,e_m(×), m=1,2,... определяются яркостями и цветами слагаемых.

Подчеркнем, что равенство , означающее факт совпадения яркости и цвета излучений e (×) и , как правило, содержит сравнительно небольшую информацию об их относительном спектральном составе. Однако замена e (×) на в любой аддитивной смеси излучений не изменит ни цвета, ни яркости последней.

Далее предполагается, что вектор w (×) таков, что в E можно указать базовые излучения , для которых векторы , j =1,..., n, линейно независимы. Поскольку цвет таких излучений непременно отличен от черного, их яркости будем считать единичными, , j =1,..., n. В таком случае излучение характеризуется лишь цветом , j =1,..., n.

Для всякого излучения e (×) можно записать разложение

, (1*)

в котором - координаты в базисе ,

или, в виде выходных сигналов детекторов излучения, - , где , , - выходной сигнал i- го детектора, отвечающий j- ому излучению e _j (×), i, j =1,..., n. Матрица - стохастическая, поскольку ее матричные элементы как яркости базовых излучений неотрицательны и , j =1,..., n. При этом яркость и вектор цвета , , j =1,..., n, (конец которого лежит в Ï) определяются координатами a _j и цветами излучений , j =1,..., n, и не зависят непосредственно от спектрального состава излучения e (×).

В ряде случаев белое излучение естественно определять исходя из базовых излучений, а не из выходных сигналов детекторов, считая белым всякое излучение, которому в (1*) отвечают равные координаты: .

Заметим, что слагаемые в (1*), у которых a_j <0,[3] физически интерпретируются как соответствующие излучениям, "помещенным" в левую часть равенства (1*) с коэффициентами -a_j>0: . В такой форме равенство (1*) представляет “баланс излучений”.

Определим в скалярное произведение и векторы , биортогонально сопряженные с : , i, j =1,..., n.

Лемма 2. В разложении (1*) , j=1,...,n, . Яркость , где , причем вектор y ортогонален гиперплоскости Ï, так как , i,j=1,...,n.

Что касается скалярного проиведения , то его естественно определять так, чтобы выходные сигналы детекторов были координатами f _e в некотором ортонормированном базисе . В этом базисе конус . Заметим, что для любых векторов и, тем более, для , [4].

Пусть Х - поле зрения, например, ограниченная область на плоскости R₂, или на сетке , спектральная чувствительность j -го детектора излучения, расположенного в точке ; - излучение, попадающее в точку . Изображением назовем векторнозначную функцию

(2**)

Точнее, пусть Х - поле зрения, (Х, С, m) - измеримое пространство Х с мерой m, C - s-алгебра подмножеств X. Цветное (спектрозональное) изображение определим равенством

, (2)

в котором почти для всех , , - m-измеримые функции на поле зрения X, такие, что

Цветные изображения образуют подкласс функций лебеговского класса функций . Класс цветных изображений обозначим L_E, _n.

Впрочем, для упрощения терминологии далее любой элемент называется цветным изображением, а условие

(2*)

условием физичности изображений f (×).

Если f (×) - цветное изображение (2), то , как нетрудно проверить, - черно-белое изображение [2], т.е. , . Изображение , назовем черно-белым вариантом цветного изображения f (×), а цветное изображение , f(x)0, xÎX - цветом изображения f (×). В точках множества Â={ xÎX: f (x)=0} черного цвета j (x), xÎ Â, - произвольные векторы из , удовлетворяющие условию: яркость j (x)=1. Черно-белым вариантом цветного изображения f (×) будем также называть цветное изображение b (×), имеющее в каждой точке Х ту же яркость, что и f (×), b(x)=f(x), xÎX, и белый цвет, b (x)= b (x)/b(x)= b, xÎX.

3. Форма цветного изображения.

Понятие формы изображения призвано охарактеризовать форму изображенных объектов в терминах характерности изображений, инвариантных относительно определенного класса преобразований изображения, моделирующих меняющиеся условия его регистрации. Например, довольно часто может меняться освещение сцены, в частности, при практически неизменном спектральном составе может радикально изменяться распределение интенсивности освещения сцены. Такие изменения освещения в формуле (2**) выражаются преобразованием , в котором множитель k(x) модулирует яркость изображения в каждой точке при неизменном распределении цвета. При этом в каждой точке у вектора f (x) может измениться длина, но направление останется неизменным.

Нередко изменение распределения интенсивности освещения сопровождается значительным изменением и его спектрального состава, но - пространственно однородным, одним и тем же в пределах всей изображаемой сцены. Поскольку между спектром излучения e и цветом j нет взаимно однозначного соответствия, модель сопутствующего преобразования изображения f (x) в терминах преобразования его цвета j (×). Для этого определим отображение A (×): , ставящее в соответствие каждому вектору цвета подмножество поля зрения в точках которого изображение , имеет постоянный цвет .

Пусть при рассматриваемом изменении освещения и, соответственно, ; предлагаемая модель преобразования изображения состоит в том, что цвет преобразованного изображения должен быть также постоянным на каждом множестве A (j), хотя, вообще говоря, - другим, отличным от j. Характекрным в данном случае является тот факт, что равенство влечет . Если - самое детальное изображение сцены, то, вообще говоря, на различных множествах A (j¢) и A (j) цвет изображения может оказаться одинаковым[5].

Как правило, следует учитывать непостоянство оптических характеристик сцены и т.д. Во всех случаях форма изображения должна быть инвариантна относительно преобразования из выделенного класса и, более того, должна определять изображение с точностью до произвольного преобразования из этого класса.

Для определения понятия формы цветного изображения f (×) на удобно ввести частичный порядок p, т.е. бинарное отношение, удовлетворяющее условиям: 1) , 2) , , то , ; отношение p должно быть согласованным с определением цветного изображения (с условием физичности), а именно, , если . Отношение p интерпретируется аналогично тому, как это принято в черно-белой морфологии[2], а именно, означает, что изображения f (×) и g (×) сравнимы по форме, причем форма g (×) не сложнее, чем форма f (×). Если и , то f (×) и g (×) назовем совпадающими по форме (изоморфными), f (×) _~g (×). Например, если f (×) и g (×) - изображения одной и той же сцены, то g (×), грубо говоря, характеризует форму изображенных объектов не точнее (подробнее, детальнее), чем f (×), если .

В рассматриваемом выше примере преобразования изображений , если между множествами A (j), и A¢ (j¢), существует взаимно-однозначное соответствие, т.е., если существует функция , такая, что A¢ (j¢ (j))= A (j), , причем , если . В этом случае равенства и эквивалентны, и изоморфны и одинаково детально характеризуют сцену, хотя и в разных цветах.

Если же не взаимно однозначно, то A¢ (j¢)= U A (j) и . В этом случае равенство влечет (но не эквивалентно) , передает, вообще говоря, не все детали сцены, представленные в .

Пусть, скажем, g (×) - черно-белый вариант f (×), т.е. g(x)=f(x) и g (x)/g(x)= b, x Î X. Если преобразование - следствие изменившихся условий регистрации изображения, то, естественно, . Аналогично, если f (×), g (×) - изображения одной и той же сцены, но в g (×), вследствие неисправности выходные сигналы некоторых датчиков равны нулю, то . Пусть F - некоторая полугруппа преобразований , тогда для любого преобразования F ÎF , поскольку, если некоторые детали формы объекта не отражены в изображении f (×), то они, тем более, не будут отражены в g (×).

Формой изображения f (×) назовем множество изображений , форма которых не сложнее, чем форма f` (×), и их пределов в (черта символизирует замыкание в ). Формой изображения f (×) в широком смысле назовем минимальное линейное подпространство , содержащее . Если считать, что для любого изображения , то это будет означать, что отношение p непрерывно относительно сходимости в в том смысле, что .

Рассмотрим теперь более подробно понятие формы для некоторых характерных классов изображений и их преобразований.

4. Форма кусочно-постоянного (мозаичного) цветного изображения.

Во многих практически важных задачах форма объекта на изображении может быть охарактеризована специальной структурой излучения, достигающего поле зрения X в виде здесь - индикаторные функции непересекающихся подмножеств А_i, i=1,…...,N, положительной меры поля зрения Х, на каждом из которых функции , , j =1,..., n, i =1,..., N, непрерывны. Поскольку согласно лемме 2

, (3)

то цветное изображение f_e (×), такого объекта характеризует его форму непрерывным распределением яркости и цвета на каждом подмножестве A_i, i =1,..., N. Для изображения , где , также характерно напрерывное распределение яркости и цвета на каждом A_i, если , - непрерывные функции.

Если, в частности, цвет и яркость постоянны на A_i, i =1,..., N, то это верно и для всякого изображения , если не зависит явно от . Для такого изображения примем следующее представление:

, (4)

его черно-белый вариант

(4*)

на каждом A_i имеет постоянную яркость , и цвет изображения (4)

(4**)

не меняется на A_i и равен , i =1,..., N.

Поскольку для реальных изображений должно быть выполнено условие физичности (2*), , то форму изображения (4), имеющего на различных множествах А_iимеет несовпадающие яркости и различные цвета , определим как выпуклый замкнутый в конус:

. (4***)

v(a), очевидно, содержится в n×N мерном линейном подпространстве

, (4****)

которое назовем формой a(×) в широком смысле.

Форму в широком смысле любого изображения a(×), у которого не обязательно различны яркости и цвета на различных подмножествах A_i,i=1,...,N, определим как линейное подпространство , натянутое не вектор-функции Fa(×),FÎF, где F - класс преобразований , определенных как преобразования векторов a(x)®Fa(x) во всех точках xÎX; здесь F - любое преобразование . Тот факт, что F означает как преобразование , так и преобразование , не должен вызывать недоразумения.

Изображения из конуса(4***) имеют форму, которая не сложнее, чем форма a(×) (4), поскольку некоторые из них могут иметь одно и то же значение яркости или(и) цвета на различных множествах А _i, i=1,…………..,N. Также множества оказываются, по существу, объединенными в одно, что и приводит к упрощению формы изображения, поскольку оно отражает меньше деталей формы изображенного объекта, чем изображение (4). Это замечание касается и L(a (×)), если речь идет о форме в широком смысле.

Лемма 3. Пусть {А_i} - измеримое разбиение X: .

Изображение (3) имеет на каждом подмножестве A_i:

- постоянную яркость и цвет , если и только если выполняется равенство (4);

- постоянный цвет , если и только если в (3) ;

- постоянную яркость f _i, i=1,..., N, если и только если в (3) не зависит от , i=1,…...,N.

Доказательство. На множестве A _i яркость и цвет изображения (3) равны соответственно[6]

, , i=1,.…..,N.

Если выполнено равенство (4), то и от не зависят. Наоборот, если и , то и , т.е. выполняется (4).

Если , то цвет не зависит от . Наоборот, пусть не зависит от . В силу линейной независимости координаты j _(i) (x) не зависят от , т.е. и, следовательно, где - яркость на A _i и . Последнее утверждение очевидно n

Цвет изображения определяется как электродинамическими свойствами поверхности изображенного объекта, так и спектральным составом облучающего электромагнитного излучения в том диапазоне, который используется для регистрации изображения. Речь идет о спектральном составе излучения, покидающего поверхность объекта и содержащего как рассеянное так и собственное излучения объекта. Поскольку спектральный состав падающего излучения, как правило, пространственно однороден, можно считать, что цвет изображения несет информацию о свойствах поверхности объекта, о ее форме, а яркость в значительной степени зависит и от условий “освещения”. Поэтому на практике в задачах морфологического анализа цветных изображений сцен важное значение имеет понятие формы изображения, имеющего постоянный цвет и произвольное распределение яркости в пределах заданных подмножеств A_i, i=1,...,N, поля зрения X.

Итак, пусть в согласии с леммой 3

, (5)

где, - индикаторная функция A_i, ,функция g_i(×) задает распределение яркости

(6)

в пределах A_i при постоянном цвете

, i=1,...,N, (7)

причем для изображения (5) цвета j _(i), i=1,.…..,N, считаются попарно различными, а функции g_(i), i=1,.…..,N, - удовлетворяющими условиям i=1,.…..,N.

Нетрудно заметить, что в выражениях (5),(6) и (7) без потери общности можно принять условие нормировки , позволяющее упростить выражения (6) и (7) для распределений яркости и цвета. С учетом нормировки распределение яркости на A_i задается функцией а цвет на A_i равен

(7*)

Форму изображения (5) определим как класс всех изображений

(8)

каждое из которых, как и изображение (5), имеет постоянный цвет в пределах каждого A_i, i=1,...,N. Форма таких изображений не сложнее, чем форма f (×) (5), поскольку в изображении на некоторых различных подмножествах A_i, i=1,...,N, могут совпадать значения цвета, которые непременрно различны в изображении f (×) (5). Совпадение цвета на различных подмножествах A_i, i=1,...,N ведет к упрощению формы изображения по сравнению с формой f(×) (5). Все изображения , имеющие различный цвет на различных A_i, i=1,...,N,считаются изоморфными f (×) (и между собой), форма остальных не сложнее, чем форма f (×). Если , то, очевидно, .

Если в (8) яркость , то цвет на A_i считается произвольным (постоянным), если же в точках некоторого подмножества , то цвет на A_i считается равным цвету на , i=1,...,N.

Цвет изображения (8) может не совпадать с цветом (5). Если же по условию задачи все изображения , форма которых не сложнее, чем форма , должны иметь на A_i, i=1,...,N, тот же цвет, что и у то следует потребовать, чтобы , в то время, как яркости остаются произвольными (если , то цвет на A_i определяется равным цвету f (×) на A_i, i=1,...,N).

Нетрудно определить форму любого, не обязательно мозаичного, изображения f (×) в том случае, когда допустимы произвольные изменения яркости при неизменном цвете j (x) в каждой точке . Множество, содержащее все такие изображения

(9)

назовем формой в широком смысле изображения , у которого f(x)¹ 0, m-почти для всех , [ср. 2]. является линейным подпространством , содержащем любую форму

, (10)

в которой включение определяет допустимые значения яркости. В частности, если означает, что яркость неотрицательна: , то - выпуклый замкнутый конус в , принадлежащий .

Более удобное описание формы изображения может быть получено на основе методов аппроксимации цветных изображений, в которых форма определяется как оператор наилучшего приближения. В следующем параграфе дано представление формы изображения в виде оператора наилучшего приближения.

5. Задачи аппроксимации цветных изображений. Форма как оператор наилучшего приближения.

Рассмотрим вначале задачи приближения кусочно-постоянными (мозаичными) изображениями. Решение этих задач позволит построить форму изображения в том случае, когда считается, что для любого преобразования , действующего на изображение как на вектор в каждой точке и оставляющего элементом , т.е. изображением. Форма в широком смысле определяется как оператор наилучшего приближения изображения изображениями

где - класс преобразований , такой, что . Иначе можно считать, что

(10*)

а - оператор наилучшего приближения элементами множества , форма которых не сложнее, чем форма . Характеристическим для является тот факт, что, если f (x)= f (y), то для любого .

5.1. Приближение цветного изображения изображениями, цвет и яркость которых постоянны на подмножествах разбиения поля зрения X.

Задано разбиение , требуется определить яркость и цвет наилучшего приближения на каждом . Рассмотрим задачу наилучшего приближения в цветного изображения f (×) (2) изображениями (4), в которых считается заданным разбиение поля зрения X и требуется определить из условия

(11)

Теорема 1. Пусть . Тогда решение задачи (11) имеет вид

, i=1,...,N, j=1,...,n, (12)

и искомое изображение (4) задается равенством

. (13)

Оператор является ортогональным проектором на линейное подпространство (4****) изображений (4), яркости и цвета которых не изменяются в пределах каждого A_i, i=1,...,N.

Черно-белый вариант (4*) цветного изображения (4) является наилучшей в аппроксимацией черно-белого варианта цветного изображения f (×) (2), если цветное изображение (4) является наилучшей в аппроксимацией цветного изображения f (×) (2). Оператор , является ортогональным проектором на линейное подпространство черно-белых изображений, яркость которых постоянна в пределах каждого .

В точках множества цвет (4**) наилучшей аппроксимации (4) цветного изображения f (×) (2) является цветом аддитивной смеси составляющих f (×) излучений, которые попадают на .

Доказательство. Равенства (12) - условия минимума положительно определенной квадратичной формы (11), П - ортогональный проектор, поскольку в задаче (11) наилучшая аппроксимация - ортогональная проекция f (×) на . Второе утверждение следует из равенства

, вытекающего из (13). Последнее утверждение следует из равенств

, i=1,...,N вытекающих из (12) и равенства (1), в котором индекс k следует заменить на x Î X. ■

Замечание 1. Для любого измеримого разбиения ортогональные проекторы и определяют соответственно форму в широком смысле цветного изображения (4), цвет и яркость которого, постоянные в пределах каждого , различны для различных , ибо , и форму в широком смысле черно-белого изображения, яркость которого постоянна на каждом и различна для разных ,[2].

Если учесть, условие физичности (2*), то формой цветного изображения следует считать проектор на выпуклый замкнутый конус (4***)

Аналогично формой черно-белого изображения следует считать проектор на выпуклый замкнутый конус изображений (4*), таких, что [2]. Дело в том, что оператор определяет форму изображения (4), а именно

- множество собственных функций оператора . Поскольку f(×) - наилучшее приближение изображения изображениями из , для любого изображения из и только для таких - . Поэтому проектор можно отождествить с формой изображения (4).

Аналогично для черно-белого изображения a(×)

,[7] [2]. И проектор можно отождествить с формой изображения (4*), как это сделано в работах [2,3].

Примечания.

Формы в широком смысле не определяются связью задач наилучшего приближения элементами и , которая известна как транзитивность проецирования. Именно, если оператор наилучшего в приближения злементами выпуклого замкнутого (в и в ) конуса , то . Иначе говоря, для определения наилучшего в приближения элементами можно вначале найти ортогональную проекцию изображения на , а затем спроецировать в на . При этом конечномерный проектор для каждого конкретного конуса может быть реализован методом динамического программирования, а для многих задач морфологического анализа изображений достаточным оказывается использование лишь проектора П.

Форма в широком смысле (4***) изображения (4) полностью определяется измеримым разложением , последнее, в свою очередь определяется изображением

если векторы попарно различны. Если при этом , то форма в широком смысле может быть определена и как оператор П ортогонального проецирования на , определенный равенством (13).

Посмотрим, каким образом воспользоваться этими фактами при построении формы в широком смысле как оператора ортогонального проецирования на линейное подпространство (10*) для произвольного изображения . Пусть - множество значений и - измеримое разбиение X, порожденное , в котором - подмножество X, в пределах которого изображение имеет постоянные яркость и цвет, определяемые вектором , если .

Однако для найденного разбиения условие , вообще говоря, невыполнимо и, следовательно, теорема 1 не позволяет построить ортогональный проектор П на . Покажем, что П можно получить как предел последовательности конечномерных ортогональных проекторов. Заметим вначале, что любое изображение можно представить в виде предела (в ) должным образом организованной последовательности мозаичных изображений