Принципы обработки изображений, основанные на учете их семантической структуры

Тип работы:
Реферат
Предмет:
Кибернетика


Узнать стоимость

Детальная информация о работе

Выдержка из работы

ОБРАБОТКА ИНФОРМАЦИИ И УПРАВЛЕНИЕ X
УДК 612. 8
ПРИНЦИПЫ ОБРАБОТКИ ИЗОБРАЖЕНИЙ, ОСНОВАННЫЕ НА УЧЕТЕ ИХ СЕМАНТИЧЕСКОЙ СТРУКТУРЫ
Н. Н. Красильников,
доктор техн. наук, профессор
Санкт-Петербургский государственный университет аэрокосмического приборостроения
Рассмотрена структура семантических изображений, а также некоторые особенности их восприятия зрительной системой человека. Сформулированы принципы обработки изображений, основанные на учете их семантической структуры.
Введение
Известно, что для цифровой записи десятиминутного цветного видеоролика при параметрах разложения 720×576 и 25 кадрах в секунду без сжатия потребуется примерно 18,7 Гб памяти. Если эту видеозапись сделать в формате MPEG-2, то при этих же параметрах разложения потребуется около 305 Мб памяти.
С другой стороны, пропускная способность зрительного нерва, согласно экспериментальным измерениям, составляет не более 70 бит/с [1, 2]. Это значит, что за 10 мин просмотра видеоролика зрительная кора получит только 5,25 кб двоичных единиц информации. Эта величина примерно в 3,5−106 раз меньше того объема памяти, который требуется для записи десятиминутного цветного видеоролика без сжатия и в 5,8−104 раз меньше объема памяти, требуемого для его записи со сжатием в формате MPEG-2. Аналогичные результаты имеют место и при использовании более совершенных методов сжатия изображений.
Из приведенного примера следует, что только небольшая часть информации, содержащаяся в видеозаписи, используется зрительной системой человека при ее просмотре, в то время как остальная информация либо вообще не используется, либо используется, но частично. Другими словами, не вся информация, содержащаяся в изображении, для зрительной системы человека равноценна.
Поэтому для эффективной передачи и записи изображений важно принимать во внимание особенности их восприятия зрительной системой. Большие возможности в этом плане открывает учет семантической структуры изображений.
Представление изображений в виде иерархии
семантически значимых компонент
Разделим двумерное изображение на контурные, градиентные и фактурные компоненты.
Контурные компоненты определим как линии, представляющие положения световых и цветовых границ на изображении, т. е. границ, при пересечении которых значения яркости или цвета пикселей изменяются скачком. При этом каждую точку этих линий будем характеризовать координатами, задающими ее положение на плоскости изображения, и значениями яркости (цвета) до и после скачка.
Градиентные компоненты определим как области, каждая точка которых представляет значение плавно изменяющейся яркости (цвета).
Фактурные компоненты определим как области, каждая точка которых представляет отклонение яркости (цвета) от значения, определяемого соответствующей градиентной компонентой.
Мы здесь намеренно вводим термин «фактура», который отличается от общепринятого термина «текстура». Это отличие заключается в том, что под фактурой будем понимать текстуру, из которой удалены и отнесены к контурной компоненте световые и цветовые границы, если они имеются. Таким образом, текстура кирпичной стены разделяется на контурную (границы кирпичей) и фактурную (неоднородность поверхности кирпичей) компоненты. В качестве поясняющего примера показаны исходное изображение (рис. 1, а) и три компоненты (рис. 1, б-г), на которые оно разложено. Разделение изображения на компоненты, подобные описанным выше, неоднократно предпринимались, в частности, при разработке методов сжатия [3, 4]. Из
в)
Рис. 1. Разделение изображения на компоненты: а — исходное изображение- б — контурная компонента- в градиентная компонента- г — фактурная компонента
экспериментов известно, что для зрителя эти компоненты изображения не равнозначны.
Поскольку основная задача зрения заключается в узнавании объектов, составляющих сцену, и определении их взаимного положения, то для зрителя главную роль играют контурные компоненты. Это обусловлено тем, что контуры в проекциях объектов на сетчатки глаз, т. е. в изображениях, порождаются оболочками объектов, представляющими собой поверхности, которые отделяют объекты от окружающего их пространства. Положение этих поверхностей не зависит от условий освещения наблюдаемой сцены, а зависит только от ракурса, под которым наблюдается объект, и от расстояния наблюдения. Константность этих компонент высока, и поэтому велика их информативность при решении задачи узнавания объектов и их положения в пространстве.
Поскольку объекты, составляющие сцену, четко отделены от окружающего их пространства оболочками, то их проекции на плоскость, т. е. изображения объектов, также имеют четкие световые и цветовые границы (контуры), отделяющие их от фона, на котором они наблюдаются. Размытие границ на реальных изображениях возникает вследствие искажений, обусловленных несовершенством используемой аппаратуры. Поэтому обработка изображений практически любых объектов, заключающаяся в замене размытых границ резкими границами, будет восприниматься зрительной системой как улучшение качества их воспроизведения.
Как правило, оболочки реальных объектов, за исключением отдельных изломов, носят гладкий, не зазубренный характер. Из этого следует, что контуры в изображениях, за исключением отдельных изломов, также имеют гладкий характер.
Меньшую роль для зрительной системы играют области изображения, ограниченные контурами, т. е. градиентные компоненты. Константность этих компонент ниже, так как распределение яркости и цвета в них зависит не только от ракурса, под которым наблюдается объект, но также и от условий освещения, которые могут сильно варьироваться.
Еще меньшую роль для зрительной системы играют фактурные компоненты. Известно, что
фактурные компоненты носят шумовой характер. Известно также, что при наблюдении реальных трехмерных объектов, как правило, имеющих фактуру, зрительная система человека не использует информацию, заключенную в ее конкретной реализации, а использует лишь информацию, заключенную в ее спектральной интенсивности, т. е. в энергетическом спектре, и в меньшей степени заключенную в распределении плотности вероятности первого порядка [4, 5]. Это полностью согласуется с гипотезой Юлеша [6]. По некоторым экспериментальным данным, фактуры обладают фрактальными свойствами, т. е. при увеличении изображения их статистические характеристики остаются неизменными. Из этого следует, что при передаче или при сохранении изображения объекта его фактуру можно не передавать (не сохранять), а генерировать при его воспроизведении в виде шума, статистические характеристики которого совпадают со статистическими характеристиками фактуры [4].
Из изложенного следует, что при воспроизведении изображения, для того чтобы оно было оценено зрительной системой как совершенное, необходимо правильно воспроизвести световые и цветовые границы, в меньшей степени это относится к точности воспроизведения градиентной компоненты и еще в меньшей степени — к точности воспроизведения фактурной компоненты.
Некоторые особенности восприятия изображений зрительной системой
При наблюдении изображений зрительная система человека «выделяет» на них семантически значимые области, представляющие собой те или иные объекты или их части. При этом зрительная система «из опыта знает», какими могут и должны быть фрагменты изображения, представляющие ту или иную часть объекта. Если эти фрагменты отличаются от тех, какими они должны быть, это воспринимается как дефект изображения. Примерами таких дефектов являются: размытие световых и цветовых границ- наличие шума в областях с плавно изменяющейся интенсивностью- наличие посторонних узоров в виде муарового рисунка, обусловленного шумом пространственной дискретизации- наличие ложных конту-
ров, обусловленных недостаточным количеством уровней квантования, и т. д. Как дефект воспринимается также отсутствие текстуры на объектах, где она ожидается, например на лице человека. Такие лица выглядят кукольными.
Не все фрагменты изображения для зрительной системы человека являются равноценными. На семантически значимых участках изображения малейшие искажения легко замечаются, в то время как значительные искажения других, семантически малозначимых участков остаются незамеченными. Этот факт хорошо известен и используется на практике. Например, в JPEG-2000 предусмотрена поддержка кодирования отдельных областей изображения (глаза и т. д.) с лучшим качеством.
Примеры реализации изложенных принципов при обработке изображений
Увеличение изображений и коррекция размытых границ
Рассмотренные выше свойства реальных семантических изображений в настоящее время используются при разработке приложений для их обработки. В качестве примера сошлемся на приложе-
ние PhotoZoom Pro 2.1. 4, предназначенное для увеличения изображений. Это приложение можно использовать не только для увеличения изображений, но также и для коррекции их размытых границ без какого-либо увеличения (рис. 2, а-в). Априорное знание степени резкости и гладкости контурных компонент используется также при увеличении изображений.
Фильтрация зашумленных изображений Классические методы фильтрации зашумленных изображений, такие как фильтрация посредством фильтра Винера, не дают сколько-нибудь удовлетворительных результатов (рис. 3, а, б).
Сравнивая рис. 3, б с рис. 2, а, видим, что профильтрованное изображение оказалось сильно размытым. Немногим лучше оказывается результат фильтрации фильтром Бакуса-Гильберта.
Однако если при фильтрации зашумленного изображения исходить из иерархии семантически значимых компонент и по отдельности фильтровать контурные, градиентные и фактурные компоненты, можно получить неплохие результаты [7]. При этом фильтрация должна выполняться следующим образом.
а)
б)
в)
¦ Рис. 2. Исходное изображение (а)-размытая версия исходного изображения (б) — изображение, скорректированное с использованием S-Spline (в)
¦ Рис. 3. Зашумленное изображение (а) — изображение после фильтрации фильтром Винера (б)
Вначале изображение должно быть разделено на контурные, градиентные и фактурные компоненты.
Затем должна быть выполнена фильтрация контурных компонент, особенность которой состоит в том, что она должна быть анизотропной, т. е. импульсная функция фильтра должна представлять собой узкое окно, ориентированное вдоль контура. На участках изгиба контура форма окна должна адаптироваться к форме контура и тоже изгибаться.
Далее выполняется фильтрация градиентных частей. Используя маски, посредством низкочастотной фильтрации сглаживают флуктуации яркости на гладких участках изображения.
И, наконец, производится обработка фактурных компонент. С этой целью выделяют зашумленные фактурные компоненты, спектральные
интенсивности которых обозначим 5(х, юу). Затем, зная спектральную интенсивность шума, ко-
торую обозначим (х, юу), определяют спект-
ральные интенсивности собственно фактур
(Юх, «у) — 5 (Юх, Юу) SN (Юх, Юу),
где юх и юу — круговые пространственные частоты. Поскольку зрительная система при идентификации фактур не различает конкретной реализации и слабо чувствительна к плотности вероятности, то такой способ определения фактур не приводит к заметным для зрителя искажениям.
На заключительном этапе компоненты, полученные из контурных, объединяются с градиентными и фактурными компонентами, полученными в результате описанной обработки (рис. 4).
Реализация описанного метода демонстрируется на рис. 5, а, б. Сопоставление рис. 5, б и 3, б показывает, что при использовании описанной методики имеет место ослабление гауссова шума, но при этом резкость границ на профильтрован-
Градиентная компонента Фактурная компонента
¦ Рис. 5. Зашумленное изображение (а) — изображение после фильтрации описанным методом (б)
ном изображении сохраняется, в то время как использование винеровской фильтрации приводит к недопустимому размытию границ. Заключение Таким образом, принцип реставрации изображений кратко можно сформулировать следующим образом. Вначале выполняется анализ корректи- руемого изображения, в результате которого на изображении обнаруживаются границы, участки градиентного изменения интенсивности и фактуры. Затем обнаруженные границы заменяются их резкими версиями- градиентные области, поврежденные шумом, заменяются их профильтрованными версиями и, наконец, на них наносится сгенерированная фактура.
Литература / 5. Красильников Н. Н., Мироненко Е. П., Красильни-
1. Sziklai G. Some studies in the speed of visual perception // Trans. IRE Inform Theory. 1956. Vol. IT-2. P. 125−135. 2. Глезер В. Д., Цуккерман И. И., Цыкунова Т. М. О пропускной способности зрения // Техника кино и телевидения. 1961. № 3. С. 27−32. 3. Цуккерман И. И. Цифровое кодирование телевизионных изображений. М.: Радио и связь, 1981. 239 с. 4. Kunt M., Ikonomopoulos A., Kocher M. Second-Generation Image-Coding Techniques: Proc. IEEE. 1985. Vol. 73. N 4. P. 549 574. ^ кова О. И. Коэффициент эффективности зрительной системы человека при произвольных ракурсах наблюдения трехмерных объектов // Оптический журнал. 2006. Т. 73. № 10. С. 63−68. 6. Прэтт У., Фожра О., Гагалович А. Применение моделей стохастических текстур для обработки изображений // ТИИЭР. 1981. Т. 69. № 5. С. 542−551. 7. Liu C. et al. Automatic Estimation and Removal of Noise from a Single Image // IEEE Transactions on Pattern Analysis and Machine Intelligence. October 2006. P. 1−34.

ПАМЯТКА ДЛЯ АВТОРОВ
Поступающие в редакцию статьи проходят обязательное рецензирование.
При наличии положительной рецензии статья рассматривается редакционной коллегией. Принятая в печать статья направляется автору для согласования редакторских правок. После согласования автор представляет в редакцию окончательный вариант текста статьи.
Процедуры согласования текста статьи могут осуществляться как непосредственно в редакции, так и по е-шаИ (80x@mail. ru).
При отклонении статьи редакция представляет автору мотивированное заключение и рецензию, при необходимости доработать статью — рецензию. Рукописи не возвращаются.
Редакция журнала напоминает, что ответственность за достоверность и точность рекламных материалов несут рекламодатели.

ПоказатьСвернуть
Заполнить форму текущей работой