способ улучшения цифровых изображений

Классы МПК:G06T5/00 Усиление или восстановление изображения из побитового в побитовое изображение для создания подобного изображения
H04N1/409 подчеркивание контуров или деталей; подавление шумов или уменьшение погрешности
Автор(ы):
Патентообладатель(и):Самсунг Электроникс Ко., Лтд. (KR)
Приоритеты:
подача заявки:
2005-10-28
публикация патента:

Изобретение относится к области цифровой обработки изображений и может быть использовано для улучшения цифрового цветного или полутонового изображения. Технический результат заключается в обеспечении коррекции глобального контраста, локальной коррекции светлых и темных тонов, подавлении шумов с некоторым увеличением четкости. Сущность изобретения состоит в том, что выполняют фильтрацию шумов, осуществляют коррекцию глобального контраста, извлекают из цветного изображения яркостную компоненту как максимальную из R, G, В составляющих, определяют параметры локальной коррекции темных и светлых тонов, выполняют билатеральную фильтрацию яркости изображения, корректируют темные и светлые тона в канале яркости. При этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в некоторую степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения. При этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенного в некоторую степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения, конвертируют результат коррекции в изображение в цветовую систему RGB. 8 з.п. ф-лы, 16 ил. способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226 способ улучшения цифровых изображений, патент № 2298226

Формула изобретения

1. Способ улучшения цифровых изображений, состоящий из следующих операций: выполняют фильтрацию шумов, осуществляют коррекцию глобального контраста, извлекают из цветного изображения яркостную компоненту как максимальную из R, G, В составляющих, определяют параметры локальной коррекции темных и светлых тонов, выполняют билатеральную фильтрацию яркости изображения, корректируют темные и светлые тона в канале яркости, при этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения, при этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенного в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения, конвертируют результат коррекции в изображение в цветовую систему RGB.

2. Способ по п.1, отличающийся тем, что для фильтрации шумов используют билатеральный фильтр.

3. Способ по п.2, отличающийся тем, что в билатеральном фильтре используют плоскую функцию для фильтрации по пространству.

4. Способ по п.2, отличающийся тем, что в билатеральном фильтре используют для фильтрации по диапазону функцию:

способ улучшения цифровых изображений, патент № 2298226

где способ улучшения цифровых изображений, патент № 2298226 R 2 - дисперсия по градациям яркости;

способ улучшения цифровых изображений, патент № 2298226 - параметр, задающий вид функции.

5. Способ по п.2, отличающийся тем, что для фильтрации используют билатеральный фильтр, в котором фильтрацию осуществляют сначала по строкам, а затем по столбцам изображения:

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам, причем возможна как рекурсивная так и нерекурсивная реализация фильтра, и при рекурсивной реализации I, Ir, If являются одним и тем же двумерным массивом.

6. Способ по п.1, отличающийся тем, что для вычисления яркости промежуточного изображения деталей в темных тонах используют соотношение:

способ улучшения цифровых изображений, патент № 2298226

где I - яркость исходного изображения, I f - яркость изображения в результате билатеральной фильтрации яркости.

7. Способ по п.1, отличающийся тем, что для вычисления яркости промежуточного изображения деталей в светлых тонах используют соотношение:

способ улучшения цифровых изображений, патент № 2298226

8. Способ по п.1, отличающийся тем, что для конвертации результатов коррекции в цветовую систему RGB используют соотношения:

R'=RIe/I, G'=GI e/I, В'=BIе/I,

где I - яркость исходного изображения, Ie - яркость скорректированного изображения, R, G, В - интенсивности исходного изображения, R', G', В' - интенсивности скорректированного изображения.

9. Способ по п.1, отличающийся тем, что для уменьшения времени коррекции предварительно вычисляют двумерную таблицу перекодировки, которая хранит скорректированные значения яркости в зависимости от исходной яркости, отраженной в номере строки таблицы, и результата билатеральной фильтрации, отраженного в номере столбца таблицы.

Описание изобретения к патенту

Изобретение относится к области цифровой обработки изображений и может применяться для улучшения цифрового цветного или полутонового изображения.

Ряд цифровых фотографий, полученных с помощью цифровых фотокамер, имеют низкий динамический диапазон в темных тонах. Причиной этого могут быть, например, контровое освещение или съемка со вспышкой в темном помещении. Низкий динамический диапазон в светлых тонах встречается относительно редко для фотографий, снятых цифровыми фотокамерами, но характерен для сканированных фотографий.

Известно большое количество публикаций и патентов, посвященных методам улучшения цифровых изображений. Многие методы включают в себя коррекцию контраста, подавление шумов и повышение резкости.

Существует также несколько публикаций и патентов, посвященных локальной коррекции тонов, причем преимущественно темных тонов.

Так, например, интуитивно понятный и относительно простой метод коррекции темных и светлых тонов описан в патенте США №6822762 [1] и в докладе N.Moroney "Local color correction using non-linear masking" [8th Color Imaging Conference, 2000 [2]. Создается маска в виде достаточно сильно размытого яркостного канала изображения. Для размытия используется линейный ФНЧ. Далее значение каждой RGB компоненты преобразуется с помощью TRC, вид которой зависит от значения маски. Например, для изображения в диапазоне от 0 до 1:

R=(R)2(1-2Mask); G=(G)2(1-2Mask) ; B=(B)2(1-2Mask).

Похожий подход описан патенте США №6792160 [3]. Близкие технологии используются в нескольких решениях для коррекции изображений в software, например, в Adobe Photoshop CS пункт меню "Shadow/Highlight" [4].

Основной недостаток данных подходов это образование заметного эффекта ореола, называемого в литературе термином «halo». Также повышается уровень шумов в темных тонах.

Международная заявка на патент WO 02/089060 [5] описывает метод улучшения изображений, основанный на Orthogonal Retino-Morphic Image Transform (ORMIT):

способ улучшения цифровых изображений, патент № 2298226

где Pi(x) - ортогональный базис функций х, определенный в диапазоне 0<x<1, Q i(x) - заданная аналитически или с помощью аппроксимации первообразная Рi(х), LPF - оператор низкочастотной фильтрации, F - весовая функция, N - число поддиапазонов, на которое разбивается весь доступный диапазон яркостей, а и b - константы, в общем случае, различные для каждого поддиапазона. Подбор соответствующих функций Рi(х) позволяет увеличить локальный контраст и уровень сигнала в темных тонах. Описанный метод используется в технологии Nikon "D-Lighting". Метод приводит к образованию почти незаметного halo, но усиливает шумы в темных тонах.

Популярным подходом в коррекции темных тонов является использование простейшей физической модели формирования полутонового изображения I:

I=AL,

где L - освещенность (luminance) объектов изменяется относительно плавно, А - отражательная способность (reflectance или albedo) деталей объектов изменяется с высокой частотой. Такая модель описана, например, в публикации Horn, В.К.Р. "Robot vision", MIT Press, 1986 [6].

Данная модель не учитывает возможность присутствия на изображении источников света, не учитывает зеркальное отражение (только диффузное ламбертовское), не учитывает образования теней от объектов. Несмотря на недостатки, модель вполне применима к широкому классу изображений и используется в методах, описанных ниже. В этих методах различным образом оценивается отражательная способность (reflectance), как функция отношения I и L.

Следующие документы (патент США №6760484 [7], выложенные заявки США №№2002/0154323 [8], 2002/0154832 [9], 2003/0161546 [10], 2004/0174571 [11] и статья Sobol R. "Improving the Retinex algorithm for rendering wide dynamic range photographs". Journal of Electronic Imaging, Vol.13, №1, January 2004, pp.65-74 [12]) описывают способ коррекции теней, основанный на модификации алгоритма MultiScale Retinex (MSR). Кратко, суть подхода следующая. Модифицированный MSR выполняется для канала яркости, которая вычисляется как max(R, G, В). Результат называют маской, которую добавляют к каналам R, G and В.

Классический MSR описывается формулой:

способ улучшения цифровых изображений, патент № 2298226

где LPF - Гауссово размытие с различными способ улучшения цифровых изображений, патент № 2298226 .

В подходе Sobol [12] для Гауссова размытия используется ускоренная схема вычислений, в которую дополнительно вводится ряд пороговых значений. Описанный способ используется в технологии HP "Adaptive Lighting". Метод приводит к образованию почти незаметного halo, но усиливает шумы в темных тонах.

В выложенной заявке США №2005/0089239 [13] и статье Brajovic, V. "Brightness Perception, Dynamic Range and Noise: a Unified Model for Adaptive Image Sensors", Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004 [14] описан способ коррекции теней:

I=S(A+aL),

где а и S - константы, L - результат фильтрации (в данном случае размытия) с предохранением границ с высоким локальным контрастом, А - функция отношения исходной яркостной компоненты к L. Фильтрация с предохранением краев выполняется для каждой строки изображения, его работа основана на оценке уровня шумов на изображении. Таким образом, выполняется подавление шумов в канале яркости, но шум в каналах цветности остается. Также преимуществом метода является отсутствие заметного halo. Этот подход к решению проблемы является наиболее близким к заявляемому изобретению и позволяет дальнейшее повышение качества изображения при использовании некоторых новых математических методов.

В публикации М.Elad "Retinex by Two Bilateral Filters", Proceedings of the 5th International Conference Scale-Space and PDE Methods in Computer Vision, Germany, 2005 [15] предложено для оценки отражательной способности (reflectance) в методе Retinex заменить гауссово размытие в логарифмическом пространстве билатеральной фильтрацией. Билатеральный фильтр используется в классическом виде с использованием двух Гауссианов (согласно C.Tomasi, R.Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. on Computer Vision, 1998 [16]). Кроме того, билатеральная фильтрация используется для подавления шумов в канале яркости, причем степень подавления шума выбирается в зависимости от яркости области изображения. Преимуществом метода является отсутствие halo, но шум в каналах цветности остается.

В способах, приведенных выше, не рассматриваются, коррекция светлых оттенков, автоматический выбор параметров коррекции, а также совместная коррекция темных тонов и настройка глобального контраста изображения, иногда возможно возникновение эффекта постеризации (огрубления плавных градиентов интенсивности).

Таким образом, современные технологии, используемые для коррекции изображений, характеризуемых низким динамическим диапазоном, обладают следующими недостатками:

- не корректируются светлые тона;

- не рассматривается связь коррекции темных оттенков с настройкой глобального контраста изображения;

- некоторые алгоритмы приводят к возникновению ореола (halo эффект) вдоль резких перепадов яркости на изображении;

- в темных тонах растет уровень шумов;

- параметры коррекции не определяются автоматически;

- возможно возникновение эффекта постеризации.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке способа улучшения изображений, который бы включал коррекцию глобального контраста, локальную коррекцию светлых и темных тонов и подавление шумов с некоторым увеличением четкости. При этом было необходимо добиваться того, чтобы способ не приводил к возникновению заметных ореолов.

Технический результат достигается за счет разработки и применения усовершенствованного способа коррекции цифрового изображения, обеспечивающий повышение локального контраста в темных и светлых тонах путем коррекции тонового диапазона изображения, подавления шумов и небольшого повышения резкости изображения.

Существо заявляемого способа улучшения цифровых изображений заключается в реализации определенной последовательности ряда конкретных операций, в частности:

- выполняют фильтрацию шумов,

- осуществляют коррекцию глобального контраста,

- извлекают из цветного изображения яркостную компоненту как максимальную из R, G, B составляющих,

- определяют параметры локальной коррекции темных и светлых тонов,

- выполняют билатеральную фильтрацию яркости изображения,

- корректируют темные и светлые тона в канале яркости:

при этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения,

при этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения,

- конвертируют результат коррекции в изображение в цветовую систему RGB.

Для пояснения существа изобретения предлагаются следующие иллюстративные материалы:

Фиг.1. Схема компонентов системы.

Фиг.2. Графики различных стоп-функций границ.

Фиг.3. Блок-схема улучшения цветного изображения.

Фиг.4. Блок-схема глобального контрастирования.

Фиг.5. Пороговые значения, используемые при глобальном контрастировании.

Фиг.6. Пример улучшения изображения.

Фиг.7. Пример фильтрации шумов.

Фиг.8. Сравнение результата работы способа с пунктом меню Shadow/Highlight в Adobe PhotoShop CS.

Фиг.1 показывает схему взаимодействия компонентов системы, на которой реализуют данный способ улучшения изображений. Работой системы управляет процессор 101, который выполняет программный код, записанный в оперативную память 102. В оперативной памяти 102 хранят исходное полутоновое или цветное изображение размера N×M. Цветное изображение хранят в цветовой системе RGB с глубиной цвета d бит на пиксел по n=d/3 бит на канал. Если изображение хранят в оперативной памяти в цветовой системе, отличной от RGB, то необходима его предварительная конвертация в RGB. Полутоновое изображение имеет глубину цвета n бит на пиксел. Изображение улучшают и результат выводят на устройство 103 отображения или печати. С помощью устройства ввода 104 в систему вводятся параметры коррекции. Обмен данными компонентов системы осуществляется по шине 105 данных.

До описания работы способа в целом рассмотрим основные идеи, положенные в основу коррекции темных и светлых тонов на примере полутоновых фотографий с яркостями в диапазоне от 0 до 1.

Ряд цифровых изображений имеют низкий динамический диапазон в темных и/или светлых тонах. Для наблюдателя это приводит к тому, что детали в темных и/или светлых тонах плохо различимы. Темные тона являются более темными, а светлые более светлыми, чем на хорошо экспонированных фотографиях. Следовательно, для улучшения подобных фотографий необходимо увеличить локальный контраст и одновременно увеличить уровень яркости в темных тонах и уменьшить уровень яркости в светлых тонах.

Пусть имеются изображения деталей Ds с высоким локальным контрастом в темных тонах и Dh с высоким локальным контрастом в светлых тонах, т.е. такие полутоновые изображения, детали на которых соответственно в темных и светлых тонах хорошо различимы. Тогда увеличить локальный контраст и увеличить уровень яркости в темных тонах исходного полутонового изображения I можно с помощью следующего альфа-смешения I и D s:

способ улучшения цифровых изображений, патент № 2298226

где смешение выполняется для каждого пиксела изображения с координатами (r,c), способ улучшения цифровых изображений, патент № 2298226 s - альфа-канал в смысле прозрачности, имеет значения, близкие к 1 в светлых тонах и близкие к 0 в темных тонах; коэффициент k's регулирует усиление локального контраста в темных тонах. Раскрыв скобки можно записать данное соотношение в ином виде:

способ улучшения цифровых изображений, патент № 2298226

Аналогично, увеличить локальный контраст и уменьшить уровень яркости в светлых тонах изображения I можно с помощью следующего альфа-смешения I и Dh:

способ улучшения цифровых изображений, патент № 2298226

где способ улучшения цифровых изображений, патент № 2298226 h - альфа-канал в смысле прозрачности, имеет значения, близкие к 1 в темных тонах и близкие к 0 в светлых тонах; коэффициент k'h регулирует усиление локального контраста в светлых тонах.

Результаты коррекции темных и светлых тонов можно объединить в одном изображении:

способ улучшения цифровых изображений, патент № 2298226

где ks - коэффициент усиления темных тонов, ks=k' s/2, kh - коэффициент ослабления светлых тонов, kh=k' h/2, ks and kh способ улучшения цифровых изображений, патент № 2298226 [0, 1].

Рассмотрим подход к генерации изображений деталей Ds и Dh. Человек распознает детали на изображении потому, что их яркость отличается от яркости фона в некоторой локальной области. Это утверждение аналогично простейшей физической модели формирования полутонового изображения I:

способ улучшения цифровых изображений, патент № 2298226

где L - освещенность (luminance) объектов изменяется относительно плавно, А - отражательная способность (reflectance или albedo) деталей объектов изменяется с высокой частотой. В классическом методе Retinex локальный фон (или освещенность объекта сцены L) оценивают путем размытия изображения с помощью линейных ФНЧ, например Гауссова размытия. Однако это неверно с физической точки зрения, так как помимо слаборазличимых границ деталей объектов сильно размываются и высококонтрастные границы между объектами, что дает плавное изменение L при переходе с объекта на объект с разной освещенностью. Хорошей оценкой L могла бы быть сегментация изображения на области с одинаковой освещенностью, однако данная задача на сегодняшний день является трудноразрешимой. Компромиссным вариантом является применение размытия с предохранением высококонтрастных границ.

Существует несколько типов фильтров с предохранением границ (edge preserving filters). В литературе они рассматриваются как фильтры для подавления шумов. Семейством простейших в реализации и эффективных с точки зрения временных затрат фильтров являются билатеральные (bilateral) фильтры (см, например, [16]):

способ улучшения цифровых изображений, патент № 2298226

для всех (r,c) пикселов изображения, где I - яркость исходного изображения, If - яркость в результате билатеральной фильтрации, r - номер строки, с - номер столбца, S размер пространственного ядра фильтра.

Классическая реализация билатерального фильтра является нерекурсивной и использует Гауссианы для фильтрации по пространству:

способ улучшения цифровых изображений, патент № 2298226

и по градациям яркости (так называемая, стоп-функция границ):

способ улучшения цифровых изображений, патент № 2298226

где способ улучшения цифровых изображений, патент № 2298226 2 D и способ улучшения цифровых изображений, патент № 2298226 2 R дисперсии соответственно по пространству и по градациям яркости, способ улучшения цифровых изображений, патент № 2298226 2 D и способ улучшения цифровых изображений, патент № 2298226 2 R являются параметрами фильтра.

Вычислительная сложность билатерального фильтра в классическом виде (как (6)) для изображения размера N×N есть O(N2S2 ), что требует значительных вычислительных затрат. В статье F.Durand, J.Dorsey "Fast bilateral filtering for the display of high-dynamic range images", GIGGRAPH 2002, pp.257-266[17] приводится эффективный способ уменьшения времени вычисления билатерального фильтра для больших значений S. Данный алгоритм эффективен, когда S более 30-50, в зависимости от реализации двумерного FFT. Недостатком алгоритма Durand and Dorsey является сложность его реализации для обработки изображения отдельными блоками.

Поэтому для S<30 целесообразно применение билатерального фильтра, в котором фильтрация осуществляется сначала по строкам, а затем по столбцам изображения:

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам.

По аналогии со сверткой будем называть такой фильтр сепарабельным, хотя разделимость билатерального фильтра в математическом смысле не доказана. Вычислительная сложность сепарабельного билатерального фильтра O(2N 2S).

Рекурсивная реализация билатерального фильтра также возможна. Вычислительная сложность сепарабельного рекурсивного билатерального фильтра также составляет O(2N2 S), но не требует дополнительной памяти для хранения промежуточных результатов вычислений, что уменьшает время работы метода в целом. При рекурсивной реализации в выражениях (9) I, I r, If являются одним и тем же двумерным массивом.

Сравним формулы (2) и (3) с известным способом повышения четкости изображения нерезким маскированием:

способ улучшения цифровых изображений, патент № 2298226

где а - константа, Ib - результат низкочастотной фильтрации (размытия) исходного изображения. Согласно приведенным выше соображениям изображения деталей D s и Dh (оценка отражательной способности) являются функциями отношения исходного полутонового изображения I и результата фильтрации билатеральным фильтром I f. Можно предположить, что в зависимости от параметров билатерального фильтра можно добиться некоторого увеличения четкости изображения. Действительно, при использовании в билатеральном фильтре Гауссиана для фильтрации по диапазону (согласно формуле 8) происходит небольшое увеличение четкости границ с величиной перепада менее чем 3способ улучшения цифровых изображений, патент № 2298226 R. Границы с большим локальным контрастом не изменяются. Это происходит из-за быстрого стремления к нулю Гауссиана за пределами диапазона [-3способ улучшения цифровых изображений, патент № 2298226 R, 3способ улучшения цифровых изображений, патент № 2298226 R]. Предлагается использовать для фильтрации по диапазону функцию, которая, с одной стороны, похожа на Гауссиан, с другой стороны, не так быстро стремится к нулю. Предлагается следующим образом обобщить функцию El-Fallah-Ford (см. El-Fallah A.I., Ford G.E. "Structure preserving inhomogeneous diffusion in image filtering", IEEE 27th conference on Signals, Systems and Computers, 1993 [18]):

способ улучшения цифровых изображений, патент № 2298226

где способ улучшения цифровых изображений, патент № 2298226 2 R - дисперсия по градациям яркости, способ улучшения цифровых изображений, патент № 2298226 - параметр, задающий вид функции.

В [18] способ улучшения цифровых изображений, патент № 2298226 =2, при способ улучшения цифровых изображений, патент № 2298226 =6 функция близка к Гауссиану. Изменение способ улучшения цифровых изображений, патент № 2298226 в диапазоне от 1 до 6 позволяет управлять степенью повышения четкости. На фиг.2 приведены графики w(x) для способ улучшения цифровых изображений, патент № 2298226 =2 и способ улучшения цифровых изображений, патент № 2298226 =6, а также Гауссиан. Использование функции (11) с различными способ улучшения цифровых изображений, патент № 2298226 показано на фиг.3 (шаги 301 и 305).

Для фильтрации по пространству целесообразно применить усредняющую (плоскую) функцию:

способ улучшения цифровых изображений, патент № 2298226

Тогда сепарабельный билатеральный фильтр можно еще более упростить и ускорить вычисления:

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

где r - номер строки, с - номер столбца, S - размер пространственного ядра фильтра, Ir - результат фильтрации по строкам.

В качестве альфа-канала способ улучшения цифровых изображений, патент № 2298226 s может использоваться результат билатеральной фильтрации If, а для способ улучшения цифровых изображений, патент № 2298226 h может использоваться инверсия результата билатеральной фильтрации 1-If. Целесообразно иметь возможность управлять шириной тонового диапазона для светлых и темных тонов. Этого можно достичь, возведя в степень t s альфа-канал для темных тонов и возведя в степень t h альфа-канал для светлых тонов, ts and thспособ улучшения цифровых изображений, патент № 2298226 [1, 6]. Таким образом, формула (4) преобразуется к виду:

способ улучшения цифровых изображений, патент № 2298226

Для вычисления яркости промежуточных изображений деталей в темных и светлых тонах в процессе моделирования получены следующие формулы отношения I and If.

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

где I - яркость исходного изображения, I f - яркость изображения в результате билатеральной фильтрации яркости.

При реализации необходимо учесть n - глубину цвета обрабатываемого изображения и добавить к формуле (14) функции fb and fw, препятствующие выходу за пределы допустимого диапазона яркостей:

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

способ улучшения цифровых изображений, патент № 2298226

Так как Ie зависит только от I and If целесообразно для уменьшения времени вычислений предварительно построить двумерную хеш-таблицу перекодировки (2-D Look-Up Table). Если размер оперативной памяти ограничен и нет возможности хранить матрицу размера (2 n-1)×(2n-1), то можно построить 2-D LUT с прореживанием и интерполировать прореженные значения с помощью билинейной интерполяции. Например, для глубины цвета n=8 использование 2-D LUT размера 52×52 или 86×86 с последующей билинейной интерполяцией визуально неотличимо от использования 2-D LUT размера 256×256.

На фиг.3 приведена блок-схема этапов коррекции цветного изображения. На шаге 301 выполняется фильтрация шумов для каждой компоненты R, G, B. При коррекции темных и светлых тонов в этих тонах возрастает уровень шума, и становятся более заметны JPEG артефакты. По этой причине требуется до коррекции темных и светлых тонов выполнять фильтрацию шумов. Фильтрация шумов также может быть выполнена с помощью билатерального фильтра. Tomasi and Manduchi (см. [16]) предлагают для фильтрации цветных изображений в функции (8) вычислять расстояние в цветовой системе Lab и пишут о возможных цветных ореолах вдоль границ при покомпонентной фильтрации. Однако для малых значений S подобные ореолы практически незаметны и покомпонентная фильтрация RGB изображений является допустимой, таким образом можно избежать этапа конвертирования RGB изображения в Lab. Предлагается использовать билатеральный фильтр в соответствии с формулами (13) и (11) с параметрами способ улучшения цифровых изображений, патент № 2298226 =6, S=3, способ улучшения цифровых изображений, патент № 2298226 R=0,02(2n-1) или оценивать способ улучшения цифровых изображений, патент № 2298226 R адаптивно. Другие варианты - это вычислять расстояние между цветами в цветовой системе Lab или по яркостной компоненте.

На шаге 302 выполняется глобальное контрастирование для каждой компоненты R, G, B с автоматическим определением параметров контрастирования. Блок схема глобального контрастирования показана на фиг.3.

На шаге 303 из цветного изображения извлекают яркостную компоненту как максимальную из R, G, B:

способ улучшения цифровых изображений, патент № 2298226

На шаге 304 определяют параметры локальной коррекции темных и светлых тонов: ks, k h, ts, th. Для определения параметров коррекции можно использовать автоматический классификатор или задавать параметры интерактивно с помощью устройства ввода.

На шаге 305 выполняется билатеральная фильтрация I по формулам (13) и (11) с параметрами способ улучшения цифровых изображений, патент № 2298226 =2, S=15, способ улучшения цифровых изображений, патент № 2298226 R=0,1(2n-1). На шаге 306 выполняется коррекция темных и светлых тонов в I по формуле (17). В результате коррекции происходит небольшое повышение четкости изображения. На шаге 307 результат коррекции светлых и темных тонов конвертируют в цветовую систему RGB:

способ улучшения цифровых изображений, патент № 2298226

где I - яркость исходного изображения, I e - яркость скорректированного изображения, R, G, В - интенсивности исходного изображения, R', G', В' - интенсивности скорректированного изображения.

Данное соотношение сохраняет неизменными отношение RGB составляющих друг к дугу, соответственно сохраняет неизменным цветовой тон и насыщенность цветного изображения.

Коррекция полутоновых изображений выполняется аналогично, но исключают шаги 303 and 307.

На фиг.4 приведена блок-схема глобального контрастирования. На шаге 401 вычисляют гистограммы интенсивностей HR, НG , НB соответственно для R, G, B составляющих изображения. На шаге 402 принимают решение о необходимости глобального контрастирования. Если (НR[0]==0 and Н R[1]==0 and HG[0]==0 and H G[1]==0 and НB[0]==0 and Н B[1]==0) or (HR[2 n-3]==0 and НR[2n -2]==0 and HG[2n-3]==0 and HG[2n-2]==0 and HB[2n-2]==0 and H B[2n-2]==0), то выполняют контрастирование изображения. На шаге 403 определяется нижняя граница диапазона контрастирования:

способ улучшения цифровых изображений, патент № 2298226

где Н0, С 0 и T - пороговые значения соответственно по уровню гистограммы, по площади гистограммы и по интенсивности. Порог Т вводится, чтобы избежать излишнего ошибочного затемнения изображения.

На шаге 404 определяется верхняя граница диапазона контрастирования:

способ улучшения цифровых изображений, патент № 2298226

где H1 и С 1 - пороговые значения соответственно по уровню и по площади гистограммы. Фиг.5 демонстрирует пороги на гистограмме интенсивностей.

На шаге 405 выполняют линейное растяжение значений RGB изображения на весь допустимый диапазон:

способ улучшения цифровых изображений, патент № 2298226

На фиг.6 показан пример коррекции: 6.2 - исходное изображение, 6.2 - улучшенное изображение (ks =0,5, kh=0,5, ts=2, th=2), 6.3 - результат билатеральной фильтрации, 6.4 - изображение деталей в темных тонах, вычисленное по формуле (15), 6.5 - изображение деталей в светлых тонах, вычисленное по формуле (16). Произведена коррекция темных тонов в левой и верхней частях фотографии, а также коррекция светлых тонов в правой части.

Фиг.7 демонстрирует влияние фильтрации шумов на качество фотографии: 7.1 - фрагмент улучшенного изображения с фиг.6а без предварительной фильтрации шумов, 7.2 - фрагмент улучшенного изображения с фильтрацией шумов. Изменение тонов кожи на фрагменте 7.2 более плавное и приятное, чем на фрагменте 7.1. Дисперсия изображения 7.2 меньше дисперсии 7.1 для каждого из цветовых каналов.

Фиг.8 демонстрирует преимущества предлагаемого способа перед способом, реализованным в пункте меню Shadow/Highlight в Adobe Photoshop CS: 8.1 - результат работы Photoshop CS Shadow/Highlight, 8.2-улучшенная предлагаемым способом фотография, 8.3 - первоначальная необработанная фотография, 8.4 - графики изменения яркости вдоль отрезка прямой АВ. Применение Adobe Photoshop CS Shadow/Highlight приводит к возникновению заметного ореола вдоль контрастных границ, при применении предложенного способа коррекции изображений ореол отсутствует, также ниже уровень шумов и меньше эффект постеризации.

Предлагаемый алгоритм может быть реализован в программно-аппаратных средствах получения или печати изображений или в программном обеспечении.

Предлагаемый алгоритм применим для повышения качества изображений при их печати на фотопринтере. При незначительных изменениях он также может быть использован для повышения качества захватываемых изображений в цифровых камерах, камерафонах, камкордерах или телевизионных камерах. Возможна модификация метода для дисплеев.

Класс G06T5/00 Усиление или восстановление изображения из побитового в побитовое изображение для создания подобного изображения

способ автоматического ретуширования цифровых фотографий -  патент 2528082 (10.09.2014)
устройство обработки изображения, устройство захвата изображения, и способ обработки изображения -  патент 2523965 (27.07.2014)
устройство обработки изображений и способ обработки изображений -  патент 2523924 (27.07.2014)
устройство обработки изображения и способ управления для устройства обработки изображения -  патент 2523003 (20.07.2014)
способ комплексирования цифровых многоспектральных изображений земной поверхности -  патент 2520424 (27.06.2014)
способ преобразования и обработки цифрового изображения на основе многоцентричной развертки -  патент 2517715 (27.05.2014)
устройство и способ получения изображений с более высоким разрешением во встроенном устройстве -  патент 2512130 (10.04.2014)
система и способ преобразования тонов плоских и объемных изображений -  патент 2509366 (10.03.2014)
способ автоматического ретуширования снимков -  патент 2504840 (20.01.2014)
многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой -  патент 2504011 (10.01.2014)

Класс H04N1/409 подчеркивание контуров или деталей; подавление шумов или уменьшение погрешности

устройство обработки изображения и способ обработки изображения -  патент 2491753 (27.08.2013)
система коррекции темных, светлых и средних тонов на цифровых изображениях -  патент 2477007 (27.02.2013)
способ замыкания контуров объектов на матрице полутонового растрового изображения -  патент 2450355 (10.05.2012)
способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника -  патент 2412554 (20.02.2011)
способ коррекции неоднородности сканирующих многоэлементных фотоприемных устройств по сигналам сцены -  патент 2411684 (10.02.2011)
способ помехоустойчивого градиентного выделения контуров объектов на цифровых изображениях -  патент 2403616 (10.11.2010)
способ определения и сглаживания ступенчатых краев на изображении -  патент 2383055 (27.02.2010)
система и способ сканирования и копирования -  патент 2368091 (20.09.2009)
устройство обработки изображения, способ обработки изображения, программа для способа обработки изображения и носитель записи, предназначенный для записи в него программы для способа обработки изображения -  патент 2367021 (10.09.2009)
способ выявления искажений, вызванных эффектом гиббса, при jpeg-кодировании -  патент 2365994 (27.08.2009)
Наверх