способ улучшения цифровых изображений

Формула изобретения

Способ улучшения цифровых изображений, включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, отличающийся тем, что корректировке подвергают изображения с искажениями, привнесенными предыдущими корректировками, без использования и анализа параметров оригинального изображения, при этом построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

Описание изобретения к патенту

Изобретение относится к области обработки цифровых изображений и может быть использовано для уменьшения либо полного удаления искажений, возникающих в случаях применения других способов улучшения качества фото- и видеоизображений, таких как повышение резкости или разрешения изображения, фильтрация шума.

В настоящее время при обработке цифровых изображений широкое распространение получили различные способы повышения качества изображения. Так, многие современные цифровые фото- и видеокамеры оборудованы цифровыми процессорами обработки изображений, которые, в том числе, используются для повышения качества изображения. Однако требование мобильности, а также стоимости фото- и видеокамер не позволяет использовать в их составе мощные вычислительные средства. В результате во многих случаях используются усеченные либо упрощенные способы обработки, при которых возникают нежелательные побочные эффекты, такие как:

- появление двойных контуров-ореолов при дополнительном повышении резкости (в дальнейшем эффект halo);

- появление аналогичных искажений для некоторых типов интерполяций (в частности, широко используемой бикубической) при повышении разрешения.

Широко известен способ улучшения качества оригинального изображения при помощи программы Adobe Photoshop. В этом случае применяют смягчающий фильтр, который позволяет уменьшить искажения, появляющиеся в результате обработки оригинального изображения путем увеличения резкости.

Недостатком данного способа является отсутствие избирательности, т.к. фильтр применяется ко всем областям изображения. Поэтому с уменьшением искажений происходит потеря резкости по всему изображению.

Известен способ улучшения видеоизображения [1], при котором автоматически определяют искаженные области изображения, корректируют искажения расчетом откорректированных яркостей пикселей искаженных областей изображения.

Недостатком этого способа является возможность корректировки лишь тех участков изображения, в которых наблюдается так называемый блюминг, т.е. явление протекания заряда из соседних пикселей датчика при высоких значениях заряда.

Известен также способ коррекции динамического видеоизображения [2], представляющий собой коррекцию ступенчатых искажений (так называемая постеризация) в изначально монотонно закрашенных областях изображения, привнесенных, например, предварительным сжатием изображения.

Недостатком данного способа является невозможность корректировки двойных контуров-ореолов, корректируются лишь ступенчатые искажения.

Известен способ обработки оригинальных цифровых изображений [3], при котором улучшение качества изображения осуществляют путем увеличения резкости цветного изображения. При этом производят выделение яркостного канала из каналов различных цветов и, после повышения яркости, добавление яркостного канала обратно в цветовые каналы. Для повышения четкости изображения используют стандартный линейный фильтр с ядром размером 3×3, или 5×5, или 7×7 пикселей.

Недостатком этого способа является появление искажений в виде эффекта halo вследствие применения фильтра.

Наиболее близким к заявляемому изобретению является способ улучшения качества изображений путем повышения резкости [4], учитывающий особенности регистрирующих и воспроизводящих устройств. При этом способе осуществляется защита от пересвечивания мелких контрастных деталей, таких как листва, волосы, трава и т.д., путем смешивания данных оригинального изображения и изображения с повышенной резкостью с изменением весовых коэффициентов в локальной области в окрестностях пересвеченных объектов.

Недостаток способа заключается в том, что корректируются лишь те участки изображения с повышенной резкостью, которые приводят или могут привести к пересвечиванию. Кроме того, чтобы подвергать корректировке изображения указанным способом, необходим доступ к параметрам оригинального изображения.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа улучшения качества изображений, который позволил бы значительно уменьшить либо полностью удалить искажения, возникшие при обработке оригинальных изображений другими способами. При этом в качестве исходного объекта обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.

Поставленная цель достигается тем, что в известном способе улучшения цифровых изображений, который включает анализ параметров изображения, извлечение яркостной компоненты, построение корректирующего фильтра и корректировку изображения, построение корректирующего фильтра производят по усредненному профилю проекции путем вычисления амплитуд и направлений градиентов яркости изображения с последующим отбором участков изображения с высоким значением градиента и построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках. При этом корректировку изображения осуществляют следующим образом: вычисляют амплитуду градиента изображения, отбирают пиксели изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

На фиг.1 представлено цифровое изображение до обработки.

На фиг.2 - то же изображение после увеличения резкости. На снимке отчетливо виден эффект halo.

На фиг.3 - то же изображение после обработки заявляемым способом.

На фиг.4, 5, 6 показаны локальные проекции грани в направлении градиента:

фиг.4 - локальная проекция грани исходного изображения;

фиг.5 - локальная проекция грани после увеличения резкости, виден ореол (halo-эффект);

фиг.6 - локальная проекция грани после коррекции искажений заявляемым способом.

Улучшение исходных изображений заявляемым способом осуществляют следующим образом:

I. Анализ изображения для сбора параметров:

1. Извлечение яркостной компоненты.

2. Вычисление амплитуд и направлений градиентов яркости изображения.

3. Отбор участков изображения с высоким значением градиента (граней).

4. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.

5. Вычисление усредненного профиля проекции по построенному набору локальных проекций.

II. Построение корректирующего фильтра по вычисленному усредненному профилю.

III. Корректировка изображения:

1. Вычисление амплитуд градиентов изображения.

2. Отбор пикселей изображения, находящихся в непосредственной близости от граней, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:

max(abs(grad(M)))/abs(grad(p))>Thr

где:

p - пиксель;

м - множество точек, окружающих данный пиксель;

Thr - некоторый предел, константа.

3. Корректировка найденных участков при помощи построенного фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.

Пример конкретного выполнения:

I. Анализ изображения для сбора параметров:

а. Извлечение яркостной компоненты.

Предположим, каждый пиксель изображения хранится в виде трех цветовых

компонент: R, G, В. Определяем яркостную компоненту (Y) по формуле:

Y=R*0.2989+G*0.587+В*0.114

Данное представление сигнала и вычисление яркостной компоненты является типичным при обработке фото- и видеоизображений и хорошо известно.

b. Вычисление абсолютного значения и направлений градиентов яркости изображения.

Gx_(a,b) =Y_(a-1,b-1)-Y_(a+1,b-1)+Y_(a-1,b+1) -Y_(a+1,b+1)+2*Y_(a-1,b)-2*Y_(a+1,b)

Gy_(a,b)=Y_(a-1,b-1)+Y _(a+1,b-1)-Y_(a-1,b+1)-Y_(a+1,b+1)+2*Y _(a,b-1)-2*Y_(a,b+1)

Ga_(a,b) =Gx_(a,b)*Gx_(a,b)+Gy_(a,b)*Gy _(a,b)

Gx - компонента градиента в направлении х,

Gy - компонента градиента в направлении у,

Ga - квадрат абсолютного значения градиента,

a, b - координаты пикселя.

с. Отбор участков изображения с высоким значением градиента (граней), сортировка пикселей по убыванию абсолютного значения градиента и отбор первых N пикселей.

N=4*(W+H)/(W*H)

W, H - ширина и высота изображения в пикселях соответственно.

d. Построение набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках.

Определение такого из абсолютных значений Gх_(а,b), Gy_(а,b), которое является максимальным для данного пикселя в координате (a,b) (пиксели - из участков, выбранных на этапе с). С учетом знака получаем 4 варианта:

Если	то собираем вектор проекции яркости V из пикселей в координатах
abs(Gx)>abs(Gy) и Gx<0	V i (1 15)=Y(a+7,b) Y(a-7,b)
abs(Gx)>abs(Gy) и Gx>0	Vi (1 15)=Y(a-7,b) Y(a+7,b)
abs(Gx)<abs(Gy) и Gy<0	Vi (1 15)=Y(a,b+7) Y(a,b-7)
abs(Gx)<abs(Gy) и Gy>0	Vi (1 15)=Y(a,b-7) Y(a,b+7)

e. Вычисление усредненного профиля проекции по построенному набору локальных проекций.

II. Построение ядра корректирующего фильтра по вычисленному усредненному профилю.

f. Создание одномерного профиля фильтра

P_i=[V ^avg _(7+i)+V^avg _(9-i)]/2 i=2 7

P₁=1

g. Развертка одномерного профиля в радиально-симметричное двумерного ядра.

Матрица F размерами 15×15 элементов заполняется путем вычисления расстояния элемента матрицы от центра и выборки соответствующих значений из одномерного профиля Р с интерполяцией (например, линейной).

III. Корректировка изображения:

h. Вычисление амплитуд градиентов изображения.

Gx_(a,b)=Y_(a-1,b-1)-Y_(a+1,b-1) +Y_(a-1,b+1)-Y_(a+1,b+1)+2*Y_(a-1,b) -2*Y(a+1,b)

Су_(а,b)=Y_(a-1,b-1) +Y_(a+1,b-1)-Y_(a-1,b+1)-Y_(a+1,b+1) +2*Y_(a,b-1)-2*Y_(a,b+1)

Ga _(a,b)=Gx_(a,b)*Gx_(a,b)+Gy_(a,b) *Gy_(a,b)

Gx - компонента градиента в направлении x,

Gy - компонента градиента в направлении у,

Ga - квадрат абсолютного значения градиента,

a,b - координаты пикселя.

i. Отбор пикселей изображения в локальной области, примыкающей к граням, исключая пиксели, находящиеся непосредственно на гранях. Для таких пикселей выполняется соотношение:

w<3; w вычисляется по формуле:

где: (a, b) - координаты пикселя.

j. Корректировка отобранных участков при помощи построенного ядра корректирующего фильтра с регулировкой весовых коэффициентов (параметризацией) фильтра по локальным значениям амплитуды градиента. В данном варианте исполнения параметризуется только центральный элемент ядра фильтра, что функционально эквивалентно подмешиванию исходного изображения с некоторым весом.

где:

Y - яркостная компонента исходного изображения;

Y - яркостная компонента откорректированного изображения;

F - параметризованный фильтр.

- нормирующий коэффициент, который выбирается таким образом, чтобы сумма элементов F равнялась 1.

Заявляемый способ улучшения цифровых фото- и видеоизображений позволяет значительно уменьшить, а в ряде случаев полностью устранить искажения. При этом как исходный объект обработки используют лишь изображение с уже привнесенными искажениями. Данных о параметрах оригинального изображения и примененных способах обработки не требуется.

СПИСОК ЛИТЕРАТУРЫ

1. Заявка на изобретение RU № 2005125325, Бюл. № 5, 2007 г.

2. Заявка на изобретение RU № 2006105328, Бюл. № 28, 2007 г.

3. Патент RU № 2298226, Бюл. № 12, 2007 г.

4. Патент US № 7268916 (прототип).