устройство адаптивной фильтрации видеосигналов

Формула изобретения

Устройство адаптивной фильтрации видеосигналов, содержащее блок хранения входной реализации, вход которого является информационным входом устройства, блок определения участков квазистационарности, к выходу которого подключен вход блока формирования маски, к выходу которого подключен второй вход поэлементного умножителя, к выходу которого подключен вход блока аппроксимации, к выходу которого подключен первый вход блока хранения оценок, к выходу которого подключен первый вход блока усреднения оценок; выход блока хранения оценки полезной составляющей является информационным выходом устройства; выход счетчика текущей строки подключен ко второму входу блока определения участков квазистационарности и входу блока задержки, к выходу которого подключены четвертый вход поэлементного умножителя и вход блока задержки, к выходу которого подключен второй вход блока хранения оценок и первый вход генератора сигнала усреднения, к выходу которого подключен второй вход блока усреднения оценок; выход счетчика текущего столбца подключен к третьему входу блока определения участков квазистационарности и входу блока задержки, к выходу которого подключены третий вход поэлементного умножителя и вход блока задержки, к выходу которого подключены третий вход блока хранения оценок и второй вход генератора сигнала усреднения; синхронность работы устройства обеспечивается генератором тактовых импульсов, отличающееся тем, чтовыход блока хранения входной реализации подключен к входу блока выделения кадра, выход которого подключен к первому входу поэлементного умножителя и первому входу блока определения участков квазистационарности; выход блока усреднения оценок подключен к входу блока накопления кадров, выход которого подключен к входу блока усреднения кадров, выход которого подключен к входу блока хранения оценки полезной составляющей.

Описание изобретения к патенту

Предлагаемое изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки изображений и видеосигналов.

При решении задач сглаживания изображений с целью ослабления действующих аддитивных помех рассматривается модель статического изображения, которая представляет собой двумерную дискретную последовательность Y_i,j, , вида:

,

где S_i,j - полезная двумерная составляющая (исходное неискаженное изображение), _i,j - аддитивная шумовая составляющая, N - количество строк, М - количество столбцов двумерного массива изображения.

Изображение можно рассматривать как прямоугольную матрицу Y={Y_i,j}, со строками i и столбцами j, где N и М - определяют размер матрицы изображения в пикселях.

В случае динамического изображения рассматривается модель, которая представляет собой двумерную дискретную последовательность , , , , вида:

где - полезная двумерная составляющая (исходное неискаженное изображение), - аддитивная шумовая составляющая, N - количество строк, М - количество столбцов двумерного массива изображения, К - количество кадров двумерного массива динамического изображения.

Основная решаемая задача - фильтрация динамических цифровых изображений в условиях ограниченного объема априорных данных.

Подобная задача может возникнуть: 1) в работе приемо-передающих устройств дальней или космической связи; 2) в радиотехнике при обработке сигналов; 3) в системах цифровой обработки динамических изображений; 4) в метеорологии и экономике при обработке результатов измерений.

При обработке динамических изображений используется два основных подхода. Первый из них основан на использовании корреляционной связи между кадрами. Предполагается, что кадры в пределах небольшого интервала времени изменяются незначительно, при этом можно применить все методы, описанные выше, где в качестве пространства обработки используется зависимость амплитуда - номер кадра.

Данный подход имеет недостатки, связанные с выбором количества кадров для обработки. Наличие в видеоряде динамических сцен приводит к расфокусировке и искажению полезного сигнала.

Второй подход для фильтрации динамических изображений основан на обработке кадра как отдельного изображения, и, как следствие, рассмотренные методы повторяют все недостатки методов фильтрации статических изображений.

Известен способ скользящего среднего [Гонсалес Р. Цифровая обработка изображений / Р.Гонсалес, Р.Вудс. - М.: Техносфера. - 2005. - 1072 с.]. Для его использования достаточно одной реализации Y_i,j , , исходного процесса.

Для исходного изображения определяется размер маски сглаживающего фильтра m, т.е. натуральное число m<N. Способ скользящего среднего предполагает запоминание исходного изображения Y_i,j, , , определение размера маски фильтра m (ширины «скользящего окна»), для которого производится вычисление среднего арифметического, , замену центрального из значений Y_i,j, , найденным средним , сдвиг «скользящего окна» на одно значение вправо, вычисление среднего арифметического выбранных значений реализации, и так до тех пор, пока маска фильтра не переместится по всему изображению.

Ширину "окна" выбирают нечетной, т.к. сглаженное значение рассчитывается для центрального значения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, выделение временных отрезков, нахождение среднего арифметического значения сигнала, попавших в выделенные отрезки времени, замена исходной двумерной дискретной реализации результатов измерений сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- способ скользящего среднего вызывает автокорреляцию остатков, даже если она отсутствовала в исходной полезной составляющей (эффект Слуцкого-Юла).

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- если ширина "окна" сглаживания равна 2р+1, то первые p и последние p значений исходной реализации результатов измерений не подвергаются обработке;

- поскольку центральное значение "окна" сглаживания вычисляется как среднее арифметическое соседних, то значения оценки полезной составляющей становятся зависимыми.

В качестве нелинейных фильтров используются фильтры, основанные на порядковых статистиках [Гонсалес Р. Цифровая обработка изображений / Р.Гонсалес, Р.Вудс. - М.: Техносфера. - 2005. - 1072 с.]. Отклик такого фильтра определяется предварительным упорядочиванием (ранжированием) значений пикселей, покрываемых маской фильтра, и последующим выбором значения, находящегося на определенной позиции упорядоченной последовательности (т.е. имеющего определенный ранг). Фильтрация сводится к замещению исходного значения (в центре маски) на полученное значение отклика фильтра. Наиболее известен медианный фильтр, который заменяет центральное значение маски фильтра на значение медианы распределения всех значений результатов измерений, принадлежащих области маски фильтра. Чтобы выполнить медианную фильтрацию для элемента изображения, необходимо сначала упорядочить по возрастанию значения пикселей внутри маски, затем найти значение медианы и присвоить полученное значение обрабатываемому элементу.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание входной реализации результатов измерения, выделение временных отрезков, замена входной реализации результатов измерения сглаженными значениями.

Недостатками известного устройства являются:

- неспособность обрабатывать строки или столбцы изображения, находящиеся на границах маски в случае, если центр фильтра приближается к границам изображения;

- вследствие нелинейности метода обработки нельзя строго разграничить влияние медианной фильтрации на сигнал и шум;

- медианное сглаживание можно рассматривать только как эффективный метод предварительной обработки входной реализации результатов измерений в случае импульсных помех.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- медианная фильтрация является нелинейным методом обработки;

- зависимость эффективности сглаживания результатов измерений от формы полезной и шумовой составляющей.

Структурная схема устройства, реализующего рассмотренный способ, содержит генератор тактовых импульсов, коммутатор, блок управления, регистр хранения, блок ранжирования, блок выбора среднего значения, выходной регистр, где хранится оценка исходной дискретной реализации результатов измерений.

Известен способ наименьших квадратов и устройство для кусочно-линейной аппроксимации [Бендат Дж., Пирсол А. Прикладной анализ случайных данных: Пер. с англ. - М.: Мир, 1989. - 540 с., авторское свидетельство № 1624479]. Для использования данного способа достаточно одной одномерной реализации Y₁, Y₂, , Y_N исходного процесса.

Способ наименьших квадратов позволяет для результатов измерений Y _l, Y₂, , Y_N исходного процесса получить оценку, , минимизируя целевую функцию вида:

В случае, когда представляет собой полином первой степени , коэффициенты а и b можно найти, минимизируя целевую функцию вида:

Дифференцируя выражение (3) по а и b и приравнивания к нулю, получаем систему линейных уравнений:

Решением системы является:

При оценке сумма квадратов отклонений значений оценки от значений реализации измерений является минимальной.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание дискретного сигнала, аппроксимация по методу наименьших квадратов, замена исходной дискретной реализации результатов измерений аппроксимированными значениями.

Недостатками известного способа являются:

- при использовании данного способа необходима априорная информация о функции полезного сигнала;

- ошибка полезной составляющей имеет вдоль реализации, в общем случае, нелинейную зависимость и достигает своих максимальных значений на границах интервала аппроксимации;

- при не полиноминальной модели оценки полезной составляющей строгое решение задачи минимизации целевой функции способа наименьших квадратов не всегда существует в силу нелинейности решаемой системы уравнений;

- ограниченность способа наименьших квадратов к распараллеливанию и построению системы многоканальной обработки.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- эффективность оценки полезной составляющей зависит от объема реализации, статистических характеристик аддитивного шума и наличия априорной информации о функциональной зависимости модели полезной составляющей.

Структурная схема устройства для кусочно-линейной аппроксимации содержит группу последовательно соединенных регистров, первый и второй вычитатели, сумматор, первый и второй накапливающие сумматоры, элементы задержки, генератор тактовых импульсов, два умножителя и два делителя на постоянный коэффициент.

Известен способ и устройство фильтрования шума видеосигналов (патент № 2364937, МПК G06K 9/40). Изобретение относится к области обработки видеоинформации, и в частности, к способам пространственно-временного устранения шумов в видеоизображениях. Техническим результатом является повышение скорости фильтрования шумов видеоизображения с обеспечением высокого качества шумоподавления без внесения искажений. Способ фильтрования шума видеосигналов устойчив к движению и основан на определении локальной структуры и на нелокальном усреднении в соответствии с определенной структурой кадра и с использованием данных о текущем кадре и соседних кадрах, при котором определяют локальную структуру изображения путем последовательного свертывания предопределенных шаблонов с соседними пикселями и путем отбора образцового шаблона RP_c, который выдает наименьшую ошибку после свертывания, выполняют пространственно-временную фильтрацию с помощью взвешенного усреднения значений пикселя в поисковом окне от опорного кадра, причем результат пространственно-временной фильтрации вычисляют следующим образом:

где pix_r(x_r, y_r, t_r) обозначает опорный пиксель от опорного кадра t_r=t_c+t с координатами х_r и y_r, индекс p изменяется от до в направлении X, индекс s изменяется от до в направлении Y, индекс t изменяется от до в области времени, Т - число опорных кадров, вовлеченных в процесс фильтрования, w_f - вес опорного пикселя pix_r(x_r, y_r, t_r), нормирующий множитель вычисляют как:

вес w_f каждого опорного пикселя определяют следующим образом

,

если образцовый шаблон RP_с текущего пикселя совпадает с образцовым шаблоном опорного пикселя RP_r, то опорный пиксель считают корректным, в противном случае, когда образцовые шаблоны текущего пикселя и опорного пикселя разные, считают, что опорный пиксель является некорректным, и исключают его из процесса удаления шумов.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: считывание кадров видеопоследовательности, фильтрация видеоизображения с обеспечением высокого качества шумоподавления без внесения искажений.

Недостатками известного способа являются:

- при использовании данного способа необходима априорная информация о функции полезного сигнала;

- при не полиноминальной модели оценки полезной составляющей строгое решение задачи минимизации целевой функции способа наименьших квадратов не всегда существует в силу нелинейности решаемой системы уравнений;

- ограниченность способа наименьших квадратов к распараллеливанию и построению системы многоканальной обработки;

- ресурсоемкие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- эффективность зависит от объема реализации, статистических характеристик шума и наличия априорной информации о функциональной зависимости модели полезной составляющей.

Структурная схема устройства для фильтрования шума видеосигналов содержит блок памяти, блок оценки уровня, блок размывки, блок вычисления веса фильтра, блок применения фильтра, блок определения локальной структуры, регистры.

Наиболее близким к изобретению является адаптивный двумерный способ размножения оценок и устройство, его реализующее (патент № 2461874, МПК G06F 17/17). Рассматриваемое устройство-прототип предполагает формирование адаптивных областей двумерного сигнала для каждого значения пикселя, в связи чем задаются восемь направлений , в которых определяются интервалы квазистационарности (фиг.1). Условие квазистационарности проверяется с помощью вычисления случайной величины , равной сумме числа инверсий значений пикселей в каждом из восьми направлений двумерного сигнала Y_i,j, , .

Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. Далее все восемь полученных секторов объединяются в одну область . Таким образом, для каждого пикселя формируется окрестность пикселей, близких по значению яркости.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область и аппроксимируются поверхностью первого порядка вида.

Процедура получения области и вычисление оценки повторяется для каждого значения пикселя Y_i,j , , , при этом формируется весовая функция W_i,j, , , значения которой равны количеству размноженных оценок для каждого пикселя.

Результирующая оценка изображения определяется как среднее арифметическое размноженных адаптивных оценок:

Недостатками известного устройства-прототипа являются:

- невозможность реализации известного способа в реальном масштабе времени;

- большие вычислительные затраты.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- для использования способа размножения необходимо запоминать всю входную реализацию, то есть кадр видеопоследоватльности.

Устройство, реализующее адаптивный двумерный способ размножения оценок, содержит (фиг.2): блок хранения входной реализации, блок поэлементного умножителя, блок определения участков квазистационарности, блок формирования маски, блок аппроксимации, блок хранения оценок, блок усреднения оценок, блок хранения оценки полезной составляющей, счетчик текущей строки, блок задержки, генератор сигнала усреднения, счетчик текущего столбца, генератор тактовых импульсов.

Суть предлагаемого устройства адаптивной фильтрации видеосигналов заключается в следующем. Упрощенная математическая модель входного двумерного сигнала представляется в соответствии с выражением (1).

На основе адаптивного двумерного способа размножения оценок и устройства, его реализующего, предлагается устройство адаптивной фильтрации. На первом этапе происходит выделение кадра из видеопоследовательности. Далее для формирования адаптивных областей двумерного сигнала для каждого значения пикселя задаются восемь направлений (фиг.1), в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины , равной сумме числа инверсий значений пикселей в каждом из восьми направлений (фиг.1) двумерного сигнала Y_i,j , , .

Например, сумма числа инверсий для направления 5 равна:

где i=const, j=const; Y_i,j - текущее значение пикселя изображения с координатами (i, j); Y _i+l,j, l=i+1 d - последующие значения пикселей изображения по j-му столбцу (движение в направлении 5), d R, R - максимальная длина интервала квазистационарности.

Количество сочетаний, для которых вычисляется сумма инверсий, составляет:

.

Первая альтернатива (убывающий сигнал) принимается, если:

Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид:

Гипотеза о стационарности сигнала принимается, если с_{2 d} с₁, где - априорно задаваемое значение ошибки первого рода.

По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1, формируются области квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой, проходящей через две точки:

, ,

где (i₁, j₁) - координаты границы направления h, (i₂, j₂) - координаты границы направления h+1.

Для направлений на изображении для одномерных реализаций, полученных из значений пикселей по вертикальным и диагональным направлениям от центрального пикселя исходного изображения, определяются интервалы квазистационарности с помощью способа инверсий. Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. Далее все восемь полученных секторов объединяются в одну область . Таким образом, для каждого пикселя формируется окрестность пикселей, близких по значению яркости.

Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область и аппроксимируются поверхностью первого порядка вида , где _i,j, , значения бинарной маски, которая принимает значения, равные:

Значения коэффициентов А, В и С определяются с помощью двумерного способа наименьших квадратов [Патент № 2362207 Российская Федерация, С2, МПК G06F 17/17. 2007127727/09; Заяв. 19.07.2007; Опубл. 20.07.2009, Бюл. № 20], для нахождения которых минимизируется целевая функция вида:

Дифференцируя выражение (2) по А, В и С и приравнивания к нулю, получаем систему линейных уравнений:

Решением системы (3) является:

Процедура получения области и вычисления оценки повторяется для каждого значения пикселя Y_i,j , , , при этом формируется весовая функция W_i.j, , , значения которой равны количеству размноженных оценок для каждого пикселя.

Результирующая оценка (где k=1:К) определяется как среднее арифметическое размноженных оценок , , , t - текущий номер кадра видеопоследовательности. Для увеличения эффективности обработки динамических изображений предлагается использовать корреляционную связь между кадрами. Предполагается, что кадры в пределах небольшого интервала времени изменяются незначительно, при этом в качестве пространства обработки используется зависимость амплитуда - номер кадра. В связи с этим предлагается использовать накопление для L оценок кадров с последующим их усреднением и получением результирующей оценки t-го кадра видеопоследовательности.

Алгоритм состоит из следующих этапов:

- выделение кадра из последовательности;

- записываются значения входного двумерного сигнала Y_i,j, , ;

- задаются параметры способа: значение вероятности ошибки первого рода и максимальная длина интервала квазистационарности R;

- вычисляется случайная величина , и пороговые значения , и ;

- проверяется гипотеза о стационарности сигнала с_{2 d} с₁, при выполнении которой происходит формирование бинарной маски _i,j, , ;

- вычисляется оценка , с помощью аппроксимации значений Y_i,j поверхностью первого порядка вида , где , и вычисляется весовая функция W_i,j, , ;

- данная процедура повторяется для всех значений пикселей исходного изображения Y_i,j , , в результате чего получается набор оценок ;

- определяется результирующая оценка (где k=1:К) как взвешенная сумма размноженных адаптивных оценок , где , , t - текущий номер кадра видеопоследовательности.

Устройство адаптивной фильтрации видеосигналов (фиг.2) содержит блок хранения входной реализации 1, вход которого является информационным входом устройства, к выходу которого подключен вход блока выделения кадра 2, выход которого подключен к первому входу поэлементного умножителя 5 и первому входу блока определения участков квазистационарности 3, к выходу которого подключен вход блока формирования маски 4, к выходу которого подключен второй вход поэлементного умножителя 5, к выходу которого подключен вход блока аппроксимации 6, к выходу которого подключен первый вход блока хранения оценок 7, к выходу которого подключен первый вход блока усреднения оценок 8, к выходу которого подключен вход блока накопления кадров 9, к выходу которого подключен вход блока усреднения кадров 10, выход которого подключен к входу блока хранения оценки полезной составляющей 11, чей выход является информационным выходом устройства; выход счетчика текущей строки 12.1 подключен ко второму входу блока определения участков квазистационарности 3 и входу блока задержки 12.2, к выходу которого подключены четвертый вход поэлементного умножителя 5 и вход блока задержки 12.3, к выходу которого подключен второй вход блока хранения оценок 7 и первый вход генератора сигнала усреднения 12.7, к выходу которого подключен второй вход блока усреднения оценок 8; выход счетчика текущего столбца 12.4 подключен к третьему входу блока определения участков квазистационарности 3 и входу блока задержки 12.5, к выходу которого подключены третий вход поэлементного умножителя 5 и вход блока задержки 12.6, к выходу которого подключены третий вход блока хранения оценок 7 и второй вход генератора сигнала усреднения 12.7; синхронность работы устройства обеспечивается генератором тактовых импульсов 13.

Устройство адаптивной фильтрации видеосигналов реализуется следующим образом. Видеосигнал поступает в блок хранения входной реализации, далее выделяется кадр видеопоследовательности. В каждый момент времени выбирается одна из точек исходного кадра. Для нее находится область с пикселями близкой яркости с помощью способа инверсий. Для каждой полученной области производится аппроксимация значений двумерного сигнала плоскостью, описывающейся уравнением первой степени с помощью двумерного способа наименьших квадратов. Таким образом, получается множество перекрывающихся оценок полученных областей. Результирующая двумерная оценка полезной составляющей определяется как среднее арифметическое по объему полученных оценок. Для увеличения эффективности обработки динамических изображений предлагается использовать корреляционную связь между кадрами. Предлагается использовать накопление для L оценок кадров с последующим их усреднением и получением результирующей оценки t-го кадра видеопоследовательности. Полученные значения поступают на выход устройства.

Устройство адаптивной фильтрации видеосигналов работает следующим образом. В блок хранения входной реализации 1 записывается видеосигнал, далее выделяется кадр видеопоследовательности в блоке выделения кадра 2. Блоки счетчика текущей строки 12.1 и счетчика текущего столбца 12.4 формируют координаты пикселя, обрабатываемого в данный момент времени. Координаты поступают на вход блока определения участков квазистационарности 3. Происходит выборка значений пикселей, близких к выбранному из блока выделения кадра 2, и определение координат пикселей, принадлежащих области близкой яркости. Полученные координаты передаются на блок формирования маски 4, где формируется маска фиксированного размера, содержащая «0» в местах с координатами пикселей, не принадлежащих полученной области, и «1» для принадлежащих. Центр маски соответствует текущему выбранному пикселю, координаты которого являются координатами маски. Полученная маска подается на поэлементный умножитель 5, где путем поэлементного умножения пикселей исходного изображения на маску с учетом ее координат выделяется область, поступающая дальше на блок аппроксимации 6. Оценка, полученная путем аппроксимации поверхностью первого порядка способом наименьших квадратов, запоминается в блоке хранения оценок 7, в котором кроме самой оценки запоминаются и ее координаты, поступившие с счетчиков номера строки 12.1 и столбца 12.4 через блок задержки. Последовательно выполняется перебор всех пикселей изображения, полученные оценки запоминаются в блоке хранения оценок 7. По окончании перебора блок генерации сигнала усреднения 12.7 подает на блок усреднения оценок 8 сигнал, после чего сохраненные в блоке 7 оценки усредняются. Далее двумерная оценка полезной составляющей поступает на вход блока накопления кадров 9, в котором накапливаются L оценок кадров, которые поступают в блок усреднения кадров 10, в котором получается результирующая оценка кадра видеопоследовательности, в блоке хранения оценки полезной составляющей 11 запоминается полученная оценка полезной составляющей. Синхронность работы устройства обеспечивается генератором тактовых импульсов 13.

Технический результат - выделение двумерной оценки динамического изображения в условиях недостаточной априорной информации о статистических характеристиках аддитивного шума и функции полезной составляющей.