способ и устройство масштабирования динамического видеоизображения

Формула изобретения

1. Устройство масштабирования динамического видеоизображения, содержащее соединенные между собой первый, второй и третий буферы памяти, блок оценки движения, детектор краев, адаптер метода интерполяции, первый и второй мультиплексоры, пространственно-временной интерполятор, пространственный интерполятор и блок формирования результирующего кадра, причем выходы третьего буфера памяти соединены с входом второго буфера памяти и с входом блока оценки движения, выходы второго блока памяти соединены с входом третьего блока памяти и с входом первого мультиплексора, выходы первого буфера памяти соединены с входом первого и второго мультиплексоров с входом блока оценки движения и с входом детектора краев, выходы детектора краев и блока оценки движения соединены с входом адаптера метода интерполяции, выход которого соединен с входами первого и второго мультиплексоров и входом блока формирования результирующего кадра, выход первого мультиплексора соединен с входом пространственно-временного интерполятора, выход второго мультиплексора соединен с входами пространственного интерполятора и пространственно-временного интерполятора, выходы которых соединены с входом блока формирования результирующего кадра, при этом первый, второй и третий буферы памяти выполнены с возможностью хранения трех последовательных кадров видеоизображения; блок оценки движения выполнен с возможностью определения движения изображения между кадрами с пиксельной точностью; детектор краев выполнен с возможностью определения карты краев изображения; адаптер метода интерполяции выполнен с возможностью выбора метода интерполяции в зависимости от оценки движения между кадрами и интенсивности краев изображения; первый и второй мультиплексоры выполнены с возможностью сдвига пикселов кадра в соответствии с информацией о движении изображения в кадре; блок формирования результирующего кадра выполнен с возможностью объединения данных, полученных путями пространственной и пространственно-временной интерполяции кадра с высоким разрешением.

2. Способ масштабирования динамического видеоизображения, включающий в себя следующие операции:

получают исходное видеоизображение низкого разрешения, состоящее из набора кадров оригинала общим числом N_max ;

для каждого кадра F_N, N=1...N _max исходного видеоизображения низкого разрешения выполняют следующие операции:

определяют движение между кадрами F _N и F_N-2 в виде векторного поля m ₂;

интерполируют движение между кадрами F _N и F_N-1 в виде векторного поля m ₁;

вычисляют карту краев S изображения в кадре F _N;

формируют по пикселам кадр с высоким разрешением из кадра F_N, при этом для каждого текущего пиксела кадра F_N выполняют следующие операции:

задают точность определения движения достаточную для применения пространственно-временной интерполяции, а также нижнее ₁ и верхнее ₂ пороговое значения интенсивности края;

оценивают движение и края текущего пиксела, причем, в случае наличия, по меньшей мере, одного из следующих условий:

если точность определения движения пиксела меньше заданной;

если движение пиксела нулевое;

если интенсивность края ниже нижнего порогового значения ₁;

если интенсивность края выше верхнего порогового значения ₂;

выполняют пространственную интерполяцию текущего кадра, в противном случае выполняют следующие операции:

находят пикселы кадра низкого разрешения F _N, ближайшие к текущему пикселу;

сортируют найденные пикселы по расстоянию до текущего пиксела и запоминают в списке L_n;

находят пикселы предыдущего кадра низкого разрешения F_N-1, ближайшие к текущему пикселу, с учетом векторного поля движения m₁ ;

сортируют найденные пикселы по расстоянию до текущего пиксела и запоминают в списке L_n-1;

объединяют списки L_n и L _n-1 в список L_r;

сортируют список L_r по расстоянию до текущего пиксела;

производят интерполяцию текущего пиксела с использованием пикселов из списка L_r.

3. Способ по п.2, отличающийся тем, что определяют движение при помощи способа, выбранного из набора способов оценки движения, включающего в себя способы, основанные на алгоритме иерархического согласования блоков (НВМА) и на алгоритме согласования блоков методом полного перебора (ЕВМА).

4. Способ по п.2, отличающийся тем, что производят билинейную интерполяцию текущего пикселя, при этом выбирают четыре первых пикселя из списка L_r , и, в случае двух равноудаленных пикселов, оставляют тот пиксел, который находится в текущем кадре.

5. Способ по п.2, отличающийся тем, что производят бикубическую интерполяцию текущего пиксела, при этом выбирают шестнадцать первых пикселов из списка L _r и, в случае двух равноудаленных пикселов, оставляют тот пиксел, который находится в текущем кадре.

Описание изобретения к патенту

Настоящее изобретение относится к устройствам и способам для обработки видеоданных, а более конкретно к способам и устройствам масштабирования динамического видеоизображения, и может быть применено в телевизорах высокой четкости.

Современные телевизоры высокой четкости обеспечивают высокое пространственное разрешение видеоизображения. Однако пространственное разрешение стандартного видеосигнала намного меньше.

В настоящее время пространственное разрешение видеосигнала увеличивают путем масштабирования с использованием арифметической суммы взвешенных значений пикселов.

В патенте США №6,681,059 [1] описывается способ и устройство для масштабирования видеосигнала, включающего как повышение, так и понижение разрешения, в котором синтезируется фильтр с конечной импульсной характеристикой (далее - КИХ-фильтр) и предлагается соответствующее устройство для некратного масштабирования видеоизображения. Недостатком данного способа является недостаточно высокое качество изображения, так как при вычислении масштабированного кадра используют только один текущий кадр, и, следовательно, высокочастотная составляющая видеосигнала, утраченная в процессе видеозахвата или субдискретизации, не восстанавливается.

Наиболее близкими к заявляемому решению являются способ и устройство, описанные в патенте США №6,784,942 [2]. В решении [2] описывается способ и устройство для деинтерлейсинга с компенсацией движения, при этом масштаб изображения сохраняется, но данные из нескольких соседних кадров используются для восстановления только вертикальной компоненты высокочастотной составляющей видеосигнала, утраченной при субдискретизации, что не позволяет получить изображение высокого качества.

Задачей заявленного изобретения является создание способа и устройства масштабирования динамического видеоизображения, позволяющего увеличить качество динамического видеоизображения путем восстановления как вертикальной, так и горизонтальной компоненты высокочастотной составляющей видеосигнала с использованием данных из нескольких соседних кадров.

Поставленная задача решена путем создания устройства масштабирования динамического видеоизображения, которое содержит соединенные между собой первый, второй и третий буферы памяти, блок оценки движения, детектор краев, адаптер метода интерполяции, первый и второй мультиплексоры, пространственно-временной интерполятор, пространственный интерполятор и блок формирования результирующего кадра, причем выходы третьего буфера памяти соединены с входом второго буфера памяти и с входом блока оценки движения, выходы второго блока памяти соединены с входом третьего блока памяти и с входом первого мультиплексора, выходы первого буфера памяти соединены с входом первого и второго мультиплексоров с входом блока оценки движения и с входом детектора краев, выходы детектора краев и блока оценки движения соединены с входом адаптера метода интерполяции, выход которого соединен с входами первого и второго мультиплексоров и входом блока формирования результирующего кадра, выход первого мультиплексора соединен с входом пространственно-временного интерполятора, выход второго мультиплексора соединен с входами пространственного интерполятора и пространственно-временного интерполятора, выходы которых соединены с входом блока формирования результирующего кадра, при этом

- первый, второй и третий буферы памяти выполнены с возможностью хранения трех последовательных кадров видеоизображения;

- блок оценки движения выполнен с возможностью определения движения изображения между кадрами с пиксельной точностью;

- детектор краев выполнен с возможностью определения карты краев изображения;

- адаптер метода интерполяции выполнен с возможностью выбора метода интерполяции в зависимости от оценки движения между кадрами и интенсивности краев изображения;

- первый и второй мультиплексоры выполнены с возможностью сдвига пикселов кадра в соответствии с информацией о движении изображения в кадре;

- блок формирования результирующего кадра выполнен с возможностью объединения данных, полученных путями пространственной и пространственно-временной интерполяции кадра с высоким разрешением.

Поставленная задача решена также путем создания способа масштабирования динамического видеоизображения, который включает в себя следующие операции:

- получают исходное видеоизображение низкого разрешения, состоящее из набора кадров оригинала общим числом N_max;

- для каждого кадра F_N, N=1...N _max исходного видеоизображение низкого разрешения выполняют следующие операции:

- определяют движение между кадрами F_N и F_N-2 в виде векторного поля m₂;

- интерполируют движение между кадрами F_N и F _N-1, в виде векторного поля m₁;

- вычисляют карту краев S изображения в кадре F _N;

- формируют по пикселам кадр с высоким разрешением из кадра F_N, при этом для каждого текущего пиксела кадра F_N выполняют следующие операции:

- задают точность определения движения, достаточную для применения пространственно-временной интерполяции, а также нижнее ₁ и верхнее ₂ пороговые значения интенсивности края;

- оценивают движение и края текущего пиксела, при этом, в случае наличия условий:

- если точность определения движения пиксела меньше заданной,

- если движение пиксела нулевое,

- если интенсивность края ниже нижнего порогового значения ₁,

- если интенсивность края выше верхнего порогового значения ₂,

выполняют пространственную интерполяцию текущего кадра,

в противном случае выполняют следующие операции:

- находят пикселы кадра низкого разрешения F_N, ближайшие к текущему пикселу,

- сортируют найденные пикселы по расстоянию до текущего пиксела и запоминают в списке L_n,

- находят пикселы предыдущего кадра низкого разрешения F _N-1, ближайшие к текущему пикселу, с учетом векторного поля движения m₁,

- сортируют найденные пикселы по расстоянию до текущего пиксела и запоминают в списке L_n-1,

- объединяют списки L _n и L_n-1 в список L _r,

- сортируют список L_r по расстоянию до текущего пиксела,

- производят интерполяцию текущего пиксела с использованием пикселов из списка L _r.

Для функционирования заявляемого способа важно, чтобы определяли движение при помощи способа, выбранного из набора способов оценки движения, включающего в себя способы, основанные на алгоритме иерархического согласования блоков (НВМА) и алгоритме согласования блоков методом полного перебора (ЕВМА).

Для функционирования заявляемого способа существенно, чтобы производили билинейную интерполяцию текущего пиксела, при этом выбирали четыре первых пиксела из списка L_r и в случае двух равноудаленных пикселов оставляли тот пиксел, который находится в текущем кадре.

Для функционирования заявляемого способа важно, чтобы производили бикубическую интерполяцию текущего пиксела, при этом выбирали шестнадцать первых пикселов из списка L _r и в случае двух равноудаленных пикселов оставляли тот пиксел, который находится в текущем кадре.

Техническим результатом заявленного изобретения является улучшение качества динамического видеоизображения за счет применения пространственно-временной интерполяции на основе данных из предыдущих кадров видеоизображения.

Для лучшего понимания настоящего изобретения далее приводится его подробное описание с соответствующими чертежами.

Фиг.1 - блок-схема устройства масштабирования динамического видеоизображения, выполненная согласно изобретению, где на входе показан стрелкой видеосигнал низкого разрешения (ВНР), а на выходе показан стрелкой видеосигнал высокого разрешения (ВВР).

Фиг.2 - схема последовательных операций способа масштабирования динамического видеоизображения, выполненная согласно изобретению.

Фиг.3 - схема последовательных операций шага 5 способа масштабирования динамического видеоизображения, выполненная согласно изобретению.

Устройство масштабирования динамического видеоизображения (Фиг.1) содержит соединенные между собой буферы 1 (первый), 2 (второй) и 3 (третий) памяти, блок 4 оценки движения, детектор 5 краев, адаптер 6 метода интерполяции, мультиплексоры 7 (первый) и 8 (второй), пространственно-временной интерполятор 9, пространственный интерполятор 10 и блок 11 формирования результирующего кадра. При этом выходы буфера 3 (третьего) памяти соединены с входом буфера 2 (второго) памяти и с входом блока оценки движения 4, выходы второго блока памяти 2 соединены с входом блока 3 (третьего) памяти и с входом мультиплексора 7 (первого), выходы буфера 1 (первого) памяти соединены с входами мультиплексора 7 и мультиплексора 8, с входом блока 4 оценки движения и с входом детектора 5 краев, выходы детектора 5 краев и блока 4 оценки движения соединены с входом адаптера 6 метода интерполяции, выход которого соединен с входами мультиплексоров 7 и 8, и входом блока 11 формирования результирующего кадра, выход мультиплексора 7 соединен с входом пространственно-временного интерполятора 9, выход мультиплексора 8 соединен с входами пространственного интерполятора 10 и пространственно-временного интерполятора 9, выходы которых соединены с входом блока 11 формирования результирующего кадра.

Рассмотрим более подробно заявленный способ масштабирования видеоизображения (Фиг.2). Сначала получают исходное видеоизображение низкого разрешения (шаг 1), состоящее из набора кадров общим числом N_max. При этом кадр может быть задан двумерным массивом яркостей F_N= P(i,j) , тройкой, состоящей из двумерных массивов, определяющих красную, зеленую и синюю компоненты F_N= P_R(i,j), P_G (i,j), P_B(i,j) , или тройкой из двумерных массивов, задающих яркость и цветность F_N= P_Y(i,j), P_Cr (i,j), P_Cb(i,j) . В целях повышения разрешения над каждым кадром низкого разрешения F_N, N=1...N_max производят следующие операции. Три последовательных кадра F _N-2, F_N-1, F_N низкого разрешения сохраняют в буферах 1, 2 и 3 памяти. Оценивают движение между кадрами F_N и F _N-2 в виде векторного поля m₂= M_x,M_y (шаг 2) в блоке 4 оценки движения. Интерполируют движение m₁ между кадрами F_N и F_N-1 (шаг 3) в адаптере 6 метода интерполяции. Вычисляют карту краев S для кадра F_N (шаг 4) в детекторе 5 краев. Повышают разрешение кадра F _N, с использованием кадра F_N-1 и векторов движения m₁ (шаг 5).

При этом движение между кадрами F_N и F _N-2 оценивают с помощью одного из способов оценки движения с пиксельной точностью (НВМА, ЕВМА и т.д.). Движение между текущим (F_N) и предыдущим (F_N-2 ) кадрами определяют при помощи линейной интерполяции по формуле (Фиг.3). Карту краев вычисляют с помощью фильтра Собеля, либо другого подобного дифференцирующего фильтра. Рассмотрим шаг 5 более подробно (Фиг.3). На этом шаге в адаптере 6 метода интерполяции для каждого интерполируемого пиксела в кадре высокого разрешения принимают решение о том, какой из методов интерполяции выбрать - пространственную или пространственно-временную. Это решение принимают на основе ошибки предсказания следующего кадра на основе оцененного движения E(i,j)=|F_N-2 (i+M_x(i,j)j+M_y(i,j))-F _N(i,j)|, карты краев S и карты движения m ₁. Для неподвижных пикселов и пикселов с большой амплитудой движения осуществляют интерполяцию только по текущему кадру, т.е. пространственную интерполяцию. Для пикселов с большой ошибкой оценки движения также осуществляют пространственную интерполяцию. Для повышения надежности алгоритма пространственную интерполяцию осуществляют вблизи краев, т.е. где интенсивность краев согласно карте S выше определенного порогового значения ₂. В однородных областях, где интенсивность краев ниже определенного порогового значения ₁, пространственно-временная интерполяция дает примерно те же результаты, что и пространственная, поэтому в этом случае в целях экономии вычислительных ресурсов осуществляют пространственную интерполяцию. На выходе в адаптере 6 метода интерполяции формируют массив индексов, сдвинутых с учетом движения, для пикселов предыдущего кадра F_N-1, участвующих в пространственно-временной интерполяции, который затем подают на вход мультиплексора 7, а затем формируют массив индексов пикселов текущего кадра F_N, участвующих в пространственно-временной интерполяции, который подают на вход мультиплексора 8. Массив индексов пикселов текущего кадра F_N, участвующих в пространственной интерполяции, также подают на вход мультиплексора 8. Таким образом, пространственно-временную интерполяцию производят для пикселов со средним движением, оцененным с точностью, не меньшей заданной, и средней интенсивностью краев. В качестве пространственной интерполяции используют билинейную, бикубическую или полифазную интерполяцию, которую реализуют в пространственном интерполяторе 10. На вход пространственного интерполятора 10 подают массив яркостей (или величин RGB) пикселов текущего кадра и соответствующих индексов с выхода мультиплексора 8, а с его выхода получают изображение, в котором выполнена пространственная интерполяция для перечисленных пикселов, при этом значения остальных пикселов считают неопределенными. На вход пространственно-временного интерполятора 11 подают массивы яркостей (или величин RGB/CyCbCr) и соответствующих индексов из предыдущего и текущего кадров, а с его выхода получают изображение, в котором выполнена пространственно-временная интерполяция для перечисленных пикселов, а значения остальных пикселов считают неопределенными. Основная идея предлагаемого способа состоит в том, что если между двумя последовательными кадрами (F_N, и F_N-1 ) имеется субпиксельное движение, то при повышении разрешения кадра F_N можно использовать информацию из кадра F_N-1 для восстановления высокочастотной компоненты, утраченной в процессе видеозахвата или субдискретизации. Эту задачу можно решить при помощи одного из стандартных методов двумерной интерполяции, например, методом ближайшего соседа, билинейной, бикубической, с той разницей, что при интерполяции пиксела в кадре высокого разрешения используют не только пикселы текущего кадра F_N, но и пикселы предыдущего кадра F_N-1, взятые со субпиксельным смещением согласно оцененному движению. В предлагаемом способе используют билинейную интерполяцию по четырем ближайшим точкам из двух соседних кадров низкого разрешения или бикубическую интерполяцию по шестнадцати ближайшим точкам из двух соседних кадров низкого разрешения. В блоке 11 формирования результирующего кадра объединяют результаты пространственной и пространственно-временной интерполяции. В случае если между кадрами F_N и F _N-1 имеется движение m₁, кратное пикселу, то интерполяцию производят только по точкам текущего кадра F_N. Специалисту понятно, что движение m₁ интерполируют на основе непосредственно оцениваемого движения m₂ именно с целью вычленить движения, не кратные пикселу.

Изобретение может быть реализовано на базе существующих моделей цифрового процессора, программируемой пользователем вентильной матрицы, или специализированной интегральной схемы.

Заявленное устройство и способ могут быть использованы в любом приложении, требующем масштабирования видеоизображения, например, в преобразователе цифрового телевизионного сигнала стандартной четкости в цифрой телевизионный сигнал высокой четкости, в цифровой видео-камере при цифровом увеличении изображения, в телевизионном приемнике для реализации функции «картинка в картинке» или как часть абонентской приставки.

Указанный выше вариант выполнения изобретения был изложен с целью иллюстрации настоящего изобретения, и специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.