способ идентификации кадров-вставок в потоке мультимедийных данных

Формула изобретения

Способ идентификации кадров-вставок в потоке мультимедийных данных, заключающийся в определении признаков яркости и сравнении их значений с пороговым, отличающийся тем, что дополнительно вычисляют суммарную дифференциальную яркость каждого кадра-разности и пороговое значение яркости трех предыдущих кадров-разностей, сравнивают яркостные характеристики кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости, при этом, если суммарная дифференциальная яркость , идентифицируют первую границу кадра-вставки, а если суммарная дифференциальная яркость , идентифицируют кадр-вставку указанного потока, где и являются кадрами указанного потока, а является пороговым значением яркости сюжета.

Описание изобретения к патенту

Изобретение относится к области вычислительной техники, а именно к системам анализа изображений, и предназначено для использования в сфере обработки данных изображений.

Способ идентификации кадров-вставок в потоке мультимедийных данных необходим для предотвращения негативного воздействия на уровень бессознательного восприятия человека с помощью подпороговых стимулов. Указанное воздействие зачастую применяется скрытно в виде дополнительных кадров, вставленных в поток мультимедийных данных.

Под кадрами-вставками понимаются кадры количеством от 1 до 3, добавленные в любое место видеопотока и отличающиеся от кадров текущей сюжетной линии (сцены) визуально и статистически.

Концепция идентификации и сравнения кадров в потоке мультимедийных данных включает в себя ряд методов. Большинство из них в качестве статистического признака для выявления скрытых кадров-вставок в видеопотоке используют величину интегральной яркости кадров, сравнивая ее с некоторым эталонным значением.

Известны устройство для обработки изображений и способ определения линейного сдвига изображения (патент RU 2138851 С1, опубл. 05.08.1993 г. Авторы: Кристоф Айзенбарт (DE), Ира Финкельштайн (US), Дэннис Мак Ги (US), Эдвард Панофский (US)), которые позволяют обнаруживать несовпадение фактического изображения относительно опорного и обеспечивать их максимальное совпадение. Этот технический результат достигается благодаря тому, что воспринимают два участка фактического изображения, запоминают два аналогичных участка опорного изображения, сравнивают соответствующие участки фактического и опорного изображений и определяют наличие сдвига, причем повторяют сравнение для тех же участков после сдвига фактического изображения на заранее заданное число пикселей по осям Х и Y, при этом вычисляют абсолютные значения разностей между соответствующими участками фактического и опорного изображений для каждого сдвига и сохраняют в памяти как полученные абсолютные значения, так и их сумму.

Недостатком данного аналога является то, что при идентификации видеовставки в процессе сравнения невозможно выделить опорное изображение, участки кадра для сравнения и пороговое значение линейного сдвига, так как оно будет динамически изменяться в результате смены сюжетов в видеопотоке.

Наиболее близкими по технической сущности и выполняемым функциям к заявляемому изобретению (прототипом) являются способ идентификации подлинных серий изображений и устройство для его осуществления (патент RU 2216044 С2, опубл. 10.11.2003. Автор Шульце Клаус (DE)), которые позволяют получить технический результат в виде повышения эффективности процедур учета и хронометрирования рекламных сообщений, видеоклипов, политических выступлений.

Этот результат достигается за счет того, что для отдельных изображений из серий изображений определяют признаки яркости, преобразуют их в цифровую форму и сравнивают с эталоном, при этом признаки яркости декоррелируют квазистохастическим отбором по множеству изображений.

Недостатком прототипа является низкая эффективность определения кадров-вставок в видеопотоке, обусловленная тем, что по одному изображению, определяющему эталонные признаки яркости, невозможно получить полную статистическую информацию, характеризующую яркостные свойства каждой из наблюдаемых динамически меняющихся сцен видеопотока в силу их значительных отличий по цвету и яркости.

Задачей изобретения является создание способа идентификации кадров-вставок в потоке мультимедийных данных, позволяющего уменьшить количество ошибочных распознаваний как кадров-вставок, так и кадров отдельных сюжетных линий (сцен).

Эта задача решается тем, что способ идентификации кадров-вставок в потоке мультимедийных данных, включающий в себя операции определения яркости кадров, цифрового сравнения по яркостным составляющим двух кадров, согласно изобретению дополнены операции попиксельного сравнения двух изображений по определению кадра-разности и вычисления суммарной дифференциальной яркости каждого кадра-разности и порогового значения яркости трех предыдущих кадров-разностей, а также операции сравнения яркостных характеристик кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговьм значением суммарной дифференциальной яркости предыдущих трех кадров-разностей.

Результат предлагаемого способа достигается за счет формирования и выполнения математического критерия R:

;

при ограничениях:

- количество кадров в визуальной вставке не превышает трех;

- первые четыре кадра сюжетной линии не являются вставкой;

- вставка не располагается на границе двух сюжетных линий, где

- - множество кадров в видеопотоке, l=1(1)N; N - количество кадров; р=1(1)Р - количество сюжетов;

- - множество кадров-разностей, l=1(1)N-1;

- ={ ₁, ₂} - множество классов кадров видеопотока, ₁ - кадр-вставка; ₂ - обычный кадр сюжетной линии.

Перечисленная новая совокупность операций обеспечивает возможность снижения количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий при различной скорости смены сцен в видеопотоке.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности "новизна".

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обусловливающих тот же технический результат, который достигнут в заявляемом способе. Следовательно, заявленное изобретение соответствует условию патентоспособности "изобретательский уровень".

Заявленный способ поясняется чертежами, на которых показано:

фиг.1 - общая схема операций, реализующих в совокупности способ идентификации кадров-вставок;

фиг.2 - результат действия логической операции по формированию кадров-разностей;

фиг.3 - алгоритм вычисления порогового значения яркости L_p;

фиг.4 - алгоритм идентификации кадров видеопотока методом сравнения яркостных характеристик кадров-разностей с их пороговым значением L_p;

фиг.5 - принцип работы методики экстремальной суммарной дифференциальной яркости.

Общая схема последовательности операций заявленного способа, представленная на фиг.1, работает следующим образом.

На блок присвоения номеров кадрам видеопотока и сюжетам 2 подается упорядоченная последовательность видеокадров с блока преобразования видеопотока в кадры RGB 1. (Видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn).)

Цифровой кадр в видеопотоке представляет функцию распределения яркости или цвета на двумерной плоскости: f(i,j), где i и j - декартовы координаты, описывающие плоскость кадра. С математической точки зрения кадр представляет собой двумерную матрицу Im[i,j] размера (DimH×DimW), где i=1(1)H - целое число, описывающее номер элемента в строке, а j=1(1)W - номер строки матрицы, в которой расположен элемент. Элемент кадра (пиксель) имеет целочисленное значение, пропорциональное значению функции распределения яркости f(i,j) в данной точке плоскости. Обозначается пиксель кадра р-го сюжета с координатами (i,j) и цветовыми составляющими Red, Green, Blue в виде , где W - ширина кадра в пикселях, а H - его высота. Значения Н и W экспортируются в блок инициализации 3.

В блоке логической побитовой разности последовательно идущих кадров видеопотока 4 производится операция, которая в пикселях текущего кадра оставляет единичными только те биты, которые отсутствуют в соответствующих пикселях последующего , в соответствии со значениями Н и W, поступающими с выхода блока инициализации, по правилу F,:

, l=1(1)N-1, p=1(1)P,

F - правило построения кадров разностей:

, i=1(1)H, j=1(1)W, p=1(1)P.

Результат действия данной операции показан на фиг.2. (Визильтер Ю.В., Желтов С.Ю., Князь В.А. и др. Обработка и анализ цифровых изображений с примерами на Lab VIEW IMAQ Vision. - M.: ДМК Пресс, 2007. - 464 с.).

В блоке 4, определяются кадры разности для и , и , и кадров видеопотока , , , поступающие в блок вычисления суммарной дифференциальной яркости каждого кадра разности - 5. В блоке 5 осуществляется вычисление суммарных яркостей , , кадров разностей по выражению

.

Исследование кадров видеопотока показало, что по одному статическому изображению проблематично получить всю необходимую информацию, характеризующую яркостные свойства наблюдаемых динамически меняющихся сцен, так как у всех они разные. Следовательно, возникает необходимость в определении среднего значения яркости, свойственного каждой сюжетной линии.

В блоке 6 осуществляется вычисление порогового значения яркости L_p p-го сюжета трех предыдущих кадров разностей по выражению

,

где - абсолютная погрешность дифференциальной яркости, определяемая эмпирически, поступающая из блока инициализации 3.

Схема операции вычисления порогового значения яркости L_p р-го сюжета представлена на фиг.3

После определения порогового значения яркости в блоке 7 происходит сравнение суммарных дифференциальных яркостей последующих кадров-разностей с пороговым значением по следующему правилу:

1. В блоке 4 определяется кадр-разность для и кадров видеопотока , а в блоке 5 вычисляется его суммарная дифференциальная яркость .

При неравенстве идентифицируется первая граница:

- кадра-вставки;

- подлежащих выделению кадров видеопотока;

- нового p+1 сюжета.

При выполнении условия исследуется следующий кадр данного сюжета l=l+1 и в блоке 6 вычисляется новое пороговое значения яркости L_p как среднее арифметическое значение суммарных дифференциальных яркостей трех кадров-разностей: , и

.

2. В блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и его суммарная дифференциальная яркость .

При неравенстве идентифицируется , кадр-вставка, поступающий в блок выделения кадров видеопотока 8, а при суммарной яркости , в блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и его суммарная дифференциальная яркость .

3. При выполнении условия выделяются и кадры видеопотока, поступающие в блок 8, а при в блоках 4 и 5 определяются кадр-разность для и кадров видеопотока и суммарная дифференциальная яркость .

4. При условии вьщеляются , и кадры видеопотока, поступающие в блок 8, иначе в блоке 2 осуществляется переход на р+1 сюжет и в блоке 6 пересчитывается пороговое значение яркости относительно , , и кадров видеопотока.

Выделенные кадры из видеопотока хранятся в блоке 9. (Выделенные видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn)).

Алгоритм, поясняющий критерий идентификации видеокадров в мультимедийном потоке информации, отражен на фиг.4.

Принцип работы методики экстремальной суммарной дифференциальной яркости представлен на фиг.5.

Экспериментальная проверка способа идентификации кадров-вставок была выполнена на ЭВМ в пакете прикладной математики Matlab 2008b при следующих исходных данных:

1) 100 видеороликов без кадров-вставок длительностью от 1 до 5 минут с различным количеством сюжетных линий;

2) 100 видеороликов с размещенными через каждые 100 кадров кадрами-вставками (количество подряд идущих кадров-вставок от 1 до 3);

3) кадры видеороликов и кадры-вставки не искажены и имеют высокое качество.

Результаты экспериментов показали, что в условиях отсутствия априорных сведений о наличии в анализируемом видеопотоке кадров-вставок известный способ (прототип) правильно идентифицировал 10% кадров-вставок при ошибочном распознавании сюжетных линий в 67%, а с помощью заявленного способа удалось правильно идентифицировать 89% кадров-вставок при ошибочном распознавании сюжетных линий в 12%. Это подтверждает существенный положительный эффект от внедрения нового способа.

Полученные результаты дают основания для вывода, что заявленный способ идентификации кадров-вставок в потоке мультимедийных данных имеет лучшие характеристики по точности распознавания кадров-вставок по сравнению с прототипом.

Таким образом, при такой совокупности существенных признаков в процессе идентификации кадров-вставок в видеопотоке обеспечивается уменьшение количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий в видеопотоке.

Промышленная применимость изобретения обусловлена тем, что устройство, реализующее предложенный способ, может быть осуществлено с помощью современной элементной базы, с достижением указанного в изобретении назначения.