способ улучшения карты диспарантности и устройство для реализации способа

Формула изобретения

1. Способ улучшения карты диспарантности, включающий в себя выполнение следующих операций:

формируют исходную карту диспарантности путем присвоения исходных значений диспарантности каждому пикселю опорного цветного изображения;

определяют недостоверные значения диспарантности путем проведения анализа структуры и детектирования преград;

преобразуют опорное цветное изображение в изображение, представленное в зрительно единообразном цветовом пространстве;

сглаживают и улучшают на основе усредняющего весового фильтра исходную карту диспарантности с весами, зависящими от степени достоверности диспарантности, цветового и пространственного расстояний;

подавляют на этапе постобработки мелкие дефекты проявления текстуры и импульсный шум.

2. Способ по п.1, отличающийся тем, что операцию идентификации исходной диспарантности выполняют с помощью алгоритма совмещения стереопары, как по статическому контенту стереопар, так и по динамическому контенту стереопар.

3. Способ по п.2, отличающийся тем, что используют алгоритм совмещения стереопары, основанный на весовой функции SAD (сумма абсолютных разностей) и оптимизации по принципу WTA (победитель получает все).

4. Способ по п.1, отличающийся тем, что операцию по идентификации исходной диспарантности выполняют с помощью компьютерного средства по восстановлению информации о глубине из единственного статического изображения.

5. Способ по п.1, отличающийся тем, что операцию по идентификации исходной диспарантности выполняет пользователь в режиме интерактивного раскрашивания на основе зрительно различимых расстояний до объектов, представленных на цветном изображении.

6. Способ по п.1, отличающийся тем, что операцию по идентификации недостоверных диспарантностей выполняют путем детектирования преград на основе условия единственности.

7. Способ по п.1, отличающийся тем, что идентификацию недостоверных диспарантностей выполняют путем детектирования областей со слабо выраженной текстурой на опорном изображении.

8. Способ по п.1, отличающийся тем, что идентификацию недостоверных диспарантностей выполняют путем детектирования неопределенных значений диспарантностей.

9. Способ по п.1, отличающийся тем, что в процессе преобразования опорного цветного изображения в качестве выходного цветового пространства используют цветовое пространство ClELab.

10. Способ по п.1, отличающийся тем, что сглаживание и улучшение выполняют с помощью взвешенного усредняющего фильтра, представленного следующим уравнением:

11. Способ по п.10, отличающийся тем, что веса вычисляют на основе опорного цветного изображения и достоверности диспарантностей следующим образом:

12. Способ по п.11, отличающийся тем, что цветовое сходство вычисляют как эвклидово расстояние в цветовом пространстве ClELab.

13. Способ по п.1, отличающийся тем, что постобработку осуществляют на основе медианной фильтрации.

14. Устройство для получения карты диспарантности и улучшения качества изображения на основе стереоконтента, включающее в себя

блок оценки необработанной диспарантности, выполненный с возможностью формирования карты исходной диспарантности на основе стереоконтента путем совмещения стереопар;

блок детектирования преград, выполненный с возможностью выявления преград на основе карты исходной диспарантности и стереоконтента путем анализа диспарантности с применением условия соблюдения единственного соответствия пикселей между опорным и совмещаемым изображениями;

блок детектирования пикселей с недостоверной диспарантностью, выполненный с возможностью маркировки пикселей с недостоверной диспарантностью, в отношении которых совмещение стереопары может дать неоднозначный результат;

блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;

блок улучшающего сглаживания согласно п.1;

блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.

15. Устройство для получения карты диспарантности и улучшения качества изображения на основе единственного статического изображения, включающее в себя

блок подготовки эскиза карты диспарантности, выполненный с возможностью формирования эскиза карты диспарантности на основе выявленных расстояний между объектами, представленными на опорном изображении;

блок детектирования пикселей с неустановленной диспарантностью, выполненный с возможностью нанесения маркировки «неопределено» на пиксели в эскизе карты диспарантности;

блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;

блок улучшающего сглаживания согласно п.1;

блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.

16. Устройство по п.15, отличающееся тем, что блок подготовки эскиза карты диспарантности выполнен с возможностью управления им пользователем и закрашивания диспарантности в интерактивном режиме.

17. Устройство по п.15, отличающееся тем, что блок подготовки эскиза карты диспарантности выполнен с возможностью управления им средствами компьютера, выполненными с возможностью формирования эскиза карты диспарантности в автоматическом режиме на основе анализа единственного статического изображения.

Описание изобретения к патенту

Заявляемое изобретение относится к способам обработки изображений, а более конкретно - к способам и системам для улучшения необработанной плотной карты диспарантности, полученной на основе алгоритмов совмещения стереопар и процесса составления эскиза карты диспарантности.

Наличие плотной карты диспарантности требуется в целом ряде приложений, таких как навигация робота, создание виртуальной реальности, построение трехмерных моделей и объемное телевидение. Для современных мультивидовых трехмерных дисплеев одной из ключевых технологий для воспроизведения объемных сцен является технология создания виртуальных видов одной и той же сцены для разных точек обзора. Такие виртуальные виды могут быть сформированы на основе стереоконтента и плотной карты диспарантности.

Задача вычисления плотной карты диспарантности заключается в нахождении однозначного соответствия между точками, принадлежащими двум или нескольким видам одной сцены. Представляется, что это является некорректно поставленной задачей, особенно для нетекстурированных участков изображения и для участков, содержащих преграждающий объект.

Недавно предложенная классификация (D. Scharstein and R. Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47(1), 2002.) подразделяет стерео алгоритмы вычисления карты диспарантности на глобальные и локальные. Глобальные алгоритмы устанавливают значения карты диспарантности на основе минимизации функции глобальной стоимости, формируя, в результате, точную карту диспарантности, но при этом требуют очень высоких вычислительных ресурсов. Локальные алгоритмы вычисляют значения карты диспарантности на основе ограничения по фотометрической совместимости двух совмещаемых пикселей. При этом как правило результат стереосовмещения усредняют в окне с радиусом в несколько пикселей. В результате получается менее точная карта диспарантности. Однако, локальные алгоритмы могут быть использованы в приложениях, работающих в режиме реального времени.

Согласно общепризнанной классификации алгоритмы вычисления диспарантности (совмещения стереопары) обычно включают в себя выполнение следующих четырех операций:

1. Вычисление функции стоимости совмещения стереопары

2. Агрегирование функции стоимости

3. Вычисление/оптимизация карты диспарантности.

4. Улучшение карты диспарантности.

В простейшем случае функция стоимости совмещения стерео пары представляет собой сумму абсолютных разностей (SAD), которая используется на этапе 1. Известны также другие способы измерения степени совмещения, такие как нормализованная перекрестная корреляция (корреляция NCC), модифицированная нормализованная корреляция (MNCC), ранговое преобразование, и т.д. В традиционном алгоритме совмещения стерео пары выбирается значение диспарантности, которое минимизирует функцию стоимости для каждого пикселя (этап 3).

Ограничение по фотометрической совместимости, применяемое к единственной паре пикселей, не позволяет получить однозначное решение. Вместо сравнения индивидуальных пикселей обычно группируют несколько соседних пикселей в окно поддержки (этап 2) и сравнивают их яркость с яркостью пикселей в другом окне.

Существует, однако, еще одна проблема, а именно проблема с функцией стоимости совмещения, поскольку размер окна поддержки должен быть достаточно большим для включения достаточного числа вариаций яркости и, в то же время, достаточно малым для того, чтобы избежать проявления эффекта перспективных искажений.

Именно поэтому предлагаются новые подходы к решению этой задачи, в которых предусматривают адаптивный выбор размера окна поддержки в зависимости от локальных вариаций насыщенности. В частности, Kanade и Okutomi (см. http://www.cs.cmu.edu/afs/cs/project/VirtualizedR/www/ko_stereo/ko_stereo. html) [1] делают попытку найти идеальное по размеру и форме окно для каждого пикселя в изображении. Основной недостаток такого подхода заключается в вычислительной сложности и зависимости от исходной карты диспарантности.

Тем не менее, даже наиболее удачные из предложенных в последнее время решений демонстрируют ошибки в значениях карты диспарантности. Для некоторых приложений, таких как навигация роботов или отслеживание объекта, наличие небольшого числа ошибок является приемлемым. Однако для синтеза виртуальных видов и объемного телевидения даже незначительные ошибки в карте диспарантности могут привести к неприемлемым результатам. Поэтому возникла необходимость в разработке способа улучшения и уточнения необработанной карты диспарантности. Известны следующие методики улучшения карты диспарантности (этап 4): медианный фильтр для отсеивания ложных несовпадений, распространение соседних значений диспарантности с помощью диффузионного процесса, вычисление карты диспарантности на уровне суб-пикселей, и т.п.

В патенте США № 7330593 [2] описаны способ и система, обеспечивающие совмещение изображений посредством идентификации множества сегментов в, по меньшей мере, двух изображениях, определяя исходные значения диспарантности для пикселей этих изображений, а затем определяя плоскости исходной карты диспарантности для этих сегментов путем подгонки плоскостей к исходным значениям карты диспарантности для этих сегментов. Процедура улучшения выполняется с использованием различных функций подгонки веса и взвешенных линейных систем. Основным недостатком такой системы являются весьма дорогостоящие с точки зрения вычислительных ресурсов процедуры извлечения сегментов и подгонки, что затрудняет ее использование в приложениях, работающих в режиме реального времени.

Патент США № 5867591 [3] описывает способ вычисления диспарантности между стерео изображениями, основывающийся на выполнении следующих этапов: извлечение характерных признаков с последующим их совмещением и вычисление карты диспарантности. Одним из недостатков способа совмещения признаков является то, что для совмещения признаков используют только небольшое подмножество пикселей изображения. Кроме того, некачественный синтез виртуальных видов происходит из-за нерешенных проблем, вызванных поверхностями со слабо выраженной текстурой, областями с преграждающими объектами и повторяющимися структурами.

В патенте США № 6931150 [4] предложен способ детектирования и устранения ошибок карты диспарантности, вызванных преградами на изображении. Этот способ для стереопары, состоящей из левого и правого изображения, может быть описан следующим образом. Сначала находят для каждой точки левого изображения соответствующую точку на правом изображении. Затем для каждой найденной точки выполняют реверсивный поиск наилучшего соответствия на левом изображении. В итоге оставляют только те когерентные совпадения, которые отвечают условию правого/левого соответствия. В ином случае детектируют ошибку, вызванную преграждающим объектом. Для этого способа присущи также недостатки, отмеченные в связи со способом [3], за исключением проблемы с преграждающим объектом.

Патенты США № 7106899 [5] и № 6931150 [6] описывают способ последовательного совмещения стерео пар цифровых изображений с использованием методики последовательных итераций, которая основана на принципе ограничения поля градиентов диспарантности и стратегии наименьшего обязательства (least commitment strategy). Находят однозначные соответствия пикселей, начиная с нескольких достоверных соответствий, и постепенно выявляют все больше однозначных соответствий. После чего однозначные соответствия пикселей находят, используя корреляционные методы и основываясь на степени корреляции, связанной с совмещением пикселей.

Выложенная патентная заявка США № 2008/0170067 [7] описывает способ улучшения эффекта воспроизведения трехмерных изображений посредством извлечения карты характерных признаков из исходного изображения на основе сигнала об оценке восприятия глубины и выполнения процедуры дифференциации изображения на основе карты характерных признаков.

В патенте США № 6320978 [8] описан способ реконструкции стерео пары с использованием послойного подхода и способа улучшения слоев посредством представления сцены в виде набора слоев изображения, отличающихся по таким параметрам, как ориентация, положение, карта остаточной глубины и т.п. Этот способ предусматривает первоначальную оценку плоских слоев и желаемых параметров. Затем эти оценки уточняют на основе карты остаточной глубины, ассоциированной с каждым слоем.

Патент США № 7224355 [9] касается способа дополнительной пост-обработки трехмерного цифрового видеосигнала, имеющего множество проекций с ассоциированными картами диспарантности. Описанный способ улучшает карту диспарантности в рамках системы связи, использующей трехмерное видео. Искажения значений глубины/диспарантности, вызванные сжатием MPEG, исправляют путем заполнения пустот в карте перспективной диспарантности, используя интерполяцию соседних достоверных значений диспарантности.

Наиболее близкими к заявляемому изобретению признаками обладают решения, описанные в [5] и [8]. Основой недостаток известных способов улучшения карты диспарантности заключается в необходимости иметь высококачественный способ сегментации изображения, что влечет за собой высокую стоимость вычислительных ресурсов. Кроме того, известные подходы к процедуре улучшения в высокой степени интегрированы с конкретными способами совмещения стереопар. Проблема несовпадения контуров диспарантности с границами объекта остается открытой для многих алгоритмов совмещения стерео пар и приводит к появлению размытых контуров в восстановленных трехмерных сценах.

Вычисление карты диспарантности на основе стерео контента представляется некорректной задачей, особенно для поверхностей со слабо выраженной текстурой, участков с неоднородностями глубины, участков с преграждающими объектами и повторяющейся структурой, что приводит к неоднозначному решению. Это значит, что лишь некоторые значения карты диспарантности являются достоверными и однозначными. Некоторые значения карты диспарантности, например, на участках с преграждающим объектом, не поддаются вычислению через совмещение стереопар, поскольку эти участки видны лишь на одном изображении. В то же время, процедура синтеза высококачественной виртуальной проекции требует наличия:

- плотной карты диспарантности, определяющей значение диспарантности для каждого пикселя на изображении, к которому относится карта диспарантности;

- четких границ карты диспарантности, точно совпадающих с границами объекта;

- сглаженных значений карты диспарантности в пределах объекта.

Известные из уровня техники решения делают упор на использование различных стратегий оптимизации функции стоимости, таких как динамическое программирование, сечение графа, совмещение стереопары путем сегментации и т.п. Однако такие решения требуют больших вычислительных ресурсов и не формируют сглаженной карты диспарантности, пригодной для синтеза виртуальных видов без искажений.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке такого способа построения карты диспарантности, с помощью которой было бы возможно синтезировать виртуальные виды без заметных искажений, не требуя значительных вычислительных ресурсов, а также в разработке устройства для реализации такого способа.

Технический эффект при решении поставленной задачи достигается за счет разработки усовершенствованного способа улучшения карты диспарантности, включающего в себя выполнение следующих операций:

- формируют исходную карту диспарантности путем присвоения начальных значений диспарантности каждому пикселю опорного цветного изображения;

- определяют недостоверные значения диспарантности путем проведения анализа структуры и детектирования преград;

- преобразуют опорное цветное изображение в изображение, представленное в зрительно единообразном цветовом пространстве;

- сглаживают и улучшают исходную карту диспарантности на основе усредняющего весового фильтра с весами, зависящими от степени достоверности диспарантности, цветового и пространственного расстояний;

- подавляют на этапе постобработки мелкие дефекты текстуры и импульсный шум на улучшенной карте диспарантности.

Кроме того, предлагается конструкция устройства, с помощью которого реализуется заявляемый способ. При этом такое устройство предлагается в двух вариантах и включает в себя:

В варианте 1, основанном на анализе стерео контента:

- блок оценки первоначальной карты диспарантности, выполненный с возможностью формирования карты исходной диспарантности на основе стереоконтента путем совмещения стереопары;

- блок детектирования преград, выполненный с возможностью выявления преград на основе исходной карты диспарантности и стереоконтента путем анализа диспарантности с применением условия однозначности;

- блок детектирования пикселей с недостоверной диспарантностью, выполненный с возможностью маркировки пикселей с недостоверной диспарантностью, в отношении которых совмещение стереопар может дать неоднозначный результат;

блок конверсии цветового пространства, выполненный с возможностью преобразования опорного цветного изображения в изображение, представленное в другом цветовом пространстве;

- блок улучшающего сглаживания, основанного на заявляемом способе;

- блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.

В варианте 2, основанном на анализе единственного статического изображения:

- блок подготовки эскиза карты диспарантности, выполненный с возможностью формирования эскиза карты диспарантности на основе выявленных расстояний между объектами, представленными на опорном изображении;

- блок детектирования пикселей с неустановленной диспарантностью, выполненный с возможностью нанесения маркировки «неопределено» на пиксели в эскизе карты диспарантности;

блок конверсии цветового пространства, выполненный с возможностью преобразования опорного изображения в изображение, представленное в другом цветовом пространстве;

- блок улучшающего сглаживания, основанного на заявляемом способе;

- блок постобработки, выполненный с возможностью удаления импульсного шума и слабо выраженной текстуры из улучшенной карты диспарантности.

Таким образом, в отличие от известных из уровня техники способов и устройств, заявляемое изобретение представляет собой устройство и способ для попиксельного улучшения карты диспарантности, основанные на взвешенном усреднении карты диспарантности и позволяющие избежать искажений контуров карты диспарантности, вызванных размыванием и несовпадением границ с объектами, присутствующими на опорном изображении.

В заявляемом изобретении упор сделан не на минимизацию функции стоимости, а на разработку способа быстрого улучшения исходной карты диспарантности. Главная идея заключается в использовании фильтра взвешенного усреднения для сглаживания и улучшения исходной карты диспарантности на основе опорного цветного изображения и пикселей с достоверной диспарантностью. При этом предполагается, что соседние пиксели сходного цвета имеют сходное значение диспарантности, а достоверные значения диспарантности могут приписываться неоднозначным пикселям на основе цветового и пространственного сходства на опорном цветном изображении. Кроме того, такая фильтрация улучшает пиксели с достоверной диспарантностью и формирует плотную и сглаженную карту диспарантности, отвечающую вышеуказанным требованиям к карте диспарантности.

На первой стадии выполнения заявляемого способа маркируют недостоверные пиксели, а также пиксели находящиеся в области с преградой, так называемые пиксели преграды. Затем каждому пикселю присваивают весовое значение, вычисленное на основе степени достоверности с учетом пространственного и цветового расстояний до центрального пикселя опорного изображения в рамках скользящего окна. Отфильтрованное значение карты диспарантности получают путем сложения произведений значений диспарантности и соответствующих весов. Если какое-либо значение диспарантности помечено, как недостоверное, оно не будет приниматься во внимание при фильтровании. Улучшенное таким образом значение диспарантности будет основано только на достоверных значениях диспарантности в рамках скользящего окна. Помимо этого, заявляемое изобретение позволяет получать точные границы глубины, которые совпадают с границами объекта, поскольку веса вычисляют на основе опорного цветного изображения методом адаптивного сохранения контура. Использование разделяемых ядер фильтра и параллельное выполнение на нескольких процессорах делает возможным эффективное применение заявляемого способа в режиме реального времени.

Для лучшего понимания заявляемого изобретения далее приводится его детальное описание с привлечением графических материалов.

Фиг.1 - алгоритм выполнения способа улучшения карты диспарантности на основе опорного цветного изображения согласно заявляемому изобретению.

Фиг.2 - блок-схема устройства для получения и улучшения карты диспарантности на основе стереоконтента согласно заявляемому изобретению.

Фиг.3 - блок-схема устройства получения и улучшения карты диспарантности на основе единственного статического изображения и эскиза карты диспарантности согласно заявляемому изобретению.

Фиг.4 - пояснение принципа подготовки и улучшения эскиза карты диспарантности согласно одному из вариантов заявляемого изобретения.

Фиг.5 - пояснение принципа вычисления весов и усреднения диспарантностей согласно одному из вариантов заявляемого изобретения.

Фиг.6 - показывает опорное цветное изображение 6.1, исходную карту 6.2 диспарантности, недостоверные диспарантности 6.3 и результат 6.4 сглаживания и улучшения согласно заявляемому изобретению.

В заявляемом изобретении предлагается концепция улучшения исходной карты диспарантности на основе опорного изображения. При этом получают сглаженную и совпадающую с границами объектов карту диспарантности, пригодную для формирования виртуальных видов.

Исходная карта диспарантности, которая подлежит улучшению, может быть разреженной или плотной. Однако более разреженная карта диспарантности требует скользящего окна более крупного размера или нескольких итераций заявляемого способа. Кроме того, предполагается, что плотность правильных значений диспарантности превышает плотность ошибочных значений диспарантности в некоторой локальной окрестности. Это позволяет осуществлять распространение правильных значений диспарантности на ошибочные значения.

Заявляемое изобретение следует применять в сочетании со съемочной аппаратурой, такой как стандартные видеокамеры, цифровые фотокамеры, стереокамеры и многокамерные системы.

В одном из вариантов реализации заявляемого изобретения использована стереокамера для получения стереоконтента, который, в общем случае, представляет собой пару изображений, называемых стереоизображениями.

Для расчета исходной карты диспарантности и для иллюстрации одного из вариантов реализации изобретения будет использован стандартный алгоритм совмещения (алгоритм описанный в D.Scharstein and R.Szeliski. A Taxonomy and Evaluation of Dense two-frame stereocorrespondence algorithms. In IJCV, volume 47(1), 2002.) [10] стерео пары, при этом для специалиста ясно, что для реализации заявляемого изобретения можно использовать также другие алгоритмы совмещения стереопары.

Стандартный подход к совмещению стереопары определяет значение диспарантности d для данной точки на одном изображении I_r, называемом опорным изображением, путем выбора точек-кандидатов на другом изображении I_m, называемом совмещаемым изображением, путем минимизации функции стоимости совмещения стереопары. Опорное и совмещаемое изображения содержат, по меньшей мере, часть общей сцены, заснятой съемочной аппаратурой. Соответствие между пикселем (х, у) на опорном изображении I _r. и пикселем (х ,у ) на совмещаемом изображении I_m задается уравнением

x =x+d(x,y),

где d(x,y) - это значение диспарантности для пикселя (х, у).

Предполагается, что опорное и совмещаемое изображения являются выровненными, что ведет к следующему равенству у =у.

Функцию стоимости совмещения чаще всего вычисляют с помощью окон поддержки, которые в простейшем случае представляют собой квадратные окна с центром в сравниваемых точках. Для прямоугольного окна поддержки размером M×N функция стоимости может быть вычислена на основе следующего уравнения (I):

Затем выбирают пару точек с меньшим значением функции стоимости и определяют значение d диспарантности для точки на опорном цветном изображении на основе следующего уравнения (2):

Набор вычисленных значений диспарантности образует карту D(x,y) диспарантности, которая определяет диспарантность для каждой точки опорного цветного изображения I_r. Однако методы стандартного совмещения стереопары и другие известные из уровня техники решения приводят к ошибке в диспарантностях на однородно окрашенных участках изображения, на участках с преградой и участках с повторяющимися структурами, что приводит к низкому качеству синтезированных виртуальных видов. Для предотвращения таких ошибок предлагается использовать заявленный способ улучшения карты диспарантности на основе взвешенного усреднения значений диспарантности.

На фиг.1 представлена диаграмма, иллюстрирующая функционирование заявляемого способа. Процесс начинается с этапа 101 идентификации исходной карты диспарантности. В одном из вариантов исходная карта диспарантности вычисляется путем совмещения стереопары, как в вышеописанном стандартном подходе. Возможно также применение других процедур для вычисления исходной карты диспарантности, таких как интерактивное раскрашивание, осуществляемое пользователем, и автоматическое получение глубины из единственного изображения.

На следующем этапе выявляют недостоверные диспарантности 102. Пиксели диспарантности помечаются как недостоверные, если точка диспарантности принадлежит, по меньшей мере, одной из следующих групп пикселей: пиксель преграды, пиксель на участке изображения со слабо выраженной структурой, или пиксель с неопределенным значением диспарантности.

Для детектирования пикселей преграды заявляемый способ применяет условие однозначности, которое сводится к тому, что трехмерная точка может быть спроецирована не более чем в одну точку каждого изображения стереопары. Если несколько точек на опорном изображении I_r относятся к одной и той же точке на совмещенном изображении I_m, то такие точки помечаются как пиксели преграды.

Точки, принадлежащие участкам со слабо выраженной текстурой, детектируют путем вычисления вариации яркости в рамках данного окна на опорном цветном изображении и сравнения с предустановленным порогом. Если значение вариации ниже порогового значения, то такую точку помечают как недостоверную. Для разреженной карты диспарантности пиксели с неопределенным значением диспарантности помечают как недостоверные. Следует, однако, иметь в виду, что описанная методика определения недостоверного пикселя приведена лишь в качестве примера, и процедуру определения можно реализовывать различными способами.

На этапе 102 пиксели диспарантности разделяют на две группы: достоверные пиксели и недостоверные пиксели. Результат такого разделения сохраняют, например, в бинарном изображении R, принимая достоверные диспарантности за единицу, а недостоверные - за ноль. Возможен также расчет достоверности без сохранения результатов на изображении R.

На последующих этапах осуществляют распространение достоверной информации, исходя из предположения, что пиксели сходного цвета имеют сходную диспарантность. Для этого используют фильтр взвешенного усреднения. Отфильтрованное значение диспарантности вычисляют путем усреднения диспарантностей в пределах предопределенной окрестности вокруг отфильтрованной точки. Важность диспарантностей для усреднения зависит от достоверности, пространственного и цветового растояний, которые принимаются во внимание в процедуре вычисления веса, рассматриваемой более подробно в следующих абзацах.

Как указывалось ранее, для вычисления весов должна быть определена степень цветового сходства. В простейшем случае применяется эвклидово расстояние в цветовом пространстве RGB. Однако RGB не является зрительно единообразным цветовым пространством, а это значит, что изменение на некоторую величину цветового значения не приводит к изменению зрительного восприятия на такую же величину. На этапе 103 выполняется преобразование опорного изображения в изображение, представленное в зрительно единообразном цветовом пространстве, таком как CIELab. После чего для вычисления цветового сходства между пикселями в скользящем окне применяют эвклидово расстояние в цветовом пространстве CIELab.

На этапе 104 проводят процедуру улучшения карты диспарантности на основе опорного цветного изображения. Основная идея заключается в том, чтобы сканировать карту диспарантности и опорное цветное изображение двумя одинаковыми скользящими окнами: S_d - скользящее окно для карты диспарантности, S_r - скользящее окно для опорного цветового изображения. Для каждого положения скользящего окна S_d процедура усреднения может быть выражена следующим уравнением:

где - улучшенное значение диспарантности, D - изображение карты диспарантности, W - веса, представляющие степень важности диспарантностей, М и N определяют размер скользящего окна. Такая процедура усреднения применяется для всех диспарантностей D(x,y), формирующих новую улучшенную карту диспарантности.

Процедура вычисления веса заключается в следующем. Сначала скользящее окно S_r , центруется в точке I_r(х,у), имеющей те же координаты х, у, что и скользящее окно S_d в точке D(x,y). Вес вычисляется на основе цветового сходства и пространственного расстояния центральной точки q(x,y) скользящего окна S_r и точки р(х+i,y+j), p S_r, в том же окне следующим образом:

где C_pq - цветовое сходство, вычисленное как эвклидово расстояние между двумя цветами точек р и q, J_pq - эвклидово расстояние между точками р и q в домене изображения, с₁ и с₂ - некие предопределенные величины, относящиеся к сглаживанию и эффекту улучшения. Согласно уравнению (4), если диспарантность помечена как недостоверная R(x,у)=0, то соответствующий вес обнуляют. В результате, недостоверные диспарантности не будут учитываться в процессе фильтрации, описанном уравнением (3), и улучшенная диспарантность будет ориентирована лишь на достоверные диспарантности, взвешенные согласно цветовому сходству и пространственному расстоянию.

Участки с выраженной текстурой на опорном изображении могут привести к проявлению текстуры на улучшенной карте диспарантности поскольку этап 104 основывается на измерении степени цветового сходства, а не структурного сходства. Для уменьшения эффекта появления на карте диспарантности слабо выраженной текстуры и импульсного шума введен этап постобработки 105. Процесс обработки на этом этапе будет описан далее и реализован через медианную фильтрацию. Сначала сортируют в возрастающем порядке значения диспарантности в окне N×M. Затем отбирается медианное значение из отсортированных значений для замещения центрального пикселя в окне. Следует, однако, иметь в виду, что описанный метод постобработки карты диспарантности приведен лишь в качестве примера, и процедуру постобработки можно реализовывать различными способами.

Одно из достоинств заявляемого способа состоит в том, что он формирует более точную карту диспарантности за счет распространения достоверной информации путем взвешенного усреднения. Другим преимуществом заявляемого способа является то, что он позволяет формировать сглаженную карту диспарантности, которая точно совпадает с границами объекта. Такой положительный эффект стал возможным, благодаря адаптивному вычислению весов, который зависит от цветового сходства и пространственного расстояния.

Что касается фиг.2, то на ней показана блок-схема устройства для вычисления и улучшения карты диспарантности из стереоконтента согласно одному из вариантов реализации заявляемого изобретения. Два цветных изображения 201 и 202 содержат, по меньшей мере, часть общей сцены, заснятой съемочной аппаратурой, такой как стереокамера. Примем, что изображение 201 является опорным изображением, изображение 202 является совмещаемым изображением, а карта диспарантности вычисляется для опорного изображения 201.

Блок 203 оценки необработанной диспарантности вычисляет исходную карту диспарантности с помощью алгоритма совмещения стереопары на основе анализа опорного 201 и совмещаемого 202 изображений. Для вычислении исходной карты диспарантности применяется известная оптимизационная стратегия «победитель получает все» (winner takes all-WTA).

Блок 207 детектирования преград помечает пиксели преграды путем применения условия однозначности к исходной карте 204 диспарантности. Если несколько точек на опорном изображении 201 соотносятся с одной и той же точкой на совмещенном изображении 202, то такие точки помечаются как пиксели преграды.

Блок 206 детектирования недостоверной диспарантности помечает пиксели с недостоверной диспарантностью, относящиеся к участкам со слабо выраженной текстурой и повторяющимися структурами, путем анализа структуры на изображениях 201, 202 и карте диспарантности 204. Точки, принадлежащие участкам со слабо выраженной текстурой на опорном изображении 201, детектируются путем вычисления вариации яркости в данном окне и сравнением с предопределенным порогом. Если значение вариации ниже порога, точка помечается как недостоверная. Карта 210 недостоверной диспарантности и карта 209 преград подаются в блок 211 сглаживания и улучшения, который осуществляет улучшение исходной карты 204 диспарантноети на основе цветного изображения 208 согласно заявляемому способу.

Цветное изображение 208 представляет собой опорное цветное изображение 201 в зрительно-единообразном цветовом пространстве. Преобразование из опорного цветного изображения в изображение в зрительно-единообразном цветовом пространстве выполняют в блоке 205 конверсии цветового пространства.

Карта 212 диспарантности обрабатывается в блоке 213 постобработки с использованием медианной фильтрации, как описано в заявляемом способе. Улучшенная карта 214 диспарантности используется затем визуальным приложением для дальнейшей обработки, например для синтеза виртуальных видов.

В другом варианте реализации заявляемого изобретения предлагается использование статического изображения и эскиза карты диспарантности в качестве входных данных для заявляемого способа улучшения карты диспарантности. Эскиз карты диспарантности представляет собой изображение с полутоновыми «мазками» кистью, которые определяют значения диспарантности для некоторых пикселей изображения.

Эскиз карты диспарантности раскрашивается пользователем в интерактивном режиме в соответствии с той информацией о глубине, которую пользователь получает при восприятии статического изображения. При этом для раскрашивания эскиза карты диспарантности возможно использование распространенных графических приложений, например, таких как Photoshop. Опорное изображение используется в качестве слоя-подложки и подсказки пользователю. Яркость, положение и размер мазка кисточки зависит от формы объекта, положения и глубины, воспринимаемых пользователем. Чем ближе объект к камере, тем ярче должен быть мазок кисточки. Кроме того, мазок кисточки должен находиться в границах воспринимаемого объекта, что позволяет осуществлять правильное распространение значений диспарантности в конкретном объекте.

Для формирования эскиза карты диспарантности возможно также использовать другие методики автоматического вычисления глубины, известные из уровня техники.

На фиг.3 приведена блок-схема устройства для получения карты диспарантности и ее улучшения на основе единственного статического изображения в соответствии с другим вариантом заявляемого изобретения. Исходное цветное изображение 301 обрабатывают в блоке 302 формирования эскиза карты диспарантности, причем это блок управляется пользователем в интерактивном режиме раскрашивания в соответствии с информацией о глубине, воспринимаемой пользователем от статического изображения 301. Блок 302 формирования эскиза карты диспарантности формирует разреженное изображение 303 карты диспарантности, в котором значения диспарантности определены для одних пикселей и не определены для других пикселей.

Блок 305 детектирования пикселя с неопределенной диспарантностью формирует бинарную карту 307 недостоверной диспарантности R посредством присвоения значения «единица» пикселю с определенной диспарантностью на эскизном изображении 303 и значения «ноль» всем другим пикселям. Карту 307 недостоверной диспарантности вводят в блок 308 сглаживания и улучшения, который выполняет улучшение эскиза карты 303 диспарантности на основе цветного изображения 306 по заявляемому способу.

Блок 308 улучшения применяет взвешенное усреднение в скользящем окне для вычисления улучшенной карты диспарантности, как описано ранее. Только определенные диспарантности принимаются в расчет в скользящем окне. Таким образом осуществляется распространение определенных диспарантностей на основе предположения, что пиксели со сходным цветом имеют сходные значения диспарантности.

Преобразование из цветного изображения 301 в изображение в зрительно единообразном цветовом пространстве осуществляется в блоке 304 конверсии цветового пространства. Карту 309 диспарантности обрабатывают в блоке 310 постобработки с помощью медианной фильтрации по заявляемому способу для получения карты 311 улучшенной диспарантности.

На фиг.4 иллюстрируется принцип, заложенный в основу подготовки эскиза карты диспарантности согласно одному из вариантов заявляемого изобретения. На цветном статическом изображении 401 представлены различные объекты 402, 403, 404, 405, которые расположены на разных расстояниях от видоискателя, что приводит к разным значениям диспарантности объектов. Например, объект 402 расположен на бесконечной дистанции от видоискателя, что приводит к нулевой диспарантности.

Эскиз карты 406 диспарантности формируется на основе восприятия дистанции до объектов человеком или компьютерной средой путем анализа цветного статического изображения 401. Эскиз 406 карты диспарантности определяет мазки 407, 409, 411 и 413 кисти. Цвет мазка кисти зависит от воспринятой дистанции до объектов и определяет предполагаемую диспарантность. Чем ближе объект к наблюдателю, тем более яркий цвет выбирается. Мазки кисти должны быть определены в границах 408 и 412 объектов для наилучшего распространения информации о диспарантности. Возможным является и применение другого определения и подготовки эскиза карты диспарантности. Вышеописанный принцип приведен лишь для примера и не сужает объема заявляемого изобретения.

На основе эскиза 406 карты диспарантности один из вариантов реализации заявляемого изобретения распространяет определенные диспарантности на неопределенные диспарантности на основе вышеописанного принципа. Результатом является получение улучшенной карты 414 диспарантности.

На фиг.5 иллюстрируется принцип схемы вычисления веса. Как описано в заявляемом способе для улучшения карты диспарантности фильтром взвешенного усреднения используют опорное цветное изображение 501 и исходную карту 502 диспарантности. В предпочтительном варианте, приведенном исключительно с целью иллюстрации, для вычисления весов и усреднения применяют прямоугольные окна 503 и 506 размером 3×3.

Окна 503 и 506 центруют в точках 504 и 505, соответственно. Точки 504 и 505 имеют одинаковые координаты i, j, и вычисление весов с последующим усреднением применяют к каждому диспаратному пикселю путем синхронного передвижения скользящих окон.

Весовую матрицу 507 вычисляют для каждого нового положения окна 506 на основе цветовой и пространственной дистанций каждого пикселя в окне 506 от центрального пикселя 505 в соответствии со схемой вычисления веса, описанной в заявляемом изобретении. Затем весовую матрицу 507 используют для взвешенного усреднения 508 значений карты диспарантности в окне 503. Таким способом вычисляют значение улучшенной диспарантности для пикселя 510 на улучшенной карте 509 диспарантности.

На фиг.6 приведен пример получения и улучшения карты диспарантности согласно заявляемому изобретению. Обрабатывают опорное цветное изображение 601 и совмещаемое изображение путем применения алгоритма совмещения стереопары, получая, таким образом, исходную карту 602 диспарантности. Недостоверные пиксели, а также пиксели преграды помечены черным цветом на карте 603 диспарантности. Карта 604 окончательной диспарантности получена путем обработки согласно заявляемому изобретению. Как видно на фиг.6, в результате такой обработки получена сглаженная карта диспарантности, которая совпадает с границами объектов. Такую карту диспарантности можно использовать для синтеза виртуальных видов без искажений.

В приведенном примере для вычисления исходной карты диспарантности был применен известный из уровня техники подход к совмещению стереопары, основанный на весовой функции SAD (sum of absolute differences - сумма абсолютных разностей) и на оптимизации по принципу WTA (победитель получает все). Имеется, однако, возможность применения более сложных подходов к совмещению стереопары, что обеспечит более высокое качество результирующей карты диспарантности, полученной по одному из вариантов заявляемого изобретения. Чем лучше будет исходная карта диспарантности, тем выше будет качество результирующей карты диспарантности.

Заявляемое изобретение может найти практическое применение в стереокамерах для формирования высококачественной и непротиворечивой карты диспарантности/глубины. Кроме того, заявляемое изобретение может применяться в многокамерных системах или иных обрабатывающих изображение устройствах.

Еще одной из возможностей применения заявляемого изобретения является преобразование традиционного двумерного видео в трехмерное. Это может быть реализовано в виде интерактивной, ориентированной на пользователя программы для получения трехмерной информации из единственной видеопоследовательности.