способ получения стереоскопических телевизионных изображений с автоматическим измерением предметного пространства в реальном времени

Формула изобретения

Способ получения и автоматического измерения стереоскопических телевизионных изображений, включающий стереоскопическую съемку как минимум двумя синхронизированными видеокамерами, измерение дальности, трансляцию видеосигналов на приемную часть, восстановление видеосигналов кадров стереопары и их воспроизведение на стереомониторе, отличающийся тем, что получение и автоматическое измерение стереоскопических телевизионных изображений осуществляют как минимум двумя синхронизированными видеокамерами: параллаксной - монохромного разрешения и опорной - полного разрешения, запоминают и сравнивают видеосигналы сопряженных строк всех камер, находят в допустимых диапазонах линейных параллаксов сигналы от мгновенных изображений предметной точки и измеряют временные параллаксы между сигналами параллаксных камер с сигналом опорной камеры в единой временной системе отсчета, формируют и синхронизируют параллаксные сигналы с видеосигналом строки опорной видеокамеры полного разрешения, передают на приемную сторону и запоминают полученный поток сигналов, восстанавливают видеосигнал второго кадра стереопары смещением элементов сигналов полного разрешения на сопряженные временные параллаксы и воспроизводят изображение на стереомониторе, измеряют пространственные координаты предметных точек на передающей или приемной стороне по функциональной зависимости дальности от величины базиса стереосъемки, фокусного расстояния объективов и величин временных параллаксов, передают полученную информацию в аналитический блок, в котором анализируют серию стереокадров и вычисляют функции траекторий интересующих предметных точек и объектов с вычислением их первых и вторых производных, необходимых для распознавания динамического образа окружающего предметного пространства и навигации в нем с целью решения поставленных конкретных задач.

Описание изобретения к патенту

Предлагаемое изобретение относится к телевизионной технике, а именно к системам стереотелевидения и навигации, которое может быть использовано в зоне прямой спектральной видимости в автоматических локационных и навигационных системах на любых подвижных и стационарных платформах, с измерением окружающего пространства в реальном времени, в системах автоматического распознавания образов, для решения специальных прикладных задач и в системах вещательного 3D-телевидения.

Все существующие виды локации основаны на подсветке электромагнитными или оптическими импульсами предметного пространства и обработкой и анализом принятого отраженного сигнала. Каждый из них обладает своими определенными достоинствами, но ни один из них не предназначен для визуализации предметного пространства, что необходимо при дистанционном управлении автономными транспортными средствами для их уверенной ориентации в предметном пространстве и выполнении точного динамического управления в складывающееся обстановке с достоверным распознаванием окружающих объектов.

Использование 3D TV технологий для целей локации, навигации и вещательного телевидения позволяет:

- измерять окружающее пространство;

- погружать оператора дистанционного транспортного средства в виртуальную 3D реальность обеспечивая полный эффект управления этим транспортным средством:

- значительно увеличить потребительские свойства вещательного телевидения.

Однако широкое использование этих технологий сдерживается применением в них сложных алгоритмов обработки видеоинформации требующих больших вычислительных ресурсов значительно увеличивающих стоимость необходимых технических средств.

Предлагаемое изобретение относится к стереотелевидению, а именно к стереосистемам с параллаксным способом определения дальности.

За аналог выбран способ автоматизированного измерения координат внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения [1]. Способ предназначен для использования в человеко-машинном комплексе, содержащего систему технического зрения состоящую из телевизионного стереоблока сопряженного с ПЭВМ, дисплея для визуализации изображения и устройства управления перемещением курсора. Измеряемая точка наблюдаемой сцены указывается с помощью курсора на экране дисплея, а ее три пространственные координаты вычисляются автоматически с использованием программы на ПЭВМ и визуализацией на экране дисплея. Недостатками данного способа являются: удвоение видеопотока для передачи кадров стереопары, возможность измерения координат предметных точек только статических сцен, т.к. необходимо участие оператора для выбора множества измеряемых точек объекта требующихся для вычисления его объемной геометрической модели.

В качестве прототипа принят наиболее близкий по решению способ с использованием так называемого формата 2D+Z «Цифровое 3D-телевидение» [2].

Техническая реализация 3D-трансляции этим способом осуществляется следующим образом:

1. Со стереоскопической камеры видео поступает по двум HD SDI портам в сервер видокодирования. Для захвата видео используются платы Elecard HD Access 2, специально модифицированные для обеспечения синхронности приема двух каналов стереоскопического видео.

2. Программное обеспечение Triaxes Vision выполняет синхронизацию двух каналов видео. Далее для каждого кадра видео рассчитывается «карта глубины» и формируется 2D+Z поток. Для расчета карты используется алгоритм анализа различий между двумя каналами видео.

3. 2D+Z видео компрессируется кодеком Elecard и упаковывается в стандартный MPEG transport stream (TS). Полученный TS далее транслируется по локальной IP-сети. В принципе, такой TS уже можно инкапсулировать и транслировать по DVB-T.

4. В качестве приемных устройств использованы телевизионные приставки (STB) Triaxes3D Player (построены на базе серийно выпускаемых Elecard со специальным программным обеспечением. STB принимает по IP, декомпрессирует поток и показывает на дисплеи Philips WOWvx.

Любому обычному (2D) изображению сопоставляется информация об удаленности каждого пиксела от наблюдателя (Z-координата). Такое представление изображения называют «формат 2D+Z», а плоскость координат Z - «картой глубины». Карта представляется в виде монохромного изображения в котором градациями серого обозначается удаленность предметных точек от наблюдателя. При этом для расчета карты используется алгоритм анализа различий между двумя каналами видеосъемки. Полученные видеопотоки канала полного разрешения и синхронизированный с ним видеопоток монохромного изображения карты глубины Z по двум каналам связи передаются на приемную сторону.

Для реконструкции объемного изображения, необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров моделирует 3D-видео и затем демонстрируется с использованием, например, растрового стереодисплея.

К основным недостаткам данного способа можно отнести необходимость применения сложных алгоритмов требующих анализа кадровых изображений и больших вычислительных ресурсов для получения и воспроизведения стереоскопических изображений; невозможность автоматического измерения предметного пространства в реальном времени; проблематично применение способа в навигационных системах и системах управления транспортными средствами в т.ч. дистанционного и автоматического управления при работе в разных средах.

Измерение локальной дальности предметной точки по стереосъемке заключается в нахождении и определении расстояния между ее соответствующими (гомологичными, компарантными) изображениями в кадрах стереопары. Это известный параллаксный метод который давно используется в астрономии и артиллерии для измерения дальности до звезд и до целей.

Для определения образа всего предметного пространства необходимо произвести расчет всех или большинства изображений точек в кадрах стереопары. В известных способах реконструкции объекта по изображениям стереопары, каждую измеряемую точку определяют с участием оператора, что требует много времени и может применяться только для статических изображений, например в картографии при обработке на стереокомпараторе стереоснимков выполненных аэрофотосъемкой.

Для автоматизации этого процесса было предложено много алгоритмов [3]. Однако задача эта очень сложна и, по-видимому, еще далека от решения. Анализ стереопары предполагает наличие в памяти ЭВМ весьма обширных знаний о мире, без которых расшифровка стереопары в общем случае маловероятна [4].

Целью предлагаемого способа является создание телевизионной стереосистемы на базе существующей телевизионной техники обеспечивающей автоматическое измерение предметного пространства в реальном времени с быстро меняющейся обстановкой, с минимально необходимым и достаточным объемом передаваемой в канале связи информации, использующей простые алгоритмы обработки требующие минимальные вычислительные ресурсы.

Поставленная цель достигается тем, что получение и автоматическое измерение стереоскопических телевизионных изображений получают съемкой, как минимум, двумя синхронизированными видеокамерами: параллаксной - монохромного разрешения и опорной - полного разрешения, запоминают и сравнивают видеосигналы сопряженных строк всех камер, находят в допустимых диапазонах линейных параллаксов сигналы от компарантных точек и измеряют временные параллаксы между сигналами параллаксных камер с сигналом опорной камеры в единой временной системе отсчета, формируют и синхронизируют параллаксные сигналы с видеосигналом строки опорной видеокамеры полного разрешения, передают на приемную сторону и запоминают полученный поток сигналов, восстанавливают видеосигнал второго кадра стереопары смещением элементов видеосигналов камеры полного разрешения на сопряженные временные параллаксы и воспроизводят изображение на стереомониторе, измеряют пространственные координаты предметных точек на передающей или приемной стороне по функциональной зависимости дальности от величины базиса стереосъемки, фокусного расстояния объективов и величин временных параллаксов, передают полученную информацию в аналитический блок в котором анализируют серию стереокадров и вычисляют функции траекторий интересующих предметных точек и объектов с вычислением их первых и вторых производных необходимых для распознавания динамического образа окружающего предметного пространства и навигации в нем с целью решения поставленных конкретных задач.

На рис. обозначено:

1 - объекты и принадлежащие им точки A, B, C в предметном пространстве;

2 - объектив левой видеокамеры полного разрешения;

3 - объектив правой видеокамеры монохромного разрешения;

4, 5 - фотокатоды или ПЗС матрицы, соответственно левой и правой видеокамер;

6 - видеоимпульсы от изображений предметных точек A, B, C;

7 - параллаксный импульс;

8 - линейный размер активной части видеокатода или ПЗС видеоматрицы;

9 - видеосигналы левого канала и восстановленного правого видеоканала;

10 - стереомонитор;

b - база стереосъемки;

F' - фокусное расстояние объективов;

Ол; Оп - центральные точки объективов видеокамер; А'л; А'п; В'л; В'п; С'л; С'п - изображения предметных точек соответственно в левой и правой видеокамерах;

to - время начала сканирования строки;

tA'л; tA'п; tB'л; tC'п - временные расстояния от начала строки до видеоимпульсов от изображений предметных точек A, B, C;

t; tB; tC - временные параллаксы, соответственно для видеосигналов от изображений предметных точек A, B и C;

t - параллаксный сигнал.

Как известно, принципы телевизионной передачи изображений основываются на построчечном оптико-электронном сканировании изображений в видеокамере каждой точки предметного пространства и преобразовании его в электронный строчечный видеосигнал из которых формируются кадры изображений. Весь процесс преобразования оптического изображения в электронный видеосигнал и обратно в изображение на приемной стороне осуществляется в единой временной системе блоком строчечной и кадровой развертки передающей видеокамеры.

Для наглядности временных параллаксов на рисунке отрезки лучей от предметных точек A, B и C параллельно перенесены из точки Оп в точку Ол и обозначены пунктирными линиями. Видно, что временные параллаксы для изображений предметных точек A, B и C равны разности соответствующих временных интервалов между сигналами от их изображений в левой и правой видеокамерах. Так, например, для изображения точки A:

tA=tA'п-tA'л;

где tA'п; tA'л - временные интервалы от начала отсчета to до видеоимпульсов от изображений точки A соответственно в правой и левой видеокамерах определяемые скоростью развертки.

Здесь за начало отсчета временных интервалов to может быть принят любой постоянный во времени и общий для всей системы параметр. В частности, это может быть строчечный синхроимпульс. Аналогично определяются временные параллаксы для изображений B и C и всех остальных точек объектов предметного пространства.

Для проведения анализа строчечных видеосигналов видеокамер, их запоминают, определяют положения видеоимпульсов в видеокамерах от изображений каждой предметной точки и измеряют временные параллаксы (интервалы) между ними. Таким образом формируется строчечный параллаксный сигнал 7, который синхронизируется с сигналом видеокамеры полного разрешения 6. Затем оба сигнала, через канал связи передаются на приемную сторону.

На приемной стороне построчно запоминаются переданные видеосигналы камеры полного разрешения и синхронизированный с ним параллаксный сигнал. Временным сдвигом элементов полного видеосигнала 6 на соответствующие значения параллаксного сигнала 7 формируют полный видеосигнал второго кадра стереопары 9. Полученные два видеосигнала воспроизводятся на стереомониторе 10 любым известным способом.

Для технической реализации способа на передающей стороне к имеющейся видеокамере полного разрешения необходимо добавить, как минимум, одну монохромную видеокамеру горизонтально установленную на расстоянии стереобазы. Обеспечить управление развертками обоих видеокамер одним блоком строчечной и кадровой разверток. Дополнительно включить в электронную схему блок обеспечивающий оперативную память и анализ видеосигналов обоих видеокамер для определения компарантных точек, измерения и формирования параллаксного сигнала, его синхронизацию с видеосигналом полного разрешения и их передачу в канал связи.

Приемная сторона может быть выполнена любым известным способом. Например способом растровой сепарации изображений кадров стереопары которым обеспечивается создание совместимых средств с существующей приемной телевизионной техникой [5].

Измерение и анализ предметного пространства по известным значениям параллаксов может производится существующими алгоритмами и техническими средствами основанными на функциональной зависимости расстояния до предметной точки Z=f(F; b; L), где L - линейный параллакс для измеряемой точки, равный произведению временного параллакса t на скорость развертки [3].

Из оптической схемы на рисунке видно, что предметное пространство разделено оптическими осями видеокамер (обозначены пунктирными линиями) на зоны левого и правого бокового зрения и зону прямого зрения ограниченную размером b - базой стереосъемки. Комфортное зрение у человека находится в зоне прямого зрения, а размер предметной области которую он способен воспринимать в полном объеме, определяется размером глазного желтого пятна. Поэтому комфортный просмотр объемных изображений будет обеспечиваться для сцен находящихся в зоне прямого зрения ив ограниченной зоне нахождения зрителя относительно стереодисплея.

В устройствах технического зрения эти зоны значительно расширены за счет больших линейных размеров фотокатодов или видеоматриц передающих видеокамер по сравнению с желтым пятном сетчатки глаза и больших возможностей аналитической и вычислительной производительностей современных технических средств. Эти возможности могут значительно расширить зону комфортного просмотра сравнимой с зоной при многоракурсном способе передачи стереоскопических изображений.

Достоверность распознавания видеоимпульсов от компарантных изображений предметных точек в разных видеокамерах основывается на допущении, что каждая предметная точка отображается оригинальным видеоимпульсом и на том, что их положение зависит, от того в каком поле зрения она находится. Так, для всех предметных точек находящихся в поле прямого зрения их изображения и соответствующие видеоимпульсы находятся по разные стороны от оптических осей объективов. Для предметных точек правого и левого боковых зрений они находятся с одной стороны от них и соответственно слева и справа. Следует отметить, что бинокулярное зрение человека обладает тем же свойствами. Эти критерии определяют границы допустимых диапазонов нахождения линейных и соответствующих им временных параллаксов и являются исходными данными для алгоритма работы аналитического блока.

ЛИТЕРАТУРА

1. RU 2065133 C1. Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения.

2. Цифровое 3D-телевидение (Варианты построения системы объемной визуализации).

3. А.А. Веденов. Математика стереоизображений. М., 1991.

4. Энциклопедия физики и техники. «Стереоскопическое изображение».

5. RU 2192104 C2, 27.10.2002. «Способ получения стереоскопических телевизионных изображений».