способ селекции по дальности множественных объектов

Формула изобретения

1. Способ селекции по дальности множественных объектов, заключающийся в формировании опорного и сравниваемого изображений двумя идентичными видеосистемами на основе многоэлементных фотоприемников, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями объективов, одновременной регистрации обоих изображений, получении разностных изображений вычитанием опорных и сравниваемых изображений, выделении на разностных изображениях образов объектов, расположенных ближе, чем удаленный фон, определении величин параллактического сдвига образов объектов и оценке по ним расстояний до объектов, отличающийся тем, что одновременно формируют не менее одного дополнительного сравниваемого изображения при помощи аналогично установленных дополнительных идентичных видеосистем, вычитают из опорного дополнительные сравниваемые изображения, в результате получают дополнительные разностные изображения, выделяют образы объектов на опорном изображении соотнося между собой разностные изображения, для каждого выделенного образа объекта ищут его совпадение с образами объекта, присутствующими на сравниваемых изображениях, начиная поиск от положения выделенного образа, в направлениях соответствующих параллактических смещений, при этом шаг смещения при поиске пропорционален расстояниям между главными оптическими осями объективов видеосистем, регистрирующих опорное и соответствующее сравниваемое изображение.

2. Способ по п.1, отличающийся тем, что видеосистемы на основе матричных фотоприемников располагают в вершинах треугольника.

3. Способ по п.1, отличающийся тем, что видеосистемы на основе матричных фотоприемников располагают в вершинах многоугольника.

Описание изобретения к патенту

Область техники

Изобретение относится к системам определения местоположения объекта с помощью отражения оптических волн, более конкретно, к пассивным оптическим способам селекции множественных объектов на сложном, контрастном, динамически изменяемом фоне в наблюдаемой сцене. Может быть использовано в системах предупреждения столкновения транспортных средств, навигационных устройствах, в системах охранной сигнализации.

Предшествующий уровень техники

Известен способ селекции объекта на удаленном фоне по патенту РФ № 2081435 от 02.04.84, МПК G01S 17/00, авторы Кочкин В.А., Кутаев Ю.Ф., Полетаев Б.В., Ставраков Г.Н., заключающийся в приеме и формировании двух изображений в двух пространственно разнесенных точках, одновременной регистрации сформированных изображений, определении параллактического смещения фона путем формирования взаимокорреляционной функции двух зарегистрированных изображений и определении ее максимума, смещении первого из зарегистрированных изображений на величину параллактического смещения фона в направлении, противоположном этому смещению, получении разностного изображения путем вычитания смещенного и второго зарегистрированных изображений, разделении разностного изображения на области, имеющие противоположные знаки, и анализе фрагментов областей.

Недостатком данного способа является низкая точность селекции одного и более объектов заранее неизвестной яркости в условиях высококонтрастных сравнительно близкорасположенных на разных расстояниях фоновых объектов.

В качестве прототипа выбран способ селекции объектов на удаленном фоне в патенте РФ № 2363018 от 06.11.2007, МПК G01S 17/06, авторы Подгорнов В.А., Подгорнов С.В., Щербина А.Н., заключающийся в формировании опорного и сравниваемого изображений двумя идентичными видеосистемами на основе многоэлементных высокоскоростных фотоприемников, например, CMOS матриц, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями, одновременной регистрации обоих изображений, получении двух разностных изображений, первое из которых формируют вычитанием сравниваемого изображения из опорного изображения, а дополнительное разностное изображение - вычитанием опорного изображения из сравниваемого, обнулении отрицательных значений в разностных изображениях, после чего координатам каждого ненулевого фрагмента на первом разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на дополнительном разностном изображении, до максимального их совпадения в направлении параллактического смещения фона, если таковой фрагмент на дополнительном разностном изображении в указанном направлении присутствует, аналогично координатам каждого ненулевого фрагмента на дополнительном разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на первом разностном изображении, вычисляют расстояния до выявленных объектов по формуле R=L×A/ _i, где

L - расстояние между центрами объективов видеосистем,

А - расстояние от видеоматрицы до главной оптической оси объектива видеосистемы,

_i - величина параллактического сдвига i-ого изображения объекта.

Недостатком прототипа является низкая точность селекции множественных групповых объектов, вследствие ошибки определения расстояния до каждого из объектов, что вызвано присутствием на регистрируемых изображениях образов соседних объектов в направлении параллактического сдвига. Образы фрагментов соседних объектов на разностных изображениях находятся на одной линии, совпадающей с направлением параллактического сдвига. Это приводит к ложному определению величин _i; параллактического сдвига образов объектов на изображениях. При этом величина _i; определяется не между двумя образами, соответствующими одному объекту, как должно быть, а между образами соседних объектов.

Раскрытие изобретения

Задачей изобретения является увеличение точности селекции по дальности множественных объектов за счет уменьшения ошибки определения расстояния до них.

Технический результат предлагаемого способа заключается в одновременном использовании не менее двух сравниваемых изображений, что увеличивает точность определения параллактических сдвигов образов объектов на зарегистрированных изображениях, следовательно расстояний до множественных объектов.

Указанный технический результат достигается тем, что для селекции по дальности множественных объектов, формируют опорное и сравниваемое изображения двумя идентичными видеосистемами на основе многоэлементных фотоприемников, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями объективов. Одновременно регистрируют оба изображения. Получают разностные изображения вычитанием опорных и сравниваемых изображений. Выделяют на разностных изображениях образы объектов, расположенных ближе, чем удаленный фон. Определяют величины параллактического сдвига образов объектов и оценивают по ним расстояния до объектов. Согласно изобретению, одновременно формируют не менее одного дополнительного сравниваемого изображения при помощи аналогично установленных дополнительных идентичных видеосистем. Вычитают из опорного дополнительные сравниваемые изображения, в результате получают дополнительные разностные изображения. Выделяют образы объектов на опорном изображении за счет соотнесения между собой разностных изображений. Ищут для каждого выделенного образа объекта его совпадение с образами объекта, присутствующими на сравниваемых изображениях, начиная поиск от положения выделенного образа, в направлениях соответствующих параллактических смещений. При этом шаг смещения при поиске пропорционален расстояниям между главными оптическими осями объективов видеосистем, регистрирующих опорное и соответствующее сравниваемое изображение.

Видеосистемы на основе матричных фотоприемников могут быть расположены в вершинах треугольника.

Видеосистемы на основе матричных фотоприемников могут быть расположены в вершинах многоугольника.

Увеличение точности определения параллактических сдвигов в условиях наличия на изображениях образов соседних объектов достигается за счет выделения образов объектов на опорном изображении (посредством взаимнокорреляционного анализа разностных изображений) и более точного их соотнесения с образами объектов на сравниваемых изображениях. По сути, точнее определяется, какой образ на изображении, какому объекту соответствует.

Выбор опорного изображения из числа зарегистрированных является не принципиальным, вследствие равнозначности ракурсов ведения наблюдения и идентичности видеосистем. Разделение изображений на опорное и сравниваемое носит условный характер и служит для упрощения описания способа.

В случае выбора расстояния между главными оптическими осями объективов, исходя из условия подавления фона, находящегося дальше определенного расстояния, расположение видеосистемы в вершинах треугольника позволяет обеспечить относительно равные расстояния между главными оптическими осями объективов, в отличии от случая расположения видеосистем на одной линии. Следствием чего является возможность принятия любой из используемых видеосистем в качестве регистрирующей опорное изображение, что позволяет сделать алгоритм работы устройства на основе заявленного способа более гибким. При этом если используются видеосистемы на основе матричных фотоприемников происходит ускорение вычислений за счет упрощения выделения образов объектов на опорном и сравниваемых изображениях. Области могут быть выделены из изображений в форме прямоугольников (матриц), а границы выделения областей могут перемещаться по изображению с равномерными шагами смещения по вертикали и горизонтали.

В случае формирования трех и более сравниваемых изображений, видеосистемы на основе матричных фотоприемников могут быть расположены в вершинах многоугольника. Данное расположение, при условии выбора расстояний между главными оптическими осями объективов видеосистем, исходя из условия подавления удаленного фона, находящегося дальше определенного расстояния, аналогичным образом позволяет выбирать любую из используемых видеосистем в качестве регистрирующей опорное изображение, а матричный тип фотоприемников позволяет ускорять вычисления. При этом в случае формирования трех и более сравниваемых изображений увеличивается надежность селекции, за счет, того, что исключается влияние потери или искажения части образов объектов, присутствующих на сравниваемых изображениях. Для селекции объекта по дальности достаточно наличия совпадения образа, выделенного на опорном изображении, не менее чем с двумя образами, присутствующими на сравниваемых изображениях (как в случае с двумя сравниваемыми изображениями).

В располагаемых нами источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа селекции. Следовательно, изобретение соответствует критерию «новизна».

Наличие новых существенных признаков, совместно с частью известных из прототипа способа, позволило создать новое техническое решение «способ селекции по дальности множественных объектов», обеспечивающее увеличение точности селекции за счет уменьшения ошибки определения расстояния до них.

В располагаемых нами источниках информации отсутствуют сведения о влиянии отличительных в заявленном изобретении признаков на достижение заявленного технического результата. Следовательно, изобретение соответствует критерию «изобретательский уровень».

Краткое описание фигур и чертежей

Предлагаемый способ селекции по дальности множественных объектов иллюстрируется чертежами:

На фиг.1 показан вид спереди на размещение видеосистем 1, 2, 3 друг относительно друга.

На фиг.2 показан вид сверху на видеосистемы 1, 2, 3, наблюдаемое ими пространство и внутренний состав видеосистем.

На фиг.3 представлены три одновременно зарегистрированные видеосистемами изображения: Im1 - опорное, Im2 - первое сравниваемое, Im3 - дополнительного сравниваемое.

На фиг.4 показаны следующие изображения: D1 - модуль разности опорного Im1 и первого сравниваемого Im2 изображений, D2 - модуль разности опорного Im1 и дополнительного сравниваемого Im3 изображений, М - произведение разностных изображений D1 и D2.

На фиг.5 схематично показан процесс поиска совпадения выделенных на опорном изображении Im1 образов объектов, с образами присутствующими на сравниваемых изображениях Im2, Im3.

Варианты осуществления изобретения

Для описания работы способа рассмотрим селекцию по дальности множественных объектов реализуемую тремя видеосистемами.

Формируются три изображения (опорное и два сравниваемых) при помощи идентичных видеосистем 1, 2, 3, представленных на фиг.1. Примем, что видеосистема 1, регистрирует опорное изображение, видеосистема 2 - первое сравниваемое изображение, а дополнительная видеосистема 3 - дополнительное сравниваемое изображение.

Видеосистемы 1, 2, 3 установлены в вершинах треугольника на небольших расстояниях между собой относительно удаленного фона, с параллельными главными оптическими осями (ГОО) объективов. Литерами L₁, L₂ , L₃ на фиг.1 обозначены расстояния между ГОО объективов видеосистем. В случае, если в опорное изображение будет регистрировать видеосистема 2 или 3, расстояния L₁, L₂ , L₃ могут выбираться исходя из условия подавления фона, находящегося дальше определенного расстояния R_max , как показано на фиг.2. При этом расстояния L₁, L ₂, L₃ должны быть не больше значения R_max × _min/A,

где _min - минимальная определяемая величина параллактического сдвига, равная расстоянию между двумя соседними фоточувствительными элементами на фотоприемнике 5 у любой из видеосистем 1, или 2, или 3,

А - расстояние от фотоприемника 5 до главной оптической оси объектива 4 видеосистемы 1, или 2, или 3, как показано на фиг.2.

На фиг.2 показано, что видеосистемы 1, 2, 3 содержат объективы 4, и фотоприемники 5. Видеосистемы 1, 2, 3 направлены на объект 6, который удален от них на расстояние R_max.

Видеосистемы 1, 2, 3 одновременно регистрируют три изображения Im₁, Im₂, Im₃, соответственно, представленные на фиг.3. На фиг.3 дальний фон на зарегистрированных изображениях Im1, Im2, Im3 представлен градиентным перепадом яркости, а образы трех объектов тремя однотонными квадратами на каждом из изображении. Каждому образу объекта поставлено в соответствие его условное обозначение - O_ji, где j - номер изображения (j=l, соответствует Im1; j=2 - Im2; j=3 - Im3), i - номер объекта.

Зарегистрированное изображение Im1 условно принимается в качестве опорного, а изображения Im2 в качестве первого, Im3 - дополнительного сравниваемых изображений соответственно.

Получают два разностных изображения D1 и D2, на фиг.4. При этом изображение D1 является модулем разности опорного Im1 и первого сравниваемого Im2 изображений. Изображение D2 - модуль разности опорного Im1 и дополнительного сравниваемого Im3 изображений.

На разностных изображениях D1 и D2 присутствуют объекты, расположенные ближе, чем удаленный фон, который подавляется, вследствие отсутствия его параллактического смещения (на зарегистрированных изображениях фон одинаков). На разностном изображении D1 присутствуют одновременно образы объектов, которые находятся на опорном Im1 изображении (образы объектов О₁₁, O₁₂, О₁₃ ), и первом сравниваемом Im2 изображении (образы объектов О ₂₁, О₂₂, О₂₃). На изображении D2 присутствуют одновременно образы объектов, которые находятся на опорном Im1(образы объектов О₁₁, O₁₂ , O₁₃) и дополнительном сравниваемом Im3 (О₃₁ , О₃₂, О₃₃) изображении.

Образы объектов, присутствующие на опорном изображении Im1, выделяют, соотнося между собой два разностных изображения D1 и D2. Соотнесение можно произвести, поэлементно перемножив первое D1 и дополнительное D2 разностные изображения. В результате перемножения получают изображение М. Ненулевые области на полученном изображении М будут соответствовать местоположениям образов (О₁₁ , O₁₂, О₁₃) объектов, присутствующих на опорном изображении Im1, так называемых опорных образов. Каждую из данных ненулевых областей ограничивают соответствующей границей, в пределах которых на опорном изображении Im1 выделяют образы (О₃₁ О₃₂, О₃₃) объектов. Границами образов объектов служат их контуры, или стороны прямоугольника, который описан вокруг ненулевой области.

Далее, как показано на фиг.5, для каждого выделенного опорного образа (О_1i) ищут его совпадение, с образами i-го объекта, соответствующего опорному, присутствующими на сравниваемых изображениях Im2 (O_2i) и Im3 (О_3i). При этом поиск начинают от положения выделенного опорного образа, производят в направлениях соответствующих параллактических смещений, а шаг смещения выдерживают пропорциональным расстоянию между центрами объективов 4 видеосистем 5 L₁, L₂, регистрирующих опорное Im1 и соответствующее сравниваемое Im2 изображение.

В левой части фиг.5 схематично показан поиск совпадения опорных образов (О_1i) на изображении Im2, а в правой части - на изображении Im3. Стрелками с литерами А и Б показаны соответствующие направления параллактических смещений _1i, _2i, _3i. Выносками с литерами C₁, C ₂, С₃ обозначены положения выделенных опорных образов О₁₁, O₁₂, O₁₃, соответственно, от которых начинают поиск совпадений.

Методика поиска может заключаться в корреляционном сравнении (поиске наиболее похожего из числа прочих) выделенных опорных образов (О₁₁ , O₁₂, О₁₃) с областями соответствующего им размера на сравниваемых изображениях Im2 (O₂₁, O₂₂, O₂₃) и Im3 (О₃₁, О ₃₂, О₃₃), границы выделения которых, смещаются с заданным шагом по вертикали и горизонтали в направлении А, или Б параллактического смещения. При этом шаг смещения при поиске пропорционален расстояниям L₁, L₂. Другими словами, должно выполняться условие пропорциональности параллактических смещений образов объектов: _1i/ _2i=L₁/L₂, где _1i, _2i; - величина параллактического сдвига между i-ми образами объекта на изображениях Im1 и Im2, или Im1 и Im3.

Опорный образ О_1i считается совпавшим, если при нахождении похожей области (O_2i) на первом сравниваемом изображений Im2, смещенной на величину _1i, найдено совпадение опорного образа O _1i с похожей областью (О_3i) на дополнительном сравниваемом изображении Im3, смещенной на величину _1i×L₂/L₁.

После чего для каждого из совпавших опорных образов O_1i оценивается расстояние до соответствующего ему объекта по формуле R_i=L₁×А/ _1i=L₂×A/ _2i

Окончание селекции можно проводить следующим образом. На основании определенных расстояний R до объектов производить сортировку их по дальности и выбирать объекты, находящиеся на заданном удалении.

Для увеличения надежности селекции возможно использование более одного дополнительного сравниваемого изображения. Надежность селекции увеличивается за счет, того, что исключается влияние потери или искажения части образов (О_ji, где j=2,3, ) объекта, присутствующих на сравниваемых изображениях, на достоверность сличения их с образом (О_1i), выделенным на опорном изображении. В случае использования не менее двух дополнительных сравниваемых изображений для селекции объекта по дальности достаточно наличия совпадения опорного образа О _1i не менее чем с двумя образами О_ji, (j=2,3, ), как в рассмотренном простейшем случае.

При использовании более одного дополнительного сравниваемого изображения съемка окружающего пространства должна вестись одновременно четырьмя и более видеосистемами. Видеосистемы необходимо ориентировать главными оптическими осями объективов параллельно друг другу. Располагать видеосистемы можно в вершинах многоугольника, при этом расстояние между ГОО видеосистем, можно аналогично выбирать исходя из условия подавления фона, находящегося дальше определенного расстояния Rmax. В случае обеспечения для каждой видеосистемы расстояний между ГОО ее объектива и ГОО объективов остальных видеосистем не больше значения R_max× _min/A, обеспечивается возможность выбора любой видеосистем в качестве регистрирующей опорное изображение.

Промышленная применимость.

Реализация предлагаемого способа является вполне возможной, т.к. на сегодняшний день промышленностью освоены все основные компоненты, из которых состоит устройство, реализующее заявляемый способ. Указанный способ селекции по дальности множественных объектов имеет практическую реализацию в системах видеообнаружения объектов в контролируемой зоне.