способ измерения координат объектов по телевизионному изображению

Формула изобретения

1. Способ измерения координат объектов по телевизионному изображению, заключающийся в стробировании выбранного текущего фрагмента изображения, записи эталонного изображения и последующей свертке эталонного и выбранного текущего фрагмента изображений, по которой непрерывно измеряют координаты объекта, отличающийся тем, что прежде чем осуществлять запись эталонного изображения осуществляют предварительное масштабирование по двум осям координат в отдельности путем установления оптимального соотношения размеров строба и объекта, при этом оптимальное соотношение размеров строба и объекта определяют по интервалам корреляции автокорреляционной функции телевизионного изображения по двум осям координат.

2. Способ по п. 1, отличающийся тем, что в случае протяженного объекта, расположенного под некоторым углом в прямоугольной системе координат, измеряют угловое положение объекта и поворачивают изображение объекта на соответствующий угол, обеспечивая адаптацию по критерию оптимального соотношения площадей строба и объекта.

3. Способ по п. 1, отличающийся тем, что при сближении телевизионной камеры с объектом нормирование соотношения размеров изображения объекта и строба производят путем уменьшения размеров изображения, полученного в текущий момент времени, а при удалении от объекта - путем предварительного сжатия эталонного изображения с соответствующим коэффициентом и одновременного разжатия с тем же коэффициентом текущего и эталонного изображений.

4. Способ по п. 1, или 2, или 3, отличающийся тем, что в случае бинарного или малоразрядного представления телевизионного изображения выполняют симметрирование кодов таким образом, чтобы обеспечить равнозначность модулей положительных и отрицательных чисел.

Описание изобретения к патенту

Изобретение может быть использовано в системах телевизионной автоматики, автоматического регулирования, распознавания образов для высокоточного определения координат подвижных объектов. В частности, измерители координат объектов по телевизионному изображению используются в ТВ следящих устройствах для автоматизации процессов наблюдения и/или стабилизации положения телевизионной камеры.

Известны различные способы измерения координат объектов или их фрагментов по телевизионному изображению. Главные критерии качества, являющиеся общими - следующие:

1. Чувствительность к минимальному контрасту объект-фон. Она определяется минимальным отношением

= U_c/_ш,

в котором U_c - амплитуда сигнала объекта, измеренная относительно подстилающего фона;

_ш - среднеквадратичное отклонение аппаратного шума.

2. Разрешающая способность или способность измерителя селектировать минимальные размеры объекта. Она определяется максимальной величиной обрабатываемых пространственных частот, воспроизводимых в поле зрения телевизионной камеры, или, что то же самое, минимальным радиусом корреляции изображения объекта, который может подвергаться селекции.

Обеспечение высокой разрешающей способности определяется выбором алгоритма селекции объекта.

В этом случае нередко отыскивается компромисс между желаемым параметром и количеством средств, приемлемым для его достижения.

Для повышения чувствительности к минимальному контрасту объект-фон используют различные алгоритмы фильтрации исходного изображения. Селекцию фрагмента изображения осуществляют с помощью строба, размеры и координаты которого имеют переменные значения. Такой способ описан, например, в патенте США 3953670, МПК 178-6.8 (Н 04 N 7/00) "Adaptive video centroid tracker", принадлежащем Hughes Aircraft Co.

Для повышения разрешающей способности осуществляют масштабирование фрагментов изображения при работе на предельных пространственных частотах.

Такой метод используется, например, в "Устройстве телевизионного наблюдения" по авт. св. СССР, МПК Н 04 N 5/262, опубл. 23.11.90, бюл. 43.

Наиболее эффективные способы измерения координат используют корреляционные методы. В заявке Великобритании 20008887, МПК G 01 S 3/78, "Method and apparatus for determining the rotational position of objects", фирмы Brown Boveri and Cie AG угловое положение объекта определяют путем кросс-корреляции эталонного и исследуемого объектов.

Наиболее близким к предлагаемому изобретению аналогом по технической сущности является способ, описанный в авт. св. СССР 1700766, МПК Н 04 N 7/18 "Телевизионный координатный дискриминатор".

В указанном способе для идентификации объекта используют алгоритм, обрабатывающий сигнал путем его представления в двух модах яркости, когда считается, что мода яркости либо принадлежит объекту, либо нет. Тем самым устанавливают четкие границы между объектом и его отсутствием.

Далее, производят адаптацию дискриминирующего строба к размерам объекта. С этой целью в указанном способе формируют в виде концентрических колец квадратной формы столько стробов с различными размерами, сколько потребуется для обеспечения всего диапазона изменений размеров объекта. Причем каждый строб обрамлен рамкой толщиной в один ТВ-элемент.

Условие соответствия размеров строба и объекта заключается в установленном количестве "единичных" элементов объекта, располагаемых внутри строба и недопустимых в пределах обрамляющей рамки. Строб с оптимальным совпадением по данному критерию дешифрируют и его информацию принимают за достоверную.

Однако данный способ обладает рядом недостатков.

Во-первых, известно, что двухмодовое представление яркости объекта накладывает дополнительные требования к контрасту объект/фон, т.е. ограничивает отношение , так как при интенсивном шуме ложные "единичные" сигналы могут заполнять область обрамляющей рамки, а "нулевые" сигналы - исключить полезный сигнал из текущего строба.

Во-вторых, при малых отношениях сигнал/шум величина оптимального "заполнения" строба может флюктуировать в значительных пределах, что в конечном счете отразится на точности вычислений координат, особенно при переборе размеров (номеров) стробов или наличии динамических возмущений.

В-третьих, объем устройства, реализующего такой способ, возрастает с диапазоном изменения размеров объекта за счет необходимой параллельной активности всех стробов.

В-четвертых, форма квадрата не является оптимальной для объектов с различной протяженностью по отдельным направлениям координат. Кроме того, объект может быть протяженным под некоторым углом в прямоугольной системе координат, тогда становится невозможным описать квадратный строб по такому объекту при условии его оптимального "заполнения".

Предлагаемый способ позволяет использовать корреляционную функцию для определения координат объекта при изменении пространственных характеристик изображения путем установления оптимального соотношения размеров строба и объекта.

Известно, что при селекции сигналов путем стробирования максимальная контрастная чувствительность достигается, когда суммарная длительность строба не менее чем вдвое больше суммарной длительности полезного сигнала. Для сигнала изображения следует представить соотношение не длительностей, а площадей строба и объекта.

Однако в общем случае определить истинную длительность или площадь дисперсного сигнала объекта, находящегося или перемещающегося на сложном подстилающем фоне, затруднительно, а иногда невозможно. Исключение составляет случай, когда при значительном контрасте сигналы фона и объекта имеют в отдельности малую дисперсность. Поэтому, одной из задач в способе измерения координат является нахождение надежного признака, характеризующего объект, и на этом основании определение оптимального размера строба.

Предлагаемый способ позволяет обеспечить адаптацию размеров строба к размерам селектируемого объекта независимо от его направленности в системе координат при достижении высокой чувствительности и разрешающей способности.

Для этого в известном способе измерения координат объектов по телевизионному изображению путем стробирования, записи эталона и последующей свертки изображения осуществляют предварительное масштабирование изображения по двум осям координат в отдельности, измеряют угловое положение объекта и поворачивают изображение на соответствующий угол, прежде чем производить запись эталона и свертку. Для надежного определения контрастной границы, отделяющей объект от фона в выбранном фрагменте изображения, используют интервал корреляции автокорреляционной функции (АКФ), после чего по срезу АКФ подсчитывают количество строк nr и столбцов ns, эквивалентных интервалам корреляции по соответствующим координатам, и вырабатывают сигналы, корректирующие коэффициенты масштабирования по этим направлениям таким образом, чтобы сохранить в постоянстве количества столбцов nr и строк ns.

В случае протяженного объекта, направленного под углом в прямоугольной системе координат, изображение поворачивают на угол, который определяют как арктангенс от отношения двух величин, например, двух катетов, каждый из которых образован отклонением центров строк и столбцов от соответствующих осей координат.

Для того чтобы продолжительное время отслеживать объект без перезаписи эталона (или же без реадаптации алгоритма) при изменении масштаба изображения, и при этом сохранить требуемое соотношение размеров строба к объекту, производят следующие операции:

- при сближении ТВ-камеры с объектом уменьшают размеры (путем сжатия) текущего изображения, приводя его к размеру эталона,

- при удалении - предварительно уменьшают изображение эталона с соответствующим коэффициентом, затем, для сохранения упомянутого соотношения размеров, эталонное и текущее изображения одновременно увеличивают (путем растяжения) с тем же коэффициентом.

В случае бинарного или малоразрядного представления входного сигнала проводят симметрирование кодов таким образом, чтобы обеспечить равнозначность модулей положительных и отрицательных чисел относительно нуля. Например, двухразрядные коды представляют как:

-2; -1; 1; 2, т.е. без нуля.

Фиг.1-3 поясняют сущность предлагаемого способа.

Фиг. 1 иллюстрирует процесс обработки изображения при сближении телевизионной камеры с объектом наблюдения.

Фиг. 2 иллюстрирует процесс обработки текущего и эталонного изображений при удалении телевизионной камеры от объекта наблюдения.

Фиг. 3 иллюстрирует применение предлагаемого способа в общем случае для протяженного объекта, расположенного под некоторым углом в прямоугольной системе координат.

В предлагаемом способе в качестве селектирующего алгоритма используется классический корреляционный метод.

Поскольку обработка ТВ-сигнала производится в цифровой форме, условимся называть матрицами информационные поля, обрабатываемые в иерархической цепи.

Таким образом, для матрицы поиска "В", например, с размерами 3232 дискретных элемента (д.э.), матрица эталона Bet составляет 1616 д.э. с переменными m=n=0...15, а матрица результата "R" - 1717 результирующих отсчетов с переменными r=s=0...16. Тогда, корреляционная функция R_r,s будет:



- центрированные значения яркостей матриц "В" и "Bet"





_et = _m+8,n+8.

Заметим, что первоначальная матрица анализа "N">"В", из которой считывается ТВ-информация [в ТВ-элементах (т.э.)], для заполнения матрицы поиска "В" должна быть во столько раз больше, во сколько потребуется уменьшить (сжать) изображение при его адаптации в процессе сближения.

Таким образом, адаптация строба к объекту обеспечивается за счет использования АКФ, радиус корреляции которой дает оценку усредненной величины пространственных частот оптического изображения по разным направлениям координат.

Поскольку размеры матрицы R результата корреляции постоянны, задача адаптации сводится к нормированию площади среза АКФ в каждом цикле анализа путем масштабирования изображения по отдельным осям координат.

Радиус корреляции АКФ отражает (в какой-то степени повторяет) форму объекта или фрагмента изображения, поэтому масштабирование следует осуществлять по двум осям координат отдельно. Тогда, в случае объекта, протяженного в одном из направлений координат, стробирующее окно должно иметь форму соответствующего прямоугольника.

Размеры матриц В и Bet постоянны, поэтому для указанного выше нормирования следует соответственно сжать или растянуть исходное изображение, содержащееся в матрице N.

Возможен случай, когда объект расположен под некоторым углом в прямоугольной системе координат. Тогда вписанный в прямоугольный строб объект не может обеспечить требуемое соотношение площадей.

В этом случае данные об изображении, записываемые в матрицу В, должны претерпевать некоторые преобразования, обеспечивающие поворот, сжатие и растяжение вместе или в отдельности.

Таким образом осуществляется первоначальная установка размеров строба в соответствии со средним интервалом корреляции изображения объекта по отдельным осям координат.

По завершении этой процедуры производят запись эталона, по которому вычисляют взаимно-корреляционную функцию (ВКФ) для последующего непрерывного измерения координат объекта.

После этого осуществляют адаптацию размеров строба и объекта в процессе изменения масштаба изображения.

В принципе эта процедура мало чем отличается от ранее рассмотренной, только она имеет разные подходы при масштабировании с увеличением и с уменьшением. При этом, разумеется, сохраняется единый критерий - минимальное количество перезаписей эталона.

Известно, что при спаде пика (максимума) ВКФ ниже обозначенного уровня, следует произвести перезапись эталона.

Однако известно также, что даже при весьма точных измерениях координат существуют разного происхождения ошибки (флюктуационные, инструментальные и др. ), которые регистрируются и накапливаются всякий раз при перезаписи эталона.

Поэтому, одним из важнейших аспектов при непрерывном процессе измерения координат является обеспечение минимального количества перезаписей эталона.

Изобретение обеспечивает адаптацию при:

- сближении ТВ камеры с объектом;

- удалении ТВ камеры от объекта;

- необходимости поворота системы координат.

Сближение. Оно сопровождается естественным укрупнением наблюдаемого сюжета, вследствие чего проявляются новые детали, ранее не видимые из-за конечной разрешающей способности оптико-электронного тракта ТВ-камеры.

В результате, статистическая фактура изображения изменяется, вследствие чего меняется значение ранее определенного радиуса корреляции. В этом случае процедура адаптации заключается в сохранении прежнего эталона и масштабировании текущего изображения путем его сжатия (уменьшения размеров).

При этом статистические свойства текущего изображения возвращаются к первоначальным, каковыми являются свойства эталона. Сжатие производят до максимально допустимого значения, определяемого как аппаратными, так и алгоритмическими возможностями масштабирования. После чего производят перезапись эталона.

В частности, двукратное сжатие изображения легко и точно реализуется линейной интерполяцией по четырем близлежащим значениям яркостей.

Для этого размерность матрицы "N" должна быть не менее чем N=2 В. В этом случае общая кратность масштабирования изображения определяется как

К_м=2ⁿ⁺¹, где

n - количество перезаписей эталона, начиная с n=0.

Удаление от объекта. Оно сопровождается естественным сжатием (уменьшением) изображения - потерей (утратой) его информативности. В этом случае растяжение изображения (его увеличение масштабированием) до первоначальных размеров не может восстановить недостающую информацию.

Для получения адекватного эталона следует сжимать последний. При этом, очевидно, теряется в соответствующей мере ранее имеющаяся избыточность информации. Затем, для сохранения установленного соотношения между размерами матрицы и радиусом корреляции вычисленной АКФ, текущее и эталонное изображения снова увеличивают с коэффициентом, равным по модулю коэффициенту предыдущего сжатия.

В режиме удаления от объекта размеры поля поиска становятся больше размеров фрагмента изображения, но при этом координатная ошибка центра уменьшается. Исходя из этого, можно не опасаться количества перезаписей эталона, и, если подстилающий фон также является информативным (т.е. имеет контрастные образования), возможно проведение обычной перезаписи эталона.

Таким образом, если в результате проведения описанных выше процедур, величина корреляционного максимума, полученного вычислением ВКФ для измерения текущих координат объекта, восстановила свое первоначальное значение (выше установленного порога), то процесс непрерывного измерения координат продолжается. Если же максимум ВКФ остался ниже заданного уровня, то принимается адекватное решение.

Описываемый способ обеспечивает адаптацию измерителя без или с минимальным количеством перезаписей эталона.

Поворот системы координат. Эта процедура необходима в случае протяженного объекта, расположенного под некоторым углом в прямоугольной системе координат. В данном случае адаптация по критерию оптимального соотношения площадей в прямоугольном стробе не представляется возможной. Задача решается в два этапа.

На первом этапе поворачивают данные, записанные в матрице В, на соответствующий угол, который априори неизвестен и требует определения.

В качестве примера рассмотрим один из возможных алгоритмов определения угла поворота , основанный на использовании уже имеющегося среза АКФ. Обозначим функцию среза через R0_r,s. Угол , на который необходимо повернуть систему координат, определяется как:



где





После осуществления поворота данных, направление столбцов nr и строк ns АКФ уже совпадает с направлением осей координат, а 0, поскольку данная процедура при малых углах может быть исключена.

На втором этапе производят масштабирование в соответствии с вышеизложенными способами. Разница лишь в том, что измеренные координаты пересчитывают с учетом повернутого угла .

Средства сжатия, растяжения и поворота изображения едины как при аппаратной, так и при программной реализации способа. Любая из этих процедур выполняется интерполированием матрицы N при загрузке из нее данных в матрицу В. Формула формирования адресов считывания матрицы N содержит синус-косинусные компоненты, которые при 0 обеспечивают поворот.

На фиг. 1 дана иллюстрация естественного увеличения объекта за счет сближения с условным изображением кольца, на котором также условно проявляются четыре симметричные детали. После сжатия текущего изображения путем интерполяции, последнее сравнивают с эталоном для дальнейшей процедуры измерения.

На фиг.2 дана иллюстрация процессов естественного уменьшения объекта за счет удаления от условного кольца и искусственного сжатия эталона. Хотя обе матрицы содержат идентичную информацию, однако на данной фазе нарушено принятое соотношение размеров.

Необходимое соотношение восстанавливается второй фазой интерполяции путем увеличения. Здесь видно некоторое искажение объекта, проявляемое в данном случае на его деталях из-за недостающей информации на предыдущей фазе. Этот факт не влияет на точность или достоверность результатов измерения координат.

На фиг.3 показан протяженный объект, расположенный под некоторым углом в прямоугольной системе координат (а). Для наглядности отработка угла путем интерполирования иллюстрирована отдельной фазой (б). Здесь же пунктирной линией проведена граница прямоугольника, в пределах которого в том же цикле интерполяции достигается полная адаптация (в) размера строба к размеру объекта.

Следует отметить, что корреляционная обработка предполагает выполнение большого количества умножений и сложений. В примере, рассматриваемом в настоящем описании, в котором приняты размеры матрицы поиска 3232 и матрица эталона 1616, нетрудно подсчитать, что в результате свертки производится 256289 умножений и столько же сложений. При этом точность полученного результата достигает 10¹² при 2-х разрядных операндах, и 10¹⁴ - при 3-х разрядных.

Другими словами, высокую точность можно получить при малоразрядных операндах, что весьма важно для реализации устройства.

Коды операндов, содержащие всего 5 разрядов, т.е. представляемые диапазоном -32. . .+31, имеют по отношению к нулю асимметрию порядка 3%. Такая погрешность не существенна для данного класса вычислений. Но уже при 3-х разрядах эта погрешность достигает 25%.

Предлагаемое симметрирование диапазона чисел, в котором отсутствует нуль, способствует более точному, достоверному воспроизведению корреляционной функции.