репортажное устройство автоматизированного видеонаблюдения

Формула изобретения

Репортажное устройство автоматизированного видеонаблюдения, состоящее из сборки видеоканалов, включающей два канала наблюдения, каждый из которых содержит объектив, оптически связанную с ним цифровую матрицу и устройство считывания, вход которой подсоединен к выходу цифровой матрицы, отличающееся тем, что, с целью распознавания типа объекта, измерения расстояния до него и сообщения этих данных слепому в виде речевой информации или в формах сенсорного воздействия, введены блок формирования и обработки свертки изображений, блок измерения расстояний, блок классификации, блок хранения данных, синтезатор сообщений, блок воспроизведения, вход которого соединен с выходом синтезатора сообщений, вход которого подсоединен к выходу блока хранения данных, первый вход которого подсоединен к первому выходу блока измерения расстояний, второй вход которого подсоединен к выходу блока классификации, первый вход которого подсоединен ко второму выходу блока измерения расстояния, второй вход подсоединен ко второму выходу блока формирования и обработки свертки изображений, первый выход которого подсоединен к первому входу блока измерения расстояния, первый вход подсоединен к выходу устройства считывания первого канала наблюдения, второй вход подсоединен к выходу устройства считывания второго канала наблюдения.

Описание изобретения к патенту

Изобретение относится к технике видеонаблюдения и распознавания объектов и предназначено для формирования речевого и сенсорного сообщений с целью информирования незрячего потребителя об объектах на пути движения и расстояниях до них.

В общем плане известны автоматизированные аппаратно-программные системы и способы видеонаблюдения, идентификации и мониторинга объектов, используемые в различных приложениях.

Известны система и способ по патенту, опубликованному в РФ 20.01.2006 № 2268497, регистрационный номер заявки 2003118501/11, автоматизированного видеонаблюдения и распознавания объектов и ситуаций, позволяющие распознавать и классифицировать объекты по определенным признакам в различных условиях освещенности, осуществлять оперативный поиск объекта по задаваемым параметрам, распознавание ситуации по действиям объектов, с возможностью слежения за такими объектами, сохранения в памяти системы изображения, пригодного для последующего анализа и выдачи сигнала тревоги. Однако система и способ не позволяют осуществлять операции над цифровыми сигналами изображений, непосредственно поступающих с цифровых видеокамер, не позволяют осуществлять в реальном времени взаимную пространственную свертку изображения различных каналов наблюдения для измерения малых расстояний до объектов и их классификации, не позволяют формировать речевые и сенсорные сигналы для оповещения незрячего потребителя.

Известна система по патенту РФ 2316729, предназначенная для измерения угловых координат объекта наблюдения, содержащая цифровой видеоканал и устройство памяти цифрового сигнала видеоизображения. Система не содержит устройств оперативной обработки цифрового сигнала изображения. Система не позволяет осуществлять операции над цифровыми сигналами изображений, непосредственно поступающих с цифровых видеокамер, не позволяет осуществлять в реальном времени взаимную пространственную свертку цифровых сигналов изображения различных каналов наблюдения для измерения малых расстояний до объектов и их классификации, не позволяет формировать речевые и сенсорные сигналы для оповещения потребителя.

Известен карманный «персональный чтец» для слепых и слабовидящих http://www.hpc.ru/news/16488 K-NFB Reader, содержащий цифровую видеокамеру, устройство анализа изображения, распознающего шрифт, и устройство информирования слепого. Однако K-NFB Reader не позволяет измерить расстояние до объекта наблюдения и классифицировать его.

Предлагаемое репортажное устройство автоматизированного видеонаблюдения дает следующий положительный технический результат - обеспечивает незрячего потребителя информацией:

- голосовое сообщение о расстоянии до объектов;

- голосовое сообщение о классе объекта на пути движения;

- другие формы сообщений, связанные с осязательными воздействиями.

Предлагаемое репортажное устройство автоматизированного видеонаблюдения может быть реализовано с помощью известных функциональных элементов.

Для достижения указанного технического результата в систему видеонаблюдения, состоящую из сборки видеоканалов, включающей два канала наблюдения, каждый из которых содержит объектив, оптически связанную с ним цифровую матрицу и устройство считывания, вход которой подсоединен к выходу цифровой матрицы, введены блок формирования и обработки свертки изображений, блок измерения расстояния, блок классификации, блок хранения данных, синтезатор сообщений, блок воспроизведения, вход которого соединен с выходом синтезатора сообщений, вход которого подсоединен к выходу блока хранения данных, первый вход которого подсоединен к первому выходу блока измерения расстояния, второй вход которого подсоединен к выходу блока классификации, первый вход которого подсоединен ко второму выходу блока измерения расстояния, второй вход подсоединен ко второму выходу блока формирования и обработки свертки изображений, первый выход которого подсоединен к первому входу блока измерения расстояния, первый вход подсоединен к выходу устройства считывания первого канала наблюдения, второй вход подсоединен к выходу устройства считывания второго канала наблюдения.

На фиг.1 приведена функциональная схема заявляемого репортажного устройства автоматизированного видеонаблюдения.

Репортажное устройство автоматизированного видеонаблюдения содержит сборку видеоканалов 1, включающую два идентичных канала наблюдения 1.1 и 1.2, располагаемых в горизонтальной плоскости, блок формирования и обработки свертки изображений 2, блок измерения расстояний 3, блок классификации 4, блок хранения данных 5, синтезатор речевого и сигнального сообщения 6, блок воспроизведения 7.

Каждый канал наблюдения состоит из объектива (1.1.1 и 1.2.1 в канале 1.1 и 1.2 соответственно), цифровой матрицы (1.1.2 и 1.2.2), устройства считывания (1.1.3 и 1.2.3). Объектив и матрица связаны оптически, матрица и устройство считывания - электрически.

Выход устройства считывания первого канала 1.1.3 соединен с первым входом блока формирования и обработки свертки изображений 2. Выход устройства считывания второго канала 1.2.3 соединен со вторым входом блока формирования и обработки свертки изображений 2. Первый выход блока формирования и обработки свертки изображений 2 подключен к входу блока измерения расстояний 3, второй выход 2 подключен ко второму входу блока классификации 4. Первый выход блока измерения расстояний 3 подключен к первому входу блока хранения данных 5. Ко второму входу блока хранения данных 5 подключен выход блока классификации 4. Второй выход блока измерения расстояний 3 подключен к первому входу блока классификации 4. Вход синтезатора речевого и сигнального сообщений 6 подсоединен к выходу блока хранения данных 6, а выход подключен к входу блока воспроизведения 7.

Устройство работает следующим образом.

Сборка видеоканалов 1 репортажного устройства автоматизированного видеонаблюдения устанавливается на место очков или вешается на груди потребителя. Оптический сигнал от объекта попадает на два канала наблюдения (1.1 и 1.2), в котором объективы (линзы) 1.1.1 и 1.2.1 идентичны, имеют одинаковое фокусное расстояние и установлены так, чтобы их оптические (визирные) оси были компланарны. Цифровые матрицы 1.1.2 и 1.2.2 устанавливаются в соответствующие фокальные плоскости ортогонально оптическим осям, причем их вертикальные стороны параллельны линии отвеса, а горизонтальные находятся на одном уровне. Устройства считывания 1.1.3 и 1.2.3 осуществляют аналого-цифровое преобразование уровня заряда пикселя в двоичное число, последовательное построчное считывание данных и передачу на блок формирования и обработки свертки изображений 2.

Блок формирования свертки изображений 2 попиксельно перемножает цифровые данные одноименных строк обеих матриц 1.1.2 и 1.2.2 каналов наблюдения, суммирует результаты перемножения и результаты запоминает. Перемножения и суммирования производятся при различных сдвигах строки первого канала наблюдения относительно строки второго канала наблюдения, реализуя следующий алгоритм:

; j=[0 N],

где K(j) - свертка двух цифровых изображений, сдвинутых на j-пикселей по горизонту;

h - номер строки изображения первого и второго каналов наблюдения;

N - число пикселей в строке;

Р - число строк матрицы;

- интенсивность сигнала i-го пикселя в h-ой строке первого канала, выраженная в цифровой форме;

- интенсивность сигнала i-j-го пикселя в h-ой строке второго канала, выраженная в цифровой форме;

j - число пикселей, на которое изображение второго канала сдвинуто относительно изображения первого канала.

На фиг.2 показан принцип формирования функции свертки изображения. На нем показано относительное расположение цифровых матриц в световых пятнах объективов на фокальных плоскостях и расположение изображений условного объекта, который находится прямо по курсу вблизи от наблюдателя. При достаточно большом удалении объекта его изображения сдвинутся к центру световых пятен.

Блок формирования свертки изображений 2 формирует функцию K(j), определяет факт достижения максимального значение функции свертки и соответствующее число пикселей сдвига строк относительно друг друга j=m, при котором достигается максимум. Наряду с этим блок формирования свертки изображений 2 определяет номер признака, под каким углом к курсу произведено измерение. Число m и номер признака передаются в блок измерения расстояния 3.

Число пикселей сдвига m функционально связано с расстоянием до объекта, который наблюдается под заданным углом места. Если число относительного сдвига равно m=0, то это означает, что строки двух каналов идентичны, что возникает тогда, когда расстояние до объекта бесконечно (практически больше 100 м). Если m>0, то расстояние находится по формуле

,

где С - константа, вычисляемая заранее: С=k·f,

k - базовое расстояние между оптическими осями каналов наблюдения;

f - фокусное расстояние объектива, выраженное через число пикселей, т.е.

(h - размер пикселя в миллиметрах).

Например, если f=1000 пикселей, m=50 пикселей, k=10 см, то R=2 м.

Измеренное значение расстояния совместно с номером признака подается в блок хранения данных 5, где определяется номер стандартного интервала, к которому принадлежит измерение. Номер интервала и номер признака формируют код сообщения. Этот код подается на синтезатор сообщений 6, где в соответствии с кодом выбирается стандартное сообщение, хранящееся в синтезаторе сообщений, например: «два метра слева». Это сообщение подается на блок воспроизведения 7.

Номер признака, под каким углом к курсу произведено измерение, формируется следующим образом. Цифровые матрицы каналов наблюдения подразделяются на ряд областей. На фиг.3 указаны для примера областей пять. В этом случае формируются пять сверток изображения. По каждой свертке определяется число m. К нему подсоединяется номер области, который является признаком, под каким углом к курсу произведено измерение.

Блок формирования свертки изображений 2 наряду с определением числа m определяет ширину функции свертки на уровне 0,5 и передает это значение и номер признака в блок классификации 4.

Из устройства измерения расстояний 3 результаты вычисления расстояния совместно с признаками подаются на блок классификации 4. В блоке классификации 4 из поступивших данных из блока формирования и обработки изображений 2 и блока измерений расстояний 3 формируется кодовая посылка, которая передается в блок хранения данных 5. Этой кодовой посылке в блоке хранения данных ставится в соответствие ближайший код сообщения. Этот код подается на синтезатор сообщений 6, где в соответствии с кодом выбирается стандартное сообщение, хранящееся в синтезаторе сообщений, например: «стена, проход слева».

Блоки 2, 3, 4. 5 выполняются на ПЛИС, заключаются в миниатюрный корпус и размещаются в кармане потребителя.