система для дистанционного управления компьютером

Классы МПК:G06F3/033 указательные устройства, перемещаемые пользователем, например "мыши", шаровые манипуляторы (трекболы), перья или джойстики; принадлежности для них
G09G5/08 для управления курсором
Автор(ы):
Патентообладатель(и):Талыгин Алексей Константинович
Приоритеты:
подача заявки:
2002-02-11
публикация патента:

Изобретение относится к компьютерной технике. Его применение в компьютерных презентациях позволяет получить технический результат в виде обеспечения высокой точности и помехозащищенности дистанционного управления компьютером. Этот результат достигается благодаря тому, что в систему введены излучатель синхросигналов и процессор обработки видеоизображения, к выходу которого подключен излучатель синхросигналов, при этом выход видеокамеры подключен к входу процессора обработки видеоизображения, другой выход которого соединен с интерфейсом, устройство управления дополнительно содержит последовательно соединенные приемник синхросигналов, вход которого является управляющим входом устройства управления, контроллер и ключ, при этом выход ключа подсоединен к модулирующему входу лазера видимого излучения, второй вход контроллера соединен с кнопками управления. 2 з.п.ф-лы, 1 табл., 8 ил.
Рисунок 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6, Рисунок 7, Рисунок 8, Рисунок 9

Формула изобретения

1. Система для дистанционного управления компьютером, содержащая устройство управления, включающее лазер видимого излучения с кнопками управления, видеокамеру и интерфейс, подключенный к одному из портов компьютера, отличающаяся тем, что в нее введены излучатель синхросигналов и процессор обработки видеоизображения, к выходу которого подключен излучатель синхросигналов, при этом выход видеокамеры подключен к входу процессора обработки видеоизображения, другой выход которого соединен с интерфейсом, устройство управления дополнительно содержит последовательно соединенные приемник синхросигналов, вход которого является управляющим входом устройства управления, контроллер и ключ, при этом выход ключа подсоединен к модулирующему входу лазера видимого излучения, второй вход контроллера соединен с кнопками управления.

2. Система по п. 1, отличающаяся тем, что она дополнительно содержит проектор, информационный вход которого подсоединен к видеовходу компьютера, и экран для отображения презентаций.

3. Система по п. 1, отличающаяся тем, что видеокамера снабжена светофильтром.

Описание изобретения к патенту

Изобретение относится к компьютерной технике и может использоваться для компьютерных презентаций для отображения внешней среды, для управления удаленными объектами и др.

В настоящее время используются различные устройства для управления компьютером. Наиболее применяемыми являются компьютерная мышь и графический программный интерфейс.

Использование такого устройства имеет серьезный недостаток: человек может управлять компьютером только сидя за столом, по которому перемещается мышь. Поэтому для управления компьютером в тех случаях, когда человек не может находиться за столом, например во время компьютерных презентаций, используются функциональные аналоги мыши. Примером такого устройства является пульт дистанционного управления проектором для компьютерных презентаций. Этот пульт содержит в своем составе устройство управления курсором мыши на основе TRACKBOLL или специальных кнопок перемещения и интерфейс для беспроводной передачи управляющих данных в компьютер. Этот интерфейс обычно выполняется на основе передатчика инфракрасного (ИК) излучения. Нередко такое устройство управления снабжается лазерной указкой, однако лазерная указка не используется для управления компьютером, а выполняет вспомогательную функцию указания объектов на экране зрителям.

Однако упомянутое выше устройство управления не эргономично. Управление курсором мыши и указание объектов выполняются движениями пальцев, вращающих шарик TRACKBOLL или нажимающих кнопки перемещения, в то время как естественным движением человека, указывающего на объект, является движение руки в целом.

Известна также система для управления компьютером с помощью лазерной указки (Патент WO 01/03106). Она содержит видеокамеру, направленную на экран компьютера, лазерную указку, дистанционно управляющую компьютером, что позволяет оператору находиться на значительном расстоянии от компьютера и/или экрана, на который выводится изображение от компьютера.

В известной системе не устраняются погрешности, связанные с невозможностью точного определения положения светового пятна, контрастность которого может меняться в несколько раз в зависимости от его положения на экране и из-за неравномерной освещенности экрана, в зависимости от степени заряженности источника питания лазерной указки, в зависимости от углового положения указки по отношению к плоскости экрана. Кроме того, при использовании обычной лазерной указки для управления компьютером презентационной системы, например, в студенческой аудитории не исключена возможность перехвата управления компьютером другой аналогичной указкой.

Данная система не может быть использована для работы в полевых условиях при отсутствии проектора, когда удаленное управление компьютером используется при формировании геометрических моделей внешнего мира или для дистанционного управления оружием. Невозможность использования обычной лазерной указки прежде всего обусловлена отсутствием идентификации луча (по типу "свой-чужой"), что позволяет злоумышленникам обманывать систему. Кроме того, для передачи информации в полевых условиях нельзя использовать такие характеристики пятна лазерной указки, как форма или цвет в силу большой сложности их распознавания.

Технической задачей изобретения является создание системы для дистанционного управления компьютером, обеспечивающей высокую точность и обладающей высокой помехозащищенностью.

Поставленная задача решается в системе для дистанционного управления компьютером, содержащей устройство управления, включающее лазер видимого излучения с кнопками управления, а также видеокамеру и интерфейс, подключенный к одному из портов компьютера, в которую, согласно изобретению, введены излучатель синхросигналов и процессор обработки видеоизображения, к выходу которого подключен излучатель синхросигналов, при этом выход видеокамеры подключен к входу процессора обработки видеоизображения, выход которого соединен с интерфейсом, устройство управления дополнительно содержит последовательно соединенные приемник синхросигналов, вход которого является управляющим входом устройства управления, контроллер и ключ, при этом выход ключа подсоединен к модулирующему входу лазера видимого излучения, а второй вход контроллера соединен с кнопками управления.

Система также может содержать проектор, информационный вход которого подсоединен к видеовходу компьютера, и экран для отображения презентаций, а видеокамера снабжена светофильтром.

Изобретение поясняется чертежами. На фиг. 1 приведена структурная электрическая схема системы для дистанционного управления компьютером на примере презентационной системы; на фиг.2 - структурная электрическая схема блока управления; на фиг.3 - эпюры сигналов, поясняющие работу системы; на фиг. 4 приведены рисунки, отображающие след пятна лазера, снятый при выключенном и включенном лазере.

Система для дистанционного управления компьютером (фиг.1) содержит устройство управления 1, видеокамеру 2 для отображения светового пятна луча лазера видимого излучения, излучатель синхросигналов 3, процессор 4 обработки видеоизображения от видеокамеры 2 и интерфейс 5, видеокамера 2 снабжена светофильтром 6, центральной частотой которого в его полосе пропускания является частота излучения лазера, вход процессора 4 соединен с выходом видеокамеры 2, выход процессора 4 подсоединен к интерфейсу 5, выход которого является выходом управляющего сигнала, подаваемого на один из портов компьютера 7.

Устройство управления 1 (фиг.2) состоит из лазера 8 видимого излучения, последовательно соединенных приемника 9 синхросигналов, вход которого является управляющим входом устройства управления 1, контроллера 10 и ключа 11, выход которого подсоединен к модулирующему входу лазера 8, а второй вход контроллера 10 соединен с кнопками управления 12, 13, 14.

На фиг.1 также представлен экран 15, на который проецируется изображение проектором 16, соединенным с компьютером 7.

Система для дистанционного управления компьютером работает следующим образом.

Оператор, управляющий компьютером 7, держит в руке устройство управления 1 и с его помощью указывает объекты внешней среды, находящиеся в поле зрения видеокамеры 2, например элементы изображения на экране 15 или компоненты графического интерфейса компьютера 7. Кроме того, с помощью модуляции луча 17 лазера 8 передается информация о состоянии кнопок управления 12, 13, 14. Видеокамера 2 фиксирует изображение объектов внешней среды и пятно от луча 17 и передает это изображение в процессор 4. Применение светофильтра 6 существенно упрощает распознавание пятна на фоне изображения.

Процессор 4 по данным от видеокамеры осуществляет расчет координат пятна от луча 17 на объектах внешней среды или на экране, распознавание состояния кнопок управления 12, 13, 14, формирование синхросигналов и их модуляцию.

В ходе распознавания координат лазерного пятна используются следующие координаты: номер строки видеокадра, в котором находится центр пятна; позиция центра пятна относительно начала этой строки. Одновременно с расчетом координат пятна извлекается информация о состоянии кнопок управления 12, 13, 14. Извлечение информации о состоянии кнопок также выполняется процессором 4, логика распознавания состояния кнопок реализована на финальных стадиях общего процесса распознавания координат пятна луча 17. Эти данные через интерфейс 5 передаются в компьютер 7. Интерфейс 5 может быть выполнен в проводном или беспроводном вариантах.

Полученная информация о координатах пятна луча 17 и состоянии кнопок управления 12, 13, 14 используется для управления компьютером 7 аналогично мыши. В случае, если на компьютере 7 запущено программное обеспечение для презентаций или игр, оператор может непосредственно через изображения кнопок и других элементов на экране взаимодействовать с графическим интерфейсом компьютера 7. В случае, если на компьютере 7 запущены программы машинной графики, оператор использует луч 17 лазера в качестве инструмента "кисть" или "карандаш", рисуя или редактируя изображения на экране естественными для человека движениями.

В случае, если проектор 16 и экран 15 не используются, данная система может служить для указания объектов и/или подготовки двумерных моделей объектов внешней среды.

Синхросигналы формируются и модулируются в процессоре 4 и затем подаются на синхронизирующий вход блока управления 1, где они используются для модуляции луча 17 лазера 8. Канал передачи синхросигналов реализуется беспроводным способом, например, на основе ИК передачи/приема или на основе радиоинтерфейса.

Лазер 8 представляет собой стандартный излучающий модуль, применяемый в лазерных указателях. Мощность модуля зависит от решаемой задачи. Питание лазера 8 производится от аккумуляторной батареи напряжением U. Схема контроля 18 разряда батареи, выполненная на основе компаратора, следит за этим напряжением и отображает состояние батареи с помощью светодиода 19. В зависимости от состояния кнопок управления 12, 13, 14 и в соответствии с синхросигналами, поступающими от приемника синхросигналов 9, контроллер 10 вырабатывает сигналы управления ключом 11, который регулирует ток лазера 8. Ключ 11 используется для модуляции лазерного луча 17, направленного на объект внешней среды.

Приемник синхросигналов 9 может быть реализован различным образом, в зависимости от используемого способа передачи синхросигналов. В частности, могут использоваться радиопередача или передача с помощью ИК-излучения (для расстояний до 10-15 м между излучателем синхросигнала 3 и лазерной указкой). В последнем случае приемник синхросигналов 9 представляет собой стандартный модуль, используемый в телевизорах для приема ИК-команд от пульта дистанционного управления. Этот модуль содержит ИК-фотоприемник, усилитель и НЧ-фильтр.

Устройство управления 1 может работать в двух режимах: в режиме "лазерная указка" и в режиме "лазерная мышь". В первом режиме оно не управляет компьютером, а используется как обычная лазерная указка. В режиме "лазерная мышь" оно функционально заменяет компьютерную мышь. Текущий режим блока управления 1 отображается с помощью светодиода 20. Модулированный луч несет информацию о состоянии кнопок управления 12, 13, 14: левой кнопки 12, правой кнопки 13 и кнопки 14 переключения режима. Соответствующая модуляция выполняется контроллером 10 в соответствии с форматами сигналов модуляции тока лазера 8, представленными на фиг.3. Кнопка 14 переключает блок управления 1 из режима "лазерная указка" в режим "лазерная мышь" и обратно.

Наличие канала передачи синхросигналов позволяет повысить достоверность распознавания координат пятна лазерного луча 17, повысить достоверность распознавания состояния кнопок управления 12, 13, 14, исключить "ложное" указание объектов немодулированным лучом.

Синхросигналы формируются процессором 4 по импульсам вертикальной синхронизации видеокамеры 2. Кроме того, используется информация о четности или нечетности текущего кадра видеокамеры 2.

Блок управления 1 может находиться в следующих состояниях:

1. "Выключено" - ток через лазер 8 не протекает, лазерный луч 17 отсутствует.

2. "Включено" - соответствует режиму "лазерная указка".

3. "Включено" - соответствует режиму "лазерная мышь". Ни одна из кнопок управления не нажата.

4. "Включено" - соответствует режиму "лазерная мышь". Нажата левая кнопка 12.

5. "Включено" - соответствует режиму "лазерная мышь". Нажата правая кнопка 13.

Форматы синхросигналов, поступающих в контроллер 10, и сигналов модуляции тока лазера 8, несущих информацию о состоянии кнопок 12, 13, 14, приведены на фиг.3.

График а) отображает импульсы вертикальной синхронизации от видеокамеры 2. Период следования импульсов составляет 20 мс (PAL, SECAM) или 16,67 мс (NTSC).

График б) отображает синхросигналы, которые формирует процессор 4 на основе импульсов вертикальной синхронизации. Представленные синхросигналы несут информацию о начале кадра видеосигнала, о четности/нечетности кадра. Для формирования синхросигнала может быть использована широтно-импульсная модуляция (как показано на графике). Сформированный синхросигнал преобразуется в форму для беспроводной передачи и подается на излучатель синхросигналов 3.

Излучатель синхросигналов 3, также как и приемник синхросигналов 9, может быть реализован различными способами в зависимости от принятого способа передачи синхросигналов. Например, могут использоваться радиопередача или передача с помощью ИК-излучения (для расстояний до 10-15 м между излучателем синхросигнала и устройством управления). В последнем случае излучатель синхросигналов 3 представляет собой мощный светоизлучающий ИК-диод со встроенной линзой, который через токовый ключ и буферный элемент (транзистор или микросхему) подключается к одному из выходных портов процессора 4.

Сигнал от приемника синхросигналов 9 подается в контроллер 10. Форма этого сигнала также полностью соответствует графику б).

В соответствии с принятым синхросигналом и в зависимости от режима - "лазерной указки" или "лазерной мыши" - контроллер 10 с помощью ключа 11 модулирует ток маломощного лазера 8. Форма тока для различных состояний блока управления 1 компьютером 7 изображена на графиках 3-7 в)-ж).

График в) соответствует режиму, когда блок управления 1 выключен.

График г) соответствует режиму "лазерной указки". Ток лазера 8 модулируется с частотой несколько kHz (в действующем образце использована частота 3 kHz). Изменение скважности импульсов требуется для регулирования интенсивности тока через лазер 8 для того, чтобы согласовать силу света лазера в режиме "лазерной указки" с силой света в режиме "лазерной мыши". Частота модуляции должна быть в десятки раз выше частоты следования кадров видеокамеры 2.

График д) соответствует режиму "лазерной мыши", когда не нажата ни одна из кнопок управления 12 или 13. График е) соответствует режиму "лазерной мыши", когда нажата кнопка 12. График ж) соответствует режиму "лазерной мыши", когда нажата кнопка 13.

Как следует из графиков д)-ж) (режим "лазерной мыши"), ток через лазер 8 и соответствующая освещенность пятна от лазера 8 носят импульсный характер. Лазер 8 включен или выключен в течение текущего кадра длительностью 20 мс (PAL, SECAM) или 16,67 мс (NTSC). Это импульсное изменение освещенности фиксируется видеокамерой 2, так как постоянная времени накопления заряда ПЗС-видеокамеры составляет доли миллисекунд, что в десятки раз меньше длительности кадра. На фиг. 4 представлен след пятна луча, зафиксированный при выключенном и включенном в текущем кадре лазере 8. Наличие слабого следа при выключенном лазере 8 объясняется так называемым "смазом" ПЗС-камеры. Слабый след подавляется программным путем при дальнейшей обработке изображения.

След пятна луча лазера 8 при выключенном и включенном лазере показан на фиг.4.

Сигнал от видеокамеры 2 затем обрабатывается процессором 4, который имеет возможность анализировать сигнал за последние восемь кадров. Исследуя изменение освещенности "подозрительных" пятен на изображении от видеокамеры 2, процессор 4 выделяет пятно от "лазерной мыши". За счет этого повышается достоверность выделения пятна от лазера 8, за счет использования априорной информации о модуляции тока лазера, а следовательно, освещенности пятна "лазерной мыши" решается задача распознавания состояния кнопок управления; исключается несанкционированное использование обычных лазерных указок в качестве "лазерной мыши", так, режим "лазерной мыши" обязательно сопровождается синхронизированным с видеокамерой 2 импульсным изменением освещенности пятна лазерного луча 17, что обеспечивают контроллер 10 совместно с ключом 11. Графики е) и ж) показывают, что состояние с нажатой правой кнопкой 13 отличается от состояния с нажатой левой кнопкой 12 одним кадром из восьми - ж). Так как процессор 4 всегда обрабатывает восемь последних кадров, факт нажатия левой или правой кнопки может быть всегда установлен.

Как следует из представленных графиков д), е), состояние лазерного луча 17 без нажатой кнопки или с нажатой левой кнопкой 12 устанавливается за время длительности двух кадров видеокамеры 2. Состояние лазерной указки с нажатой правой кнопкой 13 в соответствии с графиком ж) может быть установлено за восемь кадров. Такое изменение длительности допустимо, так как в современных операционных системах нажатие правой кнопки мыши выполняется гораздо реже, чем действия без кнопок или нажатие левой кнопки.

По сравнению с прототипом предлагаемая система включает канал передачи синхросигналов на блок управления, что позволяет решить следующие задачи: повысить достоверность распознавания координат пятна лазерного луча; повысить достоверность распознавания состояния кнопок устройства управления; исключить "ложное" указание объектов немодулированным лучом лазера.

Данная система содержит недорогие стандартные компоненты (черно-белый видеотракт и ЦСП общего назначения) в составе блока обработки изображений от видеокамеры. Поэтому стоимость предлагаемой системы будет существенно ниже стоимости системы-прототипа.

Данная система позволяет оператору работать не только с экраном презентации, но и без него, указывая точки, линии и другие графические примитивы на поверхностях объектов внешней среды в поле зрения видеокамеры. Это становится возможным благодаря тому, что предлагаемая система использует только яркостную характеристику пятна в качестве носителя информации и не использует такие характеристики пятна, как форма и цвет, распознавание которых сильно зависит от поверхности объектов и их освещенности.

Предложенная система позволяет не только управлять компьютером, но и формировать с помощью специальных программ графические двухмерные модели окружающей среды. Для этого оператор не просто указывает точки в окружающем пространстве, а указывает контуры объектов лучом лазера. После обработки эти данные включаются в состав графических моделей.

Методика расчета координат лазерного пятна и определения состояния блока управления 1 приведена в Приложении.

Приложение к описанию

Координаты видеокамеры

Положение курсора блока управления 1 в режиме "лазерной мыши" сначала рассчитывается в координатах кадра видеокамеры 2. Такими координатами являются

- номер строки NL в кадре, в котором обнаружен центр пятна от лазера,

- номер отсчета NS в строке NL, соответствующий центру пятна.

Область значений координат NL и NS

Согласно стандартам на телевизионный сигнал PAL, SECAM область значений координаты NL лежит в пределах от 0 до 312. Процессор 4 измеряет координату NL, подсчитывая количество импульсов вертикальной синхронизации текущего кадра.

Область значений координаты NS зависит от частоты оцифровки сигнала, поступающего от видеокамеры 2 в процессор 4, то есть опроса АЦП, входящего в его состав, и первичной обработки этих данных. Современные цифровые сигнальные процессоры (ЦСП) и АЦП позволяют выполнить оцифровку видеосигнала с частотой как минимум 8 МГц, что соответствует периоду 0,125 мкс Тогда, приняв согласно указанным стандартам длительность информационной части телевизионной строки не более 60 мкс, получим количество отсчетов "вдоль" телевизионной строки:

NSmax=60 мкс/0,125 мкс/отсч=480 отсчетов.

Отсюда область значений координаты NS лежит в пределах от 0 до 479.

Грубая оценка погрешности позиционирования курсора "лазерной мыши"

Произведем грубую оценку погрешности позиционирования курсора мыши компьютера в случае использования блока управления 1 как "лазерной мыши". Рассмотрим типичное разрешение экрана компьютерных презентаций 1024система для дистанционного управления компьютером, патент № 2216766768 пикселей. Тогда абсолютные погрешности позиционирования курсора можно оценить следующим образом:

система для дистанционного управления компьютером, патент № 2216766Хmах0=INT(1024/480+0,5)=3 пикселя;

система для дистанционного управления компьютером, патент № 2216766Ymax0=INT(768/312+0,5)=3 пикселя,

где INT() есть функция взятия целой части числа;

система для дистанционного управления компьютером, патент № 2216766Xmax0, система для дистанционного управления компьютером, патент № 2216766Ymax0 есть абсолютные погрешности позиционирования курсора мыши при его перемещении с помощью процессора 4 вдоль осей Х и Y экрана.

При производстве системы для управления компьютером могут возникнуть дополнительные погрешности из-за отклонения параметров конкретного экземпляра системы от точных значений. Можно указать несколько таких параметров:

- геометрические размеры видеокамеры,

- геометрические размеры кронштейна, на котором крепится видеокамера,

- геометрические размеры крепления кронштейна к экрану,

- угол обзора и нелинейность оптической системы видеокамеры.

Для всех перечисленных параметров технология современного приборостроения способна обеспечить повторяемость с отклонениями от номинала не более 0,1-0,3%. Предварительная оценка показывает, что вклад в относительную погрешность позиционирования курсора в этом случае может составить до 0,3%, что даст дополнительную абсолютную погрешность

система для дистанционного управления компьютером, патент № 2216766Xmax1=INT(0,3%система для дистанционного управления компьютером, патент № 22167661024+0,5)=3 пикселя;

система для дистанционного управления компьютером, патент № 2216766Ymax1=INT(0,3%система для дистанционного управления компьютером, патент № 2216766768+0,5)=3 пикселя.

Тогда оценки для абсолютных погрешностей позиционирования курсора мыши при его перемещении с помощью процессора 4 вдоль осей Х и Y экрана составят

система для дистанционного управления компьютером, патент № 2216766Хmах=система для дистанционного управления компьютером, патент № 2216766Хmах0+система для дистанционного управления компьютером, патент № 2216766Хmах1=6 пикселей;

система для дистанционного управления компьютером, патент № 2216766Ymax=система для дистанционного управления компьютером, патент № 2216766Ymax0+система для дистанционного управления компьютером, патент № 2216766Ymax1=6 пикселей.

Рассчитанные погрешности система для дистанционного управления компьютером, патент № 2216766Xmax, система для дистанционного управления компьютером, патент № 2216766Ymax позиционирования курсора мыши приемлемы для любого из приложений, используемого для презентаций. На практике это означает, что движение курсора на экране презентаций будет выполняться по сетке с шагом 3 пикселя по горизонтали (система для дистанционного управления компьютером, патент № 2216766Хmах0) и вертикали (система для дистанционного управления компьютером, патент № 2216766Ymax0), при этом максимальное отклонение положения курсора мыши от центра пятна лазерного луча на экране может составлять 6 пикселей по горизонтали (система для дистанционного управления компьютером, патент № 2216766Хmах0) и вертикали (система для дистанционного управления компьютером, патент № 2216766Ymax0).

Алгоритм расчета координат лазерного пятна и определения состояния устройства управления

Алгоритм расчета основан на априорной информации о модуляции тока лазера 8. Алгоритм также опирается на следующие предположения, проверенные экспериментально.

Пятно лазерного луча 17 на экране презентаций или других объектах внешней среды дает в телевизионном изображении связную область точек в 2-мерном пространстве координат (NL, NS) видеокамеры 2. Под связностью понимается тот факт, что при выбранном расстоянии D для любой пары точек пятна NL0, NS0 и NL1, NS1 всегда можно построить путь, состоящий из точек пятна, причем соседние точки пути находятся друг от друга на расстоянии dсистема для дистанционного управления компьютером, патент № 2216766D.

Если изображение от видеокамеры содержит несколько пятен, ранжированных по средней освещенности точек, то пятно от лазера 8 будет иметь ранг в пределах от 0 (наиболее освещенное пятно) до NmaxGr (наименее освещенное пятно). Это утверждение, в частности, дает возможность использовать несколько лазерных указок одновременно. При этом гарантируется, что пятно от лазера 8 будет обязательно зафиксировано системой.

Пятно от лазерного луча 17 имеет вполне определенные размеры по координатам NL и NS. То есть на основе экспериментов можно задать граничные размеры nlmin, nlmax, nsmin, nsmax.

Форма пятна в общем случае не может служить надежным носителем информации, потому что может сильно искажаться следующими факторами: а) углом падения луча на экран или объект; б) возможным волнистым характером поверхности объекта. Кроме того, уверенное выделение формы пятна на экране и особенно на произвольных объектах внешней среды требует существенных вычислительных мощностей, что неприемлемо для недорогой системы, работающей в реальном времени.

Цвет пятна также не следует использовать в качестве носителя информации, так как это требует более дорогой цветной видеокамеры, а также более сложных и дорогих электронных компонентов системы.

Расчет координат лазерного пятна и определения состояния лазерной указки выполняется на подготовительном и основном этапах.

На подготовительном этапе в течение текущего кадра видеосигнал от ПЗС-камеры оцифровывается и сохраняется в одном из видеобуферов VB0...VB7. На этом этапе производится предварительная селекция точек в пространстве координат видеокамеры (NL, NS) по критерию максимальной освещенности для уменьшения избыточности сохраняемой информации. В каждом кадре информация сохраняется в своем буфере таким образом, что к моменту окончания текущего кадра видеобуферы VB0. ..VB7 всегда содержат информацию о последних восьми кадрах видеоизображения от камеры 2.

Основной этап расчета выполняется по окончании текущего кадра (во время обратного хода луча). Этап разбивается на пять шагов.

Шаг 1. Для каждого из буферов VB0...VB7 выделяются NMaxGr связных областей в пространстве координат видеокамеры (NL, NS), то есть выделяются элементы изображения, похожие на пятна от лазерного луча.

Шаг 2. Полученные связные области для каждого из буферов VB0...VB7 исследуются на соответствие геометрическим характеристикам пятна nlmin, nlmax, nsmin, nsmax. Отобранных областей, то есть пятен, будет не более NmaxGrсистема для дистанционного управления компьютером, патент № 22167668. Затем для каждого из пятен Sij (где i=0...7 есть номер буфера VBi, a j= l NMaxGr есть номер пятна в буфере VBi) вычисляются координаты центра пятна (XSij, YSij) и освещенность ZSij. XSij есть соответствующая координата NS, a YSij есть координата NL центра пятна. Координаты XSij, YSij, ZSij могут вычисляться по различным критериям: это могут быть усредненные координаты точек пятна или координаты самой освещенной точки пятна.

Шаг 3. На этом шаге производится перенумерация и упорядочивание видеобуферов.

Буфер VB0 сейчас содержит информацию о текущем кадре, т.е. о кадре 0.

Буфер VB1 сейчас содержит информацию о предыдущем кадре, т.е. о кадре -1.

Буфер VB2 сейчас содержит информацию о кадре -2.

.................................................. ................

Буфер VB7 сейчас содержит информацию о кадре -7.

По окончании упорядочивания буферов образуются две цепочки буферов: четная (VB0, VB2, VB4, VB6) и нечетная (VB1, VB3, VB5, VB7).

Шаг 4. На этом шаге измеряются расстояния Di (i=0...7) между центрами пятен в четной и нечетной цепочках буферов. В качестве исходного пятна берется пятно буфера VB0 с максимальной интенсивностью. Измерение расстояний между центрами пятен производится в 3-мерном пространстве координат (XSij, YSij, ZSij). Для простоты изложения предположим NmaxGr=l, т.е. в каждом из буферов рассматривается ровно одно пятно. Расчет Di поясняется схемой на фиг.5.

Шаг 5. На этом шаге анализируется вектор полученных расстояний D0, D1... D7. При анализе используется константа С, полученная опытным путем на этапе подготовки производства системы. Решающее правило для определения состояния системы и расчета координат "лазерной мыши" отображено на фиг 6.

Замечание. Для случая NMaxGr>l шаги 4 и 5 повторяются. При этом цепочки расстояний (D0, D2, D4, D6 и D1, D3, D5, D7) рассчитываются по тем пятнам, которые дают минимальные значения расстояний.

Методика связывания координат устройства управления с координатами компьютерной мыши

В случае применения системы для компьютерных презентаций задача связывания координат устройства управления 1 в режиме "лазерной мыши" с координатами компьютерной мыши решается один раз на этапе подготовки производства системы. Задача связывания координат решается за несколько шагов.

Шаг 1. На этом шаге определяются граничные точки области изменения экранных координат пятна лазерного луча. Как указывалось выше, области изменения этих координат следующие:

NL изменяется от 0 до NLmax,

NS изменяется от 0 до NSmax,

где NLmax=312 (PAL, SECAM) и NSmax=479 при частоте оцифровки 8 МГц.

В соответствии с этими значениями 2-мерная область изменения экранных координат пятна лазерного луча будет представлять собой прямоугольник со следующими угловыми точками: Р0(0, 0); P1(NLmax, 0); P2(0, NSmax); P3(NLmax, NSmax).

Шаг 2. На этом шаге образ полученной двухмерной области наносится на экран 15 для компьютерных презентаций. В помещении монтируется контрольный образец системы. Видеокамеру 2 и проектор 16 следует располагать рядом напротив середины верхнего края экрана 15 (см. фиг.7). Это размещение видеокамеры и проектора задается элементами крепления (кронштейн и др.) для серийно выпускаемой системы.

Контрольный образец системы включается в рабочий режим, процессор 4 транслирует значения координат луча 17 в компьютер 7 без преобразования. На компьютере запускается специальная технологическая программа, которая отображает на экране монитора значения экранных координат, поступающих от процессора 4.

Луч 17 системы направляется на экран 15 и перемещается до тех пор, пока технологическая программа не зафиксирует экранные координаты луча (0, 0), т. е. точку Р0. Соответствующая геометрическая точка на экране 15 помечается маркером. Аналогичная операция выполняется и для точек P1, P2, Р3. Полученные точки на экране 15 соединяются отрезками прямых, образуя многоугольник. При указанном выше размещении видеокамеры 2 и проектора 16 многоугольник представляет собой в общем случае равнобедренную трапецию. Эта трапеция (на фиг.7 отображена сплошной линией) с большой степенью точности является образом вышеуказанной двухмерной области изменения экранных координат пятна лазерного луча 17. Трапеция отображается краской на экране 15.

Шаг 3. На этом шаге в рабочую программу процессора 4 вносятся коэффициенты пересчета экранных координат луча 17 в координаты мыши компьютера. Эти коэффициенты равны:

Сх=Xmax/NLmax,

Су=Ymax/NSmax,

где Xmax есть разрешение экрана монитора компьютера по горизонтали,

Ymax есть разрешение экрана монитора компьютера по вертикали.

Разрешения Xmax, Ymax назначаются в соответствии с возможностями проектора.

Тогда расчетные формулы связи координат пятна лазера и мыши будут представлять собой простые соотношения:

Хmouse=NLсистема для дистанционного управления компьютером, патент № 2216766Сx; (1)

Ymouse=NSсистема для дистанционного управления компьютером, патент № 2216766Су, (2)

где NL, NS - координаты пятна луча лазера;

Xmouse, Ymouse - соответствующие координаты мыши.

Рабочая программа процессора 4 запускается с рассчитанными Сх, Су, а на экран 15 выводится изображение от проектора 16. Так как видеокамера 2 и проектор 16 расположены в пространстве рядом, проецируемое изображение с достаточной точностью будет также представлять собой равнобедренную трапецию (отображена на фиг.7 пунктирной линией), подобную трапеции [Р0, Р1, Р2, Р3]. Изображение от проектора следует выровнять по верхней (Р0, Р2) и левой (Р0, Р1) сторонам изображенной трапеции.

Шаг 4. На этом шаге луч лазера в режиме "лазерной мыши" устройства управления 1 перемещается внутри области, заданной трапецией [Р0, Р1, Р2, Р3]. При перемещении визуально контролируется отклонение положения компьютерной мыши от положения пятна. Если это отклонения по Х и Y для любой из точек не превышает 1-2% от разрешения по Х и Y, задача связывания координат лазерного пятна и компьютерной мыши может считаться законченной. Если требуемая величина отклонений не достигнута, решение задачи связывания координат продолжается.

Шаг 5. На этом шаге корректируются связи координат пятна и лазерной мыши. Предлагается выполнять коррекцию с помощью табулирования координат пятна луча лазера и координат мыши в опорных точках по узлам сетки и последующей интерполяции.

На экране монитора и экране презентации отображается сетка, имеющая К узлов по горизонтали и М узлов по вертикали. Узлы сетки N(k,m) (k=1...K, m= 1. . . M) имеют известные координаты и используются в качестве опорных точек при интерполяции. На компьютере также запускается программа, которая фиксирует значения текущих координат пятна лазера (поступающих от блока 4) и рассчитанных по формулам (1), (2) координат мыши.

Затем луч лазера последовательно направляется в узлы сетки, отображенной на экране презентации. Данные каждой из опорных точек записываются в таблицу, формат которой представлен в таблице.

Пусть в узел сетки N на экране презентации направлен луч лазера. Рассчитанные процессором 4 по формулам (1), (2) значения координат мыши Xmouse, Ymouse перевели курсор мыши в некоторое положение, в общем случае не совпадающее с узлом сетки N. Значения Xmouse1, Ymouse1 задаются при формировании сетки. Соответствующие значения NL, NS фиксируются и отображаются контрольной программой. Эти шесть чисел заносятся в таблицу.

Затем по полученной таблице известными методами строятся две интерполяционные функции. Эти функции позволяют более точно связывать координаты устройства управления 1 в режиме "лазерной мыши" с координатами реальной компьютерной мыши, чем соотношения (1), (2). Формулы связи примут вид:

Xmouse =Fx(NL,{dX(k,m)},{dY(k,m)}) k=1...K, m=1...M; (3)

Ymouse =Fy(NS,{dX(k,m)},{dY(k,m)}) k=1...K, m=1...M, (4)

где Fx(), Fy() - интерполяционные функции по координатам X, Y;

NL, NS - координаты пятна лазера;

{dX(k,m)}, {dY(k,m)} - векторы отклонений рассчитанных координат мыши от координат соответствующих узлов.

На практике при расчетах Xmouse, Ymouse используются не все компоненты векторов dX, dY, а только отклонения от ближайших Xmouse1, Ymouse1 к рассчитанным по предварительным формулам (1), (2) значениям Xmouse, Ymouse (см. фиг. 8). Формулы связи (3), (4) используются на заключительной стадии расчетов. Затем полученные координаты мыши Xmouse, Ymouse через интерфейс 5 подаются в компьютер 7.

Класс G06F3/033 указательные устройства, перемещаемые пользователем, например "мыши", шаровые манипуляторы (трекболы), перья или джойстики; принадлежности для них

способ управления электронными приборами и пульт дистанционного управления для его осуществления -  патент 2520318 (20.06.2014)
способ бесконтактного управления компьютером (варианты) -  патент 2519286 (10.06.2014)
колесо прокрутки -  патент 2509342 (10.03.2014)
способ (варианты) и устройство для управления источником тока, а также сварочный шлем для пользователя источником тока -  патент 2498886 (20.11.2013)
стилус -  патент 2498389 (10.11.2013)
устройство ввода информации - полиджойстик для гиперманевренного управления -  патент 2497177 (27.10.2013)
способ определения координат манипулятором типа "пространственная мышь" и устройство для его осуществления -  патент 2480813 (27.04.2013)
устройство для ввода информации -  патент 2468413 (27.11.2012)
гибридное устройство управления курсором оконного интерфейса и/или графического пользовательского интерфейса персонального компьютера -  патент 2465633 (27.10.2012)
способ коммутации электрических цепей и многофункциональный переключатель для его осуществления -  патент 2455678 (10.07.2012)

Класс G09G5/08 для управления курсором

Наверх