способ отображения на экране мобильного терминала связи аудиовизуального ряда, преимущественно относящегося к одному событию, сформированного при съемках несколькими камерами и пользовательское устройство воспроизведения - мобильный терминал связи для осуществления способа

Формула изобретения

1. Способ отображения на экране мобильного терминала связи аудиовизуального ряда, преимущественно относящегося к одному событию, включающий

одновременное получение аудиовизуальной информации от, по меньшей мере, двух источников, отображающих событие окружающей среды в различных ракурсах, обеспечивающих возможность получения видеоизображения и/или звука,

объединение кадров исходных изображений в едином потоке видеоинформации,

передачу полученной аудиовизуальной информации от указанных источников на, по меньшей мере, один мобильный терминал связи с обеспечением ее синхронизации,

прием аудиовизуальной информации, по меньшей мере, одним мобильным терминалом связи,

формирование на экране указанного мобильного терминала связи поля аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации,

при одновременном формировании, по меньшей мере, одного поля аудиовизуального ряда, закрытого от взгляда пользователя маской графических примитивов,

необходимую смену аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.

2. Мобильный терминал связи, содержащий

компонент приема аудиовизуальной информации полученной от, по меньшей мере, двух источников, обеспечивающих возможность получения видеоизображения и/или звука, отображающих событие окружающей среды в различных ракурсах, преимущественно видеокамер,

компонент формирования на экране мобильного терминала связи поля аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации,

при одновременном формировании, по меньшей мере, одного поля аудиовизуального ряда, закрытого от взгляда пользователя маской графических примитивов,

причем пользовательский интерфейс включает средства доступа к аудиовизуальному ряду, не интересующему пользователя,

и являющийся оконечным пунктом канала двусторонней связи с, по меньшей мере, двумя указанными источниками аудиовизуальной информации,

в составе которого выделен модуль объединения видеоизображений, обеспечивающий синхронизацию изображений друг относительно друга до попадания в вещательный тракт и получением итоговой последовательности видеоизображения, сжимаемого и передаваемого по каналу двусторонней связи.

Описание изобретения к патенту

Предлагаемое изобретение относится к области мобильной связи, а именно к мобильным терминалам связи, обеспечивающим отображение транслируемого аудиовизуального ряда.

В настоящее время известны и достаточно широко используются пользовательские устройства воспроизведения, обеспечивающие отображение на экране нескольких визуальных полей, каждое из которых обеспечивает отображение какой-либо самостоятельной информации или же информации из одного и того же источника в различных ракурсах. Таким образом, пользователь может видеть на экране трансляции событий из различных мест, трансляцию событий с текстовыми или визуальными комментариями и т.п. Пример подобного решения приведен в заявке в патентное ведомство Японии JP 2004228699, опубликованной 12.08.2004 и выбранной в качестве ближайшего аналога предлагаемого способа и реализующего способ пользовательского устройства воспроизведения. В заявке JP 2004228699 на стороне сервера осуществляется объединение нескольких потоков видеоинформации и соответственно объединение одной или нескольких аудиодорожек, что обеспечивает пользователя описанной выше трансляцией, отображенной на нескольких полях экрана пользователя.

Однако при осуществлении описанной в JP 2004228699 трансляции не предусмотрена синхронизация изображений в канале передачи друг относительно друга, задача синхронизации изображений перекладывается на пользовательское устройство, то есть очевидна вероятность сбоев при трансляции разнородных потоков информации в особенности при нестабильных параметрах канала передачи или изменения параметров трансляции со стороны пользователя. В случае же использования решения по заявке JP 2004228699 для получения изображений на дисплеях мобильных терминалов связи из-за небольшого размера дисплея невозможно осуществить эффективное переключение с одного ракурса на другой.

В свою очередь предлагаемые способ и пользовательское устройство позволят устранить упомянутые недостатки и обеспечат синхронизацию нескольких видеоизображений при передаче по нестабильным каналам связи, наибольший эффект от синхронизации нескольких изображений будет достигнут при передаче нескольких изображений одного события. При этом полоса пропускания для нескольких видеоизображений и звука будет меньше, чем для информации передаваемой раздельно. Особенно важным результатом, который будет достигнут при использовании предлагаемых способа и устройства, будет возможность переключения с одного ракурса на другой на дисплеях мобильных терминалов связи.

Указанный технический результат достигается при использовании способа отображения на экране мобильного терминала связи аудиовизуального ряда, преимущественно относящегося к одному событию, который предусматривает одновременное получение аудиовизуальной информации от, по меньшей мере, двух источников, отображающих событие окружающей среды в различных ракурсах, обеспечивающих возможность получения видеоизображения и/или звука. Далее объединяют кадры исходных изображений в едином потоке видеоинформации, передают полученную аудиовизуальную информацию от указанных источников на, по меньшей мере, один мобильный терминал связи с обеспечением ее синхронизации. Аудиовизуальную информацию принимает, по меньшей мере, один мобильный терминал связи. На экране указанного мобильного терминала связи формируют поле аудиовизуального ряда, отображающее для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации. При этом, по меньшей мере один аудиовизуальный ряд, интересующий пользователя, доступен взгляду пользователя, а, по меньшей мере, один аудиовизуальный ряд, не интересующий пользователя, закрыт от взгляда пользователя маской графических примитивов. При необходимости обеспечивают смену аудиовизуального ряда при воздействии пользователя на интерфейс мобильного терминала связи.

Описанный выше способ реализуется при использовании мобильного терминала связи, являющегося оконечным пунктом канала двусторонней связи с, по меньшей мере, двумя указанными источниками аудиовизуальной информации. Мобильный терминал связи содержит компонент приема аудиовизуальной информации полученной от, по меньшей мере, двух источников, обеспечивающих возможность получения видеоизображения и/или звука, отображающих событие окружающей среды в различных ракурсах, преимущественно видеокамер. Компонент формирования на экране мобильного терминала связи поля аудиовизуального ряда отображает для пользователя аудиовизуальную информацию, полученную от по меньшей мере одного из источников такой информации, при одновременном формировании, по меньшей мере, одного поля аудиовизуального ряда, закрытого от взгляда пользователя маской графических примитивов. Пользовательский интерфейс мобильного терминала связи обеспечивает указанное формирование поля аудиовизуального ряда, а также средства доступа к аудиовизуальному ряду, интересующего пользователя. По меньшей мере, один доступный взгляду пользователя аудиовизуальный ряд, интересующий пользователя, отображен на соответствующем ему поле интерфейса мобильного терминала связи. По меньшей мере, один аудиовизуальный ряд, не интересующий пользователя, закрыт от взгляда пользователя маской графических примитивов интерфейса мобильного терминала связи.

Под мобильным терминалом связи 1 подразумевается программируемый терминал мобильной связи типа iPhone или iPad, подключаемый к сети связи и обеспечивающий прием аудиовизуальной информации от нескольких источников 2₁ 2_n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие какое-либо событие (например, массовое мероприятие, конференцию) в различных ракурсах, а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 2₁ 2_n аудиовизуальной информации и мобильный терминал связи 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1₁, в качестве которого может быть использован модем, декодер и т.п. Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 4 ₁ 4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 2₁ 2_n. В свою очередь не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской расположенной поверх потоков аудиовизуальной информации. Интерфейс 1₃ обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 4₁ 4_n, то есть переключение с одного интересующего пользователя поля на другое.

Решение может быть использовано при съемке какого-либо действия или мероприятия, представляющего интерес для зрителей, несколькими видеокамерами 2₁ 2_n, например, при съемке интервью, массового мероприятия и т.п. Аналогично предложенное решение может быть использовано и для получения информации из различных удаленных друг от друга источников, например от видеокамер, установленных на удалении друг от друга. От каждого источника - видеокамеры 2₁ 2_n получают свой ракурс снимаемого события, который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 2 ₁ 2_n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение - мобильный терминал связи 1 или же на нужное число терминалов 1 с обеспечением объединения изображений в соответствующем модуле и синхронизации информации. Таким образом, обеспечивается качественная передача информации по нестабильным каналам без занятия излишней полосы пропускания.

Формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио-/видеопакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Дополнительно следует отметить, что известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.

Компонент 1₁ пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 41 4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. При этом, по меньшей мере один, доступный взгляду пользователя аудиовизуальный ряд, интересующий пользователя, отображается на соответствующем ему поле, например поле, занимающем большую часть дисплея. В свою очередь не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской расположенной поверх потоков аудиовизуальной информации. Типовыми средствами пользовательского интерфейса 1₃ обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, и, конечно, осуществлять подстройку громкости звука, Также производится смена положения и/или размера полей 4₁ 4_n. Таким образом, обеспечивается переключение с одного ракурса на другой.

Таким образом, предложены способ отображения аудиовизуального ряда и мобильный терминал связи, которые обеспечат качественную трансляцию аудиовизуального ряда при возможности настройки параметров трансляции.