способ и система и для просмотра изображения на устройстве отображения

Формула изобретения

1. Способ для просмотра изображения на устройстве отображения, предусматривающий выполнение следующих операций:

- выделяют, по меньшей мере, одну область на изображении;

- детектируют строки и столбцы изображения, относящиеся к фону и к переднему плану;

- выводят на устройство отображения изображение, у которого выделенные области выводят в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируют в соответствии со следующими правилами:

- все области изображения одновременно выводятся на устройство отображения;

- степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану;

- степень деформации строк и столбцов, относящихся к переднему плану, изменяется по мере удаления от выделенных областей;

- изменяют масштаб выделенных областей, при этом изменяется отображение остальных областей изображения в соответствии с приведенными выше правилами;

- перемещают выделенные области по полю изображения, при этом изменяется отображение остальных областей изображения в соответствии с приведенными выше правилами.

2. Способ по п.1, отличающийся тем, что детектируют строки и столбцы изображения, относящиеся к фону и к переднему плану посредством выполнения следующих действий:

- применяют фильтр высоких частот вдоль строк и столбцов яркостной составляющей изображения;

- вычисляют для каждой строки и столбца количество пикселов фильтрованного изображения, которые превышают предопределенный порог;

- если в строке/столбце количество таких пикселов меньше, чем предопределенное значение, то данную строку/столбец относят к фону, иначе данную строку/столбец относят к переднему плану.

3. Способ по п.1, отличающийся тем, что деформируют области изображения путем уменьшения их размера с использованием переменного коэффициента уменьшения.

4. Способ по п.1, отличающийся тем, что изменяют масштаб выделенных областей совместно и одинаково для всех таких областей.

5. Способ по п.1, отличающийся тем, что изменяют масштаб выделенных областей независимо для каждой выделенной области.

6. Система для просмотра изображения на устройстве отображения, включающая в себя:

- модуль анализа изображения, выполненный с возможностью детектирования на входящем изображении строк и столбцов, относящихся к фону и переднему плану, при этом вход модуля является входом системы, через который поступает изображение для отображения; выход модуля подключен к входу модуля генерации кадров, на который выдается информация о том, какие строки и столбцы относятся к фону, а какие к переднему плану;

- модуль генерации кадра для отображения, выполненный с возможностью генерации кадра таким образом, что выделенные области выводятся в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируются в соответствии со следующими правилами:

- все области изображения одновременно выводятся на устройство отображения;

- степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану;

- степень деформации строк и столбцов, относящихся к переднему плану, изменяется по мере удаления от выделенных областей;

- один вход модуля генерации кадра подключен к выходу модуля анализа изображения, а второй вход модуля генерации кадра подключен к выходу устройства ввода информации;

-.выход модуля генерации кадра подключен к входу устройства отображения;

- устройство ввода информации пользователем, выполненное с возможностью выделения, по меньшей мере, одной области изображения и изменения текущих координат и масштаба выделенных областей;

- устройство отображения, выполненное с возможностью визуализации кадра, получаемого от модуля генерации кадра для отображения.

7. Система по п.6, отличающаяся тем, что устройство ввода информации пользователем и устройство отображения выполнены в виде сенсорного экрана.

Описание изобретения к патенту

Заявляемое изобретение относится к технологиям обработки цифровых сигналов, а более конкретно к системам и способам для просмотра и навигации по цифровому изображению, размеры которого превышают размеры экрана.

В настоящее время мобильные устройства, такие как смартфоны, планшеты и электронные книги, широко распространены во всем мире. Эти устройства обладают достаточными вычислительными возможностями для работы с цифровыми изображениями, в том числе с изображениями документов и книг. Однако зачастую пиксельные размеры этих изображений значительно превышают относительно небольшие экраны мобильных устройств и просмотр таких изображений доставляет пользователям значительные неудобства. В первую очередь это актуально для документов с "жестким" форматированием, таких как, например, PDF и для больших изображений, таких как географические карты. Размер подобных изображений, особенно в увеличенном виде, может значительно превышать размер экрана. В этом случае практически невозможно обеспечить комфортные условия просмотра и навигации по изображению.

Из уровня техники известны различные способы вывода изображения на экран и просмотра изображений. На сегодняшний день один из распространенных способов просмотра изображений документов реализован, например, в мобильном приложении Polaris Office 3.0 (см. www.infraware.co.kr/eng/01_product/product17.asp) [1]. Исходное изображение (см. Фиг.1) визуализируется в Polaris Office, как показано на Фиг.3. Также на Фиг.3 приведен график изменения масштаба просмотра изображения вдоль вертикальной оси для способа, используемого в Polaris Office. Пользователь видит только часть (301) изображения или страницы документа. Уменьшенная копия изображения (303) (миниатюра) используется для обозначения просматриваемой в данный момент части изображения. Данная миниатюра появляется на несколько секунд при перемещении пользователем области просмотра. Процедура навигации по изображению может быть довольно утомительна: пользователь должен много раз перемещать область просмотра по изображению, при этом понять какую область пользователь просматривает в настоящий момент можно только по миниатюре, которая загораживает часть просматриваемого изображения.

Из уровня техники известны некоторые способы, направленные на то, чтобы сделать процесс просмотра изображения и навигации по нему более удобным за счет анализа, сегментации и обработки изображения. Например, в выложенной патентной заявке США 2009/0189920 [2] страница документа, содержащая текст и графику, сегментируется на области. Для каждой области, в зависимости от ее типа, конструируется функция изменения масштаба. В ходе интерактивной навигации по полю изображения документа, масштаб показа изображения автоматически настраивается для каждой из сегментированных областей.

Известны также несколько способов, предназначенных для вывода на экран одновременно всех частей документа, но в различном масштабе. Патент Японии 2009080573 [3] описывает способ вывода изображения на экран, в котором область просмотра (регион интереса) выводится на устройство отображения в увеличенном масштабе, а другие области выводятся с фиксированным уменьшенным масштабом. Фиг.4 иллюстрирует работу данного способа для исходного изображения (см. Фиг.1, вид 1.1). Также на Фиг.4 приведен график изменения масштаба просмотра изображения вдоль вертикальной оси для способа согласно [3].

Патент Японии 2011112678 [4] защищает способ вывода изображения на устройство отображения, в котором одна выделенная область изображения отображается в увеличенном масштабе, а масштаб остальных областей постепенно уменьшается по направлению к краям устройства отображения. На Фиг.5 приведен график изменения масштаба просмотра изображения вдоль вертикальной оси для способа согласно [4].

К недостаткам технических решений [3] и [4] следует отнести тот факт, что они не позволяют выделять на изображении несколько областей, что создает определенные неудобства для пользователя, работающего с изображениями документов, на которых представлены несколько колонок текста и таблицы. Кроме того, в этих решениях невыделенные области изображения всегда только уменьшаются, не предоставляя пользователю иных опций. Тем не менее, техническое решение [4] выбрано в качестве прототипа заявляемого изобретения.

Задача, на решение которой направлено заявляемое изобретение, состоит в том, чтобы сделать комфортным для пользователя просмотр изображений, размер которых превышает размер устройства отображения. Технический результат достигается за счет разработки способа и системы для комфортного просмотра изображения на устройстве отображения с эффектом масштабирования произвольно выбранных областей изображения для их детального рассмотрения и деформации по определенным правилам остальных областей изображения, причем заявляемый способ предусматривает выполнение следующих операций:

- выделяют, по меньшей мере, одну область на изображении;

- детектируют строки и столбцы изображения, относящиеся к фону и к переднему плану;

- выводят на устройство отображения изображение, у которого выделенные области выводят в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируют в соответствии со следующими правилами:

- все области изображения одновременно выводятся на устройство отображения;

- степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану;

- степень деформации строк и столбцов, относящихся к переднему плану, изменяется по мере удаления от выделенных областей;

- изменяют масштаб выделенных областей, при этом изменяется отображение остальных областей изображения в соответствии с приведенными выше правилами;

- перемещают выделенные области по полю изображения, при этом изменяется отображение остальных областей изображения в соответствии с приведенными выше правилами.

Следует уточнить, что при детектировании строк и столбцов изображения, относящихся к фону и к переднему плану, предлагается выполнять следующие действия:

- применяют фильтр высоких частот вдоль строк и столбцов яркостной составляющей изображения;

- вычисляют для каждой строки и столбца количество пикселов фильтрованного изображения, которые превышают предопределенный порог;

- если в строке/столбце количество таких пикселов меньше предопределенного значения, то данная строка/столбец относится к фону, иначе данная строка/столбец относится к переднему плану.

Также имеет смысл предусмотреть, чтобы деформацию областей изображения осуществляли путем уменьшения их размера с использованием переменного коэффициента уменьшения. Изменение масштаба выделенных областей выполняют совместно и одинаково для всех таких областей. Альтернативно, изменение масштаба выделенных областей выполняют независимо для каждой выделенной области.

Как видно из вышеизложенного, заявляемый способ содержит этап анализа изображения, в котором детектируются строки и столбцы изображения, относящиеся к фону и к переднему плану. Степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану. Строки и столбцы фона деформируются (как правило, сжимаются) сильнее. Это позволяет за счет более компактного расположения объектов переднего плана одновременно увидеть на экране больше полезной информации и использовать более комфортные для просмотра масштабы.

В отличие от решений [3] и [4] заявляемое изобретение позволяет выделять на изображении несколько областей, которые выводятся в выбранном комфортном для просмотра масштабе. Это удобно, например, для просмотра изображений документов с несколькими колонками текста и таблиц.

Кроме того, в отличие от решений [3] и [4] заявляемое изобретение позволяет использовать для невыделенных изображений любую деформацию/искажение. Это позволяет создавать впечатляющие и неординарные визуальные эффекты при навигации по изображению.

Операции (этапы) заявляемого способа показаны на Фиг.6. На этапе 601 выделяют, по меньшей мере, одну область на изображении, предназначенном для просмотра. Анализ изображения для детектирования строк и столбцов изображения, относящихся к фону и к переднему плану, выполняют на этапе 602. Данный анализ включает в себя следующие шаги: применяют фильтр высоких частот вдоль строк и столбцов для яркостной составляющей изображения; вычисляют для каждой строки и столбца количество пикселов фильтрованного изображения, которые превышают предопределенный порог; если в строке/столбце количество таких пикселов меньше предопределенного значения, то данная строка/столбец относится к фону, иначе данная строка/столбец относится к переднему плану.

На этапе 603 изображение выводят на устройство отображения, у которого выделенные области выводят в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируют в соответствии со следующими правилами:

- все области изображения одновременно выводятся на устройство отображения;

- степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану;

- степень деформации строк и столбцов, относящихся к переднему плану, изменяется по мере удаления от выделенных областей.

Деформация/искажение невыделенных для просмотра областей может осуществляться любым подходящим для этого способом. Например, простейшей и быстрейшей с точки зрения реализации деформацией является масштабирование строк и столбцов в сторону уменьшения их размера с использованием переменного коэффициента уменьшения. Зависимость изменения коэффициента уменьшения может быть задана различным образом, например, линейной, параболической, кусочно-постоянной и т.д.

На этапе 604 изменяют масштаб выделенных областей, при этом изменяется отображение остальных областей изображения в соответствии с изложенными выше правилами. Существуют различные не ограничивающие варианты очередности изменения масштаба для каждой из областей, например можно изменять масштаб выделенных областей совместно и одинаково для всех таких областей или можно изменять масштаб выделенных областей независимо для каждой выделенной области.

На заключительном этапе 605 перемещают выделенные области по полю изображения, при этом изменяется отображение остальных областей изображения в соответствии с заявленными выше правилами.

Для реализации заявляемого способа разработана система, которая обеспечивает возможность просмотра изображения на устройстве отображения и содержит в себе:

- модуль анализа изображения, выполненный с возможностью детектирования на изображении строк и столбцов, относящихся к фону и переднему плану, при этом на вход модуля поступает изображение для отображения, на выход модуля выдается информация о том, какие строки и столбцы относятся к фону, а какие к переднему плану, и данная информация передается в модуль генерации кадра для отображения;

- модуль генерации кадра для отображения, выполненный с возможностью генерации кадра таким образом, что выделенные области выводятся в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируются в соответствии со следующими правилами:

- все области изображения одновременно выводятся на устройство отображения;

- степень деформации строк и столбцов, относящихся к фону, отличается от степени деформации расположенных рядом с ним строк и столбцов, относящихся к переднему плану;

- степень деформации строк и столбцов, относящихся к переднему плану, изменяется по мере удаления от выделенных областей;

- два входа модуля генерации кадра подключены к выходу модуля анализа изображения и выходу устройства ввода информации, соответственно;

- выход модуля генерации кадра подключен к входу устройства отображения;

- устройство ввода информации пользователем, выполненное с возможностью выделения, по меньшей мере, одной области изображения и изменения текущих координат и масштаба выделенных областей;

- устройство отображения, выполненное с возможностью визуализации кадра, получаемого от модуля генерации кадра для отображения.

Фиг.7 показывает блок-схему системы, осуществляющей заявленный способ для просмотра изображения на устройстве отображения. Модуль 701 анализа изображения детектирует на изображении строки и столбцы, относящиеся к фону и переднему плану, на вход модуля поступает изображение для отображения, на выход модуля выдается информация о том, какие строки и столбцы относятся к фону, а какие к переднему плану, и данная информация передается в модуль 702 генерации кадра для отображения. В иллюстрированном неограничивающем примере под передним планом понимаются информационные области изображения, такие как символы, рисунки, изображения, элементы векторной графики и т.п. Под задним планом понимаются области изображения, относящиеся к фону и не содержащие графической информации.

Модуль 702 генерации кадра для отображения генерирует кадр так, что выделенные области выводятся в предопределенном масштабе, а строки и столбцы остальных областей изображения деформируют в соответствии с тремя правилами, заявленными в сопутствующем способе для просмотра изображения на устройстве отображения. На вход данного модуля поступают изображение для отображения, при этом информация о том, какие строки и столбцы относятся к фону, а какие к переднему плану, передается из модуля анализа изображения, координаты и масштаб выделенной области или областей передаются из устройства 703 ввода информации пользователем. На выходе модуля 702, соединенного с входом устройства 704 отображения, формируется подготовленный кадр, который и передается на устройство 704 отображения.

Устройство 703 ввода информации пользователем позволяет выделить, по меньшей мере, одну область изображения и изменять текущие координаты и масштаб выделенных областей. Устройство 704 отображения визуализирует кадр, получаемый от модуля 702 генерации кадра для отображения.

Все перечисленные модули могут быть выполнены в виде систем на кристалле (SoC), программируемых логических матриц (FPGA) или в виде специализированных интегральных схем (ASIC). Функционирование модулей понятно из их описания и описания соответствующего способа.

В качестве примера, иллюстрирующего работу заявляемого изобретения, на Фиг.1 показано исходное необработанное изображение и сгенерированный кадр. На кадре выделены две области 101 и 102 просмотра. Для выделенных областей установлен комфортный для просмотра масштаб. Остальные области изображения (например, область 103) деформированы согласно заявляемому способу, в соответствии с иллюстрацией, масштаб этих областей изменяется и масштаб тем меньше, чем дальше эти области расположены от выделенных областей.

График изменения масштаба просмотра изображения вдоль вертикальной оси в заявляемом способе (см. Фиг.2) подчеркивает отличия данного способа от известных из уровня техники. Области в полосах изображения обозначенных С1, С2, С3 и С4 содержат строки относящиеся к фону. Эти области уменьшаются достаточно сильно, по крайней мере, сильнее, чем соседние с ними области, относящиеся к переднему плану. Это обеспечивает неравномерное масштабирование областей вне выделенных областей просмотра в зависимости от их значимости для пользователя. Масштаб в выбранных областях на пересечении полосы D2 с полосами D5 и D7 является постоянным. Коэффициент уменьшения для остальных областей в полосах D4, D6 и D8 растет по мере удаления от выделенных областей.

Примеры реализации заявленного изобретения иллюстрируются на фигурах 8-12, где:

Фиг.8 - Пример выделенной области на сенсорном экране в вертикальной ориентации.

Фиг.9 - Пример выделенной области на сенсорном экране в горизонтальной ориентации.

Фиг.10 - Пример перемещения выделенной области на сенсорном экране.

Фиг.11 - Пример увеличения масштаба выделенной области с помощью движения "разведение пальцев" (pinch-out).

Фиг.12 - Пример уменьшения масштаба выделенной области с помощью движения "сведение пальцев" (pinch-out).

В предпочтительном варианте реализации изобретения устройство ввода информации пользователем и устройство отображения объединены и выполнены в виде сенсорного экрана. В этом случае, основные функции взаимодействия пользователя с устройством могут включать в себя несколько основных приемов, описанных ниже и реализующих заявляемые способ и систему.

Фиг.8 иллюстрирует начало просмотра изображения на экране 801, в режиме, соответствующем заявленному изобретению. Область 802 просмотра выделяется автоматически согласно настройкам, учитывающим размер экрана.

Размер выделенной области 902 и ее позиция может быть различным в зависимости от ориентации экрана 901 устройства, как это показано на Фиг.9.

Фиг.10 иллюстрирует перемещение выделенной области просмотра. Перемещение осуществляется за счет ее «перетаскивания» на экране в новую предпочтительную позицию. Процедура «перетаскивания» включает в себя следующие этапы: пользователь касается экрана в точке 1002, находящейся в пределах текущей выделенной области 1001, и, не прекращая касания, перемещает точку прикосновения на новую позицию 1003, затем перестает касаться экрана. По мере перемещения точки касания, модуль 702 генерации кадров формирует кадры, отображающие изменение всех областей на изображении с учетом изменяющегося положения выделенной области. Высокая частота генерации кадров (несколько десятков кадров в секунду), позволяет анимировать перемещение и сделать интерфейс привлекательным для пользователя.

Изменение размеров выделенной области осуществляется за счет перемещения границы выделенной области. Пользователь касается экрана около границы выделенной области. В ответ на это действие для удобства пользователя граница области может быть отмечена любым подходящим для этого способом, например: визуализацией ограничивающего прямоугольника или изменением прозрачности выделенной области и т.п. Далее пользователь перемещает границу выделенной области на новое положение и прекращает касание. Изменение границ области осуществляется пропорционально перемещению.

Фиг.11, 12 иллюстрируют варианты взаимодействия пользователя с сенсорным экраном для изменения масштаба просматриваемого изображения. Увеличение масштаба выделенной области может быть реализовано с помощью движения "разведение пальцев" (pinch-out), включающего в себя следующие этапы: пользователь касается двух точек внутри выделенной области и, не прекращая касания, выполняет их перемещение. Выделенная область просмотра масштабируется пропорционально изменению расстояния между точками касания. При уменьшении расстояния выполняется масштабирование в сторону уменьшения, при увеличении расстояния, выполняется масштабирование в сторону увеличения изображения. Кроме того, возможно ступенчатое изменение масштаба отображения выделенной области, например, двойное касание с малым временным интервалом в одной точке в пределах выделенной области соответствует увеличению масштаба на одну ступень. Однократное касание в двух рядом расположенных точках соответствует уменьшению масштаба на ступень.

Создание дополнительной выделенной области возможно за счет осуществления двойного касания с малым временным интервалом в точке, находящейся за пределами уже присутствующих выделенных областей на экране. В ответ на указанное действие создается выделенная область, центр которой соответствует точке двойного касания. Размеры этой области соответствуют предустановленным значениям, но при этом область не должна выходить за пределы экрана или пересекаться с уже присутствующими выделенными областями.

Удаление выделенной области осуществляется за счет ее перемещения за пределы экрана или двойного касания в одной точке на границе области.

Дальнейшие аспекты изобретения могут быть получены из рассмотрения рисунков и описания предпочтительных реализаций. Специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, заявленного в прилагаемой формуле изобретения. Например, заявленное изобретение может быть применимо для просмотра изображения на телевизоре или проекторе, при этом управление просмотром может быть реализовано другими подходящими способами, например за счет распознавания жестов, голосовых команд или движения глаз. Также заявленное изобретение может быть применено для просмотра видео.

Данные система и способ предназначены для просмотра изображений документов и любых других изображений, например фотографий, на устройствах, имеющих экран или сенсорный экран. Особенно удобно использовать заявленные способ и систему в случае, когда размеры изображения значительно превышают размеры экрана. Таким образом, изобретение может быть успешно применено в мобильных телефонах и смартфонах, электронных записных книжках, планшетах, электронных книгах, цифровых фоторамках, дисплеях персональных компьютеров и телевизоров.