сеть связи и устройства для преобразования текста в речь и текста в анимацию лица

Формула изобретения

1. Система связи, содержащая:

отправляющее устройство;

приемное устройство, и

сеть, которая соединяет отправляющее устройство с приемным устройством;

в которой отправляющее устройство содержит:

по меньшей мере одно управляемое пользователем устройство ввода для ввода последовательности текстовых символов в качестве сообщения и средство передачи для отправки упомянутого сообщения по сети;

при этом приемное устройство содержит:

запоминающее устройство, которое сохраняет изображения головы;

средство приемника для приема сообщения, содержащего последовательность текстовых символов;

средство преобразования текста в речь для преобразования текстовых символов сообщения в аудиосообщение, соответствующее последовательности текстовых символов;

средство анимации для формирования анимированного частичного трехмерного изображения головы из изображения головы, сохраненного в запоминающем устройстве, которое ассоциировано с отправителем сообщения,

при этом средство анимации анимирует по меньшей мере одну черту лица головы, причем анимация соответствует перемещениям, выполняемым головой при чтении сообщения;

средство отображения для отображения анимированной частичной трехмерной головы; и

средство акустической системы для вывода аудиосообщения синхронно с отображаемой головой,

отличающееся тем, что

запоминающее устройство сохраняет множество изображений голов, каждое из которых ассоциировано с различным отправляющим устройством и содержит изображение головы при просмотре спереди, включающее в себя участки лица, волос и шеи, и тем, что запоминающее устройство дополнительно включает в себя трехмерную сетку, которая задается посредством набора из соединенных узлов, которые, в общем, лежат в одной плоскости вокруг периферийной области сетки, и узлов внутри упомянутой периферии, которые возвышаются над плоскостью так, чтобы соответствовать чертам лица, при этом средство анимации формирует частичное трехмерное изображение головы посредством наложения изображения головы на сетку, причем черты лица в области лица изображения головы совмещаются с выступающими чертами лица сетки и участки волос накладываются на плоскую периферийную области сетки.

2. Система по п.1, в которой одна сетка сохраняется в запоминающем устройстве приемного устройства для использования в визуализации анимированной головы от любого отправителя, изображение головы которого сохранено в устройстве приемника.

3. Система по п.1, в которой отдельная анимация сетки сохраняется для анимации каждой речевой фонемы, требуемой для того, чтобы произносить сообщение.

4. Система по п.1, в которой сохраненное изображение головы содержит фотографию головы при просмотре спереди.

5. Система по п.1, в которой с каждым изображением головы в запоминающем устройстве ассоциированы одна или более координат, которые задают местоположение на сетке черты лица, которая должна быть анимирована.

6. Система по п.1, в которой каждое изображение головы ассоциировано с идентификатором, который указывает идентификационные данные отправителя сообщения, ассоциированного с этим изображением лица.

7. Система по п.1, в которой в запоминающем устройстве предоставляется набор правил, которые задают фонему, которая должна использоваться для заданной комбинации или последовательности текстовых символов.

8. Система по п.1, в которой сеть содержит сотовую телефонную сеть, а каждое из отправляющего устройства и приемного устройства являются сотовым телефоном.

9. Система по п.1, в которой передаваемое сообщение отправляется в формате данных мгновенного обмена сообщениями, таком как ХМРР.

10. Система по п.1, в которой устройство приемника включает в себя средство формирования изображений, которое одновременно отображает множество изображений голов на дисплее, при этом одно или более из них анимируется посредством средства анимации в любое время.

11. Система по п.10, в которой упомянутое средство формирования вынуждает изображения голов отображаться так, что анимированное изображение головы отображается в такой позиции, что кажется, что оно находится перед другими изображениями голов, и выполнено с возможностью перемещать изображения каждый раз, когда одно изображение головы должно быть анимировано, чтобы перемещать это изображение на передний план.

12. Система по п.11, в которой средство формирования отображает изображения голов по кругу.

13. Система по п.10, в которой запоминающее устройство устройства отправителя или устройства приемника включает в себя метку группы, ассоциированную с каждым изображением головы, и средство формирования изображений одновременно отображает все изображения голов, которые содержат одинаковую метку группы.

14. Устройство связи, выполненное с возможностью отправлять и принимать сообщения по сети, содержащие:

запоминающее устройство, которое сохраняет изображение головы, содержащее изображение головы при просмотре спереди, включающее в себя участки лица, волос и шеи;

средство приемника для приема сообщения, содержащего последовательность текстовых символов;

средство преобразования текста в речь для преобразования текстовых символов сообщения в аудиосообщение, соответствующее последовательности текстовых символов;

средство анимации для формирования анимированного частичного трехмерного изображения головы;

средство отображения для отображения анимированной головы; и

средство акустической системы для вывода аудиосообщения синхронно с отображаемой анимированной головой, при этом средство анимации анимирует по меньшей мере одну черту лица головы, причем анимация соответствует перемещениям, выполняемым головой при чтении сообщения,

отличающееся тем, что

запоминающее устройство хранит множество изображений голов, каждое из которых ассоциировано с различным отправляющим устройством и содержит изображение головы при просмотре спереди, включающее в себя участки лица, волос и шеи,

средство анимации формирует частичное трехмерное изображение головы из изображения головы, сохраненной памяти, которое ассоциировано с отправителем сообщения,

и запоминающее устройство дополнительно включает в себя трехмерную сетку, которая задается посредством набора из соединенных узлов, которые, в общем, лежат в одной плоскости вокруг периферийной области сетки, и узлов внутри упомянутой периферии, которые возвышаются над упомянутой плоскостью так, чтобы соответствовать чертам лица, при этом средство анимации формирует частичное трехмерное изображение головы посредством наложения изображения головы на сетку, причем черты лица в области лица изображения головы совмещаются с выступающими чертами лица сетки и участки волос и шеи накладываются на плоскую периферийную области сетки.

15. Способ формирования анимированной частичной трехмерной модели головы для отображения на дисплее, отличающийся тем, что содержит этапы, на которых:

выбирают карту, имеющую частичную трехмерную поверхность, заданную как сетка из соединенных узлов, при этом каждый узел размещается на поверхности, и групп узлов, задающих полигоны, которые, в свою очередь, задают контуры упомянутой поверхности, причем поверхность лежит, в общем, в одной плоскости в периферийной области и выступает из этой плоскости в центральной области, соответствующей топологии лица;

выбирают двумерное изображение головы/лица, которое просматривается спереди, которое включает в себя лицо, окружающие волосы и участок шеи, подгоняя изображение к поверхности карты, чтобы предоставлять частичную размерную модель лица, при которой лицо имеет контуры, соответствующие чертам лица, и в которой волосы наложены на плоскую периферийную область;

выбирают из структуры данных по меньшей мере одну определяемую пользователем координату, которая определяет местоположение на сетке части черты лица в модели;

выбирают по меньшей мере одну черту лица; и

размещают упомянутую черту на карте в позиции, заданной посредством определяемой пользователем координаты.

16. Способ по п.15, который содержит дополнительные этапы, на котором визуализируют модель, заданную посредством структуры данных, на дисплее.

17. Способ по п.16, в котором этап визуализации включает в себя этап, на котором предоставляют визуализированную анимированную модель по меньшей мере одной черты лица, такой как рот или глаза, и размещают их на отображаемом соответствующем изображении с координатами, указанными в структуре данных.

18. Способ по п.15, в котором упомянутая структура данных сохраняется в запоминающем устройстве, при этом структура данных служит для представления анимированной модели головы/лица, которая может быть визуализирована как изображение на дисплее, и содержит:

карту, имеющую частичную трехмерную поверхность, заданную как сетка из соединенных узлов, при этом каждый узел размещается на поверхности, и групп узлов, задающих полигоны, которые, в свою очередь, задают контуры упомянутой поверхности, причем поверхность лежит, в общем, в одной плоскости в периферийной области и выступает из этой плоскости в центральной области, соответствующей топологии лица;

двумерное изображение головы/лица, которое просматривается спереди, которая включает в себя лицо, окружающие волосы и участок шеи, и может быть согласовано с поверхностью карты, чтобы предоставлять частичную трехмерную модель лица, при которой лицо имеет контуры, соответствующие чертам лица, и в которой волосы наложены на плоскую периферийную область;

по меньшей мере одну определяемую пользователем координату, которая задает в модели местоположение внутри трехмерной сетки части черты лица; и

по меньшей мере одну черту лица, которая находится на карте в позиции, заданной посредством определяемой пользователем координаты.

Описание изобретения к патенту

Данное изобретение относится к сетям связи и к устройству для использования при отправке и приеме сообщений через сеть связи. Оно также относится к новому способу представления сообщения пользователю и к информации кодирования структуры данных, которая может использоваться для того, чтобы представлять изображение лица, ассоциированное с отправителем сообщения, читателю сообщения.

В настоящее время, предусмотрено множество различных сетей связи, которые широко используются для того, чтобы предоставлять возможность персональной связи на дальние расстояния. Традиционно единственной формой связи является отправка письма или использование телефона, но новейшая тенденция заключается в развитии мгновенной или практически мгновенной связи в письменной форме. Примерами таких форм связи являются электронные почтовые сообщения и текстовые сообщения (или более правильно, SMS- или MMS-сообщения).

В случае электронных почтовых сообщений и текстовых сообщений, отправитель печатает сообщение в отправляющем устройстве, таком как мобильный телефон или персональный компьютер. Сообщение затем отправляется через электронную сеть в устройство приемника. Пользователь затем может принимать отправляемое сообщение и отображать текст на дисплее, ассоциированном с устройством.

Хотя эти виды связи оказались очень популярными, особенно для более молодых пользователей, в течение некоторого времени было ощущение, что эти сообщения могут быть неправильно интерпретированы, поскольку в них отсутствует какой-либо способ выражений эмоций отправителя. Они также являются в некоторой степени обезличенными и трудными для чтения пользователями, которые имеют нарушения зрения.

Одно частичное решение этой проблемы заключается в том, чтобы создавать систему символов, известных как эмотиконы (значки настроения), которые могут быть включены в напечатанное сообщение. Эти символы представляют выражения и помогают читателю определять эмоции, которые должны выражаться отправителем. Например, лицо с "улыбочкой" (смайлик) может быть вставлено для того, чтобы демонстрировать то, что отправитель доволен.

Цель, по меньшей мере, одного аспекта настоящего изобретения заключается в том, чтобы, по меньшей мере, частично снижать проблему включения выражения или других форм персонализации в напечатанное сообщение, отправляемое по сети связи, такое как текстовое сообщение, почтовое сообщение или мгновенное сообщение.

Согласно первому аспекту, изобретение предоставляет систему связи, содержащую:

- отправляющее устройство;

- приемное устройство, и

- сеть, которая соединяет отправляющее устройство с приемным устройством;

- при этом отправляющее устройство содержит:

- по меньшей мере, одно управляемое пользователем устройство ввода для ввода последовательности текстовых символов как сообщения и средство передачи для отправки сообщения по сети;

- при этом приемное устройство содержит:

- запоминающее устройство, которое сохраняет множество изображений голов, каждое из которых ассоциировано с различным отправляющим устройством и содержит изображение головы при просмотре спереди;

- средство приемника для приема сообщения, содержащего последовательность текстовых символов;

- средство преобразования текста в речь для преобразования текстовых символов сообщения в звуковое сообщение, соответствующее последовательности текстовых символов;

- средство анимации для формирования анимированного частичного трехмерного изображения головы из изображения головы, сохраненного в запоминающем устройстве, которое ассоциировано с отправителем сообщения, при этом средство анимации анимирует, по меньшей мере, одну черту лица головы, причем анимация соответствует перемещениям, выполняемым головой при чтении сообщения;

- средство отображения для отображения анимированной частичной трехмерной головы; и

- средство акустической системы для вывода звукового сообщения синхронно с отображаемой головой.

В общем, большая часть смысла и распознавания, передаваемого при общении между людьми, переносится посредством выражения лица и знакомства одного пользователя с внешним видом лица другого. Представление черт лица в этом изобретении допускает большую точность, поскольку оно может быть основано на цифровой фотографии пользователя или отправителя, что уже является хорошим сходством, и заставляет анимированное частичное трехмерное изображение, описанное в данном документе, выглядеть на приемнике как реалистичное и распознаваемое представление отправителя сообщения.

Посредством выполнения преобразования текстового сообщения в анимированное и речевое сообщение в приемном устройстве отсутствует дополнительная нагрузка на сеть по сравнению с передачей и отображением сообщения только с текстом. Дополнительно, визуализация анимированной головы из изображений, предварительно сохраненных в запоминающем устройстве приемного устройства, устраняет необходимость отправлять изображение с передаваемым сообщением. Дополнительно, использование частичной трехмерной, а не полной трехмерной визуализации дополнительно снижает вычислительную нагрузку.

Под частичной трехмерной подразумевается, что анимированная отображаемая голова не является полным трехмерным представлением головы. В этом смысле, оно может содержать двумерное изображение (изображение головы может быть двумерным изображением, таким как снимок, сделанный с помощью фотокамеры), которое искажается в определенных местах, чтобы придавать ему некоторую глубину в Z-плоскости так, чтобы черты лица выступали из двумерной плоскости. Другие части изображения могут оставаться двумерными. Это частичное трехмерное изображение является двумерным изображением, которое искажается и принудительно выглядит трехмерным. Отображаемое изображение может быть немного наклонено слева вправо посредством простого изменения ориентации основной плоскости, которая может соответствовать внешней границе изображения. Поскольку чертам лица придается глубина в Z-плоскости при наклоне, изображение, просматриваемое на дисплее, кажется действительно трехмерным. Сетка также может вращаться в трех плоскостях, чтобы заставлять голову казаться наклоненной в одну сторону или немного вверх или вниз при кивающем движении или повороте из стороны в сторону.

Запоминающее устройство, следовательно, может включать в себя трехмерную сетку, которая задается посредством набора соединенных узлов, которые придают глубину в Z-плоскости в иных отношениях двумерному изображению головы. Все узлы, в общем, могут лежать в одной плоскости вокруг внешней границы сетки, и узлы в рамках внешней границы могут возвышаться над плоскостью так, чтобы соответствовать чертам лица. Средство анимации может формировать частичное трехмерное изображение головы посредством наложения изображения головы на сетку, причем черты лица в области лица изображения головы совмещаются с выступающими чертами лица сетки. Черты лица, следовательно, продавливаются вперед в Z-плоскости. Другие части головы, такие как волосы, могут оставаться плоскими за счет попадания на внешнюю границу.

Следовательно, эта сетка может реплицировать трехмерную топологию, которая должна была бы получаться в результате, если бы голова прижималась к обратной стороне листа упругого материала, который туго натянут в рамке. Материал должен продавливаться вперед посредством черт лица, таких как нос и брови, и губы, и при этом оставаться в той же плоскости за пределами области лица.

Эта трехмерная сетка, которая выступает в областях черт лица, но является плоской за пределами этих областей, предоставляет возможность простого отображения на сетке изображения головы, которое включает в себя волосы или другие черты вне контура лица. Это значительно проще, чем формирование полной трехмерной модели, и дает превосходные результаты с точки зрения достигаемого реализма. С помощью трехмерной модели невозможно достигать реалистичного представления волос. Выступающие черты лица дают возможность незначительного вращения изображения головы в трех плоскостях в ходе анимации и придают ему вид действительно трехмерного, даже если оно является только частично трехмерным.

Сетка может иметь, в общем, прямоугольный контур, чтобы соответствовать прямоугольному контуру типичного прямоугольного дисплея. Это дает возможность растягивания динамического изображения так, чтобы заполнять дисплей при необходимости.

Только одна сетка сохраняется в запоминающем устройстве приемного устройства для использования в визуализации анимированной головы от любого отправителя, изображение головы которого сохранено в устройстве приемника. Это уменьшает объем памяти, требуемый для того, чтобы предоставлять анимированное изображение головы, по сравнению с хранением множества сеток, возможно, даже одной в расчете на каждое изображение головы. Конечно, при необходимости может быть сохранено более одной сетки.

Сетка может моделироваться с помощью множества линий, соединенных с узлами, которые имитируют присоединение лица к костям черепа, перемещение "костей", вызывающее перемещение узлов относительно друг друга в сетке, чтобы создавать анимацию.

Отдельная анимация сетки может быть сохранена для анимации каждой речевой фонемы.

Сохраненное изображение головы может содержать фотографию, такую как цифровая фотография или другое двумерное изображение головы (фотографическое или стилизованное) при просмотре спереди. Это типично может быть фотография головы отправителя. Изображение может иметь такие размеры, что лицо имеет заданный размер, который совпадет с размером лица в трехмерной сетке. Этого можно добиваться из любой фотографии посредством обрезания или изменения масштаба изображения по мере необходимости. Для максимального реализма изображение должно включать в себя область вокруг лица, показывающую части волос и шеи, которые должны лежать на плоской части трехмерной сетки.

Следовательно, фотография может быть отредактирована перед использованием, возможно, для того чтобы улучшать или маскировать черту лица отправителя. Альтернативно это может быть любая фотография головы/лица пользователя, такого как актор/актриса или певец, или другая знаменитость. Она может быть захвачена посредством цифровой камеры или с помощью цифрового сканера. Отправитель затем может выбирать ассоциировать себя с этим изображением головы.

С каждым изображением головы в запоминающем устройстве могут быть ассоциированы одна или более координат, которые задают местоположение на сетке черты лица, которая должна быть анимирована. Очевидно, что это может быть местоположение рта. Координаты других черт, которые могут быть анимированы, также могут быть сохранены. Они могут включать в себя глаза и брови.

Запоминающее устройство может сохранять одну или более черт лица, которые могут быть анимированы, такие как рот, глаза, брови и т.д. Если предоставляется более одной версии каждой черты, например две или больше различных форм глазницы, параметр может быть ассоциирован с каждым изображением головы, чтобы указывать то, какая из черт должна использоваться в анимации.

Дополнительно, изображение головы может быть ассоциировано с идентификатором, который указывает идентификационные данные отправителя сообщения, ассоциированного с этим изображением лица.

Изображение головы, координаты и идентификатор могут быть сгруппированы как одна структура данных. Она затем может легко передаваться из одного устройства в другое каждый раз, когда устройства впервые соединяются по сети. Типично, данные должны передаваться через сервер или другого посредника.

Передающее устройство может передавать идентификатор вместе с сообщением или как часть сообщения. В своей простейшей форме идентификатор может содержать уникальный сетевой адрес (IP-адрес, телефонный номер и т.д.) устройства передатчика. Этот идентификатор затем может сопоставляться с корректным изображением головы в устройстве приемника.

Изображение головы может быть сохранено на приемном устройстве до приема сообщения как часть процесса начальной установки, когда он первый раз указывается для того, чтобы принимать сообщение от нового пользователя. Этот процесс мог быть инициирован посредством запроса приемным устройством изображения головы, которое затем отправляется посредством передатчика. Альтернативно, он может быть инициирован пользователем, который хочет отправлять сообщение в устройство приемника первый раз.

Существенно, что передача изображения головы не осуществляется повторно после начальной установки. Это также означает, что дополнительные данные не должны отправляться с текстовым сообщением. Конечно, если изображение головы изменилось, оно может быть повторно отправлено в измененной форме при необходимости, но если оно не изменяется, оно должно быть отправлено только один раз в ходе начальной установки.

Средство преобразования может включать в себя словарь, который сохраняется в запоминающем устройстве приемного устройства, который перечисляет фонемы для различных последовательностей текстовых символов.

Если словарь предоставляется, он может включать в себя средство сравнения для сравнения текста в сообщении со словами или звуками в словаре, чтобы составлять звуковое сообщение.

Словарь также может сохранять, для одного или более звуков (предпочтительно, для каждого звука), которые должны составлять звуковое сообщение, анимацию черты лица, которая соответствует тому звуку, который должен отображаться посредством средства анимации. Она может содержать анимированный рот, но также может включать в себя пару анимированных глаз или другой черты, такой как брови.

Альтернатива словарю, который является более предпочтительным, состоит в том, чтобы использовать основанную на правилах схему преобразования текста в речь. Она может быть реализована посредством предоставления в запоминающем устройстве набора правил, которые задают фонему, которая должна использоваться для данной комбинации или последовательности текстовых символов. Запоминающее устройство также может включать в себя набор исключений, которые указывают последовательности текстовых символов, которые не соответствуют правилам.

Использование набора правил приводит к более компактной реализации преобразователя текста в речь по сравнению с системой на основе полного словаря. Это имеет значение, если устройство приемника содержит мобильное устройство, такое как телефон, который имеет ограниченную доступную память по сравнению с более крупным настольным компьютерным устройством. Правила могут быть предоставлены для нескольких языков, и предусматривается то, что практически любой язык может быть преобразован из текста в речь с использованием системы согласно настоящему изобретению при условии, что заданы достаточные правила.

Звуковое сообщение может содержать любой звуковой формат, который известен в данной области техники и который может быть преобразован в аналоговый аудиосигнал посредством приемного устройства. Он может содержать, например, файл в формате.wav.

Сеть может содержать сотовую телефонную сеть, и отправляющее и приемное устройство могут содержать сотовый телефон. Она может содержать стационарную телефонную сеть со стационарными телефонами для отправляющих и приемных устройств. Сообщения могут содержать текстовые сообщения в SMS- или MMS-формате или аналогичном ему.

Более предпочтительно, передаваемое сообщение может отправляться в одном из стандартных форматов данных мгновенного обмена сообщениями, таких как XMPP и, в частности, Jabber. Это предпочтительно, поскольку передача выполняется быстрее, чем в других мобильных протоколах, таких как SMS или MMS, и является более дешевой.

Альтернативно, сеть может содержать Интернет или другую форму сети связи, а устройства могут содержать любые устройства, которые позволяют отправлять данные через Интернет, такие как PCIG, PDA, портативные компьютеры, планшетные ПК, смартфоны и т.д.

Средство передачи варьируется в зависимости от того, в какой сети должно использоваться устройство. Например, оно может содержать антенну для телефонной GSM-сети или антенну Wi-Fi-сети, или порт передачи данных для подключения к Интернету.

Для отправителя сообщения выгодно знать, присутствует или отсутствует ли намеченный получатель в его приемном устройстве. Если отправляющее устройство поддерживает связь с сервером обмена сообщениями и может быть выполнено с возможностью указывать то, находится получатель онлайн, получатель не желает, чтобы его беспокоили, или получатель отсутствует. Это предоставляет возможность отправителю выбирать, сможет ли он проводить двухсторонний сеанс связи посредством сообщений с намеченным получателем или он должен просто отправлять одностороннее сообщение. Сервер может включать в себя средство для того, чтобы сохранять сообщения, намеченный получатель которых отсутствует, и впоследствии перенаправлять сообщения, когда получатель возвращается.

Средство отображения может содержать жидкокристаллический дисплей, который может быть монохромным или цветным. Он должен иметь частоту обновления, достаточную для того, чтобы предоставлять возможность плавной анимации лица, к примеру, больше чем 12 кадров в секунду.

Средство акустической системы может содержать небольшой динамик, встроенный в устройство, или, возможно, съемный головной телефон, подключенный посредством проводной или беспроводной линии связи к устройству.

Следует понимать, что все ключевые признаки, такие как дисплей и акустическая система, и средство приемника, и средство передатчика, могут быть найдены в устройстве, таком как мобильный телефон. Следовательно, одно устройство может выступать в качестве как устройства отправителя, так и устройства приемника.

Важно, что сообщение указывает идентификационные данные отправителя так, чтобы устройство приемника могло выбирать лицо, чтобы отображать, которое соответствует пользователю отправляющего устройства. На практике, они могут содержать номер телефона устройства отправителя (для сети связи) или адрес электронной почты для Интернета.

Типично, множество сотен или тысяч отправляющих и приемных устройств могут быть подключены к сети. В этом случае, приемное устройство может сохранять базу данных различных лиц для отображения, причем каждое из них соответствует различному отправителю сообщения.

Посредством предоставления анимированных голов/лиц представление сообщения значительно усовершенствуется. При использовании аудио это делает устройство подходящим для нового множества пользователей, например, пользователей с нарушениями зрения или с трудностями чтения. Оно также персонализирует приемы и возможности чтения сообщений, поскольку идентификационные данные пользователя могут быть видны в изображении.

Устройство приемника также может включать в себя средство формирования изображений, которое одновременно отображает множество изображений голов на дисплее, при этом только одно из них анимируется посредством средства анимации в любое время. Средство формирования может вынуждать отображение изображений так, что анимированное изображение головы отображается в такой позиции, что оно кажется находящимся перед другими изображениями головы. Оно может перемещать изображения каждый раз, когда одно изображение головы должно быть анимировано, так чтобы перемещать это изображение на передний план.

Средство формирования может отображать изображения голов по кругу, которые перемещаются как карусель, когда изображение головы требуется на переднем плане для анимации.

Посредством одновременного отображения множества голов, пользователь устройства приемника может легко идентифицировать возможных людей, с которыми он может общаться по сети.

Отправляющее устройство также может включать в себя аналогичное средство формирования изображений, которое одновременно отображает изображения голов на экране. Пользователь может манипулировать устройством так, чтобы перемещать изображение головы на передний план, чтобы указывать то, что сообщение должно быть отправлено в устройство приемника, ассоциированное с этим изображением головы.

Запоминающее устройство устройства отправителя (или устройства приемника) может включать в себя метку группы, ассоциированную с каждым изображением головы, и средство формирования изображений может одновременно отображать все изображения голов, которые содержат одну метку группы.

Более одной метки группы может быть ассоциировано с каждым изображением головы, и пользователь может работать с устройством, чтобы выбирать то, какая группа должна отображаться. Например, могут быть предоставлены метка группы "работа" и метка группы "друзья".

Согласно второму аспекту, изобретение предоставляет устройство связи, выполненное с возможностью отправлять и принимать сообщения по сети, содержащие:

- запоминающее устройство, которое сохраняет множество изображений голов, каждое из которых ассоциировано с различным отправляющим устройством и содержит изображение головы при просмотре спереди;

- средство приемника для приема сообщения, содержащего последовательность текстовых символов;

- средство преобразования текста в речь для преобразования текстовых символов сообщения в звуковое сообщение, соответствующее последовательности текстовых символов;

- средство анимации для формирования анимированного частичного трехмерного изображения головы из изображения головы, сохраненного в запоминающем устройстве, которое ассоциировано с отправителем сообщения, при этом средство анимации анимирует, по меньшей мере, одну черту лица головы, причем анимация соответствует перемещениям, выполняемым головой при чтении сообщения;

- средство отображения для отображения анимированной частичной трехмерной головы; и

- средство акустической системы для вывода звукового сообщения синхронно с отображаемой головой.

Устройство может включать в себя любой из необязательных признаков устройства приемника, описанных относительно первого аспекта изобретения.

Устройство может включать в себя дополнительный словарь тэгов, содержащий символы или последовательности символов (текстовых или иных), которые соответствуют эмоциям. Они иногда называются эмотиконами в данной области техники. Примером является символ , чтобы показывать радость, и , чтобы показывать печаль.

Устройство может быть выполнено с возможностью, при идентификации этого символа, вынуждать анимированное изображение лица выражать эту эмоцию. Например, если эмотикон, указывающий то, что отправитель выражает радость, идентифицирован, он может вынуждать анимированное лицо улыбаться.

Словарь может включать в себя выбор различных черт лица, таких как рты, ассоциированные с каждым звуком. Какой из них использовать, может быть указано посредством идентификатора, ассоциированного с лицом, которое должно отображаться.

Устройство может включать в себя динамик, через который может быть воспроизведена речь. Альтернативно, он может включать в себя порт вывода, через который аудиосигнал может быть передан на динамик. Примером порта вывода служит гнездо для подключения наушников.

Согласно третьему аспекту, изобретение предоставляет устройство связи, содержащее:

- средство создания сообщений для создания письменного сообщения, содержащего последовательность текстовых символов;

- запоминающее устройство, в котором сохраняется структура данных, представляющая изображение головы, выбранное пользователем устройства в качестве идентификатора этого пользователя, и

- средство передачи для отправки сообщения и структуры данных по сети в устройство приемника, вместе или по отдельности,

- при этом структура данных содержит:

- двумерное изображение головы, показывающее лицо при просмотре спереди; и

- по меньшей мере, одну координату, указывающую местоположение анимированной черты лица, которая должна быть наложена на изображение.

Структура данных также может включать в себя метку, которая идентифицирует то, какие из нескольких различных анимированных черт лица должны быть наложены на изображение.

Структура данных может включать в себя координаты для следующего:

- рот;

- пара глаз;

- брови;

- или любая другая черта лица.

Устройство, как указано, может передавать текстовое сообщение и структуру данных как один файл, либо они могут отправляться как прикрепленные файлы или отдельно. Преимущество изобретения состоит в том, что они могут отправляться отдельно, при этом структура данных изображений головы отправляется только один раз, а после этого с каждым сообщением отправляются только текст и идентификатор.

Устройство может быть выполнено с возможностью отправлять файл данных с изображением головы при приеме запроса от устройства, подключенного к сети.

Альтернативно, оно может быть выполнено с возможностью отправлять структуру данных по сети в удаленное устройство, только если устройство не сделало это ранее.

Устройство может включать в себя список контактов, который сохраняет номера или адреса устройств, по которым ранее отправлялись сообщения.

Устройства связи могут содержать мобильные телефоны или PDAS, или персональные компьютеры. Фактически, изобретение применимо к любой форме связи по сети, при которой отправляемое сообщение принимает форму письменного сообщения.

Согласно четвертому аспекту, изобретение предоставляет структуру данных для представления анимированной модели головы/лица, которая может быть визуализирована как изображение на дисплее, содержащую:

- карту, имеющую частичную трехмерную поверхность, заданную как сетка из соединенных узлов, при этом каждый узел размещается на поверхности, и групп узлов, задающих полигоны, которые, в свою очередь, задают контуры поверхности, причем поверхность лежит, в общем, в одной плоскости в периферийной области и выступает из этой плоскости в центральной области, соответствующей топологии лица;

- двумерное изображение головы/лица, которое просматривается спереди и может быть согласовано с поверхностью карты, чтобы предоставлять частичную трехмерную модель лица, при которой лицо имеет контуры, соответствующие чертам лица;

- по меньшей мере, одну определяемую пользователем координату, соответствующую местоположению части черты лица в модели; и

- по меньшей мере, одну черту лица, которая находится на карте в позиции, заданной посредством определяемой пользователем координаты.

Эта структура данных предоставляет эффективную модель или представление лица, которое может использоваться, среди прочего, с предыдущими аспектами изобретения.

Посредством наложения изображения на частичную трехмерную карту, которая является плоской за исключением области, занятой чертами лица, где она выступает за пределы плоскости, это придает внешний вид "как живого", когда модель визуализируется на дисплее, и при этом требует небольшого объема данных для того, чтобы составлять трехмерное изображение, по сравнению с полным трехмерным представлением. Идентификация местоположения черт лица дает возможность добавления анимированных черт, таких как рот или глаза, в ходе визуализации, чтобы добавлять реализм, без необходимости представлять черту в структуре данных. Наличие плоской области вокруг лица позволяет отображать волосы или другие черты вне лица простым, но при этом реалистичным способом.

Согласно пятому аспекту, изобретение предоставляет способ формирования анимированной частичной трехмерной модели головы для отображения на дисплее, содержащий этапы:

- выбора карты, имеющей частичную трехмерную поверхность, заданную как сетка из соединенных узлов, при этом каждый узел размещается на поверхности, и групп узлов, задающих полигоны, которые, в свою очередь, задают контуры поверхности, причем поверхность лежит, в общем, в одной плоскости в периферийной области и выступает из этой плоскости в центральной области, соответствующей топологии лица;

- выбора двумерного изображения головы, показывающего лицо при просмотре спереди; и

- подгонки изображения к поверхности карты, чтобы предоставлять частичную трехмерную модель лица, при которой лицо имеет контуры, соответствующие чертам лица;

- выбора из структуры данных, по меньшей мере, одной определяемой пользователем координаты, соответствующей местоположению части черты лица в модели; и

- выбора, по меньшей мере, одной черты лица; и

- размещение черты на карте в позиции, заданной посредством определяемой пользователем координаты.

Способ может содержать дополнительные этапы визуализации модели, заданной посредством структуры данных, на дисплее. Чтобы осуществлять это, первоначальная карта должна быть сохранена так, чтобы изображению могло быть согласовано с ней до отображения.

Этап визуализации может включать в себя предоставление визуализированной анимированной модели, по меньшей мере, одной черты лица, такой как рот или глаза, и размещение ее на отображаемом соответствующем изображении с координатами, указанными в структуре данных. Способ, следовательно, может содержать этап анимации черты или черт лица.

Посредством добавления анимированных черт, таких как рот или глаза, к преобразованному изображению оно может быть сделано кажущимся достаточно живым.

Читатели должны понимать, что изобретение должно найти применение в областях техники SMS, MMS, электронной почты и мгновенного обмена сообщениями. Оно также может быть расширено без необходимости каких-либо изобретательских усилий, до других форм обмена сообщениями, в которых сообщение отправляется в письменной форме, таких как службы рассылки новостей RSS. Например, устройство воспроизведения может быть настроено так, чтобы принимать новости RSS из любых Интернет-узлов, к примеру, Reuters/BBC, и читать вслух содержимое рассылок новостей конечному пользователю.

Согласно шестому аспекту, изобретение предоставляет способ, содержащий:

- прием сообщения, содержащего последовательность текстовых символов;

- идентификацию отправителя сообщения,

- извлечение из запоминающего устройства структуры данных, представляющей лицо, которое должно отображаться, причем лицо ассоциировано с отправителем сообщения;

- преобразование сообщения в аудиопредставление сообщения;

- генерация анимации рта, которая соответствует аудиопредставлению;

- отображение изображения лица вместе с анимированным ртом одновременно с воспроизведением аудиопредставления так, что кажется, что отображаемая голова читает принимаемое сообщение.

Согласно седьмому аспекту, изобретение предоставляет графический пользовательский интерфейс для сетевого устройства для использования в сети связи, содержащий:

- дисплей;

- запоминающее устройство, которое сохраняет набор изображений голов, каждое из которых соответствует различному устройству, подключенному к сети;

- пользовательское устройство ввода, такое как клавиатура; и

- средство формирования изображений, выполненное с возможностью одновременно формировать изображение каждой головы в наборе на дисплее, при этом одно из изображений голов отображается более заметно, чем другие, и

- при этом средство формирования изображений управляется пользователем через интерфейс так, что пользователь может выбирать, какая из голов должна отображаться наиболее заметно.

Изображения голов могут отображаться с разнесением вокруг эллипса на экране, и пользователь может чередовать головы по эллипсу способом карусели, чтобы менять голову, которая отображается наиболее заметно. Использование эллипса позволяет придавать впечатление размещения голов по кругу на мнимой плоскости, которая уходит за дисплей.

Голове, которая отображается наиболее заметно, можно придавать заметное положение посредством ее отображения перед другими головами. Она может отображаться более крупно, чем другие головы. Она может отображаться с большей яркостью.

Изображения голов могут перемещаться все вместе вокруг эллипса или круга под управлением пользователя, чтобы изменять голову, которой придается наиболее заметное положение. Следовательно, круг может воспроизводиться по частям. Они всегда могут противостоять передней стороне по мере того, как передвигаются.

Следует понимать, что любой признак, описанный в связи с любым предыдущим аспектом изобретения, также может быть комбинирован с признаком другого аспекта, и что защита для этой комбинации может быть найдена в этой заявке на патент.

Запоминающее устройство может сохранять идентификационные данные, ассоциированные с каждым изображением головы, при этом идентификационные данные соответствуют сетевым идентификационным данным устройства в сети. В зависимости от типа устройства и сети, они могут содержать, например, IP-адрес или номер телефона. Следовательно, интерфейс предоставляет интуитивный способ для пользователя устройства, чтобы выбирать адрес пользователя в сети. Это исключает необходимость помнить имена, а в случае с пользователями с затруднениями в приобретении умений и навыков, которые могут быть неспособны читать, исключает необходимость в традиционных текстовых каталогах. Все, что должен делать пользователь, это помнить то, кому соответствует изображение головы, что просто в том случае, если изображения голов являются фактическими изображениями различных пользователей.

Каждое из отображаемых изображений голов может быть анимировано. Глаза каждого изображения голов могут быть анимированы посредством средства формирования изображений, которое может заставлять головы, которые не являются наиболее заметными, иметь такой вид, будто они смотрят на изображение головы, которое является наиболее заметным.

Средство формирования изображений может быть реализовано как программные инструкции, сохраненные в памяти устройства.

Интерфейс, когда используется в телефоне, дает возможность пользователю выбирать другого пользователя, с которым он хочет соединяться по сети. После этого он может отправлять сообщение этому пользователю или даже осуществлять вызов этого пользователя с помощью устройства.

Согласно восьмому аспекту, изобретение предоставляет сетевое устройство, включающее в себя графический пользовательский интерфейс согласно седьмому аспекту изобретения.

Устройство может включать в себя средство для создания подключения к устройству, которое соответствует изображению головы, которое отображается наиболее заметно, например, чтобы выполнять телефонный вызов или отправлять сообщение.

Далее описывается, только в качестве примера, один вариант осуществления настоящего изобретения со ссылкой на прилагаемые чертежи, из которых:

Фиг. 1 - это общее представление сети связи и подключенных устройств в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 - это схематическое представление мобильного телефонного устройства в соответствии, по меньшей мере, с одним аспектом изобретения;

Фиг. 3 иллюстрирует типичное текстовое сообщение, отображаемое на дисплее устройства по фиг. 2 в ходе ввода текста.

Фиг. 4 - это блок-схема последовательности операций способа, показывающая этапы, выполняемые при создании структуры данных, представляющей изображение головы, которое должно быть отправлено по сети,

Фиг. 5(a) является иллюстрацией двумерного изображения лица/головы, которое должно быть визуализировано;

Фиг. 5(b) является представлением типичной карты, используемой при создании визуализированного изображения головы/лица;

Фиг. 6 показывает изображение, соответствующее карте, как оно проталкивается с обратной стороны изображения;

Фиг. 7 иллюстрирует этап нахождения угла черт лица в преобразованном изображении;

Фиг. 8 иллюстрирует готовую структуру данных, требуемую для того, чтобы задавать изображение головы;

Фиг. 9 - это блок-схема последовательности операций способа, иллюстрирующая этапы, вовлеченные в представление сообщения на приемном устройстве;

Фиг. 10 - это общее представление альтернативной системы связи, которая соответствует аспекту настоящего изобретения; и

Фиг. 11 иллюстрирует одновременное отображение набора изображений голов в форме карусели.

Как показано на фиг. 1, пара устройств 10, 20 обработки соединена по сети 30. Сеть содержит сотовую телефонную сеть, которая может переносить как звуковые сообщения, так и сообщения с данными между устройствами, подключенными к сети.

Для ясности, в оставшейся части этого описания одно устройство в сети будет упоминаться как отправляющее устройство 10, а другое - как приемное устройство 20. Отправляющее устройство 10 предоставляет возможность пользователю отправлять сообщение по сети 30. Приемное устройство 20 предоставляет возможность пользователю принимать сообщение, отправляемое по сети 30. На практике, одно устройство может выполнять функции как устройства отправителя, так и устройства 10, 20 приемника.

Типичное отправляющее устройство 10 показано схематично на фиг. 2 из прилагаемых чертежей. Оно содержит клавишную панель 12 для ввода команд и телефонных номеров и дисплей 14, такой как LCD, для отображения данных. Оно также включает в себя первую область энергонезависимого запоминающего устройства 16, в которой сохраняются программные инструкции, предпочтительно состоящую из флэш-памяти, и может находиться либо в карте модуля идентификации абонента (SIM) устройства 10, либо вне SIM-карты как выделенная память устройства 10. Процессор 18 управляет работой устройства 10 в соответствии с инструкциями, сохраненными в запоминающем устройстве.

Запоминающее устройство 16 также должно содержать одно или более сообщений, которые приняты от других устройств, и одно или более сообщений, которые должны быть отправлены или были отправлены из устройства. Они типично размещаются в папках, так называемых папках "Inbox (Входящие)" и "Sent Items (Отправленные)". Пользователь может выбирать просматривать содержимое любой папки с использованием клавиатуры, а затем выбирать для отображения сообщение внутри папки.

Сообщения в этом примере содержат сообщения службы мгновенных сообщений в формате XMPP, но альтернативно могут содержать сообщения согласно другим сетевым протоколам. Пример сообщения 40, которое может быть отправлено и воспроизведено, показан на фиг. 3 из прилагаемых чертежей как отображаемое на типичном экране устройства по фиг. 2 в ходе ввода текста. Сообщение вводится посредством выбора сначала "New message (Новое сообщение)" в экранном меню устройства (не показано), а затем ввода каждого символа через клавиатуру 12. Клавиатура содержит сокращенный набор клавиш, имеющий только 9 текстовых клавиш и 3 функциональных клавиши. Каждая текстовая клавиша содержит несколько символов, и они могут быть выбраны с использованием стратегии ввода в два нажатия или в несколько нажатий. Такие стратегии для ввода текста на сокращенных клавиатурах известны в данной области техники.

Эти устройства обработки широко известны в данной области техники, и также известно, что они предоставляют возможность загружать дополнительные программы в запоминающее устройство 16. Затем они могут вызываться пользователем через клавиатуру 12 и при запуске в процессоре 18 устройства вынуждать его выполнять дополнительные функции. Как показано на фиг. 2, устройство включает в своем запоминающем устройстве две программы. Первая из них является программой 22 связи, которая предоставляет возможность устройству отправлять и передавать звуковые сообщения или сообщения с данными по сети 30. Другая является новой программой 24, называемой программа Amego, которая расширяет представление текстовых сообщений так, чтобы усовершенствовать взаимодействие пользователей с устройством. На практике, может быть сохранено множество много других программ, к примеру, программа калькулятора или календаря.

В этом примере, программа 24, которая сохранена в запоминающем устройстве 16, дает возможность телефону обмениваться данными с другими устройствами по сети 30 новым способом. В частности, она предоставляет возможность пользователю отправлять в удаленное устройство частичное трехмерное представление своей головы (или другой головы реальных или мнимых людей, или модифицированной формы их головы), которая может отображаться на дисплее устройства так, что придает вид "чтения" сообщений отправителей, отправляемых по сети. Программа может быть написана на любом известном языке программирования, который поддерживается посредством отправляющего устройства, и изобретение никоим образом не должно рассматриваться как ограниченное каким-либо конкретным языком программирования. Например, она может быть написана на Java.

Программа при выполнении в процессоре устройства вынуждает устройство выполнять несколько функций:

(1) Она предоставляет возможность пользователю создавать изображение головы или, по меньшей мере, сохраняет определение лица/изображения головы в памяти устройства;

(2) Она отправляет структуру данных, представляющую изображение лица/головы, пользователю либо в ответ на запрос от пользователя, либо при каждом сообщении, либо при первоначальном контакте с новым пользователем;

(3) Она визуализирует на дисплее устройства динамическое изображение лица/головы, как вынуждается посредством удаленного устройства и задано посредством структуры данных;

(4) Она считывает входящие сообщения и преобразует их в речь, которая может прочитываться пользователю устройства, и анимирует отображаемое лицо/изображение головы так, чтобы соответствовать отправителю сообщения.

Далее по очереди поясняются четыре ключевых признака программы:

(1) Создание изображения головы

Устройство при выполнении программы предоставляет возможность пользователю создавать структуру данных, задающую изображение лица/головы, которое должно быть отправлено в удаленное устройство. Оно сохраняет эту структуру данных в запоминающем устройстве таким образом, что к ней можно осуществлять доступ, и после этого она может быть легко передана по сети в другое устройство, при этом требуя относительно небольшой полосы пропускания.

Чтобы создавать визуализированное лицо/изображение головы, программа выполняет функциональные этапы, изложенные на фиг. 4 из прилагаемых чертежей. На первом этапе 41, пользователь запрашивает устройство начинать создание новой головы. Устройство затем запрашивает 42 пользователя предоставлять изображение, в двух измерениях, головы при просмотре спереди, чтобы показывать детальное лицо. Это изображение типично может быть фотографией, захваченной посредством цифровой фотокамеры или отсканированной с напечатанного изображения. Примерное изображение показано на фиг. 5(a) из прилагаемых чертежей.

На следующем этапе 43, изображение отображается на карте трехмерной поверхности, сохраненной в памяти устройства. Карта задается как сетка из соединенных узлов, которые задают поверхность. Карта является, в общем, прямоугольной. Местоположение узлов может быть задано в отношении их позиции (X-Y-координат) относительно основной плоскости (Z-координаты в нуль), и множество узлов может находиться на различной высоте относительно основной плоскости и быть разнесено по области основной плоскости, соответствующей заданному профилю головы. Примерная преобразованная поверхность показана на фиг. 5(b) из прилагаемых чертежей как последовательность полигонов.

Карта является не полным трехмерным представлением головы, а частичным трехмерным представлением. Она служит частично сглаженным представлением того, как модель головы должна выглядеть при просмотре спереди или немного с каждого бока. По сути, она задает нос и брови, которые частично сглажены по сравнению с реальными чертами. Выяснилось, что это идеально подходит для модели головы, которая должна быть показана только спереди, при этом частично сглаженные черты предоставляют определенную перспективу и затенение для законченного изображения головы.

Узлы сетки, в общем, лежат в основной плоскости вокруг всей внешней границы карты. Эта область, следовательно, является плоской. Внутренняя граница этой плоской области, в общем, соответствует контуру головы и лица. В рамках области головы/лица, узлы выступают из основной плоскости так, чтобы задавать черты лица, такие как нос и глаза, и рот, и скулы, лоб и т.п.

Этап подгонки изображения к трехмерной поверхности может рассматриваться аналогичным печати изображения на листе из идеально упругого материала, подвешенного в рамке, и вдавливанию карты в обратную сторону изображения так, чтобы карта выталкивала изображение из его первоначальной плоской плоскости, чтобы соответствовать топологическим чертам карты. Изображение проталкивается до тех пор, пока основная плоскость карты не совпадет с плоскостью изображения. Это показано на фиг. 6(a) из прилагаемых чертежей. Чтобы упрощать этот процесс, перед подгонкой пользователю демонстрируется карта позади изображения, чтобы давать возможность пользователю совмещать карту и изображение на дисплее. Пользователь при необходимости также может масштабировать изображение, чтобы соответствовать карте. Карта затем "подталкивается" к обратной стороне изображения, чтобы сделать его частичной трехмерной моделью.

Конечным результатом является область лица изображения с заданными контурами, при этом область вокруг него, которая может содержать, например, волосы, является плоской. Эта частичная трехмерная модель, когда отображается, может быть слегка наклонена набок, и поскольку она имеет глубину в Z-плоскости, казаться реальной трехмерной головой, поворачивающейся в трех плоскостях. Это можно видеть на фиг. 6(b) из прилагаемых чертежей.

На следующем этапе 44, частичное трехмерное изображение отображается на дисплее, и пользователю предлагается указывать 45 координаты местоположения противостоящих углов рта в отображаемом изображении. Это может быть выполнено посредством показа устройством курсоров на экране, которые пользователь может позиционировать с помощью клавишной панели. Пользователь затем запрашивается указывать, когда он доволен, с помощью позиций курсоров. Как только это выполнено, координаты углов сохраняются в запоминающем устройстве. Пользователю затем предлагается выбирать 46 из вариантов различных черт, которые должны быть предоставлены в данных координатах, к примеру, глазниц различной формы или цвета глаз. Это показано на фиг. 7 из прилагаемых чертежей.

На следующем этапе 47, пользователю предлагается указывать местоположение центра обоих глаз в отображаемом преобразованном изображении.

В завершение, первоначальное двумерное изображение и координаты рта и глаз сохраняются как структура данных, которая представляет готовое изображение головы. Она может содержать один электронный файл. Следует отметить, что предоставляемые сведения по первоначальной топологической карте известны, и это все, что необходимо для того, чтобы воссоздавать изображение головы на любом устройстве. Данные просто приспосабливаются к стандартной карте.

Необязательно, пользователю также предоставляется выбор других черт лица, таких как формы глазницы. Они содержат предварительно запрограммированные анимированные черты, и выбор дает возможность пользователю выбирать предпочтительный цвет или форму глаз и т.д. Идентификационные данные выбранной черты затем сохраняются в структуре данных.

Содержимое структуры данных проиллюстрировано на фиг. 8 из прилагаемых чертежей.

Конечно, можно выполнять этот этап создания на устройстве, отличном от мобильного устройства, таком как персональный компьютер. Это может иметь преимущества с точки зрения простоты использования, поскольку персональный компьютер зачастую имеет более полнофункциональный пользовательский интерфейс, чем мобильное устройство. Например, PC может включать в себя мышь, которая упрощает задачу указания пользователем местоположения рта и глаз.

(2) Отправка изображения головы в удаленное устройство

Как только структура данных, представляющая изображение головы, создана, она может быть сохранена в устройстве отправителя и передана в центральный сетевой сервер, где она сохраняется в базе данных вместе с другими сведениями об отправителе, включающей в себя уникальное средство идентификации. Когда другой пользователь в первый раз связывается с отправителем, этот пользователь должен принимать структуру данных изображения головы отправителя и сохранять ее на собственном устройстве, так чтобы при последующем общении структура данных не должна была отправляться снова, тем самым снижая объем данных, передаваемый при обмене последующими сообщениями. Уникальным средством идентификации может быть уникальный номер, IP-адрес или MAC-адрес, и оно должно быть ассоциировано исключительно со структурой данных изображения головы в базе данных с тем, чтобы сообщения могли корректно маршрутизироваться. Когда пользователи осуществляют изменения своего изображения головы, отправляющее устройство может отправлять отредактированное изображение в базу данных, которая затем может перенаправлять отредактированное изображение во все приемные устройства, которые зарегистрированы в ней как ранее контактировавшие с данным отправителем.

Изображение головы отправляется в удаленное устройство посредством отправки двумерного изображения и координат углов выступающих черт, к примеру, рта и глаз. Это преимущественно в том, что оно может быть сжато до файла небольшого размера по сравнению с отправкой полного трехмерного изображения.

В удаленном устройстве, структура данных сохраняется в запоминающем устройстве, индексированном посредством идентификационных данных отправителя структуры данных. Это важно, поскольку это позволяет удаленному устройству выбирать корректную структуру данных, когда сообщение впоследствии принимается.

(3) Визуализация изображения и чтение сообщения

Важным аспектом программы является ее возможность визуализировать изображение лица/головы на дисплее устройства и анимировать его синхронно с речевой формой текстового сообщения так, что голова, как кажется, читает сообщение. Это действительно является функцией устройства приемника, и она активируется каждый раз, когда пользователь выбирает сообщение, которое сохранено в памяти устройства, и запрашивает устройство отображать сообщение.

Этапы представления речевого и анимированного сообщения пользователю показаны на фиг. 9 из прилагаемых чертежей. На первом этапе 91, определяются идентификационные данные отправителя сообщения. Затем они сверяются 92 с таблицей отправителей, чтобы определять, является ли он опознанным. Если он присутствует в таблице, то выбирается соответствующее изображение головы.

На следующем этапе 93, сообщение анализируется побуквенно или пословно, чтобы идентифицировать фонемы в сообщении. Процесс идентификации может быть осуществлен с использованием словаря звуков речи, сохраненного в памяти устройства. Он содержит базу данных звуковых файлов, каждый из которых соответствует фонеме. Используя эту базу данных, создается аудиофайл, который соответствует сообщению, которое должно быть прочтено. Тем не менее, в этом варианте осуществления, он преобразуется с использованием основанной на правилах схемы, в которой набор правил, сохраненный в запоминающем устройстве, используется для того, чтобы определять, какие звуки должны использоваться для различных последовательностей текстовых символов.

На следующем этапе 94, для изображения головы выбирается рот и анимируется так, что он, как кажется, движется синхронно с фонемами в аудиофайле. На практике, каждая фонема должна быть ассоциирована с последовательностью изображений рта или визем, которые, как кажется, показывают движение рта, как будто он издает звук. Последовательность движений рта сохраняется в структуре данных.

На последнем этапе 95, изображение головы визуализируется на дисплее с изображением рта, накладываемым синхронно с воспроизведением аудиофайла через динамик устройства.

Поскольку карта и анимации могут быть предварительно сохранены в памяти устройства, все, что должно быть принято для того, чтобы добавлять новое изображение лица/ головы для отправителя, - это двумерный графический файл и местоположение черт лица. Это представляет гораздо меньше данных, чем прием готовой трехмерной анимации лица от отправителя, особенно когда могут отображаться лица для нескольких отправителей.

Модификации

Предусмотрены различные усовершенствования в изобретение. В одном усовершенствовании, в памяти устройства может быть предоставлен словарь эмоций. Он должен включать в себя набор заранее заданных выражений лица, идентифицированных посредством последовательностей символов (тэгов), которые могут быть напечатаны в сообщении. Эти последовательности иногда упоминаются как эмотиконы. Для каждого различного выражения лица черты лица должны быть модифицированы таким образом, чтобы демонстрировать это выражение.

Словарь эмоций и словари фонем могут быть комбинированы. Вместо одной анимации рта для каждой фонемы может быть несколько, где каждая соответствует различной эмоции. Корректная анимация выбирается согласно любым эмотиконам, вставленным в сообщение.

Например, если сообщение начинается с тэга/эмотикона:), то анимации рта, соответствующие довольному лицу, могут использоваться для того, чтобы анимировать рот. Если он начинается с эмотикона:(, то может использоваться другой набор выражений рта, соответствующих грустному лицу.

Дополнительно, тон аудио может варьироваться так, чтобы соответствовать эмоции.

В еще одном дополнительном усовершенствовании, устройство может включать в себя средство формирования изображений, которое вынуждает одновременное отображение набора изображений голов на экране. Изображения отображаются способом карусели. Это можно видеть на фиг. 11 из прилагаемых чертежей. Каждый раз, когда изображение головы должно быть анимировано, изображения голов вращаются вокруг карусели до тех пор, пока данное изображение не будет помещено на передний план. Чтобы дополнительно выделять его, оно может быть сделано более крупным, чем другие, или может иметь более высокую яркость.

Устройство также разрешает пользователю перемещать изображения голов вокруг карусели, чтобы давать возможность выбора изображения головы. Сообщение затем может быть введено, и оно отправляется посредством устройства выбранному изображению головы.

Следует также понимать, что хотя предпочтительный вариант осуществления относится к мобильным телефонам, изобретение имеет гораздо более широкое применение, чем данное. В альтернативном варианте осуществления, сообщения содержат электронные почтовые сообщения, и устройство отправителя, и устройство приемника содержат персональные компьютеры (настольные компьютеры, дорожные компьютеры, планшетные ПК или PDA), соединенные друг с другом через Интернет. Это показано на фиг. 11 из прилагаемых чертежей.

В этой компоновке, вместо указания телефонного номера в качестве адреса назначения для SMS-сообщения, указывается адрес электронной почты, и сообщение принимает форму анимированного частичного трехмерного изображения, включенного в почтовое сообщение или в качестве вложения в электронное почтовое сообщение.

По вышесказанному, передача трехмерной головы может быть осуществлена посредством встраивания файла, содержащего информацию, в тело почтового сообщения или посредством прикрепления файла к электронному почтовому сообщению.

Предполагается, что способ предоставления изображений головы для использования со звуковым воспроизведением напечатанного сообщения скоро станет общим международным стандартом. Требуется только загружать программу в устройство, которое имеет дисплей и может принимать сообщения. Программа должна включать в себя стандартную топологическую карту и словарь акустики звуков речи для использования в преобразования текста в аудио. Поскольку только двумерное изображение и координаты черт лица должны быть переданы для того, чтобы отправлять лицо/изображение головы в удаленное устройство, широкая полоса пропускания не является обязательной для того, чтобы предоставлять частичную трехмерную анимацию лица/головы.

В другом альтернативном варианте осуществления, анимированное частичное трехмерное изображение или множество частичных трехмерных изображений могут быть встроены в веб-страницу посредством подключаемого модуля обозревателя, с тем чтобы доставлять речевое сообщение либо другую текстовую информацию или речевую информацию получателю или участвовать в дискуссии между отправителями изображений посредством дисплейных устройств.

В дополнительном альтернативном варианте осуществления, анимированное частичное трехмерное изображение или множество частичных трехмерных изображений могут быть встроены в иных отношениях независимую программу, например, в почтовый клиент или приложение слайд-шоу, или другую программу, чтобы доставлять речевое сообщение либо другую текстовую информацию или речевую информацию пользователю или зрителю посредством дисплейного устройства.