система для анализа при лечении кожи с использованием данных спектральных изображений для генерации трехмерной модели rgb

Формула изобретения

1. Способ отслеживания и анализа изменения состояний кожи и отображения таких состояний в формате RGB изображения на трехмерной виртуальной модели для обеспечения исследования и связи с потребителем, причем способ содержит этапы, на которых:

фиксируют множество цифровых спектральных изображений кожи человека, причем каждое спектральное изображение определяет объект;

фиксируют множество цифровых RGB изображений, причем каждое RGB изображение соответствует по меньшей мере частично по меньшей мере одному из спектральных изображений, определяющих объект;

анализируют по меньшей мере некоторые из множества спектральных изображений для идентификации в пределах соответственного спектрального изображения одного или более наборов данных спектральных изображений, причем каждый набор данных спектральных изображений определяет по меньшей мере одно состояние кожи;

отображают в пределах соответственного спектрального изображения одно или более спектральных местоположений для каждого из одного или более наборов данных спектральных изображений;

отображают в пределах каждого RGB изображения, соответствующего соответственному спектральному изображению, одно или более RGB местоположений, соответствующих соответственному одному или более спектральным местоположениям каждого из одного или более наборов данных спектральных изображений;

калибруют RGB набор данных, соответствующий набору данных спектральных изображений, ассоциированный с этим соответственным спектральным местоположением, и отображают его на RGB местоположение таким образом, что по меньшей мере одно известное состояние кожи, определенное указанным набором данных спектральных изображений, может быть воспроизведено в формате RGB с помощью соответствующего набора данных RGB изображений;

накапливают базу данных из указанного множества спектральных изображений, указанных наборов данных спектральных изображений, указанных соответствующих состояний кожи, указанных спектральных местоположений, указанного множества RGB изображений, указанных RGB наборов данных и указанных RGB местоположений;

фиксируют одно или более цифровых RGB изображений, причем каждое цифровое изображение фиксирует некоторую область кожи субъекта;

анализируют каждое цифровое RGB изображение для определения местонахождения любого предопределенного RGB набора данных из базы данных;

отображают местоположения наборов данных RGB цветов в пределах каждого цветного RGB изображения; и

накладывают цветное RGB изображение на трехмерный виртуальный кадр для создания виртуальной трехмерной модели субъекта, показывающей реалистичные состояния кожи в местоположениях на модели, соответствующие фактическим местоположениям на субъекте.

2. Система по п.1, в которой по меньшей мере часть множества цифровых спектральных изображений является двумерными изображениями.

3. Система по п.1, в которой по меньшей мере часть множества цифровых спектральных изображений является трехмерными изображениями.

4. Система по п.1, в которой по меньшей мере часть множества цифровых RGB изображений является двумерными изображениями.

5. Система по п.1, в которой по меньшей мере часть множества цифровых RGB изображений является трехмерными изображениями

6. Система для использования при анализе состояния кожи человека, используя двумерное спектральное изображение, причем система содержит:

компьютер, включающий в себя процессор и память для хранения команд для процессора для выполнения способа, включающего в себя этапы, на которых:

фиксируют по меньшей мере одно RGB изображение лица субъекта, причем по меньшей мере одно зафиксированное изображение показывает по меньшей мере одно состояние кожи;

обрабатывают данные, представляющие RGB изображение, для предоставления возможности анализа состояния кожи с помощью сравнения данных RGB изображения с коррелированными данными спектрального изображения;

обрабатывают исходные данные, представляющие двумерное изображение, для предоставления возможности отображения исходного изображения в трехмерном формате;

выбирают косметический товар для изменения по меньшей мере одного состояния кожи;

изменяют данные, представляющие двумерное изображение, для моделирования измененного состояния кожи; и

отображают измененные данные, представляющие моделируемое состояние кожи в одном из измененного двумерного изображения или измененного трехмерного изображения, включающего в себя моделируемое измененное состояние кожи.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к усовершенствованным системам для анализа и отслеживания состояний кожи субъекта с помощью фотографий данного субъекта. В частности, оно относится к усовершенствованной системе и способу анализа и отслеживания состояний кожи с помощью спектральных фотографий и/или фотографий в формате RGB субъекта и к моделированию и/или отслеживанию результатов лечения таких состояний кожи. Изобретение дополнительно относится к отображению таких изменений и вылеченных состояний в формате RGB изображений на трехмерной виртуальной модели для облегчения исследования и осуществления связи с потребителем.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

Известно использование создания спектральных изображений для анализа тканей и диагноза, как раскрыто, например, в патенте США № 5016173 Kenet et al., включенном в данный документ во всей своей полноте посредством ссылки. Kenet et al. раскрывает устройство и способ контроля у живого организма визуально доступных поверхностей тела, включая подповерхностные структуры. Kenet et al. раскрывает комбинацию множества методик цифровой фотографии, которые включают в себя способы создания фотографий во множестве спектров и с множеством проекций и/или с множеством разрешений для определения характеристик и классификации компонентов структуры поверхности и их временно-пространственные распределения.

Проблема предшествующего уровня техники состоит в том, что он основывается прежде всего на оборудовании создания спектральных изображений для сбора, анализа и отображения данных. Это происходит потому, что создание спектральных изображений делает возможным такие уровни детализации и анализа, которые не возможны при ограничениях видимого света для оборудования создания изображений и фотографий формата RGB.

К сожалению, оборудование создания спектральных изображений относительно сложно по структуре и использованию и имеет ограниченную доступность, например, оно лучше подходит для лабораторного или клинического использования обученным техническим персоналом. Соответственно, пока оборудование создания спектральных изображений не станет более широко доступным в более простых формах, устройство, раскрытое с помощью ссылок на предшествующий уровень техники, например, Kenet, может быть непрактичным для более широкого внедрения и использования, например, потребителями в условиях розничной продажи или пользователями дома.

Точно так же, по своей природе, неподготовленным людям трудно осмысливать, просматривать и/или анализировать данные спектральных изображений. Данные спектральных изображений обычно отображаются, как изображение абстрактного искусства с цветоделением, которое в лучшем случае приводит в замешательство неподготовленных людей. Соответственно, даже если оборудование создания спектральных изображений станет более широко доступным в формах, которые более удобны для пользователя, то данные и изображения, созданные этим оборудованием, вряд ли будут полезны в целом для широкой публики. Соответственно, системы предшествующего уровня техники не пригодны для использования в более широком масштабе, например, в среде розничной продажи в качестве маркетингового средства.

Соответственно, существует потребность в системе, которая является простой, но эффективной, то есть которая предоставляет возможность использования в нелабораторных или неклинических условиях, с использованием широкодоступного ориентированного на потребителя оборудования создания изображений, например, обычных цифровых камер или цифровых камер, которые обычно находятся в телефонах, компьютерах, карманных персональных компьютерах (КПК) или других бытовых электронных устройствах. Существует дополнительная потребность в системе, которая создает изображения и данные, которые просто осмысливать, анализировать и просматривать даже неподготовленному человеку.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Настоящее изобретение обеспечивает способ для отслеживания и анализа изменения состояний кожи и отображения таких состояний в формате RGB изображения на трехмерной виртуальной модели для облегчения исследования и связи с потребителем. Система включает в себя создание каталога, библиотеки или базы данных состояний кожи в форме наборов данных, взятых из спектральных изображений, которые включают в себя рассматриваемые состояния кожи. Для каждого набора данных спектральных изображений, идентифицирующего рассматриваемое состояние кожи, соответствующий RGB набор данных вычисляют и накапливают в базе данных. База данных из вычисленных RGB наборов данных может затем использоваться для диагностирования состояния кожи субъектов, например, анализируя RGB или спектральные фотографии субъекта. Спектральные и/или RGB наборы данных могут также использоваться для предсказания результата предполагаемого лечения, и результирующее измененное состояние кожи может отображаться на RGB изображениях, которые легко осмысливает большая аудитория, чем прежде было возможно только со спектральными изображениями.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - последовательность операций, показывающая, как RGB набор данных и набор данных спектральных изображений используются для создания виртуальной справочной таблицы (LUT).

Фиг. 2 - последовательность операций, показывающая, как зафиксированная и накопленная информация используется для анализа состояния кожи отдельного субъекта с помощью фиксации или спектральных, или RGB двумерных фотографий («спектральных изображений субъекта» или «RGB изображений субъекта») отдельного субъекта и сравнения наборов данных, взятых из фотографий, с эталонными наборами данных в базе (ах) данных (LUT).

ПОДРОБНОЕ ОПИСАНИЕ

Базы данных накапливают, используя зафиксированные с помощью спектральной камеры и цифровой камеры лицевые изображения большого количества людей. Изображения связаны с конкретными состояниями кожи и их получают при стандартных условиях освещения и внутренним образом калибруют.

Более конкретно, множество двумерных цифровых спектральных изображений («спектральное изображение» или «спектральные изображения») кожи человека фиксируют для множества людей и сохраняют в базе данных. Каждое спектральное изображение определяет целевую область кожи («объект» или «объекты»). Соответствующее множество двумерных цифровых изображений цветовой модели RGB (красный, зеленый, синий) («RGB изображение» или «RGB изображения») фиксируют и сохраняют в той же самой или во второй базе данных. Каждое из RGB изображений соответствует по меньшей мере частично по меньшей мере одному из спектральных изображений, определяющих объект. По меньшей мере часть множества спектральных изображений анализируют для идентификации в пределах соответственного спектрального изображения одного или более наборов данных спектральных изображений. В данном документе «набор данных спектральных изображений» или «наборы данных спектральных изображений» являются минимальным количеством цифровых данных спектрального изображения, требуемых для уникального определения состояния у кожи («состояния кожи»), для которого, например, ассоциированное с определенным типом кожи, уровнем крови или меланина, насыщенностью кислородом, процентным содержанием гемоглобина, эффектом рассеивания deral, процентным содержанием воды или влаги, и т.д. Определенное состояние кожи может быть состоянием кожи, не нуждающимся в лечении или коррекции (в целях обсуждения упоминаются в данной работе как «нормальные» состояния кожи), или определенное состояние кожи может быть состоянием кожи, которое поддается лечению или корректировке, например, сухой, жирной, поврежденной и другими поддающимися лечению, корректировке состояниями кожи. В любом случае каждый набор данных спектральных изображений определяет по меньшей мере одно состояние кожи.

Каждый элемент в пределах каждого изображения в пределах каждой базы данных регистрируют и индексируют по отношению к координатам пикселей на изображении, RGB значениям пикселей или содержимому спектральных пикселей и типу состояния кожи в этом пикселе. Таким образом каждое состояние кожи «отображают» на соответственное изображение.

Более конкретно, каждый набор данных спектральных изображений отображают на местоположение в пределах соответственного спектрального изображения. Отображенное местоположение упоминают в данном документе как «спектральное местоположение», то есть координаты местоположения пикселя в пределах спектрального изображения для набора данных спектральных изображений. На RGB изображении, соответствующем соответственному спектральному изображению, местоположение отображается, которое соответствует каждому спектральному местоположению. Местоположение на RGB изображении упоминают в данном документе как «RGB местоположение», то есть координаты местоположения пикселя в пределах RGB изображения, которое соответствует спектральному местоположению на соответственном спектральном изображении. Для каждого спектрального местоположения определяют RGB набор данных, используя стандартные функции (например, которые раскрыты в Berns, Roy. Billmeyer and Saltzman's Principles of Color Technology. Third Edition. New York, NY: John Wiley & Sons, 2000. 201-203. Print., включенные в своей полноте в данный документ посредством ссылки). В данной работе «RGB набор данных» или «RGB наборы данных» относятся к минимальному количеству цифровых RGB данных, требуемых для однозначного определения профиля цвета RGB, ассоциированного с этим соответственным местоположением. Таким образом набор данных спектральных изображений эффективно коррелируют с RGB набором данных, который соответствует по меньшей мере одному известному состоянию кожи, определенному с помощью указанного набора данных спектральных изображений.

Таким образом RGB набор данных создают пиксель за пикселем из каждого спектрального набора данных с помощью прохождения спектральных данных через функцию преобразования, причем область под каждой результирующей кривой суммируют для обеспечения RGB набора данных. Функцию преобразования оптимизируют, минимизируя различия между измеренными RGB-значениями в RGB и теми значениями, которые вычислены из преобразования в RGB спектрального набора данных.

Таким образом создают виртуальную справочную таблицу (LUT) между RGB набором данных и набором данных спектральных изображений, которая представляет все наборы данных спектральных изображений в пределах базы данных. Ожидается, что этот способ усреднения будет достаточен, поскольку представление в пределах данного типа цвета кожи имеет небольшое изменение в цветовом пространстве. Его можно однако расширять на усреднение таким способом, чтобы представлять весь диапазон существующих видов цвета кожи.

Таким образом, различные состояния кожи каталогизируют в спектральных наборах данных и в соответствии с поддающимися определению «эталонными» RGB наборами данных. Зафиксированные спектральные изображения и соответствующие зафиксированные RGB изображения накапливают в одной или более базах данных на компьютерном носителе данных вместе с наборами данных спектральных изображений, представляющими состояния кожи, спектральными местоположениями, RGB местоположениями и эталонными RGB наборами данных. Эталонные RGB наборы данных можно считать «неоптимизированными», поскольку они содержат относительно менее точные данные и количественно, и качественно, по сравнению со спектральными наборами данных для тех же координат пикселя. Однако, они достаточно оптимизированы для последующего использования при анализе данных RGB изображения субъекта, зафиксированных широко доступным ориентированным на потребителя оборудованием создания изображения, таким, например, как обычные цифровые камеры или цифровые камеры, которые обычно находятся в телефонах, компьютерах, карманных персональных компьютерах (КПК) или других бытовых электронных устройствах.

Зафиксированная и накопленная информация используется для анализа состояния кожи отдельного субъекта с помощью фиксации или спектральных, или RGB двумерных фотографий («спектральных изображений субъекта» или «RGB изображений субъекта») отдельного субъекта и сравнения наборов данных, полученных их фотографий, с эталонными наборами данных в базе (ах) данных. Результирующий анализ можно использовать для рекомендации лечения различных состояний кожи. Зафиксированные двумерные изображения отдельного субъекта также собирают в совокупность на трехмерном кадре для создания интерактивного, с возможностью вращения, виртуального трехмерного RGB изображения или модели, отображающей идентифицированные состояния кожи, как «нормальные», так и поддающиеся лечению, в местоположениях на модели, соответствующих фактическим местоположениям на субъекте. Информация базы данных дополнительно используется для генерации на трехмерном RGB изображении изменений отображаемых состояний кожи, являющихся результатом применения лечения.

Преимущество настоящего изобретения состоит в том, что одни только RGB изображения могут использоваться в качестве основы для анализа субъекта. Поскольку оборудование для RGB фотографий является повсеместно распространенным, дешевым и легко доступным, изображения, используемые для анализа, можно получать почти в любом месте, например, при розничной продаже за прилавком, в салоне, дома или на ходу с помощью фотокамеры в карманном персональном компьютере или в сотовом телефоне. Нет никакой необходимости в дорогих, специализированных камерах создания спектральных изображений в лабораторных условиях.

Другое преимущество настоящего изобретения состоит в том, что оно использует данные в реальном времени для отображения результирующих изображений, которые являются «реалистичной» или «фактической» демонстрацией результатов лечения, то есть виртуальной визуализацией того, каковы будут результаты. Это отличает его от существующих систем, которые просто оценивают результаты без лежащих в основе фактических данных.

Другое преимущество настоящего изобретения состоит в том, что или RGB изображения, или спектральные изображения субъекта можно использовать в качестве основы для анализа субъекта.

Когда база данных и LUT спектральных наборов данных, коррелированных с RGB наборами данных, созданы, системе требуются три основные этапа: 1) сделать RGB снимок, 2) нормализовать (стандартизировать) RGB изображение с помощью стандартного программного обеспечения создания профиля ICC (Международного консорциума по цвету) для калибровки цвета, интенсивности и т.д. по различным устройствам и 3) сравнить нормализованные наборы данных RGB изображений с LUT для определения соответствующих наборов данных спектральных изображений и, в свою очередь, состояний кожи ассоциированных с наборами данных спектральных изображений.