способ распознавания изображения текстуры клеток

Формула изобретения

1. Способ распознавания изображения текстуры клеток, включающий определение текстурных признаков объекта, которое состоит в том, что осуществляют предобработку полученных изображений объекта посредством сегментации на основе анализа в цветовом пространстве информативных с точки зрения текстурных признаков областей изображения объекта, определяемых выбранным размером окна, шагом и направлением просмотра изображения объекта, производят вычисления значений для текстурных признаков и формирования матриц чисел и осуществляют идентификацию и классификацию объекта, отличающийся тем, что текстурные признаки определяют для изображений клеток крови, предобработку полученных изображений объекта посредством сегментации осуществляют на основе кластерного анализа в цветовом пространстве, в качестве информативных с точки зрения текстурных признаков областей изображения объекта используют выделение изображений ядер клеток, наиболее информативные признаки для классификации определяют автоматически на основе обучающих выборок из предварительно созданных баз изображений, классифицированных экспертами и содержащих клетки каждого типа (бластные, лимфоциты), на основе которых производят идентификацию и классификацию, преобразуют пиксели изображения в различные цветовые пространства, вычисляют матрицу пространственной смежности, после чего на основании вычисленных значений текстурных признаков осуществляют классификацию (распределение по общим признакам) в пространстве текстурных признаков по следующим показателям: энергия, момент инерции, максимальная вероятность соседств, которые встречаются наиболее часто в данном изображении, локальная однородность, энтропия, след нормализованной матрицы пространственной смежности (НМПС), среднее значение яркости, корреляция значений яркости изображения.

2. Способ по п.1, отличающийся тем, что при классификации бластных клеток и лимфоцитов выбирают признаки «локальная однородность» для компоненты Y в предварительно преобразованном цветовом пространстве XYZ и «момент инерции» для компоненты В в предварительно преобразованном цветовом пространстве LAB, причем классификация заключается в определении области в осях указанных признаков, в которую попадают вычисленные значения признаков каждой исследуемой клетки из множества клеток исследуемого объекта.

3. Способ по п.1, отличающийся тем, что при сканировании на экран монитора выводится увеличенное изображение, автоматически производится поиск и классификация клеток, попадающих в поле зрения, и в случае нахождения клеток заданного типа создается сообщение для оператора, которое отображается на экране и сохраняется в базу данных.

4. Способ по п.1, отличающийся тем, что сканирование изображения ведется либо по спирали от реперной точки в центре препарата, либо от выбранного краевого участка челночным сканированием (туда и обратно) или однонаправленным сканированием от реперной точки только туда с возвратом в реперную точку без сканирования.

5. Способ по п.1, отличающийся тем, что предобработка включает следующие операции: контрастные яркостные преобразования (выравнивание гистограмм), состоящие в том, что поле зрения микроскопа фотографируют, оцифровывают, строят гистограмму в осях: величина яркости и частота встречаемости каждой величины яркости, попавшие на фотографию клетки, подвергают контрастно-яркостным преобразованиям: из яркости каждого пикселя интервала изображения вычитают минимальное значение яркости в интервале, охватываемого значениями яркостей пикселей изображения, затем умножают полученное значение на 255, деленное на разность максимального и минимального значений яркости интервала (255/(max-min)), в результате получают расширенный интервал яркостей от 0 до 255 для данного изображения.

6. Способ по п.1, отличающийся тем, что осуществляют медианную фильтрацию.

7. Способ по п.1, отличающийся тем, что осуществляют сглаживающую фильтрацию.

8. Способ по п.1, отличающийся тем, что осуществляют сегментацию ядер клеток.

9. Способ по п.1, отличающийся тем, что осуществление классификации в пространстве текстурных признаков производят путем вычислений следующих показателей по формулам:

1) энергия ,

где g_ij - элемент матрицы, представляющий собой плотность совместной вероятности для пары точек с градиентом интенсивности (i-j);

2) момент инерции ;

3) максимальная вероятность соседств, которые встречаются наиболее часто в данном изображении ;

4) локальная однородность

;

5) энтропия

;

6) след нормализованной матрицы пространственной смежности (НМПС) ;

7) среднее значение яркости ;

8) корреляция значений яркости изображения .

Описание изобретения к патенту

Настоящее изобретение относится к способу обработки цифровых данных изображений, например к способу анализа изображения текстуры объекта, который может содержать идентифицируемые гистологические, цитологические препараты, исследуемые под микроскопом во время операции, в основном изображений биологических объектов.

Текстура рассматривается как значимая характеристика объекта при его идентификации, различении, классификации, распознавании. Текстура характеризует все изображения, начиная с тех, что получают с помощью самолетных и спутниковых мультиспектральных сканирующих устройств при дистанционном зондировании и кончая микроскопическими изображениями культур клеток и препаратов тканей при биомедицинских исследованиях.

Изображение текстуры объекта формируется на основе интенсивности/плотности сигнала, генерируемого объектом. Такие сигналы могут быть как проникающими через объект, когда препарат находится под микроскопом или подвергается ультразвуковому, рентгеновскому исследованиям, так и отраженными от объекта, т.е. фотография, радиоволны.

Анализ изображения текстуры объекта используется в различных областях деятельности, поэтому он должен обладать повышенной точностью и скоростью. При решении, в частности, медицинских задач во время операции способ позволяет анализировать препараты, находящиеся под микроскопом, и производить их дифференциальную диагностику для определения объема операции.

Известен способ анализа изображения текстуры объекта, заключающийся в том, что представляют изображение объекта в виде входной матрицы чисел, каждый элемент которой соответствует уровню интенсивности/плотности сигнала, генерируемого объектом, устанавливают размер окна, посредством которого просматривают входную матрицу чисел, затем устанавливают начальное положение окна на матрице, направление просмотра и шаг перемещения окна, выбирают по меньшей мере один текстурный признак, характеризующий текстуру объекта, и определяют значение выбранного текстурного признака для начального положения окна, которое перемещают в выбранном направлении с заданным шагом и в этом окне на каждом шаге вычисляют значение выбранного по меньшей мере одного текстурного признака, в результате чего получают выходную матрицу, по которой идентифицируют изображение объекта (см., например, статью "Pictorial feature extraction and recognition via image modeling", I.T.Tou, стр.391-421, сборник " Image Modeling "под ред. A.Rosenfeld, 1981, Academic Press, New lork).

Указанный способ представляет собой градиентный метод описания (моделирования) текстур и выделения признаков, позволяющих различать текстуры. В основе формирования разделяющих признаков лежит сканирование изображения с помощью окна. Для каждого окна вычисляют матрицы G и Е, размерность которых зависит от числа уровней интенсивности сигнала на изображение. Элементы матрицы g(i,j) представляют собой плотность совместной вероятности для пары точек с градиентом интенсивности (i-j). Элементы матрицы е(i,j)=f(i,j)*g(i.j), где f(i,j) - функция весов интенсивностей.

Указанный способ имеет сложную многоступенчатую структуру. Одна из его особенностей связана с тем, что при анализе изображений текстур для дальнейшей их классификации производится многократное сканирование изображения с помощью окон различного размера.

Другой особенностью указанного способа является большой объем вычислений в каждом окне, т.е. проводится генерация различных матриц, формирование векторов, подсчет корреляционной функции при различных расстояниях между образами. Для вычисления матриц количество исходных уровней интенсивности уменьшается с 256 до 16 усреднением интенсивности в окне 6×6. Для избежания роста числа вариаций, связанных с возможным вращением изображения, производится также усреднение значений матриц, вычисленных по четырем направлениям: 0, 45, 90,135 градусов. Различительными признаками для изображений разных классов служат весовые коэффициенты векторов, вычисленных на основе вышеуказанных матриц.

Указанный способ не позволяет быстро и с высокой точностью проводить анализ изображения текстуры объекта с целью его идентификации, например во время операции проводить идентификацию гистологического препарата.

Известно также техническое решение по патенту РФ № 2105351,

МПК 6 G06K 9/68, G06K 9/56, G06T 7/40

(21) Заявка: 95101764/09

(22) Дата подачи заявки: 1995.02.06

(45) Опубликовано: 1998.02.20

В указанном патенте решается задача создания способа анализа изображения текстуры объекта, в котором выбор размера окна для просмотра выходной матрицы чисел в соответствии с анализируемой текстурой объекта и шага перемещения окна позволяет обеспечить точность идентификации объекта, скорость анализа изображения при его идентификации, а также проводить идентификацию гистологических препаратов, исследуемых под микроскопом во время операции.

В частности, в указанном способе анализа изображения текстуры объекта представляют изображение объекта в виде входной матрицы чисел, каждый элемент которой соответствует уровню интенсивности/плотности сигнала, генерируемого объектом, устанавливают размер окна, посредством которого просматривают входную матрицу чисел, устанавливают начальное положение окна на матрице, направление просмотра и шаг перемещения окна, выбирают по меньшей мере один текстурный признак, характеризующий текстуру объекта, определяют значение выбранного текстурного признака для начального положения окна, перемещают окно в выбранном направлении с определенным шагом и в этом окне на каждом шаге вычисляют значение выбранного по меньшей мере одного текстурного признака, в результате чего получают выходную матрицу, согласно изобретению выбирают размер окна в зависимости от анализируемой текстуры объекта, устанавливают размер окна по меньшей мере в два раза меньшим размера входной матрицы чисел, а шаг перемещения окна устанавливают равным размеру окна, разбивают интервал значений вычисленного по меньшей мере одного текстурного признака по меньшей мере на два подынтервала и каждому подынтервалу присваивают код, устанавливают для каждого окна на входной матрице чисел принадлежность вычисленного значения текстурного признака соответствующему подынтервалу и кодируют это вычисленное значение текстурного признака кодом соответствующего подынтервала, в результате чего получают выходную матрицу, каждый элемент которой соответствует одному оку на входной матрице числе, выбирают по меньшей мере один признак, характеризующий группу элементов выходной матрицы с одинаковым кодом, и вычисляют значение выбранного признака, по которому идентифицируют изображение текстуры объекта.

Однако известное решение не позволяет с достаточной достоверностью производить идентификацию объектов, делать соответствующие заключения, формировать актуализируемую базу данных для практического использования и обучения, в частности для решения задачи описания клеток крови на основе текстурного анализа.

Техническая задача, решаемая настоящим изобретением, состоит в том, что с достаточной достоверностью производится идентификация исследуемых объектов, делаются соответствующие заключения, создается возможность формировать актуализируемую базу данных для практического использования и обучения, в частности для решения задачи описания клеток крови на основе текстурного анализа и применения соответствующего математического аппарата и способов обработки изображений.

Решение указанной технической задачи обеспечивает использование предложенной совокупности существенных признаков в приложении к использованию для постановки диагноза при исследовании клеток крови.

Способ анализа изображения текстуры объекта для выявления патологии, включающий определение текстурных признаков объекта, которое состоит в том, что осуществляют предобработку полученных изображений объекта посредством сегментации на основе анализа в цветовом пространстве информативных с точки зрения текстурных признаков областей изображения объекта, определяемых выбранным размером окна, шагом и направлением просмотра изображения объекта, производят вычисления значений для текстурных признаков и формирования матриц чисел и осуществляют идентификацию и классификацию объекта, при этом текстурные признаки определяют для изображений клеток крови, предобработку полученных изображений объекта посредством сегментации осуществляют на основе кластерного анализа в цветовом пространстве, в качестве информативных с точки зрения текстурных признаков областей изображения объекта используют выделение изображений ядер клеток, наиболее информативные признаки для классификации определяют автоматически на основе обучающих выборок из предварительно созданных баз изображений, классифицированных экспертами и содержащих клетки каждого типа (бластные, лимфоциты), на основе которых производят идентификацию и классификациию, преобразуют пиксели изображения в различные цветовые пространства, вычисляют матрицу пространственной смежности, после чего на основании вычисленных значений текстурных признаков осуществляют классификацию (распределение по общим признакам) в пространстве текстурных признаков по следующим показателям:

1. Энергия

2. Момент инерции

3. Максимальная вероятность

4. Локальная однородность

5. Энтропия

6. След НМПС

7. Среднее значение яркости

8. Корреляция значений яркости изображения ,

причем при классификации бластных клеток и лимфоцитов выбирают признаки «локальная однородность» для компоненты Y в предварительно преобразованном цветовом пространстве XYZ и «момент инерции» для компоненты В в предварительно преобразованном цветовом пространстве LAB, при этом классификация заключается в определении области в осях указанных признаков, в которую попадают вычисленные значения признаков каждой исследуемой клетки из множества клеток исследуемого объекта;

- при сканировании на экран монитора выводится увеличенное изображение, автоматически производится поиск и классификация клеток, попадающих в поле зрения, и в случае нахождения клеток заданного типа создается сообщение для оператора, которое отображается на экране и сохраняется в базу данных;

- сканирование изображения ведется либо по спирали от реперной точки в центре препарата либо от выбранного краевого участка челночным сканированием (туда и обратно) или однонаправленным сканированием от реперной точки только туда, с возвратом в реперную точку без сканирования;

- предобработка включает следующие операции: контрастные яркостные преобразования (выравнивание гистограмм), состоящие в том, что поле зрения микроскопа фотографируют, оцифровывают, строят гистограмму в осях: величина яркости и частота встречаемости каждой величины яркости, попавшие на фотографию клетки, подвергают контрастно-яркостным преобразованиям: из яркости каждого пикселя интервала изображения вычитают минимальное значение яркости в интервале, охватываемого значениями яркостей пикселей изображения, затем умножают полученное значение на 255, деленное на разность максимального и минимального значений яркости интервала (255/(max-min)), в результате получают расширенный интервал яркостей от 0 до 255 для данного изображения;

- осуществляют медианную фильтрацию;

- осуществляют сглаживающую фильтрацию;

- осуществляют сегментацию ядер клеток;

- осуществление классификации в пространстве текстурных признаков производят путем вычислений следующих показателей по формулам:

1. Энергия

2. Момент инерции

3. Максимальная вероятность

4. Локальная однородность

5. Энтропия

6. След НМПС

7. Среднее значение яркости

8. Корреляция значений яркости изображения ,

В аспекте рассматриваемой задачи следует отметить известность того, что большинство изображений естественных объектов содержат области, в которых отсутствуют четкие границы составляющих элементов. Для распознавания и разделения такого рода областей может быть использован, как указывалось выше, текстурный анализ. Под текстурой понимается пространственно-яркостная организация элементов изображения (пикселей) внутри рассматриваемого элемента. Примером такого вида изображений являются фотографические изображения ядер и цитоплазм клеток и тканей различных органов при соответствующем их увеличении.

Предлагается применять текстурный анализ к распознаванию текстур клеток крови с целью их описания для последующей классификации с точки зрения наличия патологии. Для определения текстурных признаков формируют и используют нормализованную матрицу пространственной смежности (НМПС): матрица, элемент gij которой равен относительному количеству соседств пикселей с яркостью i с пикселями с яркостью j. Матрицу смежности можно рассматривать как оценку совместной плотности распределения вероятностей соседств пикселей с двумя яркостями, где вероятность соседства пикселя с яркостью i с пикселем яркости j.

Типовые текстурные признаки изображений на основе НМПС, которые предлагается использовать для описания клеток крови с целью их последующей классификации:

1. Энергия

2. Момент инерции

3. Максимальная вероятность

4. Локальная однородность

5. Энтропия

6. След НМПС

7. Среднее значение яркости

8. Корреляция значений яркости изображения ,

В формуле для признака ENT выбор основания логарифма не имеет принципиального значения и в качестве основания логарифма может использоваться значение е. При g_ij , равном нулю, значение слагаемого gy log g_ij является нулевым как предельное значение при g_ij, стремящемся к нулю.

Энергия (ASM) - математическое ожидание вероятности соседств - математическое ожидание g_ij для данного изображения; показатель "однотонности" изображения - чем более однотонное изображение, тем большее значение принимает этот признак. Момент инерции (CON) - показатель "контрастности" изображения - математическое ожидание квадрата разности яркостей соседствующих пикселей; "момент инерции" матрицы смежности относительно главной диагонали НМПС (если g_ij - элемент массы, i-j - расстояние элемента от главной диагонали НМПС).

Максимальная вероятность (MPR) - вероятность соседств, которые встречаются наиболее часто в данном изображении.

Локальная однородность (LUN) - показатель "однородности" изображения - математическое ожидание величины, обратной к квадрату разности яркостей соседствующих пикселей; сумма вероятностей всех соседств, взятых с весами (обратно пропорциональными разности яркости пикселей в соседствах).

Энтропия (ENT) - "мера беспорядочности" распределения яркостей изображения.

Предложенное решение иллюстрируют графические материалы:

Unequalized_Histograml.png (Фиг.1) - гистограмма исходного изображения.

Equalized Jffistograml.PNG (Фиг.2) - гистограмма изображения после выравнивания гистограмм.

Значения яркостей пикселей охватывают интервал от 0 до 255.

Распределение l.png (Фиг.3) - пространство признаков в осях «локальная однородность» (ШК) от компоненты Y (XYZ) (горизонтальная ось) и «момент инерции» (CON) от компоненты В (LAB) (вертикальная ось).

Область «А» соответствует бластным клеткам; область «В» - лимфоцитам.

Процесс распознавания по предложенному решению состоит из следующих этапов:

1. Предобработка.

2. Сегментация ядер клеток (информативных с точки зрения текстурных признаков областей изображения).

3. Описание:

- преобразование в различные цветовые пространства;

- вычисление матрицы пространственной смежности;

- вычисление текстурных признаков.

4. Классификация в пространстве текстурных признаков.

На основании исходных параметров, параметров (данных), полученных в процессе обработки исходных материалов, определенных расчетным путем, параметров сравнения с достаточно достоверными критериальными показателями (на основе ранее созданной базы), делается вывод о степени вероятности патологии.

1. Предобработка включает следующие операции:

Контрастные яркостные преобразования (выравнивание гистограмм) поле зрения микроскопа фотографируется, оцифровывается, строится гистограмма в осях:

величина яркости и частота встречаемости каждой величины яркости (см. фиг.1). Затем попавшие на фотографию клетки подвергаются контрастно-яркостным преобразованиям: из яркости каждого пикселя интервала изображения вычитаем минимальное значение яркости в интервале, охватываемого значениями яркостей пикселей изображения. Затем умножаем полученное значение на 255, деленное на разность максимального и минимального значений яркости интервала (255/(max-min)).

В результате получаем расширенный интервал яркостей от 0 до 255 для данного изображения (см. фиг.2), что на фотографии выглядит как увеличение контрастности деталей фотографии за счет изменения значений яркости каждого пикселя.

Способ обработки фотографических изображений, изложенный выше, известен, однако применение его для обработки изображений клеток неизвестно.

Фильтрация медианная

Для каждого пикселя исходного изображения выделяем участок с нечетным количеством пикселей с центром, совпадающим с расположением выбранного пикселя, фиксируем значения яркости каждого пикселя выделенного участка, располагаем значения яркости пикселей выделенного участка в ряд по возрастающей от минимума к максимуму и берем значение яркости пикселя, расположенного посередине ряда. И придаем это значение яркости соответствующему пикселю создаваемого изображения. Переходя к следующему пикселю исходного изображения, проделываем те же операции.

Фильтрация сглаживающая

Предварительно задается маска (матрица) с произвольным заранее заданным количеством элементов. Каждому элементу присваивается значение множителя в зависимости от желаемого результата преобразования фотографии.

Для каждого пикселя исходного изображения выделяем участок с нечетным количеством пикселей с центром, совпадающим с расположением выбранного пикселя, умножаем значение яркости каждого пикселя исходного изображения на значение множителя соответствующего элемента маски и суммируем полученные значения, присваиваем значение этой суммы пикселю с теми же координатами создаваемого изображения. Повторяем эту операцию для следующего пикселя исходного изображения.

Фильтрация необходима для повышения точности сегментации ядер клеток для последующего вычисления текстурных признаков, на основе которых производится классификация (ASM, CON, ENT и т.д.).

Исходными данными для классификации паталогия/непаталогия является состояние внутренней структуры ядер клеток, описываемое при помощи цифровой обработки изображений ядер и создания на основе исходных фотографий результирующих фотографий, полученных в результате вышеописанных операций (контрастно-яркостных преобразований и фильтрации (медианной и сглаживающей)).

С точки зрения классификации клеток крови на основе текстурного анализа информативными зонами изображения являются внутренние области ядер клеток, для чего проводят их сегментацию.

2. Процедура сегментации ядер клеток:

Для создания описания ядер клеток с использованием текстурных признаков необходимо провести сегментацию (выделение) ядер клеток на изображении.

Для каждого пикселя результирующего изображения в результате сегментации определяем его принадлежность/непринадлежность к внутренней области какого-либо из ядер.

Используется алгоритм сегментации на основе кластерного анализа в цветовом пространстве. Обработка изображения включает следующие этапы: кластеризация образа изображения в цветовом пространстве, выбор искомого класса и определение пикселей изображения, относящихся к нему.

Заранее задаем количество типов однородных областей на изображении (например, ядро, цитоплазма, эритроциты и фон). В пространстве RGB произвольно задаем координаты центров по количеству типов однородных областей. Методом ближайшего соседа относим каждый пиксель изображения к соответствующему центру. Перемещаем координаты центров к соответствующим группам пикселей. Одна из этих групп пикселей будет соответствовать пикселям ядер изображения. Выделяем ее для последующего описания.

3. Полученная сегментация ядра позволяет получить цифровую интерпретацию пространственно-яркостной организации текстуры ядра (в зависимости от координаты точки изображения ядра мы имеем цветовые значения яркости R, G, B). Полученная цифровая интерпретация сравнивается с цифровой интерпретацией ядер клеток известных типов (патологией/непатологией) в созданной базе данных. В случае 80-90% совпадения цифровых значений исследуемого ядра с априори известными значениями патологии/непатологии ставится соответствующий диагноз.

Для классификации ядер клеток (патология (бласт)/непатология (лимфоцит)) использовались выбранные в результате предварительного анализа множеств ядер клеток известных типов значения признака «локальная однородность» для компоненты Y цветового пространства XYZ и значения признака «момент инерции» для компоненты В цветового пространства LAB. Для отнесения исследуемых ядер клеток к патологии/непатологии также используются вычисленные значения признака «локальная однородность» для компоненты Y цветового пространства XYZ и значения признака «момент инерции» для компоненты В цветового пространства LAB. В соответствии с которыми указываются координаты расположения исследуемых ядер клеток в области патологии/непатологии (см. фиг.3).

Процесс классификации:

Предобработка, сегментация, преобразование значений цветов пикселей области ядер к цветовым пространствам XYZ и LAB, построение матрицы пространственной смежности от полученных значений цветов пикселей в данных пространствах, вычисление значений признаков «локальная однородность» и «момент инерции», графическое отображение координат ядра (местоположение точки) в осях «локальная однородность» (ШК) от компоненты Y (XYZ) (горизонтальная ось) и «момент инерции» (CON) от компоненты В (LAB) (вертикальная ось) (см. фиг.3) и является завершением процесса классификации: делается вывод бласт или лимфоцит.

Описание

Преобразование изображения в различные цветовые пространства - преобразование цветов пикселей изображения, представленных в одном цветовом пространстве в другое цветовое пространство (из RGB в HSV и т.п.), служит для повышения информативности вычисленных текстурных признаков исследуемой клетки.

Вычисление матрицы пространственной смежности

Вычисление текстурных признаков

4. Классификация в пространстве текстурных признаков

В результате полученного описания каждому объекту (ядру) ставится в соответствие набор значений текстурных признаков - вектор в пространстве, каждая из осей которого соответствует определенному признаку. На основе обучающих выборок объектов известных типов признаковое пространство разделяется на соответствующие области. Классификация исследуемого объекта (ядра) заключается в определении области, к которой он принадлежит (месторасположение в осях «локальная однородность»(Ш1М) от компоненты Y (XYZ) (горизонтальная ось) и «момент инерции» (CON) от компоненты В (LAB) (вертикальная ось) (см. фиг.3)).

См. фиг.3 при вычисленных по приведенным формулам значениях, попадающих в область «А» - делается вывод о наличии паталогии (исследуемая клетка относится к типу бластных). Соответственно в область «В» - об отсутствии паталогии (исследуемая клетка относится к лимфоцитам).

На основании исходных параметров, параметров (данных), полученных в процессе обработки исходных материалов, определенных расчетным путем, параметров сравнения с достаточно достоверными критериальными показателями (на основе ранее созданной базы), делается вывод о степени вероятности патологии.