система и способ для объединения ультразвуковых изображений в реальном времени с ранее полученными медицинскими изображениями

Формула изобретения

1. Способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, при этом способ содержит этапы, на которых: преобразуют координатную систему ультразвукового (УЗ) изображения в реальном времени в координатную систему УЗ датчика; преобразуют координатную систему УЗ датчика в координатную систему системы слежения, выполненную с возможностью отслеживания положения УЗ датчика; и преобразуют координатную систему системы слежения в координатную систему ранее полученного изображения.

2. Способ по п.1, в котором другая технология является одной из технологий: магнитно-резонансной (MR) визуализации, визуализации методом компьютерной томографии (СТ), визуализации методом позитронно-эмиссионной томографии (PET) или визуализации методом однофотонной эмиссионной компьютерной томографии (SPECT).

3. Способ по п.1, в котором УЗ изображение содержит множество двумерных УЗ изображений.

4. Способ по п.1, в котором УЗ изображение содержит множество трехмерных УЗ изображений.

5. Способ по п.2, в котором MR изображение является трехмерным изображением.

6. Способ медицинского исследования, при этом способ содержит этапы, на которых: получают изображение исследуемого участка; прикладывают ультразвуковой (УЗ) датчик для получения УЗ изображения в реальном времени исследуемой области; преобразуют координатные данные УЗ датчика в координатную систему системы слежения, выполненную с возможностью отслеживания положения УЗ датчика, для получения координатных данных в координатной системе системы слежения; преобразуют координатную систему системы слежения в координатную систему изображения для получения координатных данных в координатной системе изображения и отображают изображение и УЗ изображение исследуемого участка.

7. Способ по п.6, в котором изображение является магнитно-резонансным (MR) изображением.

8. Способ по п.6, дополнительно содержащий после этапа получения УЗ изображения этап выбора области в пределах исследуемого участка для получения изображения.

9. Способ по п.6, дополнительно содержащий этап выполнения медицинской процедуры после этапа отображения.

10. Способ по п.6, дополнительно содержащий после этапа отображения этап выполнения исследования, или лечения, или оба этапа на исследуемом участке.

11. Устройство для объединения ультразвукового (УЗ) изображения в реальном времени с изображением, ранее полученным по другой технологии, содержащее: УЗ прибор, выполненный с возможностью получения УЗ изображений; датчик слежения, выполненный с возможностью определения положения УЗ прибора относительно координатной системы датчика слежения; компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы ультразвукового (УЗ) изображения в координатную систему УЗ датчика; компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы УЗ датчика в координатную систему системы слежения; и компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы системы слежения в координатную систему ранее полученного изображения.

12. Устройство по п.11, в котором ранее полученное изображение является магнитно-резонансным (MR) изображением.

13. Устройство по п.11, в котором ультразвуковое (УЗ) изображение содержит множество двумерных УЗ изображений.

14. Устройство по п.11, в котором УЗ изображение содержит множество трехмерных УЗ изображений.

15. Устройство по п.11, дополнительно содержащее рабочую станцию, которая содержит рабочую станцию, содержащую процессор, выполненный с возможностью приведения в исполнение компьютерочитаемого носителя.

16. Устройство по п.11, в котором УЗ прибор дополнительно содержит следящий передатчик и медицинский прибор, выполненный с возможностью отбора проб или выполнения лечебной процедуры, или того и другого.

17. Способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, при этом способ содержит этапы, на которых: выбирают плотное множество точек в отслеживаемом ультразвуковом изображении; согласуют плотное множество точек с сегментацией поверхности, полученной методом магнитного резонанса (MR), с использованием итеративного алгоритма ближайшей точки (ICP).

18. Способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, при этом способ содержит этапы, на которых: получают трехмерное (3D) ультразвуковое изображение и совмещают вручную или автоматически 3D ультразвуковое с ранее полученным (MR) изображением.

19. Способ по п.18, в котором этап совмещения содержит этап отображения сегментации поверхности, полученной методом магнитного резонанса (MR), совместно с 3D ультразвуковым изображением.

20. Способ по п.18, в котором этап получения выполняют либо отслеживаемым УЗ 3D зондом, либо 3D реконструкцией множества отслеживаемых 2D ультразвуковых изображений.

21. Способ по пп.18-20, в котором другая технология является одной из технологий: магнитно-резонансной (MR) визуализации, визуализации методом компьютерной томографии (СТ), визуализации методом позитронно-эмиссионной томографии (PET) или визуализации методом однофотонной эмиссионной компьютерной томографии (SPECT).

Описание изобретения к патенту

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

В соответствии с § 119 (e) раздела 35 Кодекса законов США настоящая заявка испрашивает приоритет по предварительной заявке на патент в США № 60/867221, «System and Method for Fusing Real-Time Ultrasound with Pre-Acquired Medical Images», поданной 27 ноября 2006 г. авторами Jochen Kruecker et al. Описание упомянутой предварительной заявки включено в настоящую заявку путем ссылки.

УРОВЕНЬ ТЕХНИКИ

Диагносту и терапевту доступны медицинские технологии визуализации различных типов. Каждая из упомянутых технологий обладает относительными преимуществами и относительными недостатками при разных применениях. Так, одна технология может быть полезна для одного типа исследований или одной разновидности визуализации, а другая технология может быть полезна для другого типа исследований или разновидности визуализации. По существу, часто случается, что для медицинской визуализации с целью диагностики или лечения или с той и другой целью можно воспользоваться, по меньшей мере, двумя визуализирующими системами.

Один полезный вид медицинской визуализации использует визуализацию на основе спинового резонанса, широко известную под названием магнитно-резонансной визуализации или MRI. Приборы MRI-визуализации прошли путь заметного развития и сейчас обеспечивают сканирование в реальном времени с высоким разрешением и подробностями. Магнитно-резонансные (MR) сканеры обеспечивают множество «двумерных» изображений или изображений слоев, которые можно исследовать непосредственно или можно реконструировать с использованием подходящего программного обеспечения для реконструкции (например, графического пользовательского интерфейса (GUI)) для воспроизведения трехмерного изображения на двумерном дисплее.

Хотя технология MRI обеспечивает развитые возможности визуализации, инвазивное исследование во время MR-сканирования могут быть сложными и дорогими. Например, во многих случаях полезно получать тканевые пробы с помощью процедуры, называемой биопсией. К сожалению, хотя разрешение и реальное время, обеспечиваемые MR-визуализацией, полезны для точной идентификации области расположения ткани для взятия пробы, биопсийные процедуры с использованием технологии MRI занимали бы много времени. Соответственно, возрастали бы затраты пациента.

Ультразвуковая визуализация является другой полезной технологией медицинского исследования путем визуализации. Ультразвуковая (УЗ) визуализация, помимо других преимуществ, обеспечивает сравнительно быструю визуализацию, исследование на месте выхаживания (например, биопсийное исследование) и лечение. Хотя разрешение УЗ изображения существенно повысили, это разрешение остается недостаточным для некоторых процедур исследования и лечения.

Поэтому существует потребность в способе, устройстве и системе, которые устраняют, по меньшей мере, упомянутый недостаток вышеописанных известных визуализирующих приборов и способов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В характерном варианте осуществления способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, содержит этапы, заключающиеся в том, что преобразуют координатную систему ультразвукового (УЗ) изображения в координатную систему УЗ датчика; преобразуют координатную систему УЗ датчика в координатную систему системы слежения, выполненную с возможностью отслеживания положения УЗ датчика; и преобразуют координатную систему системы слежения в координатную систему ранее полученного изображения.

В другом характерном варианте осуществления способ медицинской визуализации содержит этапы, заключающиеся в том, что получают изображение выбранного участка; прикладывают ультразвуковой (УЗ) датчик для получения УЗ изображения участка; преобразуют координатные данные УЗ датчика в координатную систему системы слежения, выполненную с возможностью отслеживания положения УЗ датчика, для получения координатных данных в координатной системе системы слежения; преобразуют координатную систему системы слежения в координатную систему изображения для получения координатных данных в координатной системе изображения; и отображают изображение и УЗ изображение на исследуемом участке.

В другом характерном варианте осуществления устройство для объединения ультразвукового (УЗ) изображения в реальном времени с изображением, ранее полученным по другой технологии, содержит УЗ прибор, выполненный с возможностью получения УЗ изображения; датчик слежения, выполненный с возможностью определения положения УЗ прибора относительно координатной системы датчика слежения; компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы ультразвукового (УЗ) изображения в координатную систему УЗ датчика; компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы УЗ датчика в координатную систему системы слежения; и компьютерочитаемый носитель, выполненный с возможностью преобразования координатной системы системы слежения в координатную систему ранее полученного изображения.

В соответствии с еще одним характерным вариантом осуществления способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, содержит этапы, заключающиеся в том, что выбирают плотное множество точек в отслеживаемом ультразвуковом изображении; согласуют плотное множество точек с сегментацией поверхности, полученной методом магнитного резонанса (MR), с использованием итеративного алгоритма ближайшей точки (ICP).

В соответствии с еще одним характерным вариантом осуществления способ объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, содержит этапы, заключающиеся в том, что получают трехмерное (3D) ультразвуковое изображение; и вручную или автоматически совмещают 3D ультразвуковое с ранее полученным (MR) изображением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Принципы настоящего изобретения наиболее понятно изложены в нижеследующем подробном описании, составленном со ссылкой на прилагаемые фигуры на чертежах. Элементы на чертежах не всегда показаны в масштабе. Когда целесообразно, одинаковые числовые позиции обозначают одинаковые элементы.

Фиг.1 - концептуальная принципиальная схема системы для объединения ультразвукового (УЗ) изображения в реальном времени с изображением, ранее полученным по другой технологии в соответствии с характерным вариантом осуществления.

Фиг.2A - концептуальное представление преобразования множества точек на изображении, ранее полученном по другой технологии, в координатную систему для такого изображения в соответствии с характерным вариантом осуществления.

Фиг.2B - концептуальное представление ультразвукового изображения в реальном времени с множеством точек на поверхности органа, подлежащего совмещению с ранее полученным изображением.

Фиг.2C - концептуальное представление совмещения множества точек изображения в реальном времени с координатной системой ранее полученного изображения в соответствии с характерным вариантом осуществления.

Фиг.2D - УЗ изображение, содержащее множество областей, выбранных для анализа с использованием УЗ визуализации объединенного ранее полученного изображения в реальном времени в соответствии с характерным вариантом осуществления.

Фиг.3 - снимок экрана/отображение УЗ изображения в реальном времени и пространственно согласующаяся многоплоскостная реконструкция (MPR) ранее полученного 3D изображения, основанная на совмещении точек поверхности ультразвукового изображения с сегментацией поверхности ранее полученного изображения в соответствии с характерным вариантом осуществления.

Фиг.4 - концептуальная принципиальная схема, представляющая преобразование координатной системы УЗ прибора в координатную систему ранее полученного изображения в соответствии с характерным вариантом осуществления.

Фиг.5 - изображение альтернативного способа объединения ультразвукового изображения в реальном времени с изображением, ранее полученным по другой технологии, в соответствии с наглядным вариантом осуществления.

ОПИСАНИЕ ТЕРМИНОВ

Для целей настоящей заявки термины, приведенные в единственном числе, считаются означающими единственное или множественное число.

ПОДРОБНОЕ ОПИСАНИЕ

В нижеследующем подробном описании, в целях пояснения, а не для ограничения, характерные варианты осуществления, содержащие конкретные детали, предлагаются для обеспечения всестороннего понимания принципов настоящего изобретения. Описания известных приборов, материалов и способов изготовления могут отсутствовать во избежание неясности описания примерных вариантов осуществления. Тем не менее, в соответствии с характерными вариантами осуществления возможно применение таких приборов, материалов и способов, которые находятся в пределах компетенции специалиста со средним уровнем компетенции в данной области техники.

В нижеследующем подробном описании, в целях пояснения, а не для ограничения, наглядные варианты осуществления, содержащие конкретные детали, предлагаются для обеспечения всестороннего понимания принципов настоящего изобретения. Кроме того, описания общеизвестных приборов, аппаратных средств, программного обеспечения, микропрограммного обеспечения, способов и систем могут отсутствовать во избежание неясности описания наглядных вариантов осуществления. Тем не менее, в соответствии с наглядными вариантами осуществления возможно применение таких аппаратных средств, программного обеспечения, микропрограммного обеспечения, приборов, способов и систем, которые находятся в пределах компетенции специалиста со средним уровнем компетенции в данной области техники. И, наконец, когда целесообразно, одинаковые числовые позиции обозначают одинаковые элементы.

В нижеследующем подробном описании представлены способы, которые можно осуществить посредством стандартных программ и символическим описанием операций с информационными битами в компьютерочитаемом носителе, соответствующих процессорах, микропроцессорах, цифровых осциллографах с памятью, универсальных персональных компьютерах, технологическом оборудовании, выполненном в конфигурации с платами сбора данных и т.п. В общем, настоящий способ должен представлять собой последовательность этапов или операций, приводящих к искомому результату, и, по существу, охватывает такие технические термины, как «стандартная программа», «программа, «объекты», «функции», «стандартные подпрограммы» и «процедуры».

Что касается программного обеспечения, пригодного для вариантов осуществления, описанных в настоящей заявке, то специалистам со средним уровнем компетентности в данной области техники будет очевидно, что существует множество различных платформ и языков для создания программного обеспечения для выполнения процедур, описанных в настоящей заявке. Некоторые наглядные варианты осуществления можно реализовать с использованием любых из большого числа разнообразных операционных систем (OS) и языков программирования. Например, OS может быть любой коммерческой операционной системой компании Microsoft Corporation, Seattle, Washington, США или операционной системой Linux. Язык программирования может быть языком программирования C, например, C++, или Java.

Характерные варианты осуществления описаны в контексте медицинской визуализации для объединения ультразвукового (УЗ) изображения в реальном времени, полученного методом свободной руки, и ранее полученного магнитно-резонансного (MR) изображения. Следует подчеркнуть, что представленное применение принципов настоящего изобретения предназначено просто для наглядности. В общем случае, принципы настоящего изобретения предполагается применять для визуализации и, в частности, медицинской визуализации, в ходе которой изображение в реальном времени, получаемое по одной технологии, объединяют с медицинским изображением, ранее полученным по другой технологии.

На фиг.1 приведена концептуальная принципиальная схема системы 100 для объединения ультразвукового (УЗ) изображения в реальном времени с изображением, ранее полученным по другой технологии в соответствии с характерным вариантом осуществления. Система 100 содержит УЗ прибор 101, выполненный с возможностью получения изображений. Прибор 101 может быть одним из множества известных УЗ приборов/зондов, включая зонды для получения двумерного и трехмерного УЗ изображения. Например, прибор 101 может быть трансректальным ультразвуковым (TRUS) зондом для работы в реальном времени методом свободной руки и, как более полно описано в настоящей заявке, может служить для управления установкой игл для биопсии или постановкой радиоактивных зерен для брахитерапии.

К прибору 101 присоединен следящий прибор (не показан), который взаимодействует с генератором 102 следящего поля. Следящий прибор и генератор поля могут использовать в качестве основы одну из ряда технологий. Например, УЗ прибор 101 может осуществлять слежение с использованием электромагнитной или другой системы пространственного слежения в сочетании с датчиком слежения, присоединенным к прибору 101. Слежение выполняется во время ультразвуковой визуализации пациента (например, трансректальной визуализации простаты (TRUS)). Ультразвуковой зонд может выполнять слежение встраиванием датчиков слежения в прибор, который жестко присоединен к ультразвуковому зонду, например, в направляющую для биопсии (например, посредством насадки CIVCO), или встраиванием датчиков слежения в зонд. Одной из примерных систем слежения является коммерческая электромагнитная система слежения Aurora компании NDI, Waterloo, Канада.

УЗ сканер 103 собирает изображения в реальном времени из прибора 101 и подает их в локальный монитор и в рабочую станцию 104. Как более полно поясняется в настоящей заявке, рабочая станция 104 получает информацию пространственного отслеживания прибора 101 из контроллера слежения и объединяет данные изображения в реальном времени, полученные от УЗ сканера 103, с данными ранее полученного изображения.

Как более понятно из дальнейшего содержания настоящего описания, рабочая станция 104 содержит программное обеспечение, которое позволяет идентифицировать точки в ультразвуковом изображении из сканера 103 и которое преобразует координаты упомянутых точек из координат ультразвукового изображения в координаты в координатной системе системы слежения (следящего прибора, генератора 102 поля и контроллера 105), с использованием одноразовой калибровки отслеживаемого ультразвукового прибора 101 и с использованием информации об отслеживании зонда, обеспечиваемой в реальном времени датчиком слежения за зондом. По упомянутым данным, рабочая станция 104 и рабочий компьютерочитаемый носитель (программное обеспечение) согласуют плотное множество точек (полученные системой слежения координаты точек поверхности, идентифицированных в ультразвуковых изображениях) с поверхностной сеткой (сегментация поверхности на ранее полученном изображении); и вычисляет преобразование T_registration совмещения (пространство слежения пространство ранее полученного изображения) с использованием итеративного алгоритма ближайшей точки (ICP) или его модификации. Рабочая станция 104 и ее программное обеспечение принимает и отображает текущее УЗ изображение (в реальном времени); и вычисляет и отображает многоплоскостную реконструкцию (MPR) ранее полученного изображения, соответствующего тому же самому участку, что и ультразвуковое изображение, с использованием преобразования T_registration совмещения, преобразования T_tracking отслеживания зонда в реальном времени из датчика отслеживания зонда и одноразовой калибровки отслеживаемого ультразвукового зонда. Оператор УЗ прибора 101 может размещать на полиэкранном дисплее прибор 101 в представляющем интерес участке на поверхности или внутри пациента с точностью ранее полученного изображения и возможностью УЗ сканера.

Кроме других преимуществ, совмещение ультразвуковых изображений, полученных в реальном времени методом свободной руки, с ранее полученными (например, 3D) изображениями того же органа выполняется системой 100 быстро. Система 100 не полагается на специальные опорные метки, которые могут быть не во всех случаях. Совмещение выполняется достаточно быстро, чтобы выполнять его во время обычного ультразвукового исследования, так что визуализация, в принципе, не создает длительного неудобства для пациента. Кроме того, система не ограничивает гибкого свободного ручного использования ультразвукового зонда.

На фиг.2A концептуально представлено преобразование множества точек на изображении, ранее полученном по одной технологии, в координатную систему для такого изображения в соответствии с характерным вариантом осуществления. Поверхность множества «слоев» ранее полученного изображения 201 (например, множества слоев MR-изображения, CT-изображения или 3D изображения другого типа) сегментируется в рабочей станции 104 ее программным обеспечением, и сегментированные линии и точки поверхности преобразуются в триангулированную поверхностную сетку, как показано на фиг.2A.

После преобразования множества точек на предварительно полученном изображении в координатную систему для такого изображения может быть выполнено преобразование координат/координатной системы УЗ изображения (в реальном времени). В рабочей станции 104 идентифицируют множество точек 203 на ультразвуковом изображении, как показано на фиг.2B. Координаты таких точек 203 преобразуют из координатной системы ультразвукового изображения в координаты системы слежения с использованием одноразовой калибровки отслеживаемого ультразвукового зонда и с использованием информации отслеживания зонда в реальном времени, обеспечиваемой датчиком отслеживания зонда. Как более подробно поясняется в связи с фиг.3, координатная система УЗ прибора 101 является динамичной и, следовательно, изменяется как по положению, так и по ориентации. Таким образом, координаты УЗ прибора 101 изменяются с перемещением прибора 101 во время визуализации. Преобразование координатной системы УЗ прибора в координатную систему системы слежения применяется для преобразования положения прибора 101 в координаты ранее полученного изображения.

Ультразвуковое изображение в реальном времени может передаваться в рабочую станцию с использованием метода ввода и регистрации видеокадров или с использованием потоковой передачи цифровых данных изображения. Рабочая станция получает ультразвуковые изображения (U_i) и соответствующую информацию T_tracking,i слежения из отслеживаемого ультразвукового прибора 101, по существу, одновременно (i является индексом или временной меткой полученных данных). Пользователь идентифицирует точки 203 в ультразвуковом изображении щелчком мыши, при указателе мыши на ультразвуковом изображении в реальном времени, отображаемом на рабочей станции 104. В альтернативном варианте вместо выбора точек поверхности ультразвукового изображения на ультразвуковом изображении в реальном времени изображение (и соответствующие записанные координаты слежения) можно «заморозить» и точки изображения можно выбирать на «замороженном» изображении. Выбранные таким образом координаты p_i ^US ультразвукового изображения преобразуют в координаты p_i ^Tracking системы слежения с использованием преобразования T_calibration одноразовой калибровки (например, матрицы преобразования) отслеживаемого ультразвукового зонда и с использованием преобразования T_tracking,i отслеживания положения зонда в реальном времени, обеспечиваемой датчиком отслеживания зонда: p_i ^Tracking=T_tracking,i·T_calibratlon ·p_i ^US (где символ «·» означает матричное умножение). Выбором нескольких точек на поверхности представляющего интерес органа формируется множество точек {p_i ^Tracking} поверхности в координатной системе системы слежения.

Затем множество точек 203 поверхности согласуется с сеткой 202 сегментированной поверхности ранее полученного изображения. Такое согласование описано на фиг.2C. Рабочая станция 104 содержит итеративный алгоритм ближайшей точки (ICP) или его модификацию для согласования плотного множества 203 точек (координаты {p_i ^Tracking} системы слежения точек поверхности, идентифицированных в ультразвуковых изображениях) с поверхностной сеткой 202 (сегментации поверхности в ранее полученном изображении), причем упомянутый алгоритм вычисляет преобразование T_registration совмещения, которое согласует координатную систему системы слежения с координатной системой ранее полученного изображения, где точки 204 изображают объединенные точки ранее полученного изображения и изображения в реальном времени. Упомянутое совмещение ранее полученного изображения, имеющего сравнительно высокое разрешение, и УЗ изображения в реальном времени обеспечивает возможность более точного тестирования и терапии.

На фиг.2D показано УЗ изображение, содержащее множество областей 205, 205', выбранных для анализа с использованием объединенного ранее полученного изображения в реальном времени УЗ визуализации в соответствии с характерным вариантом осуществления. В соответствии с описанием наглядных вариантов осуществления термин «допроцедурное изображение» означает ранее полученное изображение. Ранее полученное изображение содержит MR-изображение, но может быть одним из изображений, полученных по различным технологиям, включая, но без ограничения, визуализацию методом компьютерной томографии (CT); визуализацию методом позитронно-эмиссионной томографии (PET); или визуализацию методом однофотонной эмиссионной компьютерной томографии (SPECT). Области 205 выбираются врачом для просмотра в реальном времени (областей 205') внутрипроцедурного изображения. Внутрипроцедурное изображение содержит изображение, ранее полученное по выбранной технологии, объединенное с УЗ изображением в реальном времени с использованием способом и систем в соответствии с характерными вариантами осуществления. Искомые процедуры можно выполнять с использованием внутрипроцедурного изображения. Упомянутые процедуры содержат взятие пробы (биопсии) или воздействие на лечебную процедуру. Оборудование, необходимое для процедуры, можно присоединять к УЗ зонду или иначе направлять с его помощью.

На фиг.3 представлен снимок экрана/отображение УЗ изображения и пространственно согласующаяся многоплоскостная реконструкция (MPR) ранее полученного 3D изображения, основанная на совмещении точек поверхности ультразвукового изображения с сегментацией поверхности ранее полученного изображения в соответствии с характерным вариантом осуществления. Для облегчения описания сегментация поверхности налагается также на оба изображения. Отображение ультразвукового изображения (слева) в реальном времени и пространственно согласующейся MPR ранее полученного 3D изображения (справа) обеспечивает полезную иллюстрацию преимуществ способов, устройств и систем в соответствии с характерными вариантами осуществления. Отображение ультразвукового изображения в реальном времени вместе с согласованно совмещенной MPR ранее полученного 3D изображения можно выполнять с использованием дисплея с выведением рядом расположенных изображений, возможно, с наложением сегментированной поверхности или с объединением в одно изображение с использованием альфа-сопряжения, с переменной альфа-прозрачностью.

С самого начала из анализа отображения становится понятно, что УЗ изображение имеет разрешение, которое перекрывается разрешением ранее полученного изображения. Однако, так как УЗ изображение является изображением в реальном времени, и координаты УЗ изображения преобразуются в координатную систему ранее полученного изображения, то выполняется точное исследование и лечение в реальном времени. Иначе говоря, в реальном времени точно определяется положение УЗ прибора 101, и УЗ прибор 101 точно устанавливается посредством преобразования ранее полученного изображения (с более высоким разрешением) в координаты УЗ изображения, и наоборот (посредством обратного преобразования координат из пространства ранее полученного изображения в пространство изображения в реальном времени). На дисплее, показанном на фиг.3, оператор может фактически наблюдать местоположение прибора 101 в реальном времени, по существу, на ранее полученном изображении.

На фиг.4 показана концептуальная принципиальная схема, поясняющая преобразование координатной системы УЗ прибора в координатную систему ранее полученного изображения в соответствии с характерным вариантом осуществления. Преобразование из координатной системы 2D УЗ прибора 101 (Cus) описано и показано «несплошными» линиями, которые направлены против часовой стрелки на фиг.4. Как несложно понять специалисту со средним уровнем компетентности в данной области техники, для получения противоположного координатного преобразования из одного пространства изображения в другое можно применить обратное преобразование.

Данные УЗ изображения обеспечиваются в пространстве координат УЗ прибора 101 или Cus. Преобразование (T_calibration) одноразовой калибровки преобразует координаты пространства изображения УЗ изображения в координатную систему датчика слежения. Следует понимать, что упомянутое преобразование является относительно простым и обеспечивает получение координат изображения в реальном времени в координатной системе УЗ прибора 101.

Затем координатная система прибора 101 (Csensor) преобразуется в координатную систему следящего прибора. Это преобразование обеспечивает преобразование координат изображения в реальном времени в координаты системы слежения. Как будет понятно, перемещение прибора 101 изменяет как положение, так и ориентацию координатной системы прибора, когда прибор 101 перемещают по методу свободной руки. Следовательно, изменение координатной системы прибора 101 динамически изменяет и, следовательно, осуществляет связь с другими координатными системами системы 100 визуализации. Система визуализации поддерживает определение измененного положения прибора 101, и преобразование в координаты системы слежения позволяет обеспечивать данные положения прибора 101 в неизменяющейся координатной системе.

Затем выполняется процесс совмещения. Процесс совмещения представляет собой преобразование координат изображения в реальном времени в координатную систему ранее полученного изображения. В характерных вариантах осуществления упомянутое преобразование выполняется с использованием так называемого итеративного алгоритма ближайшей точки (ICP), описанного в статье «A Method for Registration of 3-D Shapes» IEEE Trans. Pat. Anal. and Mach. Intel. 14(2), pp 239-256, Feb 1992, to P. J. Besl and N. D. McKay. Описание данной статьи в явной форме включено в настоящую заявку путем отсылки.

Таким образом, рабочая станция 104 и исполняемое в ней программное обеспечение получают и отображают текущее ультразвуковое изображение; и вычисляют и отображают многоплоскостную реконструкцию (MPR) ранее полученного изображения, согласующегося с местоположением ультразвукового изображения; используют преобразование T_registration совмещения, одноразовую калибровку T_calibratlon и текущее отслеживаемое положение T_tracking ультразвукового зонда:

T_{realtime2preacquired}=T_registration·T _tracking·T_calibration;

где T_{realtime2preacquired} означает преобразование из пространства (2D) изображения получаемого в реальном времени изображения в пространство изображения ранее полученного изображения.

По окончании процесса совмещения пространство изображения в реальном времени преобразовано в пространство ранее полученного изображения с обеспечением вышеописанных преимуществ.

В еще одном характерном варианте осуществления изображение в реальном времени является 3D УЗ изображением. Следует отметить, что многие детали соответствующего преобразования являются общими с деталями, описанными выше, и описание таких деталей не повторяется во избежание запутывания описания соответствующих вариантов осуществления.

По окончании преобразования в координатную систему (3D) УЗ прибора (Csensor) выполняют преобразование 3D УЗ изображения в реальном времени в координатную систему следящего прибора. Затем выполняют совмещение из координатной системы следящего прибора в координатную систему пространства ранее полученного изображения. Такое совмещение может выполняться в процессе исполнения ранее упомянутого ICP.

На фиг.5 представлен альтернативный способ в соответствии с наглядным вариантом осуществления. Вместо согласования точек поверхности в пространстве слежения с пространством ранее полученного изображения с помощью ICP один из объемов, непрерывно получаемых методом 3D ультразвукового сканирования в реальном времени, может быть «заморожен» и непосредственно совмещен с ранее полученным изображением с использованием методов ручного совмещения или автоматического совмещения посредством максимизации критерия подобия между объемами двух изображений.

Для создания возможности ручного совмещения система 100 содержит графический пользовательский интерфейс (GUI), который позволяет оператору манипулировать сдвигом (по направлениям x, y и z) и ориентацией (вокруг осей x, y и z) 3D ультразвукового изображения относительно ранее полученного изображения. Как должно быть понятно, GUI реализуют в рабочей станции 104. При каждой манипуляции упомянутыми параметрами система может визуализировать скорректированную пространственную подгонку ультразвуковых изображений 501 к ранее полученным изображениям 502. Для наглядности упомянутая визуализация может осуществляться с использованием полупрозрачного наложения/альфа-сопряжения двух изображений на 2D сечениях или 3D видах, чтобы обеспечивать для оператора информацию обратной связи о качестве совмещения изображений. В другом варианте осуществления система может визуализировать текущую подгонку множества сечений 3D ультразвукового изображения к соответствующим сечениям посредством сегментации в ранее полученном изображении. Получаемое преобразование представлено на фиг.5 для совмещаемых, как показано, УЗ изображений 501' и ранее полученного изображения 502'. Показаны также сечения 503 посредством сегментации ранее полученного изображения.

Для автоматического совмещения предполагается использование одного из множества различных известных критериев подобия для совмещения изображений, полученных по нескольким технологиям. Например, так называемая взаимная информация, например, описанная в работе J. B. Maintz and M. A. Viergever, «A survey of medical image registration», Med Image Anal, vol. 2, pp. 1-36, Mar 1998; и один из множества различных известных методов оптимизации, например, так называемый, нисходящий симплексный (Downhill Simplex), описанный в работе W. H. Press, B. P. Flannery, S. A. Teukolsky, and W. T. Vetterling, «Numerical Recipes in C»: Cambridge University Press, New York, 1990. Описания упомянутых работ в явной форме включены в настоящую заявку путем отсылки.

Соответственно, рабочая станция 104 и исполняемое в ней программное обеспечение получает и отображает текущее 3D ультразвуковое изображение; и вычисляет и отображает многоплоскостные реконструкции (MPR) или изображения объемов ранее полученного изображения, согласующиеся с местоположением ультразвукового изображения; использует преобразование T _registration совмещения, одноразовую калибровку T_calibratlon отслеживаемого ультразвукового зонда и текущее положение отслеживаемого ультразвукового зонда. Таким образом, ранее полученное изображение можно использовать для высокоточного определения положения УЗ прибора 101 относительно заданного участка в пациенте.

В другом варианте осуществления 3D ультразвуковой объем можно реконструировать из отслеживаемых 2D ультразвуковых изображений и соответствующих им отслеживаемых положений изображений с целью установления T_registration. Описанный процесс изображен «сплошными» стрелками, направленными против часовой стрелки на фиг.4. Совмещение между реконструированным 3D УЗ изображением и ранее полученным изображением можно осуществлять таким же образом, как описано выше для совмещения одного из объемов, непрерывно получаемых методом 3D ультразвукового сканирования в реальном времени: либо с использованием выбора точки поверхности в 3D ультразвуковом изображении и затем совмещения точки с поверхностью по алгоритму ICP, либо с использованием ручного или автоматического совмещения изображений (ультразвукового изображения с ранее полученным изображением).

В связи с вышеприведенным описанием следует отметить, что различные способы, устройства и системы, описанные в настоящей заявке, можно реализовать для множества различных применений с использованием различных модификаций приборов, технологий, программных и аппаратных средств. Более того, пользу от применения принципов настоящего изобретения можно извлечь в других областях применения, кроме медицинской визуализации. Кроме того, различные приборы, технологии, программные и аппаратные средства и параметры включены в настоящее описание только для примера, а не для ограничения. С учетом настоящего описания специалисты в данной области техники смогут реализовать принципы настоящего изобретения при определении собственных применений и необходимых приборов, программных и аппаратных средств и другого оборудования для исполнения таких применений, но при этом без выхода за пределы объема притязаний прилагаемой формулы изобретения.