способ и устройство для объемной визуализации наборов данных

Формула изобретения

1. Способ объемной визуализации наборов данных, включающий шаги, на которых:

собирают набор данных объекта, в частности, набор медицинских данных пациента,

отображают по меньшей мере одно изображение (12, 22) среза собранного набора данных,

обеспечивают выбор пользователемположения в интересующей структуре (SOI) по меньшей мере на одном отображенном изображении (12, 22) среза,

отображают объемную визуализацию (17, 31) интересующей структуры (SOI) на основании одного или нескольких первых параметров, которые характеризуют изображение отображаемой объемной визуализации (17, 31) интересующей структуры (SOI),

отличающийся тем, что

автоматически определяют упомянутые первые параметры с учетом выбранного пользователем положения и одного или нескольких вторых параметров, которые характеризуют по меньшей мере одно из группы, включающей объект, интересующую структуру (SOI), текущее отображаемое изображение (12, 22) среза и одну или несколько предыдущих объемных визуализаций интересующей структуры (SOI),

определяют упомянутые первые параметры так, чтобы получить оптимизированное изображение на отображаемой объемной визуализации (17, 31) интересующей структуры (SOI) без дополнительного ввода данных пользователем помимо выбора положения пользователем,

выводят информацию по меньшей мере для одного из вторых параметров, касающуюся качества точек обзора, на основании по меньшей мере из одного из вторых параметров, и путем вычисления деформированной сферы (27, 42, 46, 55, 57, 61, 62) обзора для этого второго параметра, при этом положения точек обзора с бóльшим расстоянием по радиусу от сферы обзора считаются лучшими, чем точек обзора с меньшим расстоянием по радиусу от сферы обзора.

2. Способ по п.1, в котором один или несколько первых параметров содержат точку обзора, являющуюся точкой наблюдения интересующей структуры (SOI) на отображаемой объемной визуализации (17, 31).

3. Способ по п.1, в котором один или несколько первых параметров содержат направление визирования, являющееся направлением наблюдения интересующей структуры (SOI) на отображаемой объемной визуализации (17, 31).

4. Способ по п.1, в котором один или несколько первых параметров содержат по меньшей мере одну поверхность отсечения, каждая из которых делит интересующую структуру (SOI) на первую и вторую области, при этом детали интересующей структуры, находящиеся в первой области поверхности отсечения, отображаются на объемной визуализации (17, 31), а детали интересующей структуры (SOI), находящиеся во второй области поверхности отсечения, не отображаются на объемной визуализации (17, 31),

5. Способ по п.3 или 4, в котором по меньшей мере одна поверхность отсечения является плоскостью отсечения, совмещенной с направлением визирования.

6. Способ по п.1, в котором один или несколько первых параметров содержат объемный коэффициент масштабирования, характеризующий размер интересующей структуры (SOI) на отображаемой объемной визуализации (17, 31).

7. Способ по п.1, в котором один или несколько вторых параметров, характеризующих объект, содержат ориентацию (40) объекта, в частности, ориентацию пациента в момент сбора набора данных объекта, в частности, пациента.

8. Способ по п.1, в котором один или несколько вторых параметров, характеризующих интересующую структуру (SOI), содержат информацию о форме интересующей структуры (SOI).

9. Способ по п.1, в котором один или несколько вторых параметров, характеризующих интересующую структуру (SOI), содержат информацию о видимости интересующей структуры (SOI).

10. Способ по п.1, в котором один или несколько вторых параметров, характеризующих одну или несколько предыдущих объемных визуализаций (17, 31) интересующей структуры (SOI), содержат информацию об одной или нескольких предыдущих точках обзора, являющихся точкой или точками наблюдения интересующей структуры (SOI) на предыдущей отображаемой объемной визуализации или визуализациях (17, 31) интересующей структуры (SOI).

11. Способ по п.1, в котором один или несколько вторых параметров, характеризующих текущее отображаемое изображение (12, 22) среза, содержат информацию о размере интересующей структуры (SOI) на текущем отображаемом изображении (12, 22) среза.

12. Способ по п.1, в котором вычисляют и сочетают деформированные сферы (61, 62) обзора для двух или более вторых параметров так, чтобы получить комбинированную деформированную сферу (63, 64, 65) обзора, содержащую информацию, касающуюся качества точек обзора на основании упомянутых по меньшей мере двух или более вторых параметров.

13. Способ по п.12, в котором взвешивают деформированные сферы (61, 62) обзора для вторых параметров до их комбинирования с комбинированной деформированной сферой (63, 64, 65) обзора.

14. Способ по п.12 или 13, в котором комбинируют деформированные сферы (61, 62) обзора путем суммирования, умножения или определения порога.

15. Способ по любому из пп.1, 12 или 13, в котором определяют хорошую точку обзора путем выбора точки обзора, имеющей преимущественно наибольшее расстояние по радиусу от сферы обзора деформированной сферы (27, 42, 46, 55, 57, 61, 62) обзора или комбинированной деформированной сферы (63, 64, 65) обзора, соответственно.

16. Способ по п.15, в котором определяют хорошее направление визирования путем выбора пользователем положения и хорошей точки обзора.

17. Способ по любому из пп.1, 12 или 13, в котором устанавливают положение хорошей поверхности отсечения с учетом деформированной сферы (27, 42, 46, 55, 57, 61, 62) обзора или комбинированной деформированной сферы (63, 64, 65) обзора, соответственно, и с учетом суммарной непрозрачности интересующей структуры (SOI) для лучей, начиная с выбранного пользователем положения, при этом хорошую плоскость отсечения устанавливают в положении, в котором суммарная непрозрачность находится ниже заданного порога.

18. Способ по пп.6 и 11, в котором определяют объемный коэффициент масштабирования с учетом размера, в частности коэффициента масштабирования изображения среза интересующей структуры (SOI) на текущем отображаемом изображении (12, 22) среза.

19. Способ по п.1, в котором обеспечивают выбор пользователем нескольких положений путем последовательного указания различных положений в интересующей структуре (SOI) на отображаемом изображении (12, 22) среза, и в котором для каждого из нескольких положений автоматически определяют упомянутые первые параметры, и последовательно обновляют отображение соответствующей объемной визуализации (17, 31) интересующей структуры (SOI) так, чтобы получить оптимизированное изображение на отображаемых объемных визуализациях (17, 31) интересующей структуры (SOI) без дополнительного ввода данных пользователем помимо последовательного указания различных положений в интересующей структуре (SOI).

20. Способ по п.1, в котором обеспечивают выбор пользователем множества положений в интересующей структуре (SOI) путем непрерывного отслеживания интересующей структуры (SOI) на отображаемом изображении (12, 22) среза, и в котором для каждого из множества положений автоматически определяют упомянутые первые параметры, и непрерывно обновляют отображение соответствующей объемной визуализации (17, 31) интересующей структуры (SOI) так, чтобы получить оптимизированное изображение на отображаемых объемных визуализациях (17, 31) интересующей структуры (SOI) без дополнительного ввода данных пользователем помимо непрерывного отслеживания интересующей структуры (SOI).

21. Способ по п.1, в котором автоматически выбирают множество положений в интересующей структуре (SOI).

22. Способ по п.21, в котором автоматически идентифицируют интересующую структуру (SOI) и ее форму и(или) очертания, и автоматически устанавливают положения в интересующей структуре (SOI) вдоль идентифицированной формы и(или) очертания интересующей структуры (SOI).

23. Способ по п.1, в котором автоматическое определение упомянутых первых параметров и последующее обновленное отображение соответствующих объемных визуализаций (17, 31) может быть активировано или деактивировано пользователем.

24. Способ по п.23, в котором для активации и деактивации нажимают и отпускают пусковую клавишу, в частности, функциональную клавишу или управляющую клавишу, или выбирают пиктограмму на дисплее (11).

25. Способ по п.24, в котором автоматическое определение упомянутых первых параметров и последующее обновленное отображение соответствующих объемных визуализаций (17, 31) происходит только при выборе пользователем положения в интересующей структуре (SOI) на отображаемом изображении (12, 22) среза и одновременном нажатии пусковой клавиши.

26. Способ по любому из пп.23-25, в котором пользователь деактивирует автоматическое определение упомянутых первых параметров и последующее отображение соответствующих объемных визуализаций (17, 31) и изменяет по меньшей мере один из автоматически определенных первых параметров, после чего отображают обновленную объемную визуализацию интересующей структуры на основании измененных первых параметров.

27. Способ по любому из пп. 1,12 или 13, в котором на основании ранее собранных наборов данных одного или нескольких объектов, в частности, одного или нескольких пациентов, получают по меньшей мере две деформированные сферы (27, 42, 46, 55, 57, 61-65) обзора, при этом как ранее собранные наборы данных, так и текущие собранные наборы данных являются результатом обследования одного и того же типа, и определяют один или несколько первых параметров, характеризующих изображение отображаемой объемной визуализации (17, 31) интересующей структуры (SOI) текущих собранных наборов данных, с учетом по меньшей мере двух деформированных сфер (27, 42, 46, 55, 57, 61-65) обзора, полученных на основании ранее собранных наборов данных.

28. Способ по п.27, в котором упомянутые по меньшей мере две деформированные сферы (27, 42, 46, 55, 57, 61-65) обзора, полученные на основании ранее собранных наборов данных, накладывают друг на друга, чтобы получить суммарную деформированную сферу обзора, при этом первые параметры выводят из упомянутой суммарной деформированной сферы обзора.

29. Способ по п.27, в котором по меньшей мере одна из упомянутых по меньшей мере двух деформированных сфер (27, 42, 46, 55, 57, 61-65) обзора, полученных на основании ранее собранных наборов данных, является комбинированной деформированной сферой (63, 64, 65) обзора, которая получена путем комбинирования двух или более сфер обзора для двух или более вторых параметров, которые характеризуют по меньшей мере одно из группы, включающей предыдущего обследованного пациента, предыдущую выбранную интересующую структуру (SOI), предыдущее отображенное изображение среза и предыдущие объемные визуализации предыдущей выбранной интересующей структуры (SOI).

30. Устройство для объемной визуализации наборов данных, содержащее

дисплей (11) для отображения по меньшей мере одного изображения (12, 22) среза набора данных объекта, в частности набора медицинских данных пациента,

пользовательский блок выбора (13, 14, 15), позволяющий пользователю выбирать положение в интересующей структуре (SOI) по меньшей мере на одном отображенном изображении (12, 22) среза, и

блок (16) объемной визуализации для определения объемной визуализации (17, 31) интересующей структуры (SOI) на основании одного или нескольких первых параметров, характеризующих изображение отображаемой объемной визуализации (17, 31) интересующей структуры (SOI), при этом упомянутая объемная визуализация (17, 31) интересующей структуры (SOI) отображается на дисплее (11),

отличающееся тем, что упомянутый блок (16) объемной визуализации выполнен с возможностью:

автоматического определения упомянутых первых параметров с учетом выбранного пользователем положения и одного или нескольких вторых параметров, характеризующих по меньшей мере одно из группы, включающей объект, интересующую структуру (SOI), текущее отображаемое изображение (12, 22) среза и одну или несколько предыдущих объемных визуализаций (17, 31) интересующей структуры (SOI),

определения упомянутых первых параметров для получения оптимизированного изображения на отображаемой объемной визуализации (17, 31) интересующей структуры (SOI) без дополнительного ввода данных пользователем помимо выбора положения пользователем, и

вывода информации по меньшей мере для одного из вторых параметров, касающейся качества точек обзора, на основании по меньшей мере из одного из вторых параметров, и путем вычисления деформированной сферы (27, 42, 46, 55, 57, 61, 62) обзора для этого второго параметра, при этом положения точек обзора с бóльшим расстоянием по радиусу от сферы обзора считаются лучшими, чем точек обзора с меньшим расстоянием по радиусу от сферы обзора.

Описание изобретения к патенту

Изобретение относится к способу и устройству для объемной визуализации наборов данных, более конкретно, наборов медицинских данных, согласно преамбуле независимых пунктов формулы изобретения.

Современные средства формирования изображений в медицине (например, компьютерная томография) обеспечивают большие количества данных с беспрецедентной разрешающей способностью. Представление этого огромного количества информации является сложной задачей, стоящей перед современными радиологическими рабочими станциями. Существующим предпочтительным способом обеспечения высококачественного исследования данных является объемная визуализация. За счет сочетания информации, обеспечиваемой методом двухмерной визуализации поперечного сечения и методом трехмерной визуализации, можно усовершенствовать процесс диагностики. Объединение различных представлений данных потенциально выгодно с точки зрения обеспечения значительного повышения эффективности. В данном случае объемный дисплей обычно действует как обзорный дисплей. Изображения поперечного сечения содержат важную для диагностики информацию.

Путем точного определения области патологии на объемном дисплее выбирают соответствующие изображения поперечного сечения для отображения на участке двумерного отображения. С технической точки зрения этот процесс является относительно простым для реализации. Положение в пространстве интересующей точки может быть выведено из характеристик заданного окна просмотра (т.е. функции преобразования и направления визирования). Важно отметить, что существует ограниченная степень свободы выделения положения на соответствующем изображении поперечного сечения.

Тем не менее обратная операция не является такой же несложной. В результате выбора положения на двухмерном поперечном срезе должно быть получено выразительное ясное объемное изображение. Даже если интересующее положение точно задано путем выбора точки на изображении поперечного сечения, надлежащее выделение интересующей области на соответствующем объемном представлении является сложной задачей.

Общим мотивом для выделения структуры, выбранной на двумерном изображении, на его трехмерном представлении, является получение контекстуальной информации. Проиллюстрируем это коротким примером. При считывании ангиографических изображений поперечного сечения, полученных методом компьютерной томографии, часто требуется определить, к какой анатомической структуре принадлежит конкретный частично видимый сосуд. В этом случае была бы желательна объемная визуализация изображенного сосуда и окружающего его пространства. Для получения оптимальных результатов выбранная структура должна быть хорошо видна и должна быть не затенена менее важными структурами.

Выбор точки обзора является хорошо изученной областью исследований в случае многоугольных изображений, но число проведенных исследований применительно к данным в объемном представлении является относительно небольшим. Кроме того, до настоящего времени уделялось мало внимания сочетанию расчета оптимальной точки обзора и синхронизированных изображений.

В работе Fleishman и др. [6] предложено автоматическое размещение камеры для получения основанных на анализе изображений моделей с известной геометрией. Для расчета видимости и затенения поверхностей применяется мера качества. У Blanz и др. [2] исследуются такие методы, как канонические представления изображения на предмет эстетических аспектов точки обзора. В используемой экспериментальной установке пользователи оценивают качественность точек обзора моделей трехмерных объектов. На основании полученных оценок задают набор критериев хороших точек обзора. Для определения качества точки обзора виртуальных изображений у Sbert и др. [12] применяется мера, основанная на расстоянии Кульбака-Лейблера проецируемой площади многоугольников в изображении. У Lee и др. [7] введен принцип значимости сетки для расчета местной значимости сеток. Он также может применяться для выбора точки обзора помимо упрощения сетки. В работе Vázquez и др. [16, 17] рассматривается вопрос отсутствия согласия в компьютерной графике по поводу того, что характеризует хорошее изображение. Для автоматического вычисления хороших точек обзора введено понятие энтропии точки обзора, основанное на теории информации. Работа Polonsky и др. [10] посвящена вычислению наилучшего изображения объекта. В ней описан набор дескрипторов изображения для расчета качества точки обзора. У Miihler и др. [8] предложено решение выбора точки обзора для визуализации поверхностей в медицине. Задачей этой работы является генерация динамических изображений для коллективного планирования вмешательств и обучения хирургов.

Разработки в области полигональных данных способствовали появлению ряда недавних работ, касающихся выбора точки обзора применительно к данным в объемном представлении. У Bordoloi и Shen [3] предложено основанное на энтропии решение для определения минимального набора репрезентативных представлений заданного изображения. В процессе выбора точки обзора принимается во внимание распределение данных, функция преобразования и видимость вокселов. У Takahashi и др. [13] предложено характеристическое решение для выбора хорошей точки обзора. Для обнаружения локально оптимальных точек обзора идентифицируют характерные компоненты в объеме. Эти точки обзора используют для получения оптимальной глобальной точки обзора. В работе Viola и др. [18] предложено основанное на значимости решение, сфокусированное на структурах внутри данных в объемном представлении. Выделенный объект задается пользователем, и система автоматически выбирает характерную точку обзора, которая обеспечивает выразительное изображение интересующего объекта. У Chan и др. [5] предложена структура, облегчающая выбор точки обзора в случае объемных ангиографических изображений. Рассмотрены дескрипторы изображения применительно к видимости, охвату и самозатенению сосудов для определения глобально оптимальной точки обзора. Это изображение выбирают путем поиска в пространстве решений для точек обзора.

Помимо методов выбора точки обзора существует множество подходов к определению интересующей области (ROI) данных в объемном представлении. Применительно к объемным изображениям эту область также называют интересующим объемом (VOI). У Тоrу и Swindells [14] предложен метод ExoVis прямой объемной визуализации деталей и контекста. VOI может быть определен путем помещения прямоугольника внутрь объемного изображения. Эту часть извлекают из объемного изображения путем перемещения, и этот трехмерный фрагмент может отображаться с использованием различных стилей визуализации или функций преобразования. У Owada и др. [9] описан улавливатель объемного изображения в качестве средства определения ROI внутри данных несегментированного объемного изображения. Пользователь определяет эту область путем вычерчивания двухмерной линии вдоль контура интересующей структуры, а система осуществляет ограниченную сегментацию на основании статистического слияния областей. У Zhou и др. [20] предложена обусловленная областью фокальная характеристическая объемная визуализация для выделения VOI. Согласно предложенному подходу используют геометрическую форму наподобие сферы, чтобы разделить объемное изображение на фокальную и контекстную область. Интересное исследование, касающееся классификации тканей, было проведено Sato и др. [11]. Для идентификации локальных объектов, таких как кромки, пластинки, линии и пятна, которые обычно соответствуют типам тканей при визуализации трехмерных медицинских данных, принимались во внимание трехмерные локальные структуры интенсивности. В фильтрах локальных структур используются векторы-градиенты наряду с матрицей Гессе интенсивности объемного изображения в сочетании с гауссовым размыванием.

Несмотря на исследования коррекция параметров окна просмотра с целью обеспечения хорошего и незатененного изображения интересующей структуры по-прежнему является сложной и трудоемкой задачей. Обычно пользователь должен следить за соответствующей точкой обзора, масштабированием, настройкой функции преобразования, плоскостями отсечения и другими параметрами. Именно поэтому во многих случаях исследуются только двухмерные срезы, а не объемные визуализации наборов данных в объемном представлении.

В основу изобретения положена задача создания способа и соответствующего устройства, позволяющего получать качественные объемные изображения наборов данных, в частности наборов медицинских данных, и требующего меньшего ввода данных пользователем.

Эта задача решена с помощью способа или соответствующего устройства согласно независимым пунктам формулы изобретения.

Предложенный в изобретении способ включает следующие шаги, на которых: собирают набор данных объекта, в частности, набор медицинских данных пациента, отображают по меньшей мере одно изображение среза собранного набора данных, пользователь определяет положение в интересующей структуре (SOI) по меньшей мере на одном отображенном изображении среза, отображают объемную визуализацию интересующей структуры на основании одного или нескольких первых параметров, которые характеризуют изображение отображаемой объемной визуализации интересующей структуры, при этом упомянутые первые параметры автоматически определяют с учетом выбранного пользователем положения и одного или нескольких вторых параметров, которые характеризуют по меньшей мере одно из следующего: объект, интересующую структуру, текущее отображаемое изображение среза и одну или несколько предыдущих объемных визуализаций интересующей структуры, а упомянутые первые параметры определяют таким образом, чтобы получить оптимизированное изображение отображаемой объемной визуализации интересующей структуры без дополнительного ввода данных пользователем помимо выбора положения.

Соответствующее устройство согласно изобретению содержит дисплей для отображения по меньшей мере одного изображения среза набора данных объекта, в частности, пациента, блок выбора, позволяющий пользователю выбирать положение в интересующей структуре (SOI) по меньшей мере на одном отображенном изображении среза, блок объемной визуализации для вычисления объемной визуализации интересующей структуры на основании одного или нескольких первых параметров, которые характеризуют изображение отображаемой объемной визуализации интересующей структуры, отображаемой на дисплее, при этом упомянутый блок объемной визуализации служит для автоматического определения упомянутых первых параметров с учетом выбранного пользователем положения и одного или нескольких вторых параметров, которые характеризуют по меньшей мере одно из следующего: объект, интересующую структуру, текущее отображаемое изображение среза и одну или несколько предыдущих объемных визуализаций интересующей структуры, а упомянутый блок объемной визуализации служит для определения упомянутых первых параметров таким образом, чтобы получить оптимизированное изображение отображаемой объемной визуализации интересующей структуры без дополнительного ввода данных пользователем помимо выбора положения.

Применительно к настоящему изобретению один или несколько первых параметров также именуются "параметрами окна просмотра", а вторые параметры также именуются "входными параметрами".

В основу изобретения положен принцип выведения параметров окна просмотра, т.е. первых параметров для получения хорошего объемного изображения выбранной интересующей структуры только на основании информации, заданной:

выбранным пользователем положением в интересующей структуре и

одним или несколькими вторыми параметрами, которые могут автоматически выводиться из характеристик объекта, интересующей структуры, текущего отображаемого изображения среза или одной или нескольких предыдущих объемных визуализаций интересующей структуры, соответственно.

Таким способом получают хорошие объемные изображения наборов данных, и при этом сводят необходимый ввод данных пользователем к выбору положения в интересующей структуре.

В одном из вариантов осуществления изобретения один или несколько первых параметров содержит по меньшей мере одно из следующего:

точку обзора, которая является точкой рассматривания интересующей структуры на отображаемой объемной визуализации,

направление визирования (наблюдения), которое является направлением рассматривания интересующей структуры на отображаемой объемной визуализации,

по меньшей мере одну поверхность отсечения, каждая из которых делит интересующую структуру на первую и вторую области, при этом детали интересующей структуры, находящиеся в первой области поверхности отсечения, отображаются на объемной визуализации, детали интересующей структуры, находящиеся во второй области поверхности отсечения, не отображаются на объемной визуализации, а по меньшей мере одна поверхность отсечения предпочтительно является плоскостью отсечения, совмещенной с направлением визирования, и

объемный коэффициент масштабирования, характеризующий размер интересующей структуры на отображаемой объемной визуализации.

Тем самым число первых параметров сводится к наиболее важным для хорошего объемного изображения параметрам, что делает выведение первых параметров простым и быстрым и позволяет получать прямые синхронизированные двухмерные/объемные изображения.

Один или несколько вторых параметров, характеризующих объект, также предпочтительно содержат ориентацию объекта, в частности, ориентацию пациента в момент получения набора данных объекта, в частности, пациента. Кроме того, один или несколько вторых параметров, характеризующих интересующую структуру, содержат информацию о форме интересующей структуры. Предпочтительно один или несколько вторых параметров, характеризующих интересующую структуру, содержат информацию о видимости интересующей структуры. В другом предпочтительном варианте осуществления один или несколько вторых параметров, характеризующих одну или несколько предыдущих объемных визуализаций интересующей структуры, содержат информацию об одной или нескольких предыдущих точках обзора, являющихся точкой или точками рассматривания интересующей структуры на предыдущей отображаемой объемной визуализации или визуализациях интересующей структуры. Помимо этого, один или несколько вторых параметров, характеризующих текущее отображаемое изображение среза, предпочтительно содержат информацию о размере интересующей структуры на текущем отображаемом изображении среза.

Поскольку упомянутые выше вторые параметры можно легко получить или автоматически вывести из доступных данных, например, набора данных или информации, касающейся получения набора данных, не требуется дополнительный ввод пользователем данных, касающихся получения или выведения вторых параметров.

В одном из вариантов осуществления изобретения по меньшей мере для одного из вторых параметров выводят информацию, касающуюся качества точек обзора, на основании по меньшей мере из одного из вторых параметров. Для получения особо хорошего изображения на выбранной интересующей структуре используют принцип деформированных сфер обзора, при этом сфера обзора окружает центр сканированного набора данных и описывает все возможные положения камеры по отношению к этому объекту. Вторые параметры используют для кодирования качества точки обзора на деформированных сферах обзора всякий раз при осуществлении выбора. После комбинирования деформированных сфер для различных вторых параметров, исходя из полученной сферы, можно определить расчетное качество всех возможных точек обзора на выбранной интересующей структуре.

В частности, путем вычисления деформированной сферы обзора по меньшей мере для одного второго параметра выводят информацию, касающуюся качества точек обзора, при этом положения точек обзора, находящихся на большем расстоянии по радиусу от сферы обзора, считаются лучшими, чем положения точек обзора, находящихся на меньшем расстоянии по радиусу от сферы обзора.

В частности, вычисляют деформированные сферы обзора для двух или более вторых параметров и комбинируют их таким образом, чтобы на основании этих вторых параметров получить комбинированную деформированную сферу, содержащую информацию, касающуюся качества точек обзора. Деформированные сферы обзора для вторых параметров предпочтительно взвешивают перед их комбинированием с комбинированной деформированной сферой обзора. В частности, деформированные сферы обзора комбинируют путем сложения, умножения или определения порога деформированных сфер обзора.

Хорошую точку обзора предпочтительно определяют путем выбора точки обзора, находящейся преимущественно на наибольшем расстоянии по радиусу от сферы обзора деформированной сферы обзора или комбинированной деформированной сферы обзора, соответственно. Хорошее направление визирования также предпочтительно определяют на основании выбранного пользователем положения и хорошей точки обзора. В одном из вариантов осуществления положение хорошей поверхности отсечения устанавливают с учетом деформированной сферы обзора или комбинированной деформированной сферы обзора, соответственно, и с учетом суммарной непрозрачности интересующей структуры для лучей, начиная с выбранного пользователем положения, при этом хорошую плоскость отсечения устанавливают в положении, в котором суммарная непрозрачность находится ниже заданного порога. В другом варианте осуществления определяют объемный коэффициент масштабирования с учетом размера, в частности, коэффициента масштабирования изображения среза интересующей структуры на текущем отображаемом изображении среза.

Путем осуществления одной или нескольких из упомянутых выше операций обеспечивают простое и быстрое выведение первых параметров.

В одном из выгодных вариантов осуществления, касающемся прямой синхронизации двухмерных/объемных изображений, пользователь выбирает несколько положений путем последовательного указания различных положений в интересующей структуре на отображаемом изображении среза, при этом для каждого из различных положений автоматически определяют упомянутые первые параметры, и последовательно обновляют отображение соответствующей объемной визуализации интересующей структуры таким образом, чтобы получить оптимизированное изображение отображаемых объемных визуализаций интересующей структуры без дополнительного ввода данных пользователем помимо последовательного указания различных положений в интересующей структуре.

В частности, пользователь предпочтительно выбирает множество положений в интересующей структуре путем непрерывного отслеживания интересующей структуры на отображаемом изображении среза, при этом для каждого положения из множества положений автоматически определяют упомянутые первые параметры, и последовательно обновляют отображение соответствующей объемной визуализации интересующей структуры таким образом, чтобы получить оптимизированное изображение отображаемых объемных визуализаций интересующей структуры без дополнительного ввода данных пользователем помимо последовательного отслеживания интересующей структуры. Данный вариант осуществления представляет собой очень выгодное применение прямой синхронизации двухмерных/объемных изображений согласно изобретению.

Дополнительно или в качестве альтернативы, автоматически, т.е. без взаимодействия с пользователем выбирают одно или несколько положений в интересующей структуре. Предпочтительно автоматически идентифицируют интересующую структуру и ее форму и(или) очертания и автоматически определяют положения в интересующей структуре вдоль идентифицированной формы и(или) очертания интересующей структуры. Например, анализируют набор данных сердечно-сосудистой системы, идентифицируют и описывают сосуды посредством средней линии, проходящей через центр сосудов. При этом автоматически выбирают одно или несколько положений вдоль упомянутой средней линии и соответствующим образом настраивают или обновляют объемное изображение. Таким образом, для получения хорошего объемного изображения соответствующих сосудов на основании набора данных сердечно-сосудистой системы не требуется взаимодействие с пользователем.

Автоматическое определение упомянутых первых параметров и последующее обновленное отображение соответствующих объемных визуализаций также предпочтительно может быть активировано и деактивировано пользователем. В данном варианте осуществления для активации и деактивации нажимают и отпускают пусковую клавишу, в частности функциональную клавишу или управляющую клавишу, или выбирают иконку (пиктограмму) на дисплее. В частности, автоматическое определение упомянутых первых параметров и последующее обновленное отображение соответствующих объемных визуализаций происходит только в случае выбора пользователем положения в интересующей структуре на отображаемом изображении среза при одновременном нажатии пользователем пусковой клавиши. В одном из дополнительных вариантов осуществления изобретения пользователь деактивирует автоматическое определение упомянутых первых параметров и последующее отображение соответствующих объемных визуализаций и изменяет по меньшей мере один из автоматически определенных первых параметров, после чего на основании измененных первых параметров отображают обновленную объемную визуализацию интересующей структуры.

В одном из дополнительных или альтернативных вариантов осуществления изобретения получают по меньшей мере две деформированные сферы обзора на основании ранее собранных наборов данных одного или нескольких объектов, в частности, одного или нескольких пациентов, при этом как упомянутые ранее полученные наборы данных, так и текущие полученные наборы данных являются результатом обследования одного и того же типа, а первые параметры, характеризующие изображение отображаемой объемной визуализации интересующей структуры на основании текущих собранных наборов данных, определяют с учетом по меньшей мере двух деформированных сфер обзора, полученных на основании ранее собранных наборов данных.

В основу данного варианта осуществления положен принцип выведения по меньшей мере одного первого параметра, в частности точки обзора, характеризующей объемную визуализацию текущих собранных медицинских данных пациента на основании деформированных сфер обзора, которые были вычислены на основании ранее собранных медицинских данных упомянутого пациента и(или) другого пациента и(или) других пациентов. Путем использования таким способом ранее полученной информации легко получают хорошее объемное изображение текущих собранных наборов данных.

Первые параметры, выведенные таким способом, предпочтительно используют для начального отображения объемной визуализации текущих собранных медицинских данных. В дальнейшем может быть осуществлено определение первых параметров на основании одного или нескольких вторых параметров, характеризующих по меньшей мере одно из следующего: текущего обследуемого пациента, текущую выбранную SOI, текущее отображаемое изображение среза и уже отображенные объемные визуализации текущей выбранной SOI, как это подробно описано далее.

Упомянутые по меньшей мере две деформированные сферы обзора, полученные на основании ранее собранных наборов данных, предпочтительно накладывают друг на друга, чтобы получить суммарную деформированную сферу обзора, и выводят первые параметры из упомянутой суммарной деформированной сферы обзора. В данном предпочтительном варианте осуществления информацию, содержащуюся в различных деформированных сферах обзора, вычисленных на основании медицинских данных одного и того же или различных пациентов, но являющуюся результатом медицинского обследования одного и того же типа, например, изображения головы пациентов методом компьютерной томографии суммируют или накладывают друг на друга, например, путем сложения и(или) усреднения в суммированной деформированной сфере обзора. Из упомянутой суммированной деформированной сферы обзора можно легко и очень быстро вывести первые параметры, в результате чего получают хорошее начальное изображение текущих собранных медицинских данных текущего обследуемого пациента.

По меньшей мере одна из упомянутых по меньшей мере двух деформированных сфер обзора, полученных на основании ранее собранных наборов данных, также предпочтительно может представлять собой комбинированную деформированную сферу обзора, которую получают путем комбинирования двух или более сфер обзора для двух или более вторых параметров, характеризующих по меньшей мере одно из следующего: предыдущего обследованного пациента, предыдущую выбранную SOI, предыдущее отображенное изображение среза и предыдущие объемные визуализации предыдущей выбранной SOI. Комбинация деформированных сфер обзора с комбинированной деформированной сферой обзора и ее преимущества уже были описаны выше.

В общих словах, в изобретении предложен новый принцип синхронизации двухмерных изображений среза и объемных изображений наборов данных.

Посредством интуитивного выбора положения на отображаемом двухмерном изображении среза пользователь определяет интересующие его анатомические структуры. Трехмерное объемное изображение автоматически обновляют с целью обеспечения пользователя выразительными трехмерными изображениями. Для достижения этой осуществляемой в реальном времени или прямой синхронизации, иначе обозначаемой в изобретении термином "LiveSync", используют минимальный набор вторых параметров без необходимости в сегментированных наборах данных, заданных данными предварительных вычислений и т.д. Единственное взаимодействие с пользователем, необходимое для выведения всех параметров окна просмотра, т.е. первых параметров на основании вторых параметров, задано выбором положения на отображаемом изображении среза.

Далее изобретение будет более подробно описано со ссылкой на чертежи, на которых:

на фиг.1 показана предпочтительная последовательность выполняемых действий согласно изобретению,

на фиг.2 - сфера обзора на основании ориентации пациента,

на фиг.3 - примеры первого главного компонента, определенного путем анализа главных компонентов (АГК),

на фиг.4 - сфера обзора на основании предыстории точки обзора,

на фиг.5 - сферы обзора на основании расчета локальной формы,

на фиг.6 - сферы обзора на основании видимости,

на фиг.7 - действие различных операторов в комбинации сфер обзора,

на фиг.8 - первый пример применения изобретения,

на фиг.9 - второй пример применения изобретения,

на фиг.10 - третий пример применения изобретения и

на фиг.11 - пример устройства для объемной визуализации наборов медицинских данных согласно изобретению.

Осуществление изобретения

Устройство и процесс

На фиг.11 схематически представлен один из примеров устройства 10 для объемной визуализации наборов данных согласно изобретению. Система 19 формирования изображений в медицине, например рентгеновская установка или компьютерный томограф, генерирует наборы 18 медицинских данных и загружает их в устройство 10.

Устройство 10 имеет дисплей 11, например, дисплей на тонкопленочных транзисторах для отображения изображения 12 среза набора медицинских данных объекта, которым в данном случае является пациент, и мышь 13, служащую блоком выбора, позволяющим пользователю выбирать положение в интересующей структуре (SOI) на отображаемом изображении 12 среза путем перемещения указателя 14 по интересующей структуре на отображаемом изображении 12 среза и нажатия и(или) освобождения кнопки мыши 13 или клавиши на клавиатуре 15, например, управляющей клавиши или "горячей" клавиши. Устройство 10 дополнительно имеет блок 16 объемной визуализации для вычисления объемной визуализации 17 выбранной интересующей структуры, отображаемой на дисплее 11.

Для обеспечения двухмерной/объемной синхронизации отображаемого изображения 12 среза и объемного изображения 17 функциональные возможности LiveSync могут быть предпочтительно активированы путем нажатия "горячей" клавиши на клавиатуре 15 и одновременного указания интересующей структуры на срезе 12 с помощью указателя 14 мыши и деактивированы путем освобождения "горячей" клавиши.

На основании этого процесса выбора применяются основанные на знаниях методы расчета хороших точек обзора объемного изображения, вычисления соответствующего размещения видоориентированной плоскости отсечения и корректирования коэффициента масштабирования.

В зависимости от предпочтений пользователя устройство 10 позволяет осуществлять плавное динамическое чередование или мгновенное переключение между двумя последовательными точками обзора. Если пользователь не полностью удовлетворен полученным объемным изображением 17, оно может быть улучшено путем ручного изменения точки обзора, замены плоскости отсечения или корректирования предложенного масштабирования, чтобы получить изображение SOI более высокого качества.

Если функция LiveSync не активирована, навигацию по срезам осуществляют традиционным способом, и не происходит обновление объемного изображения.

При достижении прямой синхронизации согласно изобретению учитывают следующие ниже факторы.

Выбранную точку (т.е. выбранное пользователем положение): пространственное положение отображенной структуры определяют на основании положения, которое выбрал пользователь на срезе 12.

Масштабирование изображения среза: масштабирование изображения 12 среза служит индикатором размера интересующей анатомической структуры. Для автоматического задания первых параметров учитывают этот коэффициент масштабирования, чтобы скорректировать масштабирование объемного изображения 17.

Ориентация пациента: сканированные медицинские данные содержат информацию о положении и ориентации пациента во время сбора медицинских данных. С учетом информации об осуществленной процедуре может быть сделан приблизительный расчет предпочтительных направлений визирования.

Предыстории точки обзора: последняя точка обзора используется в качестве параметра для выбора следующей точки обзора. Это означает, что система пытается найти хорошую точку обзора, близкую к последней точке обзора, если это не противоречит другим параметрам.

Расчет локальной формы: локальная форма выбранной структуры оценивается на основании локальной сегментации. Структурам, используемым в качестве параметров для выбора точки обзора, придают три основные формы: линии, пластинки и пятна.

Видимость: другим параметром является видимость выбранной структуры. Для вычисления видимости отслеживают лучи из выбранного положения до определенного числа точек обзора и осуществляют анализ на предмет затеняющих структур.

Ориентацию пациента согласно вторым параметрам, предысторию точки обзора, расчет локальной формы и видимость кодируют непосредственно в сферах обзора. Если конкретный параметр отражает хорошую точку обзора в определенном положении, единичную сферу деформируют таким образом, чтобы увеличить расстояние от этой точки до центра сферы.

На фиг.1 в общем виде представлена последовательность выполняемых действий при осуществлении функции LiveSync. Изначально существует объемное изображение 21, которое демонстрируется с точки обзора по умолчанию, и двухмерное изображение 22 среза. При осуществлении каждой операции выбора на отображаемом срезе 22 инициируется деформация сфер обзора по меньшей мере для одного из следующих вторых параметров: ориентация 23 пациента, предыстории 24 точки обзора, расчета 25 локальной формы и видимости 26. При этом вторые параметры именуются "входными параметрами изображения".

Соответствующие деформированные сферы 27 обзора этих вторых параметров взвешивают и комбинируют, чтобы получить комбинированную деформированную сферу 28, которая кодирует комбинированное качество точек обзора.

Помимо этого корректируют коэффициент 30 масштабирования, и устанавливают положение видоориентированной плоскости 29 отсечения, допускающее гибкую замену затеняющих структур для генерации значимого объемного изображения 31.

Таким способом, при осуществлении каждой операции выбора на срезе 22 используются вторые параметры 23-26 для определения хорошей точки обзора и соответствующего деформирования сфер 27 обзора, чтобы автоматически генерировать прямое синхронизированное объемное изображение 31, обеспечивающее хорошее изображение выбранной структуры без дополнительного ввода пользователем данных, априорной информации, заданной данными, или предварительных вычислений.

Деформированные сферы обзора

Для задания точки обзора и направления визирования используется концепция сфер обзора. В принципе, в любой точке на поверхности сферы, в которой инкапсулировано изображение, может быть помещена виртуальная камера. Для перемещения камеры на эту сферу обычно осуществляют операции поворота. Помимо этого направление визирования камеры определяет, на каком положении изображений сфокусирована камера. Масштабирование может осуществляться путем перемещения камеры вдоль поверхности, перпендикулярной к ее положению на сфере.

Параметризация сфер

Поскольку вторые параметры должны быть закодированы непосредственно в форме сферы, необходим интуитивный способ параметризации сферы обзора. Помимо этого, эта параметризация должна эффективно сохраняться с учетом того, что должны быть применимы операторы для комбинации отдельных сфер. Обычная параметризация сфер может быть достигнута с помощью полярных координат. Каждая точка сферы в этой системе может быть охарактеризована величинами и , которые отображают полярный и азимутальный угол, и расстоянием по радиусу r. Полярный угол начинается от положительной оси z и находится в диапазоне от 0 до 180°, а азимутальный угол в плоскости xy начинается от положительной оси x и находится в диапазоне от 0 до 360°. С помощью этой параметризации можно очень эффективно вычислять ряд преобразований и расчетов [15, 19].

Карта сферы

Отображение текстуры на сфере является хорошо известной задачей в компьютерной графике. Согласно упрощенному подходу осуществляют прямое широтно-долготное отображение на сфере путем использования единой прямоугольной текстуры, у которой ширина в два раза превышает высоту. Согласно называемому uv-отображению u означает расстояние по экватору, a v - расстояние между полюсами. Это отображение является прямым, и его недостаток состоит в том, что по мере приближения к полярным областям увеличивается дискретизация. Альтернативами отображения сферических текстур являются отображения куба, двадцатигранника и восьмигранника [1].

Для отображения сферы на структуре, которая облегчает операции, осуществляемые в настоящем изобретении, должна быть решена обратная задача. С учетом кпд памяти и интуитивного индексирования предпочтительным является прямое широтно-долготное отображение, в котором прямолинейная текстура сохраняется как двухмерный массив из 360×180 элементов. Прямое сохранение в памяти необходимо для облегчения эффективного комбинирования данных с различной дискретизацией. В рассматриваемой реализации аналитически описывают данные ориентации пациента, предыстории точки обзора и расчета локальной формы, а выборку данных видимости осуществляют дискретно. Поскольку угловое положение может быть вычислено из индексов массива, достаточно внести в этот массив значения расстояния по радиусу.

Деформация сфер

Общей идея указания качества точек обзора является прямая деформация сферы обзора. Положения на поверхности сферы с большим расстоянием по радиусу отображают хорошую точку обзора. Для достижения соответствующей трансформации сферы по аналогии используют модель освещения Фонга. В этом модели полусфера отображает интенсивность диффузного отражения выпуклостью, которая указывает интенсивность зеркального отражения. Модель зеркального выделения Фонга адаптируют для вычисления радиуса r в определенной точке поверхности сферы согласно следующему Уравнению 1:

в котором а означает константу, регулирующую высоту выпуклости, n означает поверхность, нормальную в конкретной точке на сфере, означает поверхность, нормальную в хорошей точке точка обзора, а mw регулирует ширину выпуклости. Путем незначительного изменения этой формулы можно генерировать деформированные сферы для большей части вторых параметров, используемых для выбора точки обзора.

Манипуляторы сфер обзора

Одной из задач в процессе выбора хорошей точки точка обзора является идентификация соответствующих параметров. Для универсального решения, применимого к объемным медицинским данным различных типов, важно определение вторых параметров. Было обнаружено, что ориентация пациента, предыстория точки обзора, локальная форма структуры и ее видимость имеют высокую степень значимости для выбора точки обзора. Чтобы закодировать качество точки обзора для каждого из этих вторых параметров, деформируют сферы обзоры.

Сфера обзора на основании ориентации пациента

Вторым параметром, который первым используют для построения деформированной сферы обзора, является ориентация пациента. Существуют общие предпочтительные направления визирования в зависимости от типа обследования. В этом случае приблизительным показателем для выведения предпочтительных точек обзора служит ось голова-ноги.

На фиг.2 (слева) показана ось 40 вращения, которая соответствует ориентации пациента 41. Соответствующая сфера обзора 42, показанная на фиг.2 (справа), деформирована таким образом, что предпочтение отдается точкам обзора, расположенным ортогонально оси 40, т.е. увеличена вокруг экватора 43. Эта деформация достигается путем применения Уравнения 1, как это описано в следующем Алгоритме 1, в котором ось z является главной осью 40 вращения:

для каждой долготы lon

установить v на поверхности, нормальной на широте 90°

для каждой параметризованной точки p долготы lon

установить n на поверхности, нормальной в точке p

вычислить радиус в этой точке с помощью Уравнения 1

завершение

завершение

Сфера обзора на основании предыстории точки обзора

Выбор хорошей точки обзора основан на различных вторых параметрах с целью обеспечения искомого изображения для пользователя. Система выбирает конкретное изображение на основании предполагаемых потребностей пользователя, при этом для расчета качества следующих точек обзора также учитывается текущая точка обзора. В частности, следует избегать значительных смещений точки обзора при осуществлении двух последовательных выборов. Это означает, что при наличии хорошей точки обзора выбранной структуры, близкой к текущей точке обзора, этой точке обзора отдается предпочтение перед другими точками обзора, расположенными дальше на сфере обзора.

На фиг.4 показано, как выглядит деформированная сфера 46 обзора для этого критерия. На сфере 45 обзора (слева) отмечено положение Р последней точки 44 обзора. После деформации полученная деформированная сфера 46 обзора имеет выпуклость 47, максимум которой находится в данном положении Р, которое кодирует качество окружающих точек обзора. Соответствующая деформация может быть осуществлена с помощью следующего Алгоритма 2:

установить на поверхности, нормальной к последней точке обзора

для каждой точки p параметризированной сферы

установить n на поверхности, нормальной в точке p

если точка ( ,n)>0,

вычислить радиус в точке p с помощью Уравнения 1

или

установить радиус в положение 1

условное завершение

завершение.

Сфера обзора на основании расчета локальной формы

Другим вторым параметром, важным для выбора точки обзора, является локальная форма интересующей структуры (SOI). Если выбранная точка является, например, частью кровеносного сосуда, хорошая точка обзора отображает прохождение этого сосуда и не проходит насквозь через него. С помощью быстрой локальной сегментации и анализа главных компонентов (АГК) можно локально извлечь информацию о форме из значений данных. В объеме 32×32×32 по соседству с выбранной информационной точкой, которая служит начальной точкой, осуществляют наращивание областей. Путем анализа распределения скалярных величин в выбранной точке и по соседству с ней вычисляют нижний и верхний пределы наращивания областей. Результатом этой локальной сегментации является связанное трехмерное точечное множество. Применительно к этому точечному множеству осуществляют АГК, чтобы извлечь три вектора признаков и соответствующие собственные значения, которые используются для определения формы локальных элементов согласно системе показателей Sato и др. [11].

На фиг.3 показано, как ориентирован вектор первого главного компонента при осуществлении выбора в трех различных положениях на кровеносных сосудах головы. Белая линия 50 отображает соответствующую ориентацию наиболее важного вектора признаков, определенного путем АГК для трех различных положений на кровеносных сосудах головы. Эти векторы строго соответствуют локальной ориентации сосудов. Эти векторы достаточно хорошо указывают локальную ориентацию сосудов.

В сочетании с ортогональными вторым и третьим главными компонентами и соответствующими собственными значениями эту информацию используют для создания деформированных сфер с целью расчета локальной формы.

Сфера обзора должна быть деформирована в соответствии с локальной формой объекта, как это проиллюстрировано на фиг.5. Если объект имеет определенную пространственную протяженность (смотри "пятно"), то в принципе все точки обзора имеют одинаковое качество (слева). В случае плоскостной структуры (смотри "пластинка") благоприятными являются точки обзора, ортогональные пластинке (середина). В случае трубчатой структуры (смотри "линия") предпочтительные точки обзора расположены вдоль кольца, ортогонального этой линии (справа).

Деформацию сферы для плоскостного объекта вычисляют по аналогии с деформированной сферой для предыстории точки обзора (смотри выше). Чтобы получить две выпуклости на противоположных сторонах сферы, Уравнение 1 путем незначительной коррекции преобразуют в Уравнение 2:

Если структура является трубчатой, процесс деформации немного усложняется. Он представляет собой обобщение процесса деформации сферы обзора на основании ориентации пациента, поскольку трубка может быть произвольно ориентирована в пространстве. С геометрической точки зрения хорошие точки обзора расположены вокруг большого круга сферы обзора, определенного двумя точками, в которых векторы второго и третьего главных компонентов пересекают поверхность сферы. Большой круг всегда однозначно определен двумя точками на поверхности сферы, а его центр совпадает с центром сферы. Для каждого положения p на поверхности сферы должен быть вычислен вектор от исходной точки до ближайшей точки на большом круге. Это может быть осуществлено путем проектирования на плоскость большого круга вектора от исходной точки до положения р. Процедура генерации деформированной сферы представлена следующим Алгоритмом 3:

если форма == пятно, то

радиус каждой точки параметризованной сферы равен 2

или, если форма == пластинка, то

установить в положение вектора третьего главного компонента

для каждой точки p параметризированной сферы

установить n на поверхности, нормальной в точке p

вычислить радиус в точке p с помощью Уравнения 2

завершение

или, если форма == линия, то

вычислить большой круг с для двух точек, в которых второй и третий главные компоненты пересекают поверхность единичной сферы

для каждой точки p параметризированной сферы

установить n в положение вектора от исходной точки до p

установить в положение проекции n на плоскость с нормализовать

вычислить радиус в точке р с помощью Уравнения 1

завершение

условное завершение.

Сфера обзора на основании видимости

Дополнительный стандартный блок расчета хорошей точки обзора определяется данными видимости. Из выбранной точки отслеживают лучи видимости, чтобы обнаружить затеняющие объекты. Как указано выше, параметризованные точки сферы распределены неравномерно. Прослеживание лучей видимости до всех 360×180 положений является как неэффективным, так и излишним. Тем не менее в высшей степени предпочтительно, чтобы исследуемые положения были равномерно распределены по сфере. У Bourke [4] для этой цели предложена исходная программа (записана Lettvin). Согласно стандартной физической формуле отталкивания зарядов по поверхности сферы распределено произвольное число точек. Было обнаружено, что подмножество из 36×18 лучей обеспечивает приемлемый компромисс между эффективностью и качеством. Вычисление равномерно распределенных точек осуществляется только один раз, а результаты хранятся в справочной таблице.

Чтобы определить, обеспечивает ли определенная точка обзора хорошую видимость выбранной структуры, прослеживают лучи из выбранной точки. Поскольку для расчета локальной формы была осуществлена локальная сегментация, эту информацию используют, чтобы определить момент выхода луча из интересующей ткани. Когда это происходит, учитывают данные непрозрачности функции преобразования. Непрозрачность накапливается на протяжении луча, и после превышения малого порога непрозрачности вычисления в отношении конкретного луча прекращаются. Точке обзора присваивают высокий показатель видимости при наличии значительного пространства от выбранной точки в направлении этой точки обзора до момента ее затенения другими структурами. За счет этого обеспечивается большая гибкость при установлении положения плоскости отсечения. Это позволяет устанавливать положение плоскости отсечения ортогонально направлению визирования на удалении от выбранной точки, за счет чего становится возможным незатененное изображение выбранной точки без чрезмерного сокращения полезной контекстной информации.

На фиг.6 показана соответствующая деформированная сфера обзора 55. Длина пиков 56 кодирует качество точки обзора в равномерно распределенном множестве положений дискретизации (слева). После реконструкции во всех положениях генерируется гладкая сфера 57 (справа).

Одним из важных критериев для энтропии точек обзора согласно Bordoloi и Shen [3] является стабильность изображения, которая описывает максимальное изменение определенного изображения, вызванное небольшими смещениями камеры. Изображение считается стабильным, если в результате небольшого изменения положения камеры происходят также небольшие изменения изображения. Применительно к сфере обзора на основании видимости можно закодировать стабильность изображения, выведенную из показателей видимости в дискретных равномерно распределенных точках. Эвристически предполагается, что точка обзора между несколькими хорошими точками обзора также является достаточно хорошей. Такая точка обеспечивает высокую стабильность изображения, поскольку при небольших изменениях точки обзора также будут получены хорошие точки обзора. Чтобы закодировать эту информацию в сфере обзора, все параметризированные положения на сфере, которые в прямой форме не исследованы на видимость, взвешивают с использованием окружающих исследованных точек. С помощью этого взвешивания получают гладкую деформированную сферу 57, которая показана на фиг.6 (справа). Псевдокод для генерации деформированной сферы 55 для критерия видимости представлен в следующем Алгоритме 4:

для каждой из равномерно распределенных точек p

вычислить видимость

установить радиус в точке р на уровне показателя видимости

завершение

для каждой точки s параметризированной сферы

получить все точки p в пределах определенного расстояния d до s

для каждой точки p в пределах расстояния d

установить n на поверхности, нормальной в точке p

установить v на поверхности, нормальной в точке s

вычислить r с помощью Уравнения 1

сложить r с текущим радиусом в точке s

завершение

нормализовать радиус в точке s

завершение.

Операторы сферы обзора

После генерации деформированных сфер обзора для различных вторых параметров их взвешивают и комбинируют, чтобы разложить на все воздействия.

Взвешивание сфер обзора

В Уравнении 1 предложены различные варианты взвешивания степени деформации сферы. В принципе, а регулирует высоту выпуклости, a mw - ее ширину. Для обеспечения комбинированных операторов значения а для отдельных деформаций сферы выбирают таким образом, чтобы их радиусы после деформации варьировали от 1 до 2. Было обнаружено, что для всех вторых параметров расчетная хорошая точка обзора также влияет на качество определенных точек обзора по соседству. Для каждого критерия точки обзора радиус может варьировать на два порядка величины относительно хорошей точка обзора в определенном положении. Генерация сфер для предыстории точки обзора предусматривает встроенное весовое регулирование. Значительное смещение точки обзора является значительной помехой для операций выбора в пределах небольшой пространственной области данных, но оно приемлемо для двух выбранных точек, которые расположены на удалении друг от друга. Это лишь означает, что пользователь переходит к полностью отличающейся области контроля, в результате чего когерентность точек обзора становится менее критичной.

Чтобы учесть это, вычисляют коэффициент d расстояния, который представляет собой отношение пространственного расстояния между двумя последовательно выбранными точками к протяженности объема по диагонали. Для адаптации взвешивания к сфере обзора на основании предыстории точки обзора Уравнение 1 преобразуют в следующее Уравнение:

Комбинирование сфер обзора

Поскольку деформированные сферы были вычислены для вторых параметров по отдельности, их необходимо скомбинировать в единой сфере, т.е. комбинированной деформированной сфере обзора, которая кодирует общее качество точки обзора. Предпочтительно для этого комбинирования применяют три оператора, а именно, суммирование, умножение и определение порога. Каждый из этих операторов выделяет определенные характеристики точки обзора.

На фиг.7 показано влияние этих трех операторов на получаемую сферу. В данном примере в качестве исходных сфер выбирают сферу 61 обзора на основании видимости и сферу 62 обзора на основании расчета локальной формы. Применение операторов и создание дополнительных операторов является легко достижимым, поскольку каждая деформированная сфера 61, 62 параметризована как двухмерный массив.

В качестве операндов для операторов используют отклонение радиуса, превышающее радиус единичной сферы. Поскольку в каждом положении радиус деформированной сферы 61, 62 имеет величину от 1 до 2, операции осуществляют с величинами от 0 до 1. Далее описано применение и характеристики используемых операторов.

Суммирование (+): циклически прогоняют все входные данные массивов сфер, чтобы суммировать соответствующие радиусы. Этот интуитивный подход дает отличные результаты. Хорошие точки обзора будут обнаружены в положениях комбинированной деформированной сферы обзора 63, в которых по меньшей мере некоторые из исходных сфер 61, 62 отображают хорошую точку. Суммирование не настолько чувствительно к посторонним значениям как умножение или определение порога.

Умножение (×): для более сильного выделения определенных характеристик применяют оператор, который осуществляет умножение исходных сфер 61, 62. Этот оператор выделяет положения, в которых несколько исходных сфер (деформированная сфера 62 обзора) отображают хорошие точки обзора, и отменяет выделение положений, в которых по меньшей мере одна исходная сфера (деформированная сфера 61 обзора) отображает плохую точку обзора. Нижние значения в большей степени влияют на результат. Даже если значение только одной исходной сферы является низким, соответствующая точка обзора на комбинированной деформированной сфере 64 обзора будет оценена как плохая.

Определение порога (Т): для операции определения порога в качестве исходной сферы используют одну конкретную сферу. При циклическом прогоне всех параметризованных точек этой сферы учитывается только значение в этом положении, если значения остальных сфер в том же положении превышают определенный порог. Если это не так, радиус в конкретном положении устанавливают на уровне 1. Этот оператор отфильтровывает значения, когда соответствующие значения остальных сфер отображают плохую точку обзора. С помощью определения порога можно задать критерии отсева. Если допустить, что сфера обзора на основании ориентации пациента (смотри позицию 42 на фиг.2) является исходной сферой для определения порога, можно определить окно для определенного предпочтительного направления визирования. Путем определения порога относительно деформированных сфер обзора осуществляется расчет хорошей точки обзора в пределах этого окна.

Выведение первых параметров

После описания вторых параметров, манипуляторов сферы обзора и операторов сферы обзора далее будет описано выведение первых параметров для настройки объемного изображения. Первыми параметрами являются хорошая точка обзора, размещение видоориентированной плоскости отсечения, масштабирование изображения и направление визирования.

В результате применения операторов сферы обзора к отдельным деформированным сферам обзора получают комбинированное отображение качества точек обзора в 360×180 положениях на комбинированной деформированной сфере обзора. Таким образом, хорошую точку обзора можно легко определить по верхнему значению на массиве отображения комбинированных деформированных сфер обзора, на котором указаны расстояния по радиусу всех точек. Затем данные в объемном представлении могут быть отображены на дисплее 11 устройства 10 (фиг.11) в соответствии с наилучшей расчетной точкой обзора, или может быть предложено небольшое число предпочтительных изображений (например, отображаемых свернутыми в пиктограмму).

С помощью информации, полученной путем вычисления видимости (раздел "Сфера обзора на основании видимости"), определяют точное положение, в котором выбранная точка затенена на протяжении каждого исследованного луча видимости. Эту информацию используют для настройки видоориентированной плоскости отсечения, чтобы отсечь затеняющие структуры. Для установления положения плоскости отсечения выбирают местоположение вдоль луча, начиная с выбранной точки, в которой суммарная непрозрачность еще ниже малого порога. За счет этого получают ни чем не заслоненное изображение выбранного объекта с сохранением максимально возможного количества контекстной информации.

Направление визирования непосредственно определяют, исходя из выбранной точки, и эта точка показана в центре окна объемного изображения 17 (фиг.11).

Наконец, из текущих настроек отображаемого изображения 12 среза может быть выведен коэффициент масштабирования объемного изображения 17. Масштабирование изображения 12 среза дает приблизительное представление о размере интересующей анатомической структуры. В рассматриваемом варианте осуществления этот коэффициент масштабирования напрямую определяет масштабирование объемного изображения 17.

Примеры использования

Изобретение предпочтительно используют с использованием медицинской рабочей станции. Соответствующие вычисления для выбора точки обзора в режиме LiveSync могут осуществляться интерактивно, и на них в значительной степени не влияет размер набора медицинских данных. Например, при использовании ПК, оснащенного двуядерным процессором AMD Athlon 64 4400+ и имеющего основную память 2 Гбайт, вычисления в режиме LiveSync занимают около 70-150 мс на одну операцию выбора в зависимости от числа сегментированных вокселов на шаги локальной сегментации и от расчетной формы локального элемента. Таким образом, всякий раз при выборе определенной структуры на двухмерном срезе пользователь получает почти мгновенное обновленное объемное изображение. Чтобы продемонстрировать практичность интерактивно синхронизированных изображений, далее будут рассмотрены результаты трех различных сценариев применения.

В первом примере для сравнения представлены расчетная хорошая точка обзора и довольно плохая точка обзора. На фиг.8 показаны результаты операции выбора применительно к частично видимому сосуду на двухмерном изображении среза (слева). Соответствующее объемное изображение (посередине) основано на точке обзора, которая была определена способом согласно изобретению и является очень хорошей. Очевидно, что можно очень легко получить информацию о прохождении сосуда и окружающем его пространстве.

В отличие от этого, в случае точки обзора, которая считается достаточно плохой, получают объемное изображение, показанное на фиг.8 (справа). При наблюдении с этой точки обзора важные части сосуда затенены, его прохождение остается неясным, а соединения с другими сосудами едва различимы.

В следующих далее двух сценариях применения продемонстрировано, что LiveSync является универсальным средством для проведения клинических исследований различного рода. При осуществлении стандартной последовательности выполняемых действий рентгенологи ведут поиск конкретных структур в медицинских данных. Несмотря на существование усовершенствованных и высокоспециализированных способов, например, обнаружения полипов в прямой толстой кишке или узелков в легких, метод LiveSync способен помочь быстро исследовать эти случаи патологии.

Исследование толстой кишки с использованием только двухмерных срезов является очень сложной задачей, поскольку очень трудно обнаружить различия между складками толстой кишки и полипами. На фиг.9 показаны результаты применения LiveSync (справа) при выборе (слева) подозрительной структуры в толстой кишке. На полученном объемном изображении можно ясно видеть, что выбранная структура является не складкой толстой кишки, а полипом.

Другой сложной задачей является обнаружение узелков в легких. На двухмерных срезах они часто выглядят похожими на бронхиолы или сосуды. На фиг.10 показано, что на срезе выбрана структура, которая предположительно является узелком, и с помощью LiveSync автоматически представлено соответствующее объемное изображение. Это изображение помогает ясно классифицировать выбранную структуру как узелок в легких.

Универсальность изобретения

Несмотря на то что подробности и выгоды изобретения описаны выше в порядке примера применительно к наборам медицинских данных, ясно, что предложенное изобретение не ограничено набором медицинских данных, и универсально применимо к набору данных любого рода, например, в области неразрушающих испытаний (НРИ), систем автоматизированного проектирования (САПР), компьютерных игр, физики, химии, биологии и других наук.

Список ссылочных материалов

[1] Virtual Terrain Project. Доступ в интерактивном режиме по адресу , март 2007.

[2] V.Blanz, М.J. Таrr и Н.Н.Bulthoff. What object attributes determine canonical views? Perception, 28:575-599, 1999.

[3] U.D.Bordoloi и H.-W. Shen. View selection for volume rendering. In IEEE Visualization'05, стр.487-494, 2005.

[4] P. Bourke. Distributing Points on a Sphere. Доступ в интерактивном режиме по адресу http://local.wasp.uwa.edu.au/~pbourke/geometry/spherepoints/, март 2007.

[5] M.-Y. Chan, Н. Qu, Y. Wu и Н. Zhou. Viewpoint selection for angiographic volume. In International Symposium on Visual Computing'06, стр.528-537, 2006.

[6] S. Fleishman, D. Cohen-Or и D. Lischinski. Automatic camera placement for image-based modeling. Computer Graphics Forum, 19(2): 101-110, 2000.

[7] С.H.Lee, A. Varshney и D. W. Jacobs. Mesh saliency. In ACM SIGGRAPH'05, стр.659-666, 2005.

[8] К.M hler, M.Neugebauer, С.Tietjen и В. Preim. Viewpoint selection for intervention planning. In Eurographics/IEEE VGTC Symposium on Visualization, стр.267-274, 2007.

[9] S.Owada, F.Nielsen и Т. Igarashi. Volume catcher. In Symposium on Interactive 3D Graphics и Games'05, стр.111-116, 2005.

[10] О.Polonsky, G.Patane, S.Biasotti, C.Gotsman и M.Spagnuolo. What's in an image: Towards the computation of the "best" view of an object. The Visual Computer, 21(8-10):840-847, 2005.

[11] Y.Sato, C.-F.Westin, A.Bhalerao, S.Nakajima, N.Shiraga, S.Tamura и R.Kikinis. Tissue classification based on 3D local intensity structures for volume rendering. IEEE Transactions on Visualization и Computer Graphics, 6(2): 160-180, 2000.

[12] M.Sbert, D.Plemenos, M.Feixas и F.Gonzalez. Viewpoint quality: Measures и applications. In Computational Aesthetics'05, стр.185- 192, 2005.

[13] S.Takahashi, I.Fujishiro, Y.Takeshima и Т.Nishita. A feature-driven approach to locating optimal viewpoints for volume visualization. In IEEE Visualization'05, стр.495-502, 2005.

[14] M.Tory и С.Swindells. Comparing ExoVis, orientation icon и inplace 3D visualization techniques. In Graphics Interface'03, стр.57-64, 2003.

[15] J.M. van Verth и L.M.Bishop.Essential Mathematics for Games и Interactive Applications. Издательство Morgan Kaufmann, Сан-Франциско, Калифорния, 2004.

[16] P.-P.Vazquez, M.Feixas, M.Sbert и W.Heidrich. Viewpoint selection using viewpoint entropy. In VMV'01, стр.273-280, 2001.

[17] P.-P.Vazquez, M.Feixas, M. Sbert и W.Heidrich. Automatic view selection using viewpoint entropy и its application to image-based modelling. Computer Graphics Forum, 22(4):689-700, 2003.

[18] I.Viola, M.Feixas, M.Sbert и M.E.Groller. Importance-driven focus of attention. IEEE Transactions on Visualization и Computer Graphics, 12(5):933-940, 2006.

[19] E.Williams. Aviation Formulary V1.43. Доступ в интерактивном режиме по адресу , март 2007.

[20] J.Zhou, M.Hinz и К.D.Tonnies. Focal region-guided feature-based volume rendering. In 1st International Symposium on 3D Data Processing, Visualization и Transmission'02, стр.87-90, 2002.