оценка глубины в реальном времени по монокулярным изображениям эндоскопа

Формула изобретения

1. Система (10) минимально инвазивной хирургии, содержащая:

эндоскоп (20) для генерирования множества эндоскопических видеокадров (22), иллюстрирующих монокулярные эндоскопические изображения анатомической области, во время перемещения эндоскопа (20) к целевому местоположению в упомянутой анатомической области тела; и

эндоскопический хирургический блок (30) управления, связанный с указанным эндоскопом (20) для приема эндоскопических видеокадров (22) во время перемещения эндоскопа (20) к целевому местоположению,

причем указанный эндоскопический хирургический блок 30 управления включает в себя устройство (34) оценки глубины, которое выполнено с возможностью: (а) определять с помощью генерирования векторного поля оптический поток движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений упомянутой анатомической области, и (b) оценивать поле (36) глубины в реальном времени с помощью одного из (i) идентификации фокуса расширения и вычисления точки глубины, и (ii) вычисления проекционных матриц и вычисления точки глубины, причем оценка поля глубины показывает глубину объекта на монокулярных эндоскопических изображениях анатомической области как функцию оптического потока движения упомянутой по меньшей мере одной точки изображения на упомянутой временной последовательности кадров монокулярных эндоскопических изображений анатомической области.

2. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью генерирования, посредством устройства (34) оценки глубины, отображения карты (37) глубины, представляющей оценку поля глубины.

3. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью регистрации, посредством устройства (34) оценки глубины, монокулярных эндоскопических изображений с предоперационным изображением анатомической области тела как функции оценки поля глубины.

4. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью, посредством устройства (34) оценки глубины, предоперационного планирования кинематической траектории (21) для достижения эндоскопом (20) целевого местоположения в упомянутой анатомической области.

5. Система (10) минимально инвазивной хирургии по п.1, в которой эндоскопический хирургический блок (30) управления также выполнен с возможностью, посредством устройства (34) оценки глубины, отслеживания местоположений эндоскопа (20) в упомянутой анатомической области во время перемещения эндоскопа (20) к целевому местоположению в упомянутой анатомической области.

6. Система (10) минимально инвазивной хирургии по п.5, в которой генерирование оптического потока движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области включает в себя отслеживание, посредством эндоскопического устройства (33) слежения, позиций эндоскопа (20) в упомянутой анатомической области.

7. Система (10) малоинвазивной хирургии по п.1, в которой эндоскоп (20) является одним из группы, включающей в себя бронхоскоп и составную канюлю.

8. Эндоскопический хирургический способ, содержащий:

перемещение эндоскопа (20) к целевому местоположению в анатомической области тела;

генерирование множества эндоскопических видеокадров (22) во время перемещения эндоскопа (20) к целевому местоположению, причем эндоскопические видеокадры (22) иллюстрируют монокулярные эндоскопические изображения анатомической области;

(S41) обнаружение, посредством эндоскопического хирургического блока управления и генерирования векторного поля, оптического потока движения по меньшей мере одной точки изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области; и

(S42) оценку, посредством эндоскопического хирургического блока управления и одного из (i) идентификации фокуса расширения и вычисления точки глубины, и (ii) вычисления проекционных матриц и вычисления точки глубины, поля глубины, показывающего глубину объекта на монокулярных эндоскопических изображениях, как функции оптического потока движения по меньшей мере одной точки изображения в упомянутой временной последовательности кадров монокулярных эндоскопических изображений анатомической области.

9. Эндоскопический хирургический способ по п.8, в котором обнаружение оптического потока включает в себя:

(S51) генерирование векторного поля, включающего в себя множество векторов, причем каждый вектор показывает движение одной из точек изображения во временной последовательности кадров.

10. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:

(S52) идентификацию фокуса расширения в векторном поле; и

(S53) вычисление точки глубины для каждой точки изображения как функции расстояния каждой точки изображения от упомянутого фокуса расширения.

11. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:

(S53) вычисление точки глубины для каждой точки изображения как функции амплитуды каждого вектора в векторном поле.

12. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:

(S53) вычисление точки глубины для точки изображения как функции скорости каждого вектора в векторном поле.

13. Эндоскопический хирургический способ по п.9, в котором оценка поля глубины включает в себя:

(S82) вычисление проекционных матриц как функции векторного поля.

14. Эндоскопический хирургический способ по п.13, в котором оценка поля глубины включает в себя:

(S83) вычисление точки глубины для каждой точки изображения как функции геометрической триангуляции проекционных элементов проекционных матриц.

15. Эндоскопический хирургический способ по п.8, также включающий в себя:

(S43) отображение карты (37) глубины, представляющей упомянутую оценку поля глубины.

Описание изобретения к патенту

Группа изобретений главным образом относится к минимально инвазивным хирургическим вмешательствам при участии эндоскопа. Настоящее изобретение конкретно относится к оценке определению в реальном времени глубины объектов, изображенных на изображениях, полученных с эндоскопа.

Обычно при минимально инвазивном хирургическом вмешательстве применяют эндоскоп, который представляет собой длинную гибкую или твердую трубку, обладающую способностью получать изображения. После введения в тело через естественное отверстие или маленький разрез эндоскоп выдает изображение области интереса, которое может быть просмотрено через окуляр или на экране, в то время как хирург проводит операцию. Для хирургического вмешательства существенной является информация о глубине объекта (объектов) на изображениях, которая сможет позволить хирургу перемещать эндоскоп, в то же время обходя объект(ы), и облегчит отслеживание в реальном времени местоположения эндоскопа. Вместе с тем кадры эндоскопического изображения являются двухмерными, и поэтому хирург может потерять восприятие глубины объекта (объектов), видимого на кадрах изображений.

Настоящее изобретение предлагает способ использования эндоскопических видеокадров от монокулярных эндоскопических изображений, для генерирования карты глубины, несмотря на двухмерную ограниченность эндоскопических видеокадров.

Одной из форм настоящего изобретения является система для минимально инвазивной хирургии, использующая эндоскоп и эндоскопический хирургический блок управления. Во время работы эндоскоп генерирует множество эндоскопических видеокадров по мере перемещения эндоскопа к целевому местоположению в анатомической области тела, причем эндоскопические видеокадры иллюстрируют монокулярные эндоскопические изображения анатомической области. Для оценки в реальном времени глубины объекта на монокулярных эндоскопических изображениях (например, формы бронхиальной стенки на монокулярных эндоскопических изображениях бронхиолы) эндоскопический хирургический блок управления получает эндоскопические видеокадры по мере перемещения эндоскопа к целевому местоположению для оценки поля глубины, показывающего глубину объекта на монокулярных эндоскопических изображениях анатомической области, как функции оптического потока точки (точек) изображения во временной последовательности кадров монокулярных эндоскопических изображений анатомической области.

Второй формой настоящего изобретения является эндоскопический хирургический способ, включающий в себя перемещение эндоскопа к целевому местоположению в анатомической области тела и генерировании множества эндоскопических видеокадров по мере перемещения эндоскопа к целевому местоположению, причем эндоскопические видеокадры иллюстрируют монокулярные эндоскопические изображения анатомической области. Для оценки в реальном времени глубины объекта на монокулярных эндоскопических изображениях (например, формы бронхиальной стенки на монокулярных эндоскопических изображениях бронхиолы), указанный способ, кроме того, включает в себя генерирование оптического потока одной или нескольких точек изображения на временной последовательности кадров монокулярных эндоскопических изображений анатомической области и оценку поля глубины, показывающего глубину точки (точек) изображения на монокулярных эндоскопических изображениях, как функцию оптического потока точки (точек) изображения.

На фиг.1 изображен пример варианта осуществления системы минимально инвазивной хирургии в соответствии с настоящим изобретением.

На фиг.2 изображен пример блок-схемы, представляющей пример варианта осуществления способа оценки глубины в соответствии с настоящим изобретением.

На фиг.3 изображена блок-схема, представляющая первый пример варианта осуществления способа оценки глубины, изображенного на фиг.2, в соответствии с настоящим изобретением.

На фиг.4 изображен пример применения блок-схемы, изображенной на фиг.3.

На фиг.5 изображен пример оптического потока, известный в уровне техники.

На фиг.6 изображен пример поля глубины, известный в уровне техники.

На фиг.7 изображен пример карты глубины, известный в уровне техники.

На фиг.8 изображена блок-схема, представляющая второй пример варианта осуществления способа оценки глубины, изображенного на фиг.2, в соответствии с настоящим изобретением.

Как показано на фиг.1, система 10 минимально инвазивной хирургии настоящего изобретения использует эндоскоп 20 и эндоскопический хирургический блок 30 управления.

Эндоскоп 20 широко определен здесь как любое устройство, конструктивно сконфигурированное для внутреннего получения изображения анатомической области тела (например, человека или животного) с помощью оптоволокна, линз, миниатюрных (например, на основе ПЗС) систем получения изображений или тому подобное. Примеры эндоскопа 20 включают в себя, но не ограничиваются, любой тип скопа (например, бронхоскоп, колоноскоп, лапароскоп и т.д.) и любое устройство, похожее на скоп, которое оснащено системой изображения (например канюлю получения изображений).

Внешнее устройство 31 получения изображений блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для получения внешних изображений анатомической области тела. Примеры внешнего устройства 31 для получения изображений включают в себя, но не ограничиваются, устройство компьютерной томографии, устройство магнитно-резонансной томографии, ультразвуковое устройство и рентгеновское устройство.

Эндоскопические устройство 32 планирования траектории блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для предоперационного планирования кинематической траектории для достижения целевого местоположения в анатомической области тела с целью выбора конфигурации эндоскопа 20 (например, конфигурации канюли получения изображений) и/или с целью управления эндоскопом 20 в процессе достижения целевого местоположения (например осуществления управления бронхоскопом). В контексте, где эндоскоп 20 представляет собой бронхоскоп или кинематически похожий скоп, техника планирования траектории, предлагаемая международной заявкой WO 2007/042986 А2, Trovato et al., опубликованной 17 апреля 2007 г. и озаглавленной 3D Tool Path Planning, Simulation and Control System , может использоваться устройством 32 для генерирования кинематически корректной траектории для эндоскопа 20 в анатомической области тела (например, легких) в соответствии с 3D набором данных анатомической области, полученных внешним устройством 31 получения изображений. В контексте, где эндоскоп 20 представляет собой составную канюлю получения изображений или кинематически похожее устройство, устройством 32 может использоваться способ планирования траектории/выбора конфигурации составной канюли, предлагаемый международной заявкой WO 2008/032230 A1, Trovato et al., опубликованной 20 марта 2008 г. и озаглавленной Active Cannula Configuration For Minimally Invasive Surgery , для того чтобы генерировать кинематически корректную конфигурацию для эндоскопа 20 для достижения целевого местоположения в анатомической области тела (например, легких) в соответствии с 3D набором данных анатомической области, полученных внешним устройством для получения изображений 31.

Эндоскопическое устройство 33 слежения блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для отслеживания местоположения эндоскопа 20 в анатомической области тела. Одним из примеров эндоскопического устройства 33 слежения является блок слежения, основанного на изображениях, предлагаемый предварительной патентной заявкой США № 61/106669 (номер в реестре заявителя 010259US1), Trovato et al., внесенной в реестр 20 октября 2008 г. и озаглавленной Image-Based Localization Method and System . Другим примером эндоскопического устройства 33 слежения является оптическое устройство слежения, предлагаемое патентом США № 6135946, Konen et al., выданным 4 октября 2004 г. и озаглавленным Method and System for Image-Guided Interventional Endoscopic Procedures . Также примером эндоскопического устройства 33 слежения является любой коммерчески доступный электромагнитный блок слежения, такой как, например, электромагнитный блок слежения, коммерчески доступный как система inReach от superDimension, Inc.

Устройство 34 оценки глубины блока 30 широко определено здесь как любое устройство, конструктивно сконфигурированное для оценки поля глубины из схемы актуального движения точек/элементов изображения во временной последовательности кадров, полученных эндоскопом 20 (т.е., двух или более изображениях, соответствующих любому типу временной последовательности). На практике устройство 34 оценки глубины может использоваться блоком 30 для оценки поля глубины, для того чтобы облегчить эндоскопическому устройству 32 планирования траектории генерирование предоперационной конфигурации эндоскопа 20 для достижения целевого местоположения в анатомической области и/или создание предоперационного плана кинематической траектории для управления эндоскопом 20 при достижении целевого местоположения. Кроме того, устройство 34 оценки глубины может использоваться на практике блоком 30 для оценки поля глубины, для того чтобы облегчить регистрацию эндоскопического изображения от эндоскопа 20 с помощью предоперационных изображений, полученных устройством 31, и/или для того чтобы улучшить отслеживание местоположения эндоскопа 20 в реальном времени в анатомической области при перемещении эндоскопа 20 к целевому местоположению. Более того, на практике, устройство 34 оценки глубины может работать независимо от других устройств блока 30 или быть включено в одно из других устройств блока 30.

Блок-схема 40, как показано на фиг.2, представляет способ оценки глубины настоящего изобретения, как он осуществляется устройством 34 оценки глубины (фиг.1). Для данного способа устройство 34 оценки глубины начинает со стадии S41 блок-схемы 40, для того чтобы определить оптический поток движения точек/элементов изображения во временной последовательности кадров монокулярных эндоскопических изображений, полученных эндоскопом 20. Последовательно или одновременно с выполнением стадии S41, устройство 34 оценки глубины переходит к стадии S42 блок-схемы 40, для того чтобы оценить поле глубины из оптического потока, где поле глубины показывает глубину одного или нескольких объектов на монокулярных эндоскопических изображениях, и оценку поля глубины используют для отображения карты глубины на стадии S43 блок-схемы 40.

Блок-схема 50, как показано на фиг.3, представляет пример варианта осуществления блок-схемы 40 (фиг.2). А именно, обнаружение оптического потока устройством 34 включает в себя генерирование векторного поля, включающего множество векторов, на стадии S52 блок-схемы 50, причем каждый вектор представляет движение определенной точки изображения на монокулярных эндоскопических изображениях (например, между двумя монокулярными эндоскопическими изображениями). Например, как показано на фиг.4, оптический поток движения точек/элементов изображения для каждого эндоскопического видеокадра во временной последовательности 22 кадров бронхиол 61 пациента 60, полученных эндоскопом 20 во время движения эндоскопа 20 по эндоскопической траектории 21 в бронхиолах 61, можно определить с помощью векторов, представляющих движение точек изображения на монокулярных эндоскопических изображениях (например, векторное поле 70, как показано на фиг.5).

Кроме того, скорость эндоскопа 20 между двумя эндоскопическими видеокадрами можно вычислить из относительных местоположений эндоскопа 20 на данных кадрах, отслеженных эндоскопическим устройством 33 слежения. Данные кадры могут быть последовательными или разделенными некоторым промежутком времени, принимая предположение о неподвижности между кадрами объекта, наблюдаемого с помощью эндоскопа 20. При заданной скорости эндоскопа 20, поле глубины можно оценить из точки на оптическом потоке, которая не перемещается на последовательных срезах, известной как фокус расширения ( FOE ), принимая во внимание тот факт, что оптическая ось эндоскопа 20 совпадает с направлением его движения и, следовательно, FOE находится на линии движения эндоскопа 20. Информацию о глубине для каждой точки можно вычислить, зная (1) расстояние D каждой точки от FOE, как определено на стадии S52 блок-схемы 50, (2) амплитуду V оптического потока в каждой точке и (3) скорость v эндоскопа 20. А именно, устройство 34 оценки глубины вычисляет информацию о глубине для каждой точки изображения на стадии S53 блок-схемы 50 в соответствии со следующим уравнением [1]:

где Z - глубина точки изображения. В этом случае местоположения Х и Y можно вычислить из собственных параметров эндоскопа 20 (например, фокальной точки и т.д.).

Например, как показано на фиг.4, эндоскопическое устройство 33 слежения предоставляет отслеживаемые данные 35 на устройство 34 оценки глубины, что позволяет устройству 34 оценки глубины определить скорость v эндоскопа 20 при генерировании временной последовательности 23 кадров. Соответственно, на основании данных о расстоянии D каждой точки изображения от идентифицированного FOE на векторном поле и амплитуде V оптического потока в каждой точке, устройство 34 оценки глубины вычисляет глубину Z для каждой точки в вычисленном векторном поле временной последовательности 23 кадров, для того чтобы оценить поле 36 глубины (например, поле 71 глубины, показанное на фиг.6) и создать карту 37 глубины (например, кодированное цветом поле 72 глубины, показанное на фиг.7).

Блок-схема 80, как показано на фиг.8, представляет другой вариант осуществления блок-схемы 40 (фиг.2). Блок-схема 80 основана на стереоскопическом просмотре двух снимков одного и того же плана (т.е. двух эндоскопических видеокадров, полученных через небольшой промежуток времени). При этом после генерирования векторного поля на стадии стадия S81 блок-схемы 80 и учитывая, что эндоскоп 20 отслеживается устройством 33, также известны относительные местоположения эндоскопа 20 для двух видов. В этом случае координатная система привязывается к расположению камеры при создании первого снимка. Следовательно, известное расположение, в котором генерируется второй снимок, относительно первого снимка определяется 3×3 матрицей поворота R и 3×1 вектором перемещения t. Кроме того, собственную 3×3 матрицу камеры К можно определить, учитывая, что собственные параметры камеры эндоскопа 20 известны (например, из технического описания камеры или из известного способа калибровки). Из этих данных, стадия S82 блок-схемы 80 осуществляет вычисление из указанных данных 4×4 проекционных матриц для первого снимка P1 и второго снимка P2 в соответствии со следующими уравнениями [2] и [3]:

Стадия S83 блок-схемы 80 осуществляет геометрическую триангуляцию проекционных элементов проекционных матриц, для того чтобы вычислить глубину каждой точки изображения.

Если эндоскоп 20 не отслеживается устройством 33, похожая процедура может быть выполнена, используя векторное поле, для того чтобы оценить проекционные матрицы. В этом случае глубина будет оценена только в относительном масштабе, реальная физическая глубина останется неизвестной.

Хотя настоящее изобретение описано со ссылкой на примеры аспектов, признаков и осуществлений, раскрытые системы и способы не ограничены этими примерами аспектов, признаков и/или осуществлений. Вернее, что очевидно для специалистов в данной области техники из предложенного здесь, описанные системы и способы допускают модификации, изменения и улучшения без отступления от сущности или объема настоящего изобретения. Соответственно, настоящее изобретение прямо включает в свой объем такие модификации, изменения и улучшения.