автоматизированная многофункциональная система анализа изображений объектов

Формула изобретения

Автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, характеризующаяся тем, что содержит базовую часть системы для коллективного (в режиме разделения времени) использования ее биологами разных специальностей, состоящую из управляющего компьютера, микроскопа с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода; при этом программное обеспечение управляющего компьютера имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей: модуля ввода в компьютер изображений кадров с биологического препарата, модуля предобработки, включая фильтрацию шумов и помех в кадре, модуля сегментации всех объектов на изображении кадра путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, модуля логической фильтрации, который в интерактивном режиме удаляет все объекты, не подлежащие анализу, модуля построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, модуля параметризации изображений объектов, модуля идентификации и классификации объектов, модуля интегральной оценки состояния препарата, кроме того, базовая часть системы содержит интеллектуальный модуль формализации знаний специалистов предметной области, который функционально связан с модулями: сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата, причем управляющий компьютер объединен сетью с персональными компьютерами пользователей, программное обеспечение которых имеет модули: предобработки, сегментации, логической фильтрации, построения контуров элементов объектов, параметризации изображений объектов, идентификации и классификации объектов, интегральной оценки состояния препарата, которые используют все структуры данных и программные средства, подготовленные в базовой части системы разработчиком или самим пользователем для решения индивидуально-поставленной им задачи; затем этот пользователь использует базовую часть системы только для ввода в компьютер изображений кадров анализируемых им препаратов.

Описание изобретения к патенту

Автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, относится к области систем (устройств) компьютерной обработки, анализа, морфометрии, распознавания, идентификации, дифференцированного счета изображений разнотипных объектов (клеточных и тканевых структур медико-биологической природы) с целью совершенствования морфологической диагностики, уменьшения влияния человеческого фактора при формировании заключений о состоянии исследуемых препаратов и может быть использована как в повседневной деятельности биолога-практика в клинико-диагностических, патологоанатомических лабораториях медучреждений, так и для проведения научных и прикладных исследований в области гематологии, цитологии, гистологии, андрологии, урологии, онкологии, цитогенетики и во многих других областях медицины и биологии. Возможна и техническая область использования систем, например материаловедение.

В настоящее время наблюдается неуклонный рост биологических исследований в биомедицинской практике, в частности, морфометрических исследований объектов медико-биологических материалов. До сих пор большинство морфометрических анализов и исследований мазков, препаратов проводятся ручным способом под микроскопом. Под микроскопом (с помощью окуляра с линейкой микрометра) ведется измерение и подсчет биологических объектов в препаратах.

Учитывая, что значительная часть объектов имеет сложную структуру и форму, «ручная» морфометрия, а следовательно, и идентификация их очень трудоемки и не исключают субъективизма и личностных факторов при оценке состояния препаратов, что сказывается на эффективности диагностики заболеваний.

Для решения указанного круга задач в медицине начинают получать широкое распространение системы автоматического анализа и диагностики состояния биологических препаратов, основанные на применении компьютерных методов обработки, распознавания, морфометрии, идентификации, классификации и ряда других процедур.

Известные системы являются близкими к предлагаемой многофункциональной системе автоматизированного анализа изображений объектов. «Автоматизация процессов анализа изображений медико-биологических микрообъектов». / Сб. трудов под ред. И.В.Прангишвили, Г.М.Попова, Вып.7. М.: ИПУ, 1998. Г.М.Попова, Ю.О.Дружинин, В.Н.Степанов и др. «Компьютерный морфометрический анализ изображений сперматозоидов» (система «Морфолог») // Системный анализ и управление в биомедицинских системах. 2004. Том 3. № 4. С.282-288. «Способ диагностики возбудителей инфекционных и паразитарных болезней и установка для его осуществления». Изобретение (Патент RU № 2123682, 01.07.1997) относится к области медицины и может применяться для диагностики возбудителей инфекционных и паразитарных болезней в исследуемом препарате. «Способ анализа клеточного состава крови по мазку». Изобретение (Патент RU № 2147123, 16.12.1998) относится к области медицины и может применяться для подсчета лейкоцитарной формулы.

Однако все эти системы узкоспециализированы т.е. ориентированы на конкретную диагностическую задачу, поэтому предназначены для обработки и анализа конкретных препаратов только с определенными типами объектов, причем многие из них требуют специальных красителей, а высокая стоимость подобных систем препятствует оснащению ими каждого рабочего места врача-биолога.

Наиболее близкой к предлагаемому техническому решению является система «Морфолог - Сеть» - компьютерный морфометрический анализатор изображений разнотипных объектов для диагностики заболеваний (Г.М.Попова, Ю.О.Дружинин, В.Н.Степанов. «Компьютеризация анализов клеток и тканей в лабораторной диагностике и прикладных исследованиях» // Труды Института. М.: ИПУ им. В.А.Трапезникова, 2002. Том XVIII, с.140-156), принятая за прототип.

В этой работе заявителями проводится анализ основных технологических средств компьютерных анализаторов для решения различного класса задач диагностики состояний биологических препаратов. Показано, что стоимость узкоспециализированных систем препятствует оснащению ими каждого рабочего места врача-биолога, поэтому был предложен вариант совместного (централизованного) использования одной автоматизированной компьютерной (базовой) системы врачами разных специальностей. В этом случае возможно одну базовую часть системы (т.е. наиболее дорогостоящую ее часть: микроскоп с автоматически управляемым сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода и управляющий компьютер) поставить, например, в крупном медицинском центре, клинике, больнице либо в учебном медицинском институте и т.п. организациях и объединить ее локальной сетью с компьютерами, стоящими на рабочих местах в разнопрофильных диагностических лабораториях этих же организаций. Иными словами, предлагается централизованно использовать одну базовую часть системы только для ввода, предобработки и сохранения изображений микрообъектов с разных препаратов, с последующим распределением полученных изображений по компьютерам отдельных пользователей, для проведения (на рабочих местах) углубленного анализа, морфометрии, обучения, документирования, архивирования и т.д.

Каждый пользователь при этом будет иметь в компьютере свои программные профильно-ориентированные оболочки для проведения анализов и исследований, тем более, что алгоритмы и требования к морфометрическому анализу клеточных и тканевых структур, как известно, существенно зависят от объектов анализируемых препаратов. Такое разнопрофильное использование системы позволяет наиболее полно загрузить базовую систему и избежать неэффективного использования дорогостоящего оптико-электронного оборудования.

В отличие от специализированных компьютерных анализаторов система «Морфолог - Сеть» позволяет анализировать разнотипные изображения объектов, используя при этом одни и те же программные средства для ввода и обработки изображений, включая фильтрацию, сегментацию, выделение внешнего контура объекта и контуров, внутренних его элементов, проводить профильно-ориентированную морфометрию, классификацию, количественную дифференцированную диагностику состояний препаратов и многие др. процедуры.

Однако в системе «Морфолог - Сеть» отсутствуют технологические средства формализации и интерпретации постановки задачи пользователя, диагностики состояния исследуемых препаратов, построения описания исследуемых типов объектов, необходимые для организации процесса коллективного, многопрофильного использования системы по обработке и анализу разнотипных объектов. Все эти процедуры выполняются вне системы в процессе взаимодействия разработчиков с экспертами - специалистами исследуемой области.

Отметим также, что и технологические средства обработки и анализа разнотипных изображений требуют более эффективного и наглядного интерфейса, понятного пользователям, которые не являются техническими специалистами, это относится и к не менее важным интерактивно выполненным методам сегментации и логической фильтрации, причем и морфометрический анализ должен строиться в системе с учетом уже готовых блоков и возможностью их наращивания.

Техническим результатом предлагаемого изобретения является следующее:

- расширение функциональных возможностей системы за счет возможности анализа разнотипных изображений объектов; модульной структуры программного обеспечения управляющего компьютера, которая позволяет наращивать его функциональность без внесения изменений в основные программные модули, создавать специализированные модули применительно к решению задач пользователя, не предусмотренных программными средствами базовой системы; введение в базовую часть системы интеллектуального модуля формализации знаний специалистов (пользователей), программные средства которого позволяют пользователю в диалоговом режиме формализовать, структурировать и интерпретировать его знания в терминах процедур и программных структур системы, приводят изображения объектов к виду, удобному для распознавания, и предоставляют ряд других средств, необходимых для интерпретации правил по выработке диагностики объектов, дифференциально-диагностических заключений о состоянии препарата;

- снижение себестоимости использования системы за счет эффективного использования дорогостоящего оптико-электронного блока базовой части системы, так как управляющий компьютер, объединенный сетью с компьютерами пользователей, только первоначально организует и подготавливает все программные профильно-ориентированные процедуры для решения индивидуально-поставленной задачи пользователя; в дальнейшем, этот пользователь использует в базовой системе только оптико-электронный блок для ввода в компьютер изображений кадров, анализируемых им препаратов. Кроме того, программные средства модулей обработки и анализа изображений объектов являются практически универсальными для любых задач пользователей; доработке, а иногда просто настройке подлежат только профильно-ориентированные программы пользователей, что также значительно снижает себестоимость разработки программного обеспечения и, следовательно, всей системы в целом. Следует также отметить что, введение в базовую часть системы интеллектуального модуля формализации знаний специалистов позволило сократить время цикла создания новых программных средств для решения профильно-ориентированных задач пользователя, что также снижает себестоимость использования системы;

- повышение скорости и точности обработки и анализа изображений разнотипных объектов за счет введения новых способов сегментации и логической фильтрации, которые позволяют повысить достоверность результатов параметризации и идентификации объектов.

Технический результат достигается тем, что автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, содержит базовую часть системы для коллективного (в режиме разделения времени) использования ее биологами разных специальностей, состоящую из управляющего компьютера, микроскопа с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода, при этом программное обеспечение управляющего компьютера имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей: модуля ввода в компьютер изображений кадров с биологического препарата, модуля предобработки, включая фильтрацию шумов и помех в кадре, модуля сегментации всех объектов на изображении кадра путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, модуля логической фильтрации, который в интерактивном режиме удаляет все объекты, не подлежащие анализу, модуля построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, модуля параметризации изображений объектов, модуля идентификации и классификации объектов, модуля интегральной оценки состояния препарата, кроме того, базовая часть системы содержит интеллектуальный модуль формализации знаний специалистов предметной области, который функционально связан с модулями: сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата, причем управляющий компьютер объединен сетью с персональными компьютерами пользователей, программное обеспечение которых имеет аналогичные модули: предобработки, сегментации, логической фильтрации, построения контуров элементов объектов, параметризации изображений объектов, идентификации и классификации объектов, интегральной оценки состояния препарата, которые используют все структуры данных и программные средства, подготовленные в базовой части системы разработчиком или самим пользователем для решения индивидуально-поставленной им задачи; затем этот пользователь использует базовую часть системы только для ввода в компьютер изображений кадров анализируемых им препаратов.

На фиг.1 приведена блок-схема аппаратной части системы.

На фиг.2 представлены программные модули базовой части системы.

На фиг.3 представлены программные модули компьютера пользователя.

На фиг.1 приведена блок-схема аппаратной части предлагаемой многофункциональной системы, которая в базовой части системы 1 содержит:

- оптико-электронный блок 2, который представляет собой микроскоп с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода;

- управляющий компьютер 3, объединенный локальной сетью 5 с компьютерами пользователей 4, представляет собой персональный компьютер типа Pentium или аналогичный ему, программное обеспечение которого имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей (6-13), представленных на фиг.2;

- персональные компьютеры 4 пользователей, каждый из которых имеет программное обеспечение, организованное и подготовленное в базовой части системы 1 для решения профильно-ориентированной задачи пользователя.

Работу базовой части системы 1 можно изложить в виде последовательно исполняемых программных модулей, представленных на фиг.2:

- модуль 6 ввода изображений, который обеспечивает ввод в компьютер анализируемых изображений либо из файлов различных форматов, либо с препаратов по кадрам с помощью микроскопа, устройства видеоввода с разными типами интерфейсов, например, twain, pvcam и т.д.;

- модуль 7 предобработки для фильтрации шумов и помех в кадре, который в зависимости от требований поставленной задачи использует различные типы фильтров: размытие по Гауссу, медианный, контрастирующий и т.д.;

- модуль 8 сегментации объектов используется для сегментации всех изображений объектов и их внутренних элементов, введенных в компьютер; предлагаемый метод сегментации, в отличие от используемого метода в прототипе, выполняется путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB. В режиме настройки интерактивно определяются пороги преобразования путем указания пользователем на исходном изображении областей, соответствующих элементам объектов. Каждая область запоминается как массив опорных точек, обладающих эталонными цветовыми признаками для каждого однотипного элемента объектов. Сегментация осуществляется на основе сравнения расстояния в пространстве цветовых признаков между текущей точкой изображения и опорными точками, указанными ранее пользователем. Текущая точка считается принадлежащей тому элементу объекта, расстояние до опорной точки которого минимально. Данное расстояние можно модифицировать путем специально введенных для каждого элемента коэффициентов, настройка которых в интерактивном режиме позволяет смещать (изменять положение) границы между элементами. Для ускорения процесса сегментации результаты изменения параметров настроек сегментации (массивов опорных точек, коэффициентов элементов) отображаются в реальном времени в окне предварительного просмотра 100×100 пикселей, что позволяет настраивать параметры сегментации в интерактивном режиме, наблюдая, как изменение настроек отображается на результатах сегментации. Такие локальные преобразования областей (элементов объектов) обеспечивают эффективную обработку тонкоструктурных областей. Настройка проводится один раз для каждой серии препаратов, далее сегментация проводится автоматически. Она становится как бы специализированной для данной серии препаратов, хотя при изменении свойств красителей препаратов со временем возможна подстройка;

- модуль 9 логической фильтрации (в отличие от используемого в прототипе, «ручного» способа удаления неанализируемых объектов путем закрашивания их цветом фона) удаляет в интерактивном режиме все объекты, не подлежащие анализу, с помощью фильтров по площади, по соприкосновению или несоприкосновению их с другими объектами;

- модуль 10 построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, получения описания объектов в виде хорд, формирования остовов и других видов семантического описания объектов.

Последующие модули (11-13) работают с описанием объектов, и их работа зависит от задачи пользователя:

- модуль 11 параметризации объектов выполняет расчет геометрических, топологических и статистических параметров всех анализируемых объектов и их внутренних элементов, причем весь морфометрический анализ строится с учетом уже готовых блоков и возможностью их наращивания; при этом окончательные количественные диагностические признаки (параметры) для идентификации разнотипных объектов формируются на основе статистического анализа;

- модуль 12 идентификации и классификации объектов выполняет идентификацию и классификацию объектов на основе сформированных диагностических признаков с использованием логических деревьев или нейронных сетей;

- модуль 13 интегральной оценки состояния препарата проводит дифференцированный счет всех проанализированных объектов в препарате и на основании сформированных правил диагностики препарата в модуле формализации знаний специалистов выдает компьютерное заключение о состоянии препарата.

Особо следует остановиться на модуле 14 формализации знаний специалистов, который функционально связан с модулями сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата и предназначен для интерпретации, формализации и структурирования знаний пользователя в терминах процедур и программных структур системы, для приведения описания исследуемых типов объектов к виду, удобному для распознавания, интерпретации правил их диагностики и правил по выработке диагностических заключений о состоянии препарата.

При поддержке данного модуля пользователь, не являющийся техническим специалистом, может, используя пассивный диалог (инициатива его ведения принадлежит программной системе), сформулировать задачу, не предусмотренную в данный момент в системе, и ввести всю необходимую информацию по ней. Таким образом, он получает возможность самостоятельно решать в системе свои задачи стандартными средствами обработки и анализа изображений базовой системы, без создания специализированных модулей. Если же разработка таких модулей все же окажется необходимой, то их интеграция в систему не затронет уже созданные модули предварительной обработки и сегментации, а преобразование изображения к семантическому описанию объектов на нем будет выполнено уже имеющимися универсальными средствами.

Подготовленные в модулях 7-13 базовой части системы программные средства обработки и анализа конкретного типа объектов передаются в модули 15-21 компьютера 4 пользователя, затребовавшего решение поставленной им задачи и который в дальнейшем использует базовую часть системы исключительно для формирования файлов изображений своих препаратов.