способ селекции объектов на удаленном фоне

Формула изобретения

1. Способ селекции объектов на удаленном фоне, заключающийся в приеме и формировании опорного и сравниваемого изображений двумя идентичными видеосистемами, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями, и одновременной регистрации обоих изображений, отличающийся тем, что изображения регистрируют двумя идентичными видеосистемами на основе многоэлементных высокоскоростных фотоприемников, например CMOS матриц, при этом формируют два разностных изображения, первое из которых формируют вычитанием сравниваемого изображения из опорного изображения, а второе разностное изображение - вычитанием опорного изображения из сравниваемого, обнуляют отрицательные значения в разностных изображениях, после чего координатам каждого ненулевого фрагмента на первом разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на втором разностном изображении, до максимального их совпадения в направлении параллактического смещения фона, если таковой фрагмент на втором разностном изображении в указанном направлении присутствует, аналогично координатам каждого ненулевого фрагмента на втором разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на первом разностном изображении, вычисляют расстояния до выявленных объектов по формуле R=L·A/ _i, где L - расстояние между центрами объективов видеосистем, А -расстояние от видеоматрицы до главной оптической оси объектива видеосистемы, _i - величина параллактического сдвига i-го изображения объекта.

2. Способ селекции объектов на удаленном фоне по п.1, отличающийся тем, что перед получением разностных изображений сравниваемое изображение параллактически смещают на величину относительно опорного изображения до максимального совпадения удаленного фона.

3. Способ селекции объектов на удаленном фоне по п.1, отличающийся тем, что опорное и сравниваемое изображение до формирования разностных изображений выравнивают по яркости.

4. Способ селекции объектов на удаленном фоне по п.1, отличающийся тем, что в разностных изображениях значения обнуляют с определенного уровня, соответствующего разбросу чувствительности фотоприемников видеосистем.

Описание изобретения к патенту

Изобретение относится к пассивным оптическим способам селекции объектов на сложном контрастном динамически изменяемом фоне в наблюдаемой сцене.

Известен способ обнаружения объектов на сложных фонах, включающий операцию предобработки сигналов, представленной временной последовательностью изображений сцены, на которой возможно появление объекта, запоминание опорных сигналов, а также вычитание из соответствующих текущих сигналов соответствующих опорных сигналов, при этом алгоритм обработки предусматривает разделение каждого изображения на фрагменты, измерение величины признаков каждого фрагмента, например оптической плотности, запоминание соответствующих сигналов, а после вычитания сигналов сравнение полученных разностей с заданным пороговым значением, формирование управляющих сигналов, осуществляющих фрагментарную фильтрацию временной последовательности текущих изображений для пропускания только тех разностных сигналов, абсолютные значения которых превышают пороговое значение (пат. РФ № 2250478 от 11.04.2003, МПК G01S 17/06).

Недостатком данного способа является сложность алгоритма обработки разностного изображения и ограничение его применения при необходимости обнаружения быстро перемещающегося объекта, т.к. для данного алгоритма обработки будет недостаточно данных для обеспечения достоверного результата.

В качестве прототипа выбран способ селекции объекта на удаленном фоне по патенту РФ № 2081435 от 02.04.84, МПК G01S 17/00, заключающийся в приеме и формировании двух изображений в двух пространственно разнесенных точках, одновременной регистрации сформированных изображений, определении параллактического смещения фона путем формирования взаимокорреляционной функции двух зарегистрированных изображений и определения ее максимума, смещении первого из зарегистрированных изображений на величину параллактического смещения фона в направлении, противоположном этому смещению, получении разностного изображения путем вычитания смещенного и второго зарегистрированных изображений, разделении разностного изображения на области, имеющие противоположные знаки, и анализе фрагментов областей.

Известный способ имеет следующие недостатки.

1. Ограниченные функциональные возможности, так как известный способ требует полной определенности с яркостью искомого объекта по сравнению с фоном. Исходная неопределенность в яркости объекта в случае появления в контролируемой зоне группы объектов неизбежно приведет к ложным срабатываниям.

2. Ограниченную применимость, так как алгоритм работы известного способа не рассчитан на фоновые объекты, находящиеся на разных расстояниях от точки наблюдения, а не на бесконечном удалении.

Задачей, стоящей перед настоящим изобретением, является повышение точности обнаружения (селекции) одного и более объектов заранее неизвестной яркости в условиях высококонтрастных сравнительно близко расположенных на разных расстояниях фоновых объектов.

Поставленная задача решается следующим образом.

В способе селекции объектов на удаленном фоне, заключающемся в приеме и формировании опорного и сравниваемого изображений двумя идентичными оптическими системами, установленными на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями и одновременной регистрации обоих изображений, согласно изобретению изображения регистрируют двумя идентичными видеосистемами на основе многоэлементных высокоскоростных фотоприемников, например CMOS-матриц, при этом формируют два разностных изображения, первое из которых формируют вычитанием сравниваемого изображения из опорного изображения, а второе разностное изображение - вычитанием опорного изображения из сравниваемого, обнуляют отрицательные значения в разностных изображениях, после чего координатам каждого ненулевого фрагмента на первом разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на втором разностном изображении до максимального их совпадения в направлении параллактического смещения фона, если таковой фрагмент на втором разностном изображении в указанном направлении присутствует, аналогично координатам каждого ненулевого фрагмента на втором разностном изображении ставят в соответствие величину сдвига между указанным фрагментом и соответствующим ему фрагментом на первом разностном изображении, вычисляют расстояния до выявленных объектов по формуле R=L·A/ _i, где L - расстояние между центрами объективов видеосистем, А - расстояние от видеоматрицы до главной оптической оси объектива видеосистемы, _i - величина параллактического сдвига i-го изображения объекта.

Техническая сущность изобретения заключается в подавлении удаленного, высококонтрастного, динамически изменяющегося фона с одновременным выделением координат разноудаленных (относительно фона) объектов на обработанных зарегистрированных изображениях (первом и втором разностном изображении). Расстояния до выявленных объектов определяются по величинам параллактических смещений соответствующих фрагментов на обработанных изображениях. В итоге получают информацию о выявленных объектах, находящихся на разных расстояниях до удаленного высококонтрастного фона, в виде координат объектов на опорном изображении и поставленных им в соответствие расстояний до объектов.

Кроме того, для устранения погрешности, связанной с непараллельностью главных оптических осей идентичных оптических систем, перед получением разностных изображений сравниваемое изображение параллактически смещают на величину относительно опорного изображения до максимального совпадения удаленного фона.

Кроме того, для устранения разброса чувствительности фотоприемных устройств опорное и сравниваемое изображения до формирования разностных изображений выравнивают по яркости.

Кроме того, для устранения шума, обусловленного, например, оптической аберрацией объективов оптических систем, в разностных изображениях значения обнуляют с определенного уровня, соответствующего разбросу чувствительности фотоприемников видеосистем.

На фиг.1 показана схема оптической стереоскопической системы, состоящей из двух идентичных регистрирующих каналов (А - опорного, Б - сравниваемого), установленных на небольшом расстоянии между собой относительно удаленного фона, с параллельными главными оптическими осями (подобно человеческому зрительному аппарату). Каждый регистрирующий канал состоит из оптического объектива 1 и матричного многоэлементного фотоприемника 2 (CMOS-матрицы). Также в систему входит блок 3 математической обработки (например, программируемая логическая интегральная схема - ПЛИС).

На фиг.2а показана схема изображения, зарегистрированного опорным каналом А, а на фиг.2б - сравниваемым каналом Б.

На фиг.3 (а, б) представлены зарегистрированные изображения - опорное А1 (а) и сравниваемое А2 (б). На регистрируемых изображениях (фиг.3) на удаленном высококонтрастном фоне присутствуют объекты более светлые, чем окружающий их фон (С), и объекты темнее фона (Т).

На фиг.4 показана схема смещения (обрезки) матриц изображений А1 и А2 друг относительно друга при наличии отклонения от параллельности главных оптических осей регистрирующих систем, где и горизонтальная и вертикальная проекции параллактического смещения удаленного фона соответственно. Величина параллактического смещения удаленного фона принимается постоянной для оптических систем и вычисляется по формуле .

На фиг.5(а, б) приведены полученные первое и второе разностные изображения Raznosti и Raznost2 соответственно. На полученных разностных изображениях (фиг.5) выделены следующие изображения объектов:

C1 - фрагменты «светлых» объектов на опорном изображении;

С2 - фрагменты «светлых» объектов на сравниваемом изображении;

T1 - фрагменты «темных» объектов на опорном изображении;

Т2 - фрагменты «темных» объектов на сравниваемом изображении;

На фиг.6 представлена схема определения параллактического смещения объекта более светлого (белый квадрат), чем окружающий его фон ( ₁, фиг.6а), и объекта темнее фона - черный квадрат ( ₂, фиг.6б).

На фиг.7 представлен результат определения параллактического смещения объектов, а - светлее окружающего фона, б - темнее фона; где изображения объектов показаны каждый в своем цвете, соответствующем смещению (цветовая расшифровка соответствия приведена в середине).

На фиг.8 показан один из вариантов представления результата работы алгоритма, изображения объектов выделены цветом, причем в данном случае цвет соответствует расстоянию до объекта (в правом углу приведена цветовая расшифровка).

Способ реализуется следующим образом. Оптической стереоскопической системой (фиг.1) одновременно регистрируют два изображения (опорное - фиг.2а, 3а и сравниваемое - фиг.2б, 3б).

На опорном (фиг.2а) и сравниваемом (фиг.2б) изображениях удаленный фон не смещен, а объекты, находящиеся ближе фона на сравниваемом изображении, смещены вправо относительно тех же объектов на опорном изображении, причем, как видно из фиг.1, величина смещения зависит от удаленности объекта. Исходя из наибольшего геометрического размера объектов (D_max) и их максимального удаления R_max (например, метеорологической дальности видимости) выбирается расстояние L с тем условием, чтобы величина смещения ( _i) максимально удаленного объекта с наибольшими геометрическими размерами была не менее его максимального размера на изображении в направлении параллактического смещения (фиг.1).

Опорное и сравниваемое изображения (фиг.3) представим в виде матриц А1 и А2 с размером IxJ соответственно.

Если главные оптические оси регистрирующих систем имеют незначительное отклонение параллельности между собой, то матрицы «обрезают» в направлении, противоположном параллактическому смещению фона (фиг.4). Размер получившихся матриц примем равным IxJ и сохраним их обозначения (А1 и А2).

В случае отклонения яркости на регистрируемых изображениях, обусловленном, например, погрешностями в производстве фотоприемных устройств оптических систем регистрации, опорное и сравниваемое изображения выравнивают по яркости до их максимального совпадения.

Следующей последовательностью действий, проводимой в блоке 3 математической обработки, подавляют удаленный высококонтрастный фон и одновременно на нем выделяют объекты с заранее неизвестной яркостью (светлые объекты на темном фоне или темные объекты на светлом фоне).

- Формируют два разностных изображения.

1. Первому разностному изображению соответствует матрица, равная: Raznoct1 = A1-A2.

2. Второму разностному изображению соответствует матрица, равная: Raznoct2 = A2-A1.

- В полученных разностных изображениях обнуляют отрицательные значения. Если на разностных изображениях присутствует шум, обусловленный, например, оптическими аберрациями объективов 1, то обнуление значений в разностных матрицах проводят, начиная с некоторой положительной величины, т.е.:

Raznoct1(i,J)=0, если Raznoct1 (i,j)<b,

Raznoct2(i,J)=0, если Raznoct2(i,j)<b.

Величина (b) постоянна и определяется заранее исходя из разности удаленного фона на опорном и сравниваемом изображениях.

На полученном первом разностном изображении (фиг.5а) выделены (не обнулены) фрагменты, соответствующие более светлым объектам на опорном изображении, а также фрагменты, соответствующие более темным объектам на сравниваемом изображении, а все остальные значения обнулены. На полученном втором разностном изображении (фиг.5б) выделены (не обнулены) фрагменты, соответствующие более темным объектам на опорном изображении, а также фрагменты, соответствующие более светлым объектам на сравниваемом изображении, а все остальные значения обнулены.

Для вычисления расстояний до выделенных объектов в блоке 3 математической обработки определяют параллактические смещения фрагментов, соответствующих объектам на разностных изображениях. Определение величин смещения разделяют на два этапа:

1) определение смещений для объектов более светлых, чем окружающий их фон;

2) определение смещения для объектов более темных, чем окружающий их фон.

- Первый этап (определение смещения объекта светлее фона) заключается в определении как аргумента функции F₁( ), при котором она минимальна.

Функция F ₁( ) есть модуль среднеарифметического разности наложенного на второе разностное изображение со смещением координаты (от 0 до dX) в направлении параллактического смещения фона, ненулевого фрагмента первого разностного изображения и соответствующего участка второго разностного изображения:

где

Raznoct1(X, Y) - ненулевой фрагмент первого разностного изображения, соответствующий объекту;

Raznoct2(X+ , Y) - участок второго разностного изображения, по размеру и геометрии соответствующий Raznoct1(X, Y) и сдвинутый на величину в направлении параллактического смещения фона;

N - размер фрагмента (в квадратных единицах площади или пикселях);

dX - максимальное параллактическое смещение, определяемое дальностью обнаружения объектов и их размерами.

При этом значения функции F₁( ) для фрагментов, соответствующих более темным объектам, постоянны вследствие отсутствия на втором разностном изображении соответствующих им фрагментов, смещенных в направлении параллактического сдвига (фиг.6а). Вследствие этого принимается равной нулю, т.е. фрагмент приравнивается к участку удаленного фона (фиг.7а).

- Второй этап (определение смещения объекта темнее фона) заключается в определении как аргумента функции F₂ ( ), при котором она минимальна. Функция F₂( ) есть модуль среднеарифметического разности наложенного на первое разностное изображение со смещением координаты (от 0 до dX) в направлении параллактического смещения фона, ненулевого фрагмента второго разностного изображения и соответствующего участка первого разностного изображения:

где

Raznoct2(X, Y) - ненулевой фрагмент второго разностного изображения, соответствующий объекту;

Raznoct1(X+ , Y) - участок первого разностного изображения, по размеру и геометрии соответствующий Raznoct1(X, Y) и сдвинутый на величину в направлении параллактического смещения фона.

При этом значения функции F₂( ) для фрагментов, соответствующих более светлым объектам, постоянны вследствие отсутствия на первом разностном изображении соответствующих им фрагментов, смещенных в направлении параллактического сдвига (фиг.6б). Вследствие этого принимается равной нулю, т.е. фрагмент приравнивается к участку удаленного фона (фиг.7б).

Расстояние до выявленных объектов вычисляют по формуле R=L·A/ _i, где L - расстояние между центрами объективов 1 видеосистем, А - расстояние от видеоматрицы 2 до главной оптической оси объектива 1 видеосистемы, _i - величина параллактического сдвига i-го объекта.

В итоге на сигнальном выходе блока 3 математической обработки получают информацию о выявленных объектах, находящихся на разных расстояниях до удаленного высококонтрастного, динамически изменяющегося фона, в виде координат объектов на опорном изображении и поставленных им в соответствие расстояний до объектов (фиг.8).

Реализация предлагаемого способа является вполне возможной, т.к. на сегодняшний день промышленностью освоены все основные компоненты оптической системы, регистратора и блока математической обработки информации.