способ обнаружения, распознавания и определения координат объекта и устройство для его выполнения

Формула изобретения

1. Способ обнаружения, распознавания и определения координат объекта, включающий ввод сигналов, соответствующих временной последовательности изображений сцены, на которой возможно появление объекта, первое Фурье-преобразование этой последовательности сигналов, регистрацию сигналов Фурье-спектра, соответствующих одному из изображений последовательности в виде согласованного Фурье-фильтра, согласованную Фурье-фильтрацию сигналов текущих изображений путем умножения сигналов Фурье-спектров текущих изображений на сигналы Фурье-спектра, зарегистрированного в виде согласованного Фурье-фильтра с последующим вторым Фурье-преобразованием результирующих сигналов умножения, и измерение величин сигналов-откликов, являющихся результатом согласованной Фурье-фильтрации, отличающийся тем, что вначале разделяют текущие изображения сцены на фрагменты, а затем проводят согласованную Фурье-фильтрацию сигналов Фурье-спектров каждого фрагмента, после чего измеряют величину сигнала-отклика, являющегося результатом согласованной Фурье-фильтрации данного фрагмента, и проводят пороговую обработку этих сигналов так, что сигналы текущего изображения, которым соответствуют фрагменты, величины сигналов-откликов которых больше или равны величине порогового сигнала, блокируют, а сигналы текущего изображения, соответствующие фрагментам, величины сигналов-откликов которых меньше величины порогового сигнала, пропускают и регистрируют в виде отселектированного изображения объекта, при этом сигналы-отклики, являющиеся результатом согласованной фильтрации сигналов последующих текущих изображений, используют для определения координат объекта.

2. Способ по п.1, отличающийся тем, что сигналы, соответствующие отселектированному изображению, вводят и регистрируют в качестве эталона и после первого Фурье-преобразования регистрируют в качестве согласованного Фурье-фильтра.

3. Способ по п.1 или 2, отличающийся тем, что согласованные Фурье-фильтры регистрируют для каждого фрагмента изображения, заданного в качестве опорного.

4. Способ по п.1, отличающийся тем, что фрагменты изображения выбирают равными по площади с размерностью К пикселей, где 2KN, причем N - число пикселей в изображении.

Описание изобретения к патенту

Изобретение относится к обработке изображений и может быть применено в системах, например, охраны, наведения, ориентации летательных аппаратов относительно местности и др.

Известен способ согласованной Фурье-фильтрации для распознавания и слежения за объектами, в котором используют банк согласованных Фурье-фильтров-эталонов, априори изготовленных по изображениям наперед заданных объектов [см., например, 1, стр. 443-455]. При использовании этого способа над изображением объекта последовательно осуществляют операции первого Фурье-преобразования, согласованной Фурье-фильтрации (умножение Фурье-спектра текущего изображения объекта на Фурье-спектр объекта, зарегистрированного в виде согласованного фильтра) и второе Фурье-преобразование результата умножения.

В результате на выходе формируют сигнал-отклик, амплитуда которого пропорциональна мере сходства входного изображения с изображением, записанным в качестве согласованного фильтра-эталона, а координаты пропорциональны координатам объекта.

Недостатком известного способа является невозможность работы в режиме межкадровой обработки с оперативной записью согласованного фильтра в качестве опорной информации.

Аналогом-прототипом является способ межкадровой обработки с оперативной записью согласованного Фурье-фильтра [см., например, 2, стр. 80-90].

В этом способе над входным текущим изображением последовательно осуществляют операции первого Фурье-преобразования, согласованной Фурье-фильтрации (умножение Фурье-спектра текущего изображения на Фурье-спектр опорного изображения, зарегистрированного в виде согласованного Фурье-фильтра) и второго Фурье-преобразования результата умножения. При этом в качестве согласованного Фурье-фильтра оперативно регистрируют одно из текущих изображений последовательности изображений фоно-целевой обстановки, которое задают в качестве опорного.

В результате на выходе формируют сигнал-отклик с координатами в центре кадра, который представляет собой автокорреляционную функцию (см. фиг.1в).

Такой способ позволяет обнаруживать произвольные (а не наперед заданные, как в аналоге) объекты на сложных фонах по различным признакам, например по фактору движения (см. фиг.1г).

Недостатком этого способа является невозможность распознавания (система реагирует только на изменение фоновой обстановки), получения изображения и определения параметров объекта, так как реакция в виде амплитуды сигнала-отклика позволяет установить только факт перемещения некоего объекта.

Известно устройство, например голографический коррелятор с долговременной памятью и априори изготовленными голографическими согласованными Фурье-фильтрами (ГСФ) для априори же заданных объектов [см., например, 2, стр. 233-246; или 3, стр. 140-152], обеспечивающий возможность распознавания объектов по их априорно заданному образу-эталону, а также осуществлять слежение за ними.

Такой коррелятор содержит источник когерентной подсветки, устройство ввода и преобразования на когерентную несущую текущей информации, например, на базе пространственно-временных модуляторов света (ПВМС), объективы первого и второго Фурье-преобразований, долговременную память с априори изготовленными ГСФ-эталонами и позиционно-чувствительный фотоприемник, например ПЗС-камеру.

Сигнал-отклик - взаимно-корреляционную функцию - формируют в результате согласованной Фурье-фильтрации, то есть умножения Фурье-спектра текущего изображения, полученного с помощью объектива первого Фурье-преобразования, на Фурье-спектр, зарегистрированный на ГСФ в долговременной памяти и последующего второго Фурье-преобразования результата умножения. Амплитуда сигнала-отклика определяется мерой сходства Фурье-спектров текущего и записанного в виде ГСФ изображений, а координаты объекта оказываются пропорциональными координатам объекта в поле зрения системы.

Основным недостатком такого коррелятора является невозможность оперативного обнаружения неизвестного, априори не заданного объекта на произвольном фоне.

Аналогом-прототипом устройства для обнаружения, распознавания и определения координат объекта является голографический коррелятор с оперативной записью ГСФ [например, 4, стр. 53-55, см. Приложение I].

Этот коррелятор включает источник когерентной подсветки, устройство ввода и преобразования на когерентную несущую текущей информации, например, на базе пространственно-временных модуляторов света, объектив первого Фурье-преобразования и позиционно-чувствительный фотоприемник, например ПЗС-камеру. Кроме того, в него включены блок оперативной голографической памяти, оптический делитель пучка подсветки на сигнальный и опорный и зеркало опорного пучка.

Такой коррелятор позволяет обнаруживать произвольные объекты на сложных фонах, так как здесь используют принципы межкадровой обработки.

Однако данный коррелятор не позволяет получать изображение обнаруженного объекта и измерять его параметры. Кроме того, с его помощью невозможно определить координаты объекта, так как сигнал-отклик позволяет определить только направление движения [2, стр. 80-85].

Задачей изобретения является обеспечение возможности обнаружения объекта с выделением его изображения на сложном фоне, распознавания и определения координат объекта.

Сущность изобретения состоит в том, что в известном способе, включающем ввод сигналов, соответствующих временной последовательности изображений сцены, на которой возможно появление объекта, первое Фурье-преобразование этой последовательности сигналов, регистрацию сигналов Фурье-спектра, соответствующих одному из изображений последовательности в виде согласованного Фурье-фильтра, согласованную Фурье-фильтрацию сигналов текущих изображений путем умножения сигналов Фурье-спектров текущих изображений на сигналы Фурье-спектра, зарегистрированного в виде согласованного Фурье-фильтра с последующим вторым Фурье-преобразованием результирующих сигналов умножения и измерение величин сигналов-откликов, являющихся результатом согласованной Фурье-фильтрации, вначале разделяют текущие изображения сцены на фрагменты, а затем проводят согласованную Фурье-фильтрацию сигналов Фурье-спектров каждого фрагмента, после чего измеряют величину сигнала-отклика, являющегося результатом согласованной Фурье-фильтрации данного фрагмента, и проводят пороговую обработку этих сигналов-откликов так, что сигналы текущего изображения, которым соответствуют фрагменты, величины сигналов-откликов которых больше или равны величине порогового сигнала - блокируют, а сигналы текущего изображения, соответствующие фрагментам, величины сигналов-откликов которых меньше величины порогового сигнала - пропускают и регистрируют в виде отселектированного изображения объекта.

При этом сигналы селектированного изображения объекта вводят и регистрируют в качестве эталона и, после первого Фурье-преобразования, регистрируют в качестве согласованного Фурье-фильтра, а сигналы-отклики, являющиеся результатом согласованной фильтрации последующих текущих изображений, используют для определения координат объекта.

Кроме того, согласованные Фурье-фильтры регистрируют для каждого фрагмента изображения, заданного в качестве опорного, а фрагменты изображения выбирают равными по площади с размерностью К пикселей, где 2КN, причем N - число пикселей в изображении.

Сущность изобретения состоит в том, что в устройство, содержащее последовательно оптически связанные источник когерентной подсветки, оптический делитель, выполненный в виде куб-призмы, жидкокристаллический пространственный модулятор света, объектив первого Фурье-преобразования, оптическую оперативную память, ПЗС-камеру, одновременно через куб-призму, последовательно оптически связанные зеркало опорного пучка, оптическую оперативную память и ПЗС-камеру включены элемент вращения плоскости поляризации когерентного излучения, например пластина /2, оптически связанная с источником подсветки и куб-призмой, матрица электроуправляемых затворов, оптически связанная с объективом первого Фурье-преобразования и жидкокристаллическим пространственным модулятором света, объектив второго Фурье-преобразования, оптически связанный с оптической оперативной памятью, а с помощью подвижного зеркала, установленного в одном положении, оптически связан с оптическим входом фотоприемника, а в другом положении через электроуправляемый затвор оптически связан с оптическим входом ПЗС-камеры, причем фотоприемник электрическим выходом соединен со входом электронного порогового устройства, выход которого электрически соединен со входом электроуправляемого затвора, а ПЗС-камера выходом электрически подключена к первому входу переключателя, выходом соединенного с электрическим входом жидкокристаллического пространственного модулятора света, а вторым входом подключенного ко входу устройства.

Примечание: В отличие от прототипа, в котором применяют жидкокристаллический пространственный модулятор света, работающий на отражение, в предлагаемой схеме используют аналогичный модулятор, но работающий на проход. Поэтому он включен после объектива первого Фурье-преобразования. Схемы с включением пространственного модулятора до и после объектива первого Фурье-преобразования по функциональным возможностям идентичны [4, стр. 76].

Изобретение позволяет осуществлять комбинированную внутри- и межкадровую обработку, что обеспечивает возможность:

- распознавания и сопровождения априори заданных объектов;

- обнаружения неизвестных объектов, селекции их изображений, регистрации в качестве эталона-образа и переход в режим распознавания и сопровождения и др.

На фиг.1 (а÷г) показаны результаты компьютерного моделирования по обнаружению и выделению изображения объекта предлагаемым способом. При этом на фиг 1а и 1б показана фоно-целевая обстановка (ФЦО) при различных положениях объекта (самолет). На фиг 1в - сигналы-отклики фрагментов после разделения изображения ФЦО на фрагменты (размер фрагмента - 20×20 пикселей) и проведение согласованной Фурье-фильтрации фрагментов. На фиг.1г - результат пороговой обработки сигналов-откликов фрагментов и последующей фрагментарной фильтрации изображений ФЦО.

На фиг.2 (а÷е) показаны сравнительные результаты моделирования операций по определению координат объекта (фургон) способом прототипа (фиг.2 а÷г) и предлагаемым способом (фиг.д-е). На фиг.2а и 2в показан опорный кадр и соответствующий ему сигнал-отклик после согласованной фильтрации. На фиг.2б и 2г - текущий кадр и соответствующий ему результат согласованной фильтрации - опорного и текущего кадров. Фиг.2г демонстрирует обнаружение объекта (сигнал-отклик слева), направление его движения и пройденное расстояние. Координаты объекта (геометрический центр) не соответствуют реальным. На фиг.2д - результат выделения изображения объекта предлагаемым способом, а на фиг.2е - результат согласованной Фурье-фильтрации после записи изображения объекта в качестве эталона. Сигнал-отклик соответствует координатам геометрического центра объекта на фиг.2б.

На фиг.3 показана блок-схема устройства, выполненного в соответствии с предлагаемым способом.

Устройство содержит последовательно оптически связанные источник когерентной подсветки 1, пластину /2 (2), оптический делитель 3, выполненный в виде куб-призмы, объектив 4 первого Фурье-преобразования, матрицу 5 электроуправляемых затворов, выполненную, например, в виде матрицы жидкокристаллических (ЖК) затворов или ЖК-модуляторов, работающих в бинарном режиме, устройство 6 ввода изображений, выполненное также на базе жидкокристаллического пространственного модулятора света (Приложение 2, 3), блок 7 оптической оперативной памяти, выполненный на базе, например, фототермопластика [4, стр. 54, см. Приложение 1], объектив 8 второго Фурье-преобразования и подвижное зеркало 9, при этом одновременно куб-призма 3 последовательно оптически связана с поляризатором 15, зеркалом 16 опорного пучка, оптической оперативной памятью 7, объективом 8 второго Фурье-преобразования и подвижным зеркалом 9, которое одновременно оптически связано в одном положении с оптическим входом фотоприемника 10, а в другом положении через электроуправляемый затвор 12, выполненный в виде ЖК-ячейки, с оптическим входом ПЗС-камеры 13, причем фотоприемник 10 электрическим выходом соединен со входом электронного порогового устройства 11, выполненного на базе компаратора (Приложение 4), выход которого электрически соединен со входом электроуправляемого затвора 12, а ПЗС-камера 13 выходом электрически подключена к первому входу переключателя 14, выходом соединенного с электрическим входом жидкокристаллического пространственного модулятора света 6, а вторым входом подключенного ко входу устройства.

Устройство работает следующим образом. Параллельный пучок света от когерентного источника подсветки 1 (коллимирующая оптика не показана) пускают через пластинку /2 (2) и с помощью куб-призмы 3 разделяют сигнальный и опорный пучки. Сигнальный пучок пропускают через объектив 4 1-го Фурье-преобразования, матрицу 5 ЖК-затворов, ЖК-модулятор 6 и фокусируют в фокальной плоскости объектива 4, где размещена входная плоскость оптической оперативной памяти 7.

При подаче видеосигнала (например, от ТВ-камеры) на вход ЖК-модулятора 6 на нем формируют изображение наблюдаемой сцены, а в фокальной плоскости объектива 4 - когерентный Фурье-спектр этого изображения.

Опорный пучок после куб-призмы 3 проходит через поляризатор 15 на зеркало 16 опорного пучка и, отражаясь от него, поступает во входную плоскость оптической оперативной памяти 7.

В рабочем режиме на вход ЖК-модулятора 6 через блок 14 переключателей видеосигналов поступают текущие изображения от ТВ-камеры.

Для регистрации голографического согласованного Фурье-фильтра (ГСФ), являющегося опорной информацией, во входной плоскости оптической оперативной памяти 7, Фурье-спектр и опорный пучок когерентно складывают и формируют результирующую интерференционную картину, регистрируемую на фоточувствительном слое (голограмма-фильтр). Перед регистрацией ГСФ поляризация пучка подсветки с помощью пластинки /2 (2) устанавливают так, чтобы она совпала с поляризацией матричного ЖК-затвора 5 и поляризатора 15, то есть, чтобы свет проходил через эти устройства без потерь.

В режиме согласованной Фурье-фильтрации (обнаружение, селекция и получение изображения объекта) с помощью пластинки /2 (2) поляризацию пучка подсветки устанавливают так, чтобы опорный пучок отключить (поляризации пучка и поляризатора 15 - "скрещены"), а затворы матрицы ЖК-затворов 5 "закрывают" по той же причине.

При подаче импульсов питания на матрицу ЖК-затворов 5 ячейки последовательно и по одной открывают, подсвечивая отдельные фрагменты текущих изображений на ЖК-модуляторе 6, которые с помощью объектива 4 преобразуют в "частные" Фурье-спектры соответствующих фрагментов изображения. В результате согласованной Фурье-фильтрации этих Фурье-спектров формируют сигнал-отклик, который после зеркала 9 фокусируют в фокальной плоскости объектива 8 и интенсивность которого пропорциональна мере сходства данного фрагмента текущего изображения с соответствующим ему фрагментом изображения, зарегистрированного в виде ГСФ.

Помимо сигнала-отклика в фокальной плоскости объектива 8 через зеркало 9 формируют и текущее изображение, поступающее в виде видеосигнала с ТВ-камеры на ЖК-модулятор 6, но представленное в когерентном виде (результат двойного Фурье-преобразования, "нулевой порядок").

Оптический сигнал-отклик поступает на одноплощадочный приемник 10, чувствительная плоскость которого установлена в фокальной плоскости объектива 8, и преобразуется в электрический сигнал, который после пороговой обработки в устройстве 11 преобразуется в бинарный сигнал (0 или 1) и поступает на ЖК-затвор 12, который в исходном состоянии "закрыт".

Когерентное текущее изображение после зеркала и ЖК-затвора 12 локализуется в входной плоскости ПЗС-камеры 13, так как ее фоточувствительная часть расположена в фокальной плоскости объектива 8.

Если в наблюдаемой сцене не происходит никаких изменений, то сигналы-отклики фрагментов преобразуют с помощью компаратора 11 в сигналы управления ЖК-затвора 12, равные 0, и затвор остается закрытым, а изображение на ПЗС-камеру 13 не поступает. Если фоновая обстановка изменилась (например, в поле зрения появился новый объект), то корреляция опорных (записанных на ГСФ) и текущих Фурье-спектров разрушается. Сигналы-отклики для этих фрагментов становятся ниже порога и с компаратора 11 на ЖК-затвор 12 поступают сигналы, открывающие затвор, который пропускает изображения данных фрагментов на ПЗС-камеру 12, формируя изображение отселектированного от фона объекта.

Это изображение через блок 14 переключателей видеосигналов может быть подано в качестве образа-эталона на вход ЖК-модулятора 6 для реализации режима распознавания и слежения за объектом. Для этого с помощью зеркала 9 и при открытом затворе 12 оптический сигнал-отклик переводят из входной плоскости фотоприемника 10 во входную плоскость ПЗС-камеры 13, а текущее изображение, соответственно, из нее выводят.

Кроме того, путем ввода изображений-эталонов из долговременной памяти реализуют и режим распознавания с априорным образом-эталоном.

Литература

1. КОЛЬЕР Р. и др. Оптическая голография. Пер. с англ. - М.: Мир, 1973, 686 с.

2. АЛЕШИН Б.С. и др. Оптическое распознавание изображений. - ГосНИИАС, 2000, 279 с.

3. ВАСИЛЕНКО Г.И., ЦИБУЛЬКИН Л.М. Голографические распознающие устройства. - М.: Радио и связь, 1985, 312 с.

4. БАРСКИЙ А.Г. и др. Голографический вычислитель взаимно-корреляционной функции с некогерентной долговременной памятью. - М.: Оптический журнал, 1993, №5, с.53-55.