способ детектирования объекта

Формула изобретения

1. Способ определения пространственного положения трехмерного движущегося объекта, осуществляемый в виде детектирования объекта, включающий использование датчиков движения, способных регистрировать двумерные распределения интенсивности в виде изображений, отличающийся тем, что используют более одного датчика, которые располагают с заранее известной пространственной ориентацией, позволяющей производить одновременное наблюдение за одной и той же сценой, производят периодический опрос датчиков в течение всего периода времени после их включения, осуществляют обработку и анализ полученных от датчиков данных, образующих последовательности стереоизображений, причем алгоритм обработки и анализа полученных от датчиков данных включает следующие операции: данные, полученные от датчиков, подают на вход цифрового процессора сигналов, выполненного с возможностью обработки и анализа этих данных; производят предварительную обработку стереоизображений, которая состоит из выбора характеристик объекта и условий наблюдения, сохранения в памяти процессора характерных движений трехмерных движущихся объектов, выбора Областей Интереса и в построении референтной карты; производят сравнение двух и более последовательных стереоизображений путем подсчета меры их различия; при обнаружении факта, что мера различия стереоизображений превышает предварительно заданную величину, область изображения, в которой такая мера различия имеет место, заносят в память процессора; производят подсчет локальных характеристик, включающих скорость для каждой точки, принадлежащей сохраненной в памяти Области Интереса стереоизображения с мерой различия, превышающей предварительно заданную величину; производят анализ полученных локальных характеристик для каждой точки, принадлежащей сохраненной в память Области Интереса стереоизображения, при этом анализ производят путем создания глобальной структуры в виде результата расчета оптического потока; производят классификацию полученного результата расчета оптического потока путем введения решающего правила в виде нейросетевого классификатора, обучение которого производят на данных об изображениях, содержащих способы движения и деформации объектов во время движения, при этом обучение состоит в запоминании обучающего набора и представлении этого набора на вход и выход нейросетевого классификатора для получения значения коррекции входного и выходного сигнала, обучающий набор состоит из изображений, которые содержат движущиеся объекты в различных пространственных положениях с характерными движениями после различного рода деформаций, изменений положения, условий освещенности, с различными скоростями движения и расстояния до устройства видео-ввода, присутствия нескольких движущихся трехмерных объектов; на основании результатов классификации определяют факт наличия или отсутствия во входном стереоизображении движущегося трехмерного объекта; при установлении факта наличия во входном стереоизображении движущегося трехмерного объекта осуществляют определение пространственного положения обнаруженного трехмерного движущегося объекта и генерируют соответствующий выходной сигнал.

2. Способ по п.1, отличающийся тем, что перед началом наблюдения за сценой производят калибровку двух или более датчиков, при этом калибровка состоит в представлении объекта с заранее известными геометрическими характеристиками, измерении этих его характеристик, сравнении с предварительно заданными и коррекции в изображениях, которую производят путем компенсации ошибок в измерениях.

3. Способ по п.1, отличающийся тем, что данные от каждого датчика обрабатывают как по отдельности, так и совместно.

Описание изобретения к патенту

Изобретение относится к области радиоэлектротехники, а конкретно к способам определения пространственного положения трехмерного движущегося объекта (далее - «детектирование объекта»).

В последние годы было разработано много различных систем детектирования, распознавания и обнаружения текущего пространственного положения и характеристик движения трехмерного движущегося объекта в наблюдаемом пространстве. Однако сложные и высоконадежные системы весьма дорогостоящи, поэтому во всех странах продолжается разработка способов удешевления систем детектирования при сохранении высокой надежности.

В данной области сложилась специальная терминология, в частности, термин "трехмерный движущийся объект" определяется как объект, принадлежащий сцене, обозреваемой устройством видеоввода, например стереокамерой, с отличными от нуля геометрическими характеристиками, определенными в трехмерной (декартовой) системе координат, с отличной от нуля скоростью, определенной в трехмерной (декартовой) системе координат. Термин "сцена" определяется как изображение области пространства, обозреваемой устройством видеоввода, включая открытое пространство либо помещения различных типов, а именно, офисы, банки, частные дома или любые иные здания, любые области пространства, которое не является открытым. Далее, термин "стереокамера" определяется как две видеокамеры, смонтированные на одной плате, причем сигналы от вышеупомянутых камер смешиваются в один сигнал.

Один из примеров новых разработок систем определения пространственного положения движущегося объекта описан в патенте США №6,353,678 [1]. В данной системе сначала рассчитывают двумерные геометрические характеристики для набора изображений, затем вышеупомянутые характеристики подвергают проверке с целью определения, обладает ли наблюдаемая сцена значительными величинами трехмерных характеристик. Если таковые имеют место, то в этом случае по отношению к набору изображений рассчитывают трехмерные характеристики формы и далее этот набор подвергают проверке с целью обнаружения областей изображений, которые не соответствуют расчетным характеристикам, и, поэтому, данные области соответствуют движущимся объектам. Примененный в системе способ имеет несколько серьезных недостатков. Во-первых, он не позволяет производить определение пространственного положения самодеформирующихся объектов (например, размахивающего руками движущегося человека и т.п.), определение в данном случае возможно лишь в отношении движущихся объектов, не изменяющих своей формы. Более того, использование монокамеры для получения наборов изображений может приводить к серьезным ошибкам при подсчете характеристик геометрии и формы изображений и, соответственно, локализации и определения пространственного положения трехмерного движущегося объекта. Таким образом, этот известный способ весьма ограничен в отношении возможного применения.

Другой патент США №5,388,059 [2] раскрывает более сложную систему наблюдения за положением объекта. Эта система включает в себя 4 световых источника, которые монтируются на поверхности объекта, простую электронную камеру, которая формирует изображения точек источников света и детектирует положения этих изображений для каждого изображения с камеры, и компьютер, который проводит итеративную обработку данных с использованием положений изображений точек для получения аккуратных оценок положения объекта в координатной системе камеры со скоростью видеоввода. Тем не менее, данный способ имеет довольно серьезные ограничения в плане применения. Во-первых, данная система использует дополнительные источники света, что крайне неудобно и неприменимо к использованию в большом количестве случаев. Кроме того, для подсчета характеристик и оценки положения объекта необходим компьютер, и по этой причине данная система может быть весьма дорогостоящей и неудобной. Несомненно, для установления смены или ремонта установленных источников света требуется вмешательство внешнего оператора, что крайне неудобно, дорого и нереализуемо в большом количестве случаев. Более того, в некоторых случаях такая система не может работать в режиме реального масштаба времени. Из этого следует, что в связи с перечисленными ограничениями сфера возможных применений системы недостаточно широка. Тем не менее, описанное решение содержит ряд признаков, позволяющих выбрать его в качестве наиболее близкого к предлагаемому изобретению.

Задача, которую решает предлагаемое изобретение, заключается в разработке способа, который сочетал бы простоту и дешевизну используемого оборудования с качественной технологией, обеспечивающей достоверное детектирование трехмерного движущегося объекта. В частности, необходимо, чтобы такой способ позволял определять пространственное положение движущегося трехмерного объекта в процессе различных видов деформации объекта, смене его положения, в различных условиях освещенности, различной скорости движения и расстояния до объекта, присутствие нескольких движущихся трехмерных объектов и т.п.

Желаемый технический результат достигается за счет разработки нового способа определения пространственного положения трехмерного движущегося объекта в реальном масштабе времени. Способ реализуется с помощью системы устройств, включающих, например, стереокамеру, аппарат обработки цифровых данных, например цифровой процессор сигналов, а также с помощью алгоритма определения пространственного положения движущегося трехмерного объекта. С помощью стереокамеры осуществляют наблюдение за сценой и формируют последовательности видеоизображений, которые далее передают на обработку в цифровой процессор сигналов. Для работы при слабом освещении или в его отсутствие используют осветитель, например массив светоизлучающих диодов. Алгоритм для определения пространственного положения движущегося трехмерного объекта состоит из трех частей: создания референтной карты, расчета оптического потока и нейросетевой классификации движущегося объекта. В случае обнаружения трехмерного движущегося объекта и определения его пространственного положения с помощью цифрового процессора сигналов формируют выходной сигнал и запоминают соответствующие видеопоследовательности. При этом определение пространственного положения объекта осуществляется как традиционными методами триангуляции, которые естественным образом вытекают из использования стереокамер, так и за счет сравнительного анализа референтной карты с текущими данными, поступающими от стереокамер, т.е. датчиков.

Относительная дешевизна и простота в эксплуатации системы, реализующей заявляемый способ, достигается за счет того, что система состоит, преимущественно, лишь из стереокамеры и цифрового процессора сигналов. Дополнительное оборудование стереокамеры массивом светоизлучающих диодов, которые могут непрерывно освещать сцену в случае недостатка либо отсутствия освещенности, открывает возможность определения пространственного положения трехмерного движущегося объекта в широком спектральном диапазоне вне зависимости от условий освещения фона или свойств наблюдаемой сцены.

Высокая степень достоверности результатов детектирования достигается за счет применения алгоритма, являющегося неотъемлемой составной частью предлагаемого способа.

Предлагаемый способ состоит в следующем.

Перед началом наблюдения за сценой осуществляют с помощью стереокамеры наблюдение за сценой и формируют последовательности видеоизображений, которые далее передают на обработку в цифровой процессор сигналов, обеспечивая, таким образом, калибровку двух или более датчиков, которыми являются объективы стереокамеры. Калибровка состоит в представлении объекта с заранее известными геометрическими характеристиками, измерениями этих его характеристик, сравнением с заранее заданными, коррекции изображений, которая производится путем компенсации ошибок в измерениях. Такую операцию осуществляют с помощью цифрового процессора сигналов перед проведением измерений в случае изменения взаимного геометрического расположения датчиков или замены, по меньшей мере, одного из датчиков.

Данные от двух и более датчиков, далее именуемые стереоизображениями, подают на вход обрабатывающего устройства, например цифрового процессора сигналов. С помощью процессора производят обработку полученных данных, которая состоит в предварительной обработке, подсчете скорости и определении положения движущегося объекта. Предварительная обработка стереоизображений состоит в выборе характеристик объекта (характерные деформации, способы движения и т.п.), выборе условий (темно или светло, далеко или близко до объекта, медленно или быстро движется объект и т.п.), сохранении в памяти последовательностей изображений с характерными движениями трехмерных объектов, выборе Областей Интереса (ОИ) и построении референтной карты.

С помощью процессора сигналов производят следующие операции:

- сравнение последовательно переданных двух или более стереоизображений путем подсчета меры их различия, например геометрии движения;

- в случае, если мера различия стереоизображений превышает некую заранее заданную величину, область изображения, в которой такая мера различия имеет место, запоминают в качестве ОИ;

- производят подсчет локальных характеристик, например скорости для каждой точки, принадлежащей вышеупомянутой ОИ стереоизображения с определенной мерой различия;

- для проведения анализа создают глобальную структуру, а именно, результаты расчета оптического потока, например двумерного поля скоростей;

- производят классификацию вышеупомянутого полученного результата расчета оптического потока путем создания решающего правила, например нейросетевого классификатора;

- осуществляют обучение классификатора, например нейросетевого классификатора, на данных изображений, содержащих способы движения и деформации объектов во время движения. Вышеупомянутое обучение состоит в запоминании обучающего набора, и представления этого набора на вход и выход классификатора, например нейросетевого классификатора, для получения правильных величин для коррекции входного и выходного сигнала, например весов нейросетевого классификатора. Вышеупомянутый обучающий набор состоит из изображений, которые содержат движущиеся объекты в различных пространственных положениях с характерными движениями после различного рода деформаций, изменений положения, условий освещенности, с различными скоростями движения и расстояния до устройства видеоввода, присутствия нескольких движущихся трехмерных объектов и т.п.;

- получают от вышеупомянутого классификатора решение о наличии либо отсутствии во входном стереоизображении движущегося трехмерного объекта;

- в случае положительного решения осуществляют определение пространственного положения обнаруженного трехмерного движущегося объекта и генерируют соответствующий выходной сигнал.

Использование предлагаемого способа определения пространственного положения трехмерного движущегося объекта является предпочтительным по целому ряду причин. Во-первых, при помощи сравнения переданных в аналитическое устройство, например цифровой процессор сигналов, стереоизображений, полученных от двух и более датчиков и подсчета распределения скорости, а именно, расчета оптического потока и построения двумерного поля скоростей, достигают улучшения эффективности, так как реализация этих действий позволяет отклонять неверно определенные точки, найденные на изображении в случае использования монокамеры, и существенно уменьшают ошибки обработки. Другое преимущество такого способа заключается в том, что определение пространственного положения трехмерного движущегося объекта осуществляют аналитическим устройством, например цифровым процессором сигналов, путем подсчета оптического потока - скорости каждой точки объекта в случае, если последний движется. Такой расчет производится с очень высокой производительностью. Именно за счет этого процессор сигналов осуществляет наблюдение за входной сценой и определяет пространственное положение трехмерного движущегося объекта в реальном масштабе времени с очень высокой скоростью обработки данных.

Еще один отличительный признак данного способа заключается в возможности наблюдения за более протяженными участками и обработки в короткий срок данных о всех точках. Это возможно в связи с использованием устройства видеоввода, например стереокамеры, которая может наблюдать за такими участками и высокопроизводительным аналитическим устройством, например цифровым процессором сигналов для проведения обработки данных.

И, наконец, при реализации данного изобретения точность определения пространственного положения трехмерного движущегося объекта является очень высокой благодаря тому, что с помощью процессора сигналов проводят настройку, позволяющую осуществлять компенсацию геометрических искажений правой и левой линз стереокамеры и тем самым повысить точность.

При практической реализации предпочтительного варианта данного изобретения использовалось устройство видеоввода, а именно, стереокамера, состоящая из двух видеокамер, дополненное инфракрасным осветителем, выполненным в виде массива светоизлучающих диодов, и двумерной матрицей фотодетекторов в виде КМОП-датчика. Устройство видеоввода формировало последовательности изображений с входной сцены (т.е. начальных кадров), которые конвертировались в NTSC сигналы КМОП -датчиком, смешивались в один сигнал и поступали для обработки на аналитическое устройство, в качестве которого использовался цифровой процессор сигналов, с помощью которого проводился анализ и обработка смешанного сигнала.

Пример последовательности операций (алгоритм) такого рода обработки представлен на чертеже в виде следующих шагов:

- получение изображений 3 с устройства 1 видеоввода;

- подготовка к обработке (т.е. предобработка) этих стереоизображений 3 путем фиксации данных об искажениях линз камеры и смещении оптических осей, т.е. подсчета всех контрольных параметров 2 устройства 1 видеоввода и ввод данных калибровки 4;

- выбор типа 5 объекта (характерных деформаций, способов движения и т.п.) и условий 6 наблюдения (светло или темно, близко или далеко до объекта, медленно или быстро движется объект и т.п.), запоминания 7 изображений с характерными движениями трехмерных объектов, выбора 8 Областей Интереса (ОИ) и построения референтной карты, т.е. введение данных калибровки 4;

- подсчет оптического потока 9, который состоит в вычислении скорости каждой точки объекта, если он движется;

- регистрация 10 движущихся трехмерных объектов после коррекции стереоизображений в соответствии с данными предобработки;

- принятие решения 11 относительно классификации движущихся трехмерных объектов, которое аналитическое устройство, в данном случае цифровой процессор сигналов, выдает относительно того, зарегистрирован ли трехмерный движущийся объект и определено ли его пространственное положение;

- в случае положительного ответа процессор заносит в память 12 стереоизображения, на которых имеется в наличии данный трехмерный движущийся объект и генерирует выходной сигнал 13. Если ответ относительно наличия в сцене трехмерного движущегося объекта отрицателен, то процессор сигналов повторяет обработку;

- сохранение последовательностей стереоизображений, зафиксировавших случаи наличия движущегося трехмерного объекта, в памяти 14 процессора. Полное число стереоизображений для каждой последовательности, предпочтительно, должно быть не менее 10. В это число входят 2 предварительных кадра (перед появлением движущегося трехмерного объекта в сцене), 1 стереоизображение с появлением движущегося трехмерного объекта в сцене и 7 последующих кадров (после появления);

- генерации выходного сигнала 13 в случае, если движущийся трехмерный объект обнаружен и определено его пространственное положение процессор сигналов генерирует выходной сигнал и передает его на выходное устройство 15, которое воспроизводит его. В качестве выходного устройства, как и в аналогах, предполагается использовать традиционные сигнальные приспособления, включающие дисплей, звуковую сигнализацию, исполнительные механизмы (например, автоматические запоры) и т.п.

Промышленное применение способа определения пространственного положения трехмерного движущегося объекта может быть весьма широким ввиду его эффективности и простоты конструкции. Имеется возможность использовать вышеупомянутый способ в области наблюдения за открытым пространством, а также помещениями офисов, банков, магазинов, частных домов, производственных помещений и других закрытых пространств с различными целями.