cпособ автоматического распознавания объектов на изображении

Формула изобретения

Способ ароматического распознавания объектов на изображении, при котором формируют эталонные изображения и запоминают их, осуществляют предварительную обработку каждого текущего изображения, с целью выявления объекта, и запоминают каждое текущее изображение, вычисляют взаимно корреляционную функцию эталонных и текущих изображений и производят их сравнение, отличающийся тем, что формируют и запоминают контурные эталонные и текущие изображения, представляют их в виде полутоновых дистантных изображений, яркость пикселов которых пропорциональна расстоянию до ближайшего контура, выделяют (локализуют) на изображениях участки, на которых возможно наличие объекта, путем сканирования контурным эталоном с подсчетом для каждого положения эталона суммы яркостей точек дистантного полутонового изображения, накрытых контурами эталона, и из всего множества положений сканирования оставляют точки, где подсчитанные суммы яркостей меньше заданного порога, на выбранных участках изображений вычисляют взаимно корреляционную функцию текущих и эталонных изображений, после чего производят сравнение выделенных участков текущих изображений с эталонными полутоновыми дистантными изображениями этих участков и определяют положение эталона на выделенных участках, при котором достигается экстремум взаимно корреляционной функции, и определяют место нахождения объекта по положению экстремума взаимно корреляционной функции.

Описание изобретения к патенту

Изобретение относится к вычислительной технике, в частности к способам идентификации объектов на изображении с использованием корреляционной обработки изображений и получением различных ракурсов изображений.

Известны способ и устройство для распознавания изображений объектов (см. патент на изобретения РФ № 2361273, М. кл. G06K 9/62, опубл. 10.07.2009 г.). Способ заключается в следующем: эталонные изображения хранят в виде векторной трехмерной модели, для каждой модели фиксируют набор параметров для аффинных преобразований: углы поворота по осям X, Y, X, масштаб, с ученом сложности формы модели, далее получают векторную трехмерную модель эталонного объекта путем геометрического построения и, изменяя ее положение в пространстве (поворот, отражение, масштабирование), получают вышеуказанные параметры, которые сохраняют и используют в дальнейшем при распознавании для воссоздания соответствующего ракурса эталона объекта, плоское изображение представляют в виде двумерного массива, элементами которого являются значения от 0 до 255 - градации серого цвета, в набор параметров дополнительно включают соотношение сторон габаритного изображения контейнера объекта и кодированное представление объекта, которое позволяет определить его положение внутри габаритного контейнера. При этом под габаритным контейнером подразумевают минимальную прямоугольную область на плоскости, в которую вписывается изображение объекта, а кодирование производят путем разбиения габаритного контейнера на 25 одинаковых областей и определением наличия части объекта в каждой из них, получая, таким образом, 25-битный код данного ракурса объекта в двоичном виде: если часть изображения находится в области, то ее получают перебором значений меток в областях слева направо, сверху вниз; на вход распознавателя подают изображение, представленное массивом пикселей в градациях серого, т.е. каждый элемент массива имеет значение от 0 до 255, размерность массива зависит от параметров дискретизации изображения, распознавание производят следующим образом: определяют габаритный контейнер входного изображения объекта, затем кодируют вышеуказанным способом исходя из отношения сторон габаритного контейнера и полученного кода, выбирают набор параметров из базы эталонов, после чего выполняют преобразование векторной модели эталонного объекта соответственно установленным ранее параметрам: поворот и масштабирование, после этого строят плоское изображение модели эталона, которое сравнивают с поданным на вход изображением посредством нейронной сети типа персептрон, сравнение производят путем анализа градаций серого для каждой дискретной области изображения, причем производят попиксельное сравнение, затем находят модуль разности для каждой пары пикселей изображения, поданного на вход распознавателя и полученной проекции векторной модели эталонного объекта и сравнивают его с пороговым значением, полученные данные подают на вход нейросети персептрон и, в зависимости от значения ее функции активации, принимают решение о схожести проекции векторной модели эталонного объекта и входного изображения.

Данный способ предлагает обработку изображения объекта без выделения его контуров, что снижает точность распознавания из-за влияния суточных и сезонных изменений яркости выделяемых объектов.

Известен способ получения изображения объекта (см. патент на изобретение РФ № 2243591, М. кл. G06T 5/50, опубл. 27.12.2004 г.), включающий предобработку сигналов представленной временной последовательности изображений сцены, на которой возможно появление объекта, запоминание опорных, характеризующих изображение сцены сигналов, вычисление взаимно корреляционной функции опорного и текущих изображений, измерение параметров взаимно корреляционной функции, получение в каждый момент времени полной информации о координатах и перемещениях объекта и измерение параметров объекта и сцены, отличиями способа являются разделение на фрагменты изображения рассматриваемой последовательности изображений, вычисление взаимно корреляционной функции опорного и последующих текущих изображений, после чего получают сигналы, соответствующие, например, средней и максимальной величине амплитуды сигнала взаимно корреляционной функции и сравнивают их, например, вычитают из максимальной величины амплитуды сигнала взаимно корреляционной функции среднее значение величины амплитуды, полученный разностный сигнал сравнивают с заданной пороговой величиной сигнала, а затем формируют управляющие сигналы, с помощью которых осуществляют фрагментарную фильтрацию временной последовательности текущих изображений, причем для фрагментов, разностные сигналы которых превышают пороговое значение, формируют управляющие сигналы, блокирующие сигналы изображения, а для фрагментов, разностные сигналы которых меньше или равны пороговому значению, формируют управляющие сигналы, пропускающие сигналы соответствующих фрагментов.

При этом фрагменты изображения могут быть выбраны одинаковыми по конфигурации и равными по площади, с размерностью К пикселей, где 2 К N, причем N - число пикселей в изображении, или различными по конфигурации и по площади с размерностью K₁ пикселей на каждом фрагменте, где K₁=2, n_j1, причем n_j1 N/2.

Причем на фрагменты могут быть разделены либо опорное, либо текущее изображения.

Кроме того, сигналы, принадлежащие выделенному изображению объекта, записывают в качестве опорного изображения.

А при выполнении операции вычитания сигналов взаимно корреляционной функции из сигналов взаимно корреляционной функции для фрагментов предыдущего кадра вычитают сигналы взаимно корреляционной функции соответствующих фрагментов последующих кадров.

В данном способе изображение представляется в видеосигнальном виде, например в виде телевизионного сигнала.

В известном способе по патенту № 2243591 так же, как в предыдущем аналоге, осуществляется обработка изображений сцены в целом, без выделения их контуров и локализации объектов на изображении, поэтому корреляционная обработка, проводимая в способе, зависит в значительной мере от освещенности, погодных условий, что повышает вероятность ложного обнаружения объектов.

Данный способ выбран в качестве прототипа.

Техническим результатом изобретения является повышение вероятности правильного обнаружения объекта на изображении и уменьшение вероятности ложной тревоги.

Достижение технического результата обеспечивается в предлагаемом способе автоматического распознавания объектов на изображении, при котором формируют эталонные изображения и запоминают их, осуществляют предварительную обработку каждого текущего изображения, с целью выявления объекта, и запоминают каждое текущее изображение, вычисляют взаимно корреляционную функцию эталонных и текущих изображений и производят их сравнение, отличающемся тем, что формируют и запоминают контурные эталонные и текущие изображения, представляют их в виде полутоновых дистантных изображений, яркость пикселов которых пропорциональна расстоянию до ближайшего контура, выделяют (локализуют) на изображениях участки, на которых возможно наличие объекта, путем сканирования контурным эталоном с подсчетом для каждого положения эталона суммы яркостей точек дистантного полутонового изображения, накрытых контурами эталона, и из всего множества положений сканирования оставляют точки, где подсчитанные суммы яркостей меньше заданного порога, на выбранных участках изображений вычисляют взаимно корреляционную функцию текущих и эталонных изображений, после чего производят сравнение выделенных участков текущих изображений с эталонными полутоновыми дистантными изображениями этих участков и определяют положение эталона на выделенных участках, при котором достигается экстремум взаимно корреляционной функции, и определяют место нахождения объекта по положению экстремума взаимно корреляционной функции.

Выделение в предлагаемом способе контуров изображений и представление изображений в виде полутоновых дистантных изображений позволяет получить изображения с яркостью пикселов, пропорциональной геометрическому расстоянию до ближайшего контура на контурном изображении, и тем самым определить координаты объектов, наиболее соответствующих по форме эталону. При этом, если численная мера сходства эталона с объектом (сумма яркостей точек полутонового дистантного изображения, совпадающих с контурами эталона) ниже заданного порога, то координаты этих точек запоминаются. При идеальном совпадении контуров эталона с полутоновым дистантным изображением соответствующего объекта рассматриваемая сумма яркостей равняется нулю, т.к. расстояние от контуров объекта, по которым построено полутоновое дистантное изображение, соответственно равно нулю. В результате такая обработка позволяет значительно снизить влияние изменений освещенности и погодных условий на результат обнаружения.

При этом выделение (локализация) на изображениях только тех участков, на которых возможно наличие объекта, дополнительно повышает точность обнаружения.

А последующее определение экстремума взаимно корреляционной функции в точках на выделенных участках изображений, координаты которых запоминались, вносит дополнительный вклад в правильное распознавание объекта на изображении.

Предлагаемый способ поясняется чертежами, где на фиг.1 приведен пример устройства для реализации предлагаемого способа, на фиг.2 представлена блок-схема алгоритма его осуществления, на фиг.3 изображен полутоновый 2D эталон и его контурный препарат с толщиной контуров, равной 1 пикселу, на фиг.4 показан пример полутонового входного изображения, на фиг.5 - его контурный препарат, на фиг.6 - дистантное изображение, построенное по контурному, изображенному на фиг.5, на фиг.7 приведна блок-схема устройства, реализующего однопиксельный контуратор, па фиг.8 представлен идеализированный плавный переход яркости из темного поля в светлое, на фиг.9 представлена кривая перехода яркости из темного поля в светлое для наглядности вдоль горизонтальной оси, на фиг.10 показана работа оператора Mod Grad Ix,y, на фиг.11 показана работа оператора Лапласа для указанного случая, на фиг.12 показан однопиксельный контур, на фиг.13 показан пример выделения участков предполагаемого нахождения объектов.

Устройство для реализации предлагаемого способа согласно фиг.1 содержит оптико-электронную систему 1 (ОЭС), блок 2 управления ОЭС, блок 3 хранения трехмерных (3D) эталонов, в котором эталоны загружены заранее перед выходом устройства в зону вероятного нахождения объекта-цели, блок 4 выбора требуемого эталона, с помощью которого в зависимости от задачи распознавания того или иного объекта выбирается требуемый эталон, блок 5 формирования 2D полутонового эталонного изображения требуемого ракурса, блок 6 памяти для входного (текущего) полутонового изображения, первый и второй однопиксельные контураторы 7 и 8 соответственно, блок 9 построения дистантного изображения, блок 10 выделения на текущем изображении участков предполагаемого нахождения объектов, блок 11 корреляционно-экстремального распознавания и блок 12 сравнения с порогом, при этом вход и первый выход ОЭС 1 соединены соответственно с первым выходом и входом блока 2 управления ОЭС, второй выход которой подключен ко входу блока 6 памяти для входного (текущего полутонового изображения, первый выход которого подключен ко входу первого однопиксельного контуратора 7, выход которого соединен с входом блока 9 построения дистантного изображения, выход которого, а также второй выход блока 6 памяти для входного (текущего) полутонового изображения и выход второго однопиксельного контуратора 8 подключены к соответствующим входам блока 10 выделения на текущем изображении участков предполагаемого нахождения объектов, второй выход блока 2 управления ОЭС подключен к первому входу блока 5 формирования 2D полутонового эталонного изображения в требуемом ракурсе, ко второму входу которого подключен выход блока 4 выбора требуемого эталона, вход которого соединен с выходом блока 3 хранения трехмерных эталонов, выход блока 10 выделения на текущем изображении участков предполагаемого нахождения объектов соединен с первым входом блока 11 корреляционно-экстремального распознавания, второй вход которого соединен с выходом блока 5 формирования 2D полутонового эталонного изображения в требуемом ракурсе, а третий вход - с третьим выходом блока 6 памяти для входного (текущего) полутонового изображения, а выход блока 11 корреляционно-экстремального распознавания подключен ко входу блока 12 сравнения с порогом.

Рассмотрим осуществление предлагаемого способа в устройстве, приведенном на фиг.1, с учетом фиг.2.

В блок 3 хранения трехмерных (3D) эталонов эталоны загружены заранее перед выходом устройства в зону вероятного нахождения объекта-цели. В зависимости от задачи распознавания того или иного объекта с помощью блока 4 выбирается требуемый эталон, и по данным от блока 2 управления ОЭС об ориентации в пространстве оптической оси ОЭС 1 относительно рассматриваемой трехмерной сцены, содержащей объект-цель, в блоке 5 формируется двумерное (2D) полутоновое изображение эталона под требуемым ракурсом и в необходимом масштабе (фиг.3). Для формирования эталона используются следующие координаты положения оптической оси ОЭС 1 в земной системе координат:

- Угол курса - Fi (горизонтальный угол между проекцией оптической оси на земную плоскость и направлением на географический север)

- Угол места - Tet (вертикальный угол между направлением оптической оси и земной плоскостью)

- Угол крена - Gam (угол вращения ОЭС относительно продольной оси)

- Дальность до наблюдаемой земной поверхности вдоль оптической оси - Dist.

ОЭС 1 состоит из видеокамеры, в фокальной плоскости которой формируется текущее изображение наблюдаемой сцены, фиксируемое с помощью светочувствительной матрицы, гиростабилизатора положения видеокамеры в пространстве с датчиками углового положения видеокамеры в земной системе координат и с двигателями, управляющими угловым положением видеокамер.

Блок 2 управления ОЭС анализирует данные об угловом положении видеокамеры (углы - Fi, Tet, Gam и данные о дистанции Dist), принимаемые от носителя устройства.

С помощью второго однопиксельного контуратора 8 создастся контурный препарат эталона, причем толщина контуров составляет величину в один пиксел.

Входное полутоновое изображение передастся из ОЭС 1 в блок 6 памяти для входного (текущего) полутонового изображения, а из него поступает на первый однопиксельный контуратор 7, где также преобразуется в контурное изображение, по которому формируется дистантное изображение в блоке 9 построения дистантного изображения. Дистантное изображение - это такое полутоновое изображение, где все пикселы имеют численные значения, равные дистанции (наименьшего расстояния) до ближайшего контурного пиксела. В дальнейшем такое изображение будет называться "дистантным". При этом пикселы, принадлежащие контурам, будут иметь соответственно нулевые значения. Пример полутонового изображения показан на фиг.4, на фиг.5 - его контурный препарат, на фиг.6 - дистантное изображение, построенное по контурному, изображенному на фиг.5.

В соответствии с разработанным алгоритмом (фиг.2) контурное преобразование заключается в следующем. Изображение анализируется в двух каналах. Первый канал вычисляет для каждой точки изображения I с координатами х, y функцию оператора Лапласа, т.е.

Второй канал вычисляет значение модуля градиента поля яркостей, т.е.

На фиг.8 представлен идеализированный плавный переход яркости из темного поля в светлое. На фиг.9 представлена кривая перехода яркости из темного поля в светлое для наглядности вдоль горизонтальной оси. На фиг.10 показана работа оператора Mod Grad Ix,y. Ha фиг.11 показана работа оператора Лапласа для указанного случая

Анализ совместной работы двух каналов показывает, что с помощью оператора модуля градиента можно с высокой вероятностью определить наличие и зону появления контура. А внутри этой зоны, с помощью оператора Лапласа и нуль-дискриминатора, определить положение контура с точностью до пиксела (фиг.12).

По сформированному дистантному текущему изображению с помощью контурного эталона в блоке 10 выделения на текущем изображении участков предполагаемого нахождения объектов выделяются участки наиболее вероятного нахождения объекта-цели.

Для формирования участков контурным эталоном сканируется текущее дистантное изображение. Для каждой позиции эталона суммируются яркости всех точек дистантного полутонового изображения, "накрываемых" контурными точками эталона.

Полученная сумма нормируется на количество контурных точек эталона. В результате получаем матрицу дистантной меры для всех точек входного изображения.

Вычисляется среднее значение дистантной меры по всем значениям матрицы дистантной меры.

По среднему значению дистантной меры определяется порог, ниже которого все точки изображения, где дистантная мера ниже этого порога, считаются подозрительными на наличия объекта цели.

Далее по выделенным участкам работает блок 11 корреляционно-экстремального распознавания. Блок 11 работаете полутоновым эталоном по полутоновому текущему изображению.

Найденный экстремум значения взаимно корреляционной функции сравнивается с заданным порогом в блоке 12 сравнения с порогом и при его превышении - цель считается распознанной.

Рассмотрим особенности реализации предлагаемого способа.

Текущий кадр полутонового изображения, получаемый с помощью ОЭС 1, запоминается в блоке 6 памяти, и начинается его обработка. С помощью алгоритма контурной бинаризации запомненное изображение преобразуется в контурное изображение, по которому формируется дистантное изображение (схема однопиксельного контуратора показана на фиг.7).

Заданный полутоновый эталон с помощью аналогичного алгоритма преобразуется в контурный вид. Получается контурный эталон.

По полученному в блоке 9 дистантному изображению текущего кадра производится сканирование контурным эталоном по всем точкам i, j. Здесь и далее i-номер строки, содержащей искомый пиксел, j-номер пиксела в строке. Пиксел i, j определяет положение центра контурного эталона при его сканировании по дистантному изображению (в дальнейшем - точка сканирования).

Для каждой точки сканирования производится расчет дистантной меры R[i,j], численно равной сумме яркостей всех пикселов дистантного изображения, попадающих на контурные точки эталона, деленной на сумму контурных точек эталона. После прохода по всему дистантному изображению вычисляется среднее значение дистанции D, равное среднему значению R[i,j] по всем точкам сканирования.

По полученному значению D формируется порог ThrD=k D, где к - априорно заданный коэффициент (0<k<1.0).

Далее производится сканирование по полученной матрице дистантной меры R[i, j], и каждое ее значение сравнивается с порогом ThrD. Если значение R[i, j]<ThrD, то точки i, j запоминаются и формируют зону внимания ZA[i, j], ту самую зону, по которой будет осуществляться окончательное распознавание. ZA[i, j] представляет собой бинарную матрицу с размером, равным размеру входного изображения. Ее значения ZA[i, j]=1, если R[i, j]<ThrD и ZA[i, j]=0, если R[i, j]>=ThrD. Нa фиг.13 приведен пример выделения участков, где предполагается наличие объектов. Серым тоном обозначены зоны, где ZA[i, j]=0 (дальнейшее распознавание не производится), а зоны, содержащие фрагменты изображения, где ZA[i, j]=1 будут исследоваться в дальнейшем.

Далее по зонам, определяемым в точках, где ZA[i, j]=1 и игнорируя зоны, где ZA[i, i]=0, производится корреляцонно-экстремальное распознавание с помощью заданного полутонового эталона.

Корреляционно-экстремальный алгоритм автоматического распознавания в качестве текущего и эталонного изображений использует их полутоновые представления. Для компенсации факторов различной освещенности объектов изображения эталона и соответствующей части текущего изображения нормируются по средней величине яркости и приводятся к единичной дисперсии.

Значение взаимно корреляционной функции (ВКФ) в точке m, n, рассчитывается но формуле

где i - горизонтальная координата точки изображения эталона,

j - вертикальная координата точки изображения эталона, координаты i, j - в системе координат эталона,

g (i, j) - яркость нормированного эталона в точке с координатами i, j,

t(i+m, j+n) - яркость точки нормированной части текущего изображения для позиции (m, n) верхнего левого угла строба, содержащего эталонное изображение,

ВКФ(m, n) - значение взаимной корреляционной функции для заданного положения эталона,

k, l - размеры эталонного изображения.

Значения координат смещения m, n, при которых достигается максимум выражения (3), указывают на часть текущего изображения, максимально похожую на эталон.

Максимальное значение корреляции max ВКФ[m, n] сравнивается с заданным порогом ThrK и, если этот максимум превышает порог, считается, что цель распознана, и координаты ее равны m, n.

Рассмотрим пример выполнения блоков устройства для реализации предлагаемого способа.

В качестве ОЭС 1 может быть использована видеокамера VZA-744-A3, которая включает ПЗС матрицу 752×582 пикселей, 1/3 дюйма, PAL 50 Гц, на выходе которой формируется цифровой поток изображений форматом 752×582 пикселей.

Оцифрованные изображения поступают на вход платы видеообработки Texas Instruments, включающей процессор TMS320DM6467 HD, блок оперативной памяти (ОЗУ) и блок постоянной памяти (ПЗУ). В ПЗУ хранится алгоритм обработки принимаемых изображений и все необходимые константы, и процессором совместно с ОЗУ реализуется данный алгоритм обработки. При этом на выходе процессора формируется бинарный сигнал: 1 - цель распознана и 0 - цель не распознана. Плата видеообработки связана с источником питания и с видеокамерой.