способ распознавания сигнала изображений

Формула изобретения

Способ распознавания сигнала изображений, содержащий операции распознавания по обнаружению и классификации изображений объектов, отличающийся тем, что введены операции обнаружения видеоактивности, операции вычисления траекторий динамических фрагментов, операции распознавания траекторий динамических фрагментов и операции регистрации траекторных фрагментов/кадров; при этом сначала из входного сигнала изображения формируют сигнал видеоактивности как нормализованный сигнал разности между текущим кадром и эталонным кадром; затем на сигнале видеоактивности обнаруживают динамические фрагменты как группы соседствующих ненулевых значений сигнала видеоактивности, регистрируют их наложением стробирующих сигналов-импульсов, вычисляют пространственные и временные параметры зарегистрированных динамических фрагментов и для каждого зарегистрированного динамического фрагмента формируют из множества вычисленных для него параметров сигнал траектории, а сигналы траекторий запоминают; далее классифицируют запомненные сигналы траекторий как события появления, исчезновения, активности и движения объектов и формируют тем самым сигнал распознавания траекторий; после этого по значениям сигнала распознавания траекторий производят регистрацию/выборку фрагментов/кадров входного сигнала изображения, и к зарегистрированным фрагментам/кадрам применяют операции распознавания по обнаружению и классификации изображений объектов.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к областям информационной телевизионной техники, робототехники, распознавания образов, распознавания изображений, телевизионным системам обнаружения и слежения, телевизионным системам автоматизированного анализа изображений и распознавания объектов и может быть использовано в системах технического зрения и автоматизированного контроля обстановки различного назначения.

Уровень техники

Используемые при построении систем технического зрения методы распознавания телевизионных изображений реального времени специализируют либо на обнаружении на статическом изображении (отдельном видеокадре) заданных объектов с их последующей идентификацией, либо на выявлении в видеопотоке (непрерывной последовательности видеокадров) объектов по признаку наличия движения. Каждый из этих методов выявляет только часть свойств анализируемых изображений, что не всегда обеспечивает необходимую достоверность автоматического распознавания как, собственно, объектов, так и всей контролируемой обстановки (сцены).

Аналогами заявляемого технического решения являются, например, система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций по патенту RU 2268497, G08B 25/08 (2006.01). Система состоит из видеокамеры, вычислительного устройства с памятью, устройства распознавания цели и терминала наблюдения, приспособленного для информирования оператора и получения от него управляющих команд. Недостатком этой системы является ограниченность автоматического распознавания только классификацией типа объекта, при которой идентификация объекта выполняется «вручную» оператором.

Наиболее близким к заявляемому техническим решением, выбранным в качестве прототипа, является способ распознавания изображений по патенту RU 2313828, G06K 9/62 (2006.01). Способ распознавания, реализованный в прототипе, состоит из последовательности операций обнаружения на статическом изображении участка с изображением объекта искомого класса и классификации обнаруженного статического фрагмента.

Основной недостаток способа-прототипа заключается в том, что при обнаружении объекта (соответствующего фрагмента изображения) в нем используется в качестве эталона описание обобщенной структуры изображения конкретного класса объектов, а данные о классе реально наблюдаемого объекта отсутствуют. Вследствие этого при распознавании изображений со сложной структурой возникает повышенное количество ложных обнаружений, что приводит в итоге к уменьшению достоверности и вероятности правильного распознавания (идентификации).

Раскрытие изобретения

Задачей предлагаемого изобретения является повышение достоверности и вероятности правильного распознавания путем уменьшения количества ложных обнаружений.

Поставленная задача достигается тем, что в способе распознавания изображений, состоящем из операций распознавания фрагментов сигнала, предположительно соответствующих изображению конкретного класса объектов, вводят дополнительно операции обнаружения видеоактивности, операции вычисления траекторий динамических фрагментов, операции распознавания траекторий и операции регистрации траекторных фрагментов/кадров. При этом операции распознавания изображений применяют к зарегистрированным сигналам траекторных фрагментов/кадров, которые формируют из входного сигнала изображения по сигналам распознавания траекторий. Сигнал распознавания траекторий формируют операциями сравнения характеристик траекторий динамических фрагментов. Сигналы траекторий динамических фрагментов формируют как последовательность значений координат динамических фрагментов, которые представляют собой группы соседствующих ненулевых значений сигнала видеоактивности. Вычисление координат динамических фрагментов выполняют первональным наложением на группы соседствующих ненулевых значений сигнала видеоактивности стробирующих сигналов-импульсов, центры которых затем совмещают с центрами отслеживаемых динамических фрагментов сигнала изображения, а сигнал видеоактивности формируют из входного сигнала изображения как разницу между текущим кадром и эталонным кадром.

Достигаемый при этом по сравнению с прототипом технический результат состоит в следующем:

- множество обнаруживаемых динамических фрагментов и их траекторий выявляют информационную структуру наблюдаемых в реальном времени изменений сигнала изображения, которые соответствуют фактической активности (появление, исчезновение, мигание, движение) реально присутствующих в контролируемой сцене объектов;

- временная структура множества обнаруживаемых динамических фрагментов и их траекторий содержит информацию о классах наблюдаемых объектов, которая может быть использована для повышения качества распознавания обстановки в целом и повышения качества индивидуального распознавания объектов;

- пространственная структура множества обнаруживаемых динамических фрагментов и их траекторий содержит информацию о структуре изображений наблюдаемых объектов, которая может быть использована для повышения достоверности распознавания объектов;

- пространственно-ременная структура множества обнаруживаемых динамических фрагментов и их траекторий содержит дополнительную информацию о свойствах наблюдаемых объектов в части соотношений между их отдельными частями. Эта информация может быть использована и для повышения качества индивидуального распознавания объектов, и для выявления неизвестных классов объектов, и для повышения качества распознавания обстановки в целом.

Краткое описание чертежей

На фиг.1 приведена блок-схема устройства, реализующего предлагаемый способ.

На фиг.2 приведен вариант реализации блока обнаружения видеоактивности.

На фиг.3 приведен вариант реализации блока вычисления траекторий динамических фрагментов.

На фиг.4 приведен вариант реализации блока распознавания траекторий.

На фиг.5 приведен вариант реализации регистратора траекторных фрагментов/кадров.

На фиг.1 обозначено:

Входной сигнал изображения,

1 Блок обнаружения видеоактивности,

2 Блок вычисления траекторий динамических фрагментов,

3 Блок распознавания траекторий,

4 Регистратор траекторных данных,

5 Блок распознавания изображений,

Описания изменений изображений,

Описания изображений.

На фиг.2 обозначено:

Входной сигнал изображения,

6 Сумматор,

7 Компаратор,

8 Блок нормализации,

Сигнал видеоактивности.

На фиг.3 обозначено:

Сигнал видеоактивности,

9 ЗУ кадра видеоактивности,

10 Генератор строб-сигналов,

11 Измеритель строб-сигналов,

12 ЗУ траекторий.

На фиг.4 обозначено:

Сигнал траекторий,

13 Блок нормализации,

14 ЗУ первичных траекторий,

15 Блок вычисления характеристических параметров,

16 Блок обнаружения событий,

Эталонные параметры,

17 Компаратор,

Сигнал регистрации фрагментов/кадров.

На фиг.5 обозначено:

Сигнал регистрации,

Входной сигнал изображения,

18 Преобразователь,

19 ЗУ видеокадров,

20 ЗУ событий,

21 ЗУ изображений.

Осуществление изобретения

Предлагаемый способ может быть осуществлен в виде устройства, блок-схема которого представлена на фиг.1. Устройство состоит из последовательного соединения блока 1 обнаружения видеоактивности, блока 2 вычисления траекторий динамических фрагментов, блока 3 распознавания траекторий, регистратора 4 траекторных фрагментов/кадров и блока 5 распознавания изображений, ко второму входу которого подсоединен выход блока 3 распознавания траекторий, при этом выход блока 1 обнаружения видеоактивности подсоединен также ко второму входу регистратора 4 траекторных фрагментов/кадров, к третьему входу которого подсоединен вход блока 1 обнаружения видеоактивности, являющийся входом устройства.

Устройство, реализующее предлагаемый способ, работает следующим образом.

Входной сигнал изображения, поступающий на вход устройства, преобразуют в блоке 1 обнаружения в сигнал видеоактивности, который обрабатывают в блоке 2 вычисления траекторий динамических фрагментов для обнаружения динамических фрагментов - соседствующих ненулевых значений сигнала видеоактивности - и отслеживания их положения во входном сигнале изображения. Сигналы вычисленных значений положений динамических фрагментов запоминают и анализируют в блоке 3 распознавания траекторий, где их классифицируют по критерию пространственно-временной близости. Сигнал распознавания траекторий и сигнал видеоактивности затем используют в регистраторе 4 траекторных фрагментов/кадров для выборки из входного сигнала изображения (видеопотока реального времени) информативных кадров (изображений) и/или их фрагментов, которые запоминают в регистраторе 4 траекторных фрагментов/кадров вместе с соответствующими траекторными параметрами. Сигналы этих зарегистрированных изображений далее анализируют и обрабатывают в блоке 5 распознавания изображений с целью обнаружения и классификации объектов в соответствии со способом распознавания изображений по патенту RU 2313828, G06K 9/62 (2006.01).

Блоки устройства, реализующего предполагаемый способ, работают следующим образом.

В блоке 1 обнаружения видеоактивности, вариант реализации которого приведен на фиг.2, входной сигнал изображения подают на сумматор 6 и на компаратор 7, выход которого соединен со входом блока 8 нормализации и со вторым входом сумматора 6. При этом компаратор 7 формирует сигнал разности между входным сигналом изображения и эталонным сигналом, который формирует сумматор 6 как линейную комбинацию входного сигнала изображения и сигнала разности. Затем сигнал разности с выхода компаратора 7 преобразуют в блоке 8 нормализации операциями усиления и пороговой, пространственной и временной фильтрации в результирующий сигнал видеоактивности.

В блоке 2 вычисления траекторий динамических фрагментов, вариант реализации которого приведен на фиг.3, из сигнала видеоактивности последовательно выбирают в ЗУ 9 кадра видеоактивности отдельные кадры видеоактивности, на которых в генераторе 10 строб-сигналов выявляют группы соседствующих ненулевых значений сигнала видеоактивности - динамические фрагменты - и регистрируют их наложением на сигнал кадра видеоактивности соответствующих стробирующих сигналов-импульсов. Затем в измерителе 11 строб-сигналов анализируют совместный сигнал кадра видеоактивности и стробирующих сигналов-импульсов и вычисляют пространственные и временные параметры зарегистрированных динамических фрагментов. На выходе блока 2 вычисления траекторий динамических фрагментов в ЗУ 12 траекторий множество вычисленных значений параметров зарегистрированных динамических фрагментов разделяют на последовательности значений, соответствующих каждому стробирующему сигналу-импульсу и сформированный таким образом сигнал траекторий запоминают.

В блоке 3 распознавания траекторий, вариант реализации которого приведен на фиг.4, производят анализ сигналов траекторий динамических фрагментов с целью выявления данных о событиях появления, исчезновения, активности и движения объектов, а также формируют сигнал регистрации фрагментов/кадров входного сигнала изображений, информативных для последующей идентификации представленных на них объектов. При этом в блоке 13 нормализации сигнал траекторий преобразуют операциями логического анализа и фильтрации в сигналы первичных траекторий, каждая из которых соответствует одному и тому же динамическому фрагменту. Сигналы первичных траекторий запоминают в ЗУ 14 первичных траекторий, а в блоке 15 вычисления характеристических параметров для каждой первичной траектории - последовательности значений координат и временных отсчетов - вычисляют характеризующие ее параметры-признаки типа длины, скорости, ускорений, расположении старта-финиша и т.п. Сигнал вычисленных значений характеристических параметров используют в блоке 16 обнаружения событий для логического выявления событий типа появления/исчезновения/движения объектов, а сформированный таким образом сигнал событий используют в компараторе 17 для формирования сигнала регистрации информативных фрагментов/кадров из входного сигнала изображений.

В регистраторе 4 траекторных данных сигнал регистрации, сформированный в блоке 3 распознавания траекторий, разделяют в преобразователе 18 на сигнал выборки и данные, описывающие выявленные по изменениям структуры входного сигнала изображений события, соответствующие поведению объектов. По сигналу выборки из буферного ЗУ 19 видеокадров копируют в ЗУ 21 изображений информативные фрагменты/кадры входного сигнала изображений, соответствующие выявленным траекториям и событиям, а данные о событиях запоминают в ЗУ 22 событий.

Таким образом, в процессе распознавания входного сигнала изображений предлагаемым способом формируют описание его информационной структуры, в котором данные о подобии выявленных фрагментов заданным классам объектов дополняются данными о сопутствующих изменениях структуры изображений. Анализ этих дополнительных данных дает информацию о поведении объектов, представленных в наблюдаемой сцене, которая позволяет уточнить классификацию объектов и повысить достоверность и вероятность правильного распознавания.