способ и система для автоматического обнаружения трехмерных образов

Формула изобретения

1. Система автоматического обнаружения и отслеживания людей по изображениям с нескольких источников и биометрического распознавания личности по целевому списку, представляющим собой список подозрительных лиц, состоящая из следующих устройств:

устройство дистанционного сбора данных в виде трехмерных и двумерных изображений, характеризующих зону слежения, основывается на использовании трехмерного сенсора, состоящего из двух и более оптических датчиков с заранее известным их расположением;

устройство обнаружения объектов-шумов сцены, обрабатывающее трехмерные данные о сцене и выдающее карту объектов-шумов;

устройство выделения зон интереса, сравнивающее трехмерные данные о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, выполненное с возможностью отслеживания изменения на сцене и выделения трехмерных зон интереса;

устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, выдающее на основании движений или формы объекта поднабор из выделенных зон интереса, содержащих человекоподобные объекты, и передающее его на устройство управления системой слежения;

устройство управления системой слежения и распознавания трехмерных объектов, формирующее список объектов слежения, вызывающее одно или несколько устройств слежения и оценки параметров объектов слежения, выделяющее и разделяющее объекты слежения в зонах интереса по результатам их работы, определяющее тип ситуации на сцене, вызывающее устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирующее создание эталона или распознавание личности для объекта слежения; выдающее описание распознанного объекта и список вероятных эталонов;

устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:

блок выделения параметров фигуры человека;

блок обнаружения и слежения за трехмерной головой человека в области интереса;

блок обнаружения и слежения за лицом человека на голове;

блок обнаружения и слежения за чертами лица человека;

блок обнаружения и предсказания траектории движения человека в области интереса;

блок обнаружения ориентации тела человека в пространстве;

устройство формирования биометрических признаков, состоящее из следующих блоков:

блок формирования набора параметров по переданным признакам;

блок наложения ограничений сцены, выделяющий признаки, соответствующие предсказанному поведению человека на сцене;

блок нормализации признаков с учетом расстояния и ориентации человека в пространстве;

блок оценки репрезентативности признаков, определяющий тип и качество выделения признаков с учетом нормализации;

блок обновления параметров и оценок репрезентативности признаков человека;

устройство распознавания личности, формирующее из целевого списка список вероятных эталонов и просеивающее его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; проводящее сравнение и фильтрацию эталонов в списке с учетом порогов для меры сходства и надежности; выдающее устройству управления меру сходства и надежность сходства объекта с эталонами из списка;

СУБД, хранящая переданные из устройства управления эталоны, кластеризующая их по доступным расстояниям, ориентациям, репрезентативности; организующая доступ устройства распознавания личности к эталонам и их признакам с учетом кластеризации; выдающая устройству управления список вероятных эталонов.

Описание изобретения к патенту

Изобретение относится к системам автоматического видеонаблюдения, экспертным системам обнаружения и распознавания объектов и может быть использовано в системах идентификации личности по целевому списку в местах скопления множества людей, в частности в метро, в аэропортах и т.п.

Одной из особенностей развития современного общества является возрастающая потребность в автоматизации существующих систем видеонаблюдения и создании нового класса интеллектуальных систем массового обслуживания, рассчитанных на следующие типы приложений:

интеллектуальное видеонаблюдение:

- обнаружение и слежение за человеком в зоне наблюдения;

- выделение человека в группе людей в условиях помех и перекрытий лиц;

- нахождение элементов тела человека (тело, голова, лицо, глаза, рот, черты лица), определение его уникальных биометрических признаков (рост человека, размер головы, черты лица, антропометрические признаки лица);

- нахождение элементов одежды пользователя для кратковременных процессов слежения и распознавания (например, отслеживание посетителей магазина);

- захват траектории, анализ динамических характеристик движения объекта;

биометрическая идентификация личности:

- накопительное извлечение биометрических черт пользователя и создание эталонов подписи, характеризующей уникальность личности пользователя;

- поиск человека по целевому списку и идентификация личности (например, соответствие лица аналогу в базе разыскиваемых преступников);

- ограничение доступа к различным объектам, например офисам, складам, банкоматам, военным объектам.

распознавание ситуаций на сцене:

- улучшение пропускной системы массового обслуживания в местах скопления людей (автоматическая проверка паспорта);

- оперативное оповещение при предопределенных событиях, распознавание криминальной ситуации (наличие людей в масках на сцене).

Известны многочисленные решения этой проблемы с различной степенью сложности и достоверности результатов. В частности, в патенте США 6593852 [1] предлагается способ интеллектуального видеонаблюдения, позволяющий обнаруживать нарушителя в охраняемой зоне наблюдения, распознавать его личность, обнаруживать траекторию, идентифицировать траекторию, в случае несовпадения траекторий по метрике или распознавание незарегистрированного пользователя - формировать сигнал о возникновении криминальной ситуации. Однако представленное в патенте устройство может применяться в местах лишь небольшого скопления людей и в силу двумерности применяемых технологий не позволяет идентифицировать трехмерные биометрические характеристики пользователя.

Патент США 6700999 [2] описывает способ и устройство для обнаружения и слежения за множеством объектов "лицо человека". Тем не менее, данный способ и устройство позволяют обнаруживать лицо человека только на близких расстояниях и требуют от пользователя точного позиционирования перед камерой, что не позволяет применять данное устройство для бесконтактного и скрытого наблюдения за людьми.

Наиболее близким аналогом заявляемого изобретения является патент США 6917703 [3], который раскрывает способ и устройство формирования эталонных признаков лица на основе анализа изображений с помощью преобразования Габора и нейронной сети, а также геометрии графа лица. Недостатком этого решения является то, что при формировании эталонов оно ориентируется на работу только с изображениями лиц высокого качества, без перекрытий внешними объектами, на изображения лиц во фронтальном ракурсе, и может быть применимо только тогда, когда человек позиционирует свое лицо перед камерой.

Таким образом, задача, на решение которой направлено заявляемое изобретение, заключается в создании такой системы автоматизированного наблюдения и обнаружения, которая сочетала бы объективность и стабильность работы автомата и интеллектуальный подход к оценке ситуации, свойственный охраннику-человеку.

Технический результат достигается за счет разработки системы "Интеллектуального Охранника", использующей более совершенный способ наблюдения и оценки ситуации. При этом автоматизируются три главные функции, выполняемые охранником-человеком, а именно: интеллектуальное видеонаблюдение, биометрическая идентификация личности по целевому списку, распознавание криминальной ситуации.

Предложенные система и способ позволяют решать следующие задачи:

интеллектуальное видеонаблюдение:

- автоматический сбор информации о трехмерных изображениях, характеризующих зону наблюдения;

- выполнение быстрого обнаружения, слежения за человеком и обобщения информации о трехмерных объектах, находящихся в зоне наблюдения;

- выделение человека в группе людей в условиях помех и перекрытий лиц;

- нахождение элементов тела человека (тело, голова, лицо, глаза, рот, черты лица), измерение его уникальных биометрических признаков (рост человека, размер головы, черты лица, антропометрические признаки лица);

- нахождение элементов одежды пользователя для кратковременных процессов слежения и распознавания (например, отслеживание посетителей магазина);

- захват траектории, анализ динамических характеристик движения объекта;

- распознавание личности по физическим и поведенческим характеристикам лица человека (ситуация массового скопления людей, когда для более точного слежения за объектом помимо обнаружения выполняется процесс распознавания);

- идентификация ситуации загруженности каналов в системе контроля доступа, работающей как система массового обслуживания;

- идентификация типов криминальной ситуации за счет анализа действий обнаруженных пользователей и принятия решения о типе ситуации в зоне наблюдения в соответствии с приложением.

биометрическая идентификация личности:

- накопительное извлечение биометрических черт пользователя и создание эталонов подписи, характеризующей уникальность личности пользователя,

- поиск человека по целевому списку и идентификация личности (например, соответствие лица аналогу в базе разыскиваемых преступников).

распознавание ситуаций на сцене:

- улучшение пропускной системы массового обслуживания в местах скопления людей (например, автоматическая проверка паспорта);

- оперативное оповещение при предопределенных событиях, распознавание криминальной ситуации (наличие людей в масках на сцене, повышенная активность в зоне наблюдения, атака камеры нарушителем).

При этом существо заявляемого способа заключается в выполнении следующей последовательности операций:

- производят дистанционный сбор трехмерных и двумерных данных по изображениям, характеризующих зону слежения на базе использования трехмерной стереоскопической системы, состоящей из двух и более оптических датчиков с заранее заданным их расположением;

- на основе трехмерных данных о сцене и двумерных данных, характеризующих оптический поток, производят обнаружение объектов-шумов сцены, выделяют статические объекты фона и регулярные динамические объекты-шумы;

- на основе сравнения трехмерных и двумерных данных о сцене на текущем кадре с референтными данными на предыдущих кадрах и картой объектов-шумов определяют изменения на сцене, формируют трехмерную зону интереса на сцене;

- в трехмерных зонах интереса производят предварительную проверку наличия человекоподобных объектов, производят уточнение зон интереса и отслеживание их изменений;

- производят выделение контура отдельных элементов тела человека, зоны интереса разделяют на множество подзон интереса для элементов, производят уточнение положений элементов в пространстве;

- производят обнаружение трехмерной головы человека и слежение за ней в каждой из зон интереса;

- производят слежение за лицом человека в каждой из зон интереса;

- изображения обнаруженного лица нормализуют по размерам, по ракурсам и по освещенности;

- производят распознавание личности по целевому списку согласно сценарию работы биометрической системы.

Система, реализующая заявляемый способ, включает в себя следующие устройства:

- устройство дистанционного сбора данных в виде трехмерных и двумерных изображений, характеризующих зону слежения, основывается на использовании трехмерного сенсора, состоящего из двух и более оптических датчиков с заранее известным их расположением;

- устройство обнаружения объектов-шумов сцены, обрабатывающее трехмерные данные о сцене и выдающее карту вероятных объектов-шумов;

- устройство выделения зон интереса, сравнивающее трехмерные данные о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, отслеживающее изменения на сцене, выделяющее трехмерные зоны интереса;

- устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, выдающее на основании движений или формы объекта поднабор из выделенных зон интереса, содержащих человекоподобные объекты, и передающее его на устройство управления системой слежения;

- устройство управления системой слежения и распознавания трехмерных объектов, формирующее список объектов слежения, вызывающее одно или несколько устройств слежения и оценки параметров объектов слежения, выделяющее и разделяющее объекты слежения в зонах интереса по результатам их работы, определяющее тип ситуации на сцене, вызывающее устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирующее создание эталона или распознавание личности для объекта слежения; выдающее описание распознанного объекта и список вероятных эталонов;

- устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:

-- блок выделения параметров фигуры человека;

-- блок обнаружения и слежения за трехмерной головой человека в области интереса;

-- блок обнаружения и слежения за лицом человека на голове;

-- блок обнаружения и слежения за чертами лица человека;

-- блок обнаружения и предсказания траектории движения человека в области интереса;

-- блок обнаружения ориентации тела человека в пространстве;

- устройство формирования биометрических признаков, состоящее из следующих блоков:

-- блок формирования набора параметров по переданным признакам;

-- блок наложения ограничений сцены, выделяющий признаки, соответствующие предсказанному поведению человека на сцене;

-- блок нормализации признаков с учетом расстояния и ориентации человека в пространстве;

-- блок оценки репрезентативности признаков, определяющий тип и качество выделения признаков с учетом нормализации;

-- блок обновления параметров и оценок репрезентативности признаков человека;

- устройство распознавания личности, формирующее из целевого списка список вероятных эталонов и просеивающее его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; проводящее сравнение и фильтрацию эталонов в списке с учетом порогов для меры сходства и надежности; выдающее устройству управления меру сходства и надежность сходства объекта с эталонами из списка;

- СУБД, хранящая переданные из устройства управления эталоны, кластеризующая их по доступным расстояниям, ориентациям, репрезентативности; организующая доступ устройства распознавания личности к эталонам и их признакам с учетом кластеризации; выдающая устройству управления список вероятных эталонов.

Основными отличительными признаками заявляемого способа и системы являются:

- наличие устройства обнаружения и слежения за объектами разного типа и разного класса сложности (тело человека, голова человека, лицо человека, черты лица (глаза, рот)),

- наличие устройства обнаружения и слежения за объектами лица в условиях большого скопления людей,

- повышенная адаптивность к освещенности, помехам на изображениях, шумам фона, наличию внешних объектов,

- способность к обнаружению траектории движения объекта,

- осуществление последовательного сбора и накопления биометрических признаков об объектах в зоне наблюдения, формирование эталона на основе траектории и положения лица в определенных ракурсах,

- осуществление распознавания лиц по частичной информации об объекте интереса, распознавание в условиях помех и присутствии внешних объектов,

- введение функции распознавания лиц при наличии перекрытий лица внешними объектами,

- дополнительная идентификация лица по целевому списку (списку подозрительных лиц),

- сокращение перебора эталонов целевого списка при помощи параметрической организации целевого списка и выбора из него,

- сокращение проводимых вычислений при сравнении с эталоном целевого списка,

- осуществление идентификации ситуации по целевому списку траекторий и поведенческих характеристик объектов.

Следует отметить назначение компонентов, входящих в заявляемую систему обнаружения трехмерных объектов и распознавания на предмет присутствия их в целевом списке, в числе которых присутствуют:

Устройство дистанционного сбора данных (трехмерных и двумерных изображений), характеризующих зону слежения, основывается на использовании трехмерного сенсора (например, стереоскопической системы, состоящей из двух и более оптических датчиков (например, видео- или фотокамер)) с заранее известным их расположением.

Устройство обнаружения объектов-шумов сцены, которое предназначено для обработки трехмерных данных о сцене и выдачи карты вероятных объектов-шумов; оно осуществляет обнаружение объектов-шумов сцены, выделяет статические объекты фона и регулярные динамические объекты-шумы (регулярные движения).

Устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса, которое служит для осуществления следующих функций:

- выделение зоны интереса,

- детектирование изменений на сцене,

- детектирование тела человека по карте диспарантности,

- детектирование тела человека по движению,

- интегрирование решения по детектированию человека.

Функция выделения зон интереса заключается в сравнении трехмерных данных о сцене с референтными данными с предыдущего кадра и с данными карты объектов-шумов, в отслеживании изменений на сцене, в выделении трехмерных зон интереса. Анализ производится с помощью ускоренной стереореконструкции. На основании движений или формы объекта выдается подмножество из выделенных зон интереса, содержащее возможные человекоподобные объекты, и передается на интегрированный решатель. Функция интегрированного решения служит для принятия решения о наличии в зоне наблюдения одного или более человекоподобного объекта. В дальнейшем информация о наличии и количестве объектов типа тело человека уточняется в устройстве управления системой слежения и распознавания трехмерных объектов.

Устройство управления системой слежения и распознавания трехмерных объектов формирует список объектов слежения, вызывает одно или несколько устройств слежения и оценки параметров объектов слежения, по результатам его работы выделяет и разделяет объекты слежения (тела людей) в зонах интереса, определяет тип ситуации на сцене, вызывает устройство формирования биометрических признаков для объекта слежения, по результатам формирования набора признаков инициирует создание эталона или распознавание личности для объекта слежения; выдает описание распознанного объекта (положение, траектория) и список вероятных эталонов.

- Устройство слежения и оценки параметров объектов слежения состоит из блоков:

- блок выделения параметров фигуры человека,

- блок обнаружения и слежения за трехмерной головой человека в области интереса,

- блок обнаружения и слежения за лицом человека на голове,

- блок обнаружения и слежения за чертами лица человека (например, глазами, ртом),

- блок обнаружения и предсказания траектории движения человека в области интереса,

- блок обнаружения ориентации тела (головы) человека в пространстве.

В блоке выделения параметров фигуры производят последовательный поиск на картах черт (Габора, диспаратности, цветовой) гипотез о фигуре одного человека, а также уточняют расстояние объекта до камеры. Принятие решение о распознавании всей фигуры человека заключается в распознавании основных структурных частей тела человека: голова, плечи, руки, ноги, туловище. С помощью блока обнаружения и слежения за трехмерной головой человека детектируют сигнал головы по картам черт Габора (вертикальная и горизонтальная), при близких расстояниях объекта до камеры имеется возможность использования цветовой сегментации. С помощью блока обнаружения и слежения за лицом человека на голове производят анализ карт черт следующим образом:

- лицо находят на основе анализа геометрии лица и расположения локальных черт;

При формировании решения о детектировании лица используют, по меньшей мере, одно из трех представлений моделей лица:

- представление с помощью локальных черт, объединенных в кластеры черт: (брови и глаза), (ноздри, усы, рот, подбородок), (щеки и нос);

- представление с помощью цветовой сегментации;

- представление с помощью анализа карты диспарантности - анализа выпуклости множества соответственных точек.

При слежении поиск лица проводят в заданной области интереса (на базе предыдущего положения лица), проверяют консистентность найденных локальных черт- в случае если объект обнаружен с низкой степенью уверенности, запускают процедуры детектирования:

Устройство формирования биометрических признаков состоит из следующих блоков:

- блок нормализации признаков, который получает из устройства обнаружения обнаруженные признаки и с учетом расстояния и ориентации человека в пространстве производит над изображениями последовательные процедуры нормализации: согласование размеров, элиминирование наклонов, выравнивание освещенности:

- блок формирования набора параметров для формирования эталона, который по полученным нормализованным признакам извлекает определенные типы параметров (например, главные компоненты, признаки Габора),

- блок наложения ограничений сцены выделяет признаки, соответствующие предсказанному поведению человека на сцене, с учетом обнаруженных шумов и геометрии сцены,

- блок оценки репрезентативности признаков, которое определяет тип, качество, полноту базиса и представительность выделенных признаков с учетом нормализации,

- блок обновления набора параметров и оценок репрезентативности признаков.

Устройство распознавания личности, предназначенное для формирования списка вероятных эталонов из целевого списка и просеивания его с учетом расстояния до человека, ориентации тела человека в пространстве, качества съемки; для проведения сравнения и фильтрации эталонов в списке с учетом порогов для меры сходства и надежности; для выдачи устройству управления мерой сходства и надежности сходства объекта с эталонами из списка.

Система управления базой данных (СУБД), которая хранит переданные из блока управления эталоны, кластеризует их по доступным расстояниям, ориентациям, репрезентативности; организует доступ блока распознавания личности к эталонам и их признакам с учетом кластеризации; выдает блоку управления список вероятных эталонов. Заявляемые способ и система поясняются схемой взаимодействия устройств системы.

На чертеже представлена схема взаимодействия элементов и устройств системы:

1. Стереоскопическая система;

2. 2D камеры;

3. устройство дистанционного сбора данных:

3.1. 3D изображения;

3.2. 2D изображения;

4. устройство обнаружения объектов-шумов сцены:

4.1. карты черт объектов шумов;

4.2. детектор объектов фона;

4.3. детектор регулярных динамических объектов;

5. устройство выделения зон интереса:

5.1. детектор изменений на сцене;

6. устройство проверки наличия трехмерных человекоподобных объектов в зоне интереса и коррекции зоны интереса:

6.1. детектор тела человека по 3D;

6.2. детектор тела человека по движению;

6.3. интегрированный решатель по детектированию человека;

7. устройство управления системой слежения и распознавания:

7.1. генератор списка объектов слежения;

7.2. детектор типа ситуации на сцене;

8. устройство слежения и оценки параметров объектов слежения, состоящее из следующих блоков:

8.1. блок выделения параметров фигуры человека;

8.2. блок обнаружения и слежения за трехмерной головой человека;

8.3. блок обнаружения и слежения за лицом человека на голове;

8.4. блок обнаружения и предсказания траектории движения человека;

8.5. блок обнаружения ориентации тела человека в пространстве;

8.6. блок обнаружения и слежения за чертами лица человека;

9. устройство формирования биометрических признаков, состоящее из следующих блоков:

9.1. блок наложения ограничений сцены;

9.2. блок нормализации признаков;

9.3. блок оценки репрезентативности признаков;

9.4. блок формирования набора параметров;

9.5. блок обновления параметров и оценок репрезентативности признаков человека;

10. устройство распознавания личности:

10.1. фильтр эталонов по расстоянию до человека;

10.2. фильтр эталонов по ориентации в пространстве;

10.3. фильтр эталонов по качеству съемки;

10.4. фильтр по мере сходства и надежности;

11. СУБД эталонов:

11.1. БД эталонов;

11.2. управление и оптимизация выбора эталонов из БД.

От известных решений заявляемое изобретение отличается следующими моментами:

- детальное и накопительное обнаружение объектов интереса путем нахождения следующих трехмерных объектов: тело, голова, лицо, элементы лица человека,

- обнаружение шумовых объектов (фон и динамические объекты сцены)

- множественное детектирование лиц и формирование списка слежения в толпе (при скоплении 3 и более лиц),

- слежения за лицом конкретного человека при различных перекрытиях путем использования информации о списке слежения и списке распознанных лиц,

- адаптивность и устойчивость системы обнаружения объектов по отношению к внешним объектам (очки, борода, маска), освещению, ракурсам, что достигается путем использования трехмерных сенсоров, нескольких типов представлений лица и применения процедур детектирования и обобщения признаков лиц по различным ракурсам,

- экспертная оценка информации об обнаруженных объектах: информативность, репрезентативность, уровень надежности при детектировании и распознавании,

- распознавание лица на сцене в режиме идентификации по целевому списку,

- распознавание лица в условиях перекрытий лица внешними объектами сцены,

- распознавание ситуации загруженности каналов в системах контроля доступа (таких как системы массового обслуживания) для улучшения пропускной способности работы биометрической системы,

- распознавание криминальной ситуации и защита биометрической системы распознавания от несанкционированного доступа в случае проникновения зарегистрированного пользователя с несанкционированными пользователями или опасными объектами, что достигается путем скрытого обнаружения присутствия всех возможных пользователей и определенных типов взаимодействия объектов на сцене,

- использование статических и динамических подписей как физических, так и поведенческих биометрических характеристик для распознавания лица.

Предпочтительным вариантом реализации способа и системы является их использование для автоматизации существующих систем видеонаблюдения и создания нового класса интеллектуальных систем массового обслуживания, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение за пользователем, биометрическая идентификация личности по целевому списку, распознавание криминальной ситуации.

Устройства, входящие в заявляемую систему, реализуются в виде сенсоров трехмерных и двумерных изображений и платы устройств, в состав которой входит, по меньшей мере, один или нескольких сигнальных процессоров.

Изобретение предназначается для дополнительной защиты охранных систем безопасности, в том числе и биометрических, и позволяет повысить интеллектуальность, надежность и точность систем с помощью следующих технологий:

- скрытое и бесконтактное наблюдение за пользователем;

- обнаружение человека в зоне наблюдения;

- уточнение деталей объекта - поиск головы, лица человека без явного сценария взаимодействия пользователя;

- слежение за перемещениями объектов;

- идентификация траектории движения объектов, распознавание типа ситуации в сценарии работы биометрической системы (криминальная ситуация, загруженность системы, разные типы поведения пользователя);

- идентификация личности пользователя в целевом списке по мере его приближения к камерам;

- распознавание криминальных ситуаций и автоматическое формирование подозрительных лиц в целевой список (WATCH LIST);

- быстрый поиск по базе данных;

- механизм индексации и кластеризации БД - для быстрого поиска по базе данных.