способ идентификации личности человека

Формула изобретения

1. Способ идентификации личности человека с помощью двух и более разнесенных видеокамер с заранее известным их расположением, с применением трехмерной реконструкции лица человека, отличающийся тем, что видеокамеры располагают попарно, при этом синхронизируют друг с другом и калибруют между собой по трем координатам по общим объектам, образуя стереомодуль из двух видеокамер, располагают стереомодули на заданном фиксированном расстоянии друг от друга в количестве двух и более, при этом каждый стереомодуль осуществляет независимую трехмерную реконструкцию видимой ей части лица человека, совмещают реконструированные части лица человека в общую трехмерную реконструкцию лица человека, при этом производят непрерывную либо периодическую калибровку стереомодулей между собой по видеоизображениям камер без остановки трехмерной реконструкции лиц, по построенной с помощью всех стереомодулей трехмерной реконструкции лица человека производят сравнение с базовым изображением лица идентифицируемого человека, по результатам сравнения производят идентификацию личности человека.

2. Способ идентификации личности человека по п.1, отличающийся тем, что для сравнения лиц используют трехмерную модель лица идентифицируемого человека, для сравнения по базе идентифицируемого человека вычисляют трехмерную модель лица по трехмерной реконструкции лица человека, сравнивают полученную модель целиком и/или ее отличительные признаки с базовой трехмерной моделью лица и/или ее отличительными признаками, по результатам сравнения производят идентификацию личности человека.

3. Способ идентификации личности человека по п.1, отличающийся тем, что в качестве базового изображения используют двумерное изображение лица идентифицируемого человека, а сравнение с базовым изображением лица идентифицируемого человека производят путем разворота трехмерной реконструкции лица человека до фронтального вида, последующего перевода трехмерного изображения в двумерное и сравнения полученного двумерного изображения с базовым двумерным изображением, по результатам сравнения производят идентификацию личности человека.

4. Способ идентификации личности человека по п.1, отличающийся тем, что совмещают реконструированные с помощью стереомодулей части лица человека в общую трехмерную реконструкцию лица человека в абсолютном масштабе расстояний, для чего используют набор двух или более контрольных точек зоны наблюдения, абсолютные расстояния между которыми заранее известны.

Описание изобретения к патенту

Изобретение относится к области распознавания образов, а именно к способам идентификации личности человека с помощью видеокамер.

Известны способы идентификации личности человека с помощью видеокамер. Так, известен способ идентификации личности человека по фронтальному изображению лица (см. патент Российской Федерации № 2382408, опубликован 20.02.2010 г.). В нем фрагменты с изображением глаз выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, и сравнения с заранее заданными эталонами правого глаза и левого глаза; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции гаусса в эллипсе; построение эталонов лиц идентифицируемых людей производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.

Недостатком данного решения является необходимость наличия фронтального изображения лица человека. Если человек движется, например, на улице, в метро, то одной видеокамере не удается получить фронтальное изображение лица человека. При этом вероятность идентификации личности человека сразу понижается, а чаще всего в таких условиях идентификация просто невозможна.

Настоящее изобретение относится к области распознавания образов, а именно к способам идентификации личности человека с помощью двух и более разнесенных видеокамер с заранее известным их расположением, с применением трехмерной реконструкции лица человека.

Такой способ описан в патенте Российской Федерации № 2370817, опубликован 20.10.2009 г. Согласно этому уровню техники в нем определяют положение головы в зоне наблюдения, используя априорные данные о геометрических размерах; выделяют область лица и положение элементов, таких как брови, глаза, нос, рот, на найденном лице; производят одновременное слежение за тремя типами объектов (точка, область, граф) на лице; на основе априорных и найденных данных реконструируют трехмерную модель лица; в случае достаточной полноты и целостности информативных признаков полученной трехмерной модели лица проводят расчет углов, определяющих ориентацию головы в пространстве; в случае, если найденный ракурс является достаточно представительным и отличается от ракурсов на предыдущих кадрах, производят распознавание лица на основе наиболее репрезентативных кадров изображения.

Этот способ является наиболее близким аналогом и выбран в качестве прототипа предложенного решения.

Недостатком данного решения является недостаточная вероятность идентификации личности человека, вызванная тем, что две видеокамеры создают всего лишь одну трехмерную реконструкцию лица человека, и на практике этого не достаточно для достоверной идентификации личности человека. Это происходит вследствие чувствительности способа к положению головы и освещению. Если человек отрастит усы, бороду, воспользуется косметикой или просто состроит гримасу, то идентификация будет затруднительна.

В предложенном изобретении ставится техническая задача - повышение вероятности идентификации личности человека.

Опирающееся на это оригинальное наблюдение настоящее изобретение, главным образом, имеет целью предложить способ идентификации личности человека, позволяющий сгладить указанный выше недостаток.

Для достижения этой цели видеокамеры располагают попарно при этом синхронизируют друг с другом и калибруют между собой по трем координатам по общим объектам, образуя стереомодули из двух видеокамер. При этом поле зрения камер заметно увеличивается и появляется возможность производить захват лица практически при любом положении головы человека.

Стереомодули располагают на заданном фиксированном расстоянии друг от друга в количестве двух и более, при этом каждый стереомодуль осуществляет независимую трехмерную реконструкцию видимой ей части лица человека. При этом становится возможным строить уже как минимум две независимые трехмерные реконструкции лица человека.

Согласно изобретению совмещают реконструированные части лица человека в общую трехмерную реконструкцию лица человека, при этом производят непрерывную либо периодическую калибровку стереомодулей между собой по видеоизображениям камер без остановки трехмерной реконструкции лиц, по построенной с помощью всех стереомодулей трехмерной реконструкции лица человека производят сравнение с базовым изображением лица идентифицируемого человека, по результатам сравнения производят идентификацию личности человека.

Благодаря такому решению, идентификация личности человека согласно изобретению может быть произведена с высокой точностью. Это связано с тем, что построенная таким образом трехмерная реконструкция позволяет получить фронтальное положение лица человека, необходимое для его идентификации.

Дополнительно, в результате калибровки стереомодулей между собой по видеоизображениям камер без остановки трехмерной реконструкции лиц возможно добиться того, что две независимые трехмерные реконструкции лица будут правильно воспроизводить лицо человека. Не будет искажений, которые могут проявиться в отсутствие калибровки стереомодулей между собой.

Существует вариант данного изобретения, в котором для сравнения лиц используют трехмерную модель лица идентифицируемого человека, для сравнения по базе идентифицируемого человека вычисляют трехмерную модель лица по трехмерной реконструкции лица человека, сравнивают полученную модель целиком и/или ее отличительные признаки с базовой трехмерной моделью лица и/или ее отличительными признаками, по результатам сравнения производят идентификацию личности человека.

Благодаря этой характеристике появляется возможность производить идентификацию личности человека по базе трехмерных изображений лиц. При этом нивелируются такие мешающие идентификации личности моменты, как усы, борода, гримасы, макияж и отсутствие структурированного освещения.

Преимущественно в данном изобретении в качестве базового изображения используют двумерное изображение лица идентифицируемого человека, а сравнение с базовым изображением лица идентифицируемого человека производят путем разворота трехмерной реконструкции лица человека до фронтального вида, последующего перевода трехмерного изображения в двумерное и и сравнения полученного двумерного изображения с базовым двумерным изображением, по результатам сравнения производят идентификацию личности человека.

Благодаря этой характеристике появляется возможность производить идентификацию личности человека по базе двумерных изображений лиц.

Существует вариант данного изобретения, в котором совмещают реконструированные с помощью стереомодулей части лица человека в общую трехмерную реконструкцию лица человека в абсолютном масштабе расстояний, для чего используют набор двух или более контрольных точек зоны наблюдения, абсолютные расстояния между которыми заранее известны.

Благодаря этой характеристике появляется возможность определить реальные размеры лиц идентифицируемых личностей и их частей.

Другие отличительные признаки и преимущества изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые чертежи, на которых:

- фигура 1 схематично показывает соединение устройств для реализации способа,

- фигура 2 иллюстрирует трехмерную модель лица, построенную согласно данному способу, в которой использовано 12000 узлов при точности построения трехмерной модели - 0,3 мм.

Цифрами на фигуре 2 обозначены: 1 - видеокамера, 2 - стереомодуль, источник питания 3, сеть Ethernet 4, блок хранения базы двумерных изображений 5, блок хранения базы трехмерных изображений 6, вычислительный блок 7, терминал оператора 8.

Для реализации предлагаемого способа видеокамеры 1 попарно объединяют в два стереомодуля 2 при одновременной калибровке и синхронизации по времени. В качестве видеокамер 2 могут быть использованы видеокамеры Vocord со следующими параметрами: разрешение до 11 Мегапикселов, скорость съемки 12-200 кадров в секунду, динамический диапазон - 70 dB, скорость передачи данных до 200 Mbyte/s, имеющей автоматизированные линзы высокого разрешения Canon-EF, с возможностью работы в режимах «ведущий-ведомый» в трехмерных задачах.

При этом производят непрерывную либо периодическую калибровку стереомодулей между собой по видеоизображениям камер без остановки трехмерной реконструкции лиц. Все видеокамеры 1 подключены к источнику питания 3 и к сети Ethernet 4, с пропускной способностью, например, 1 Gbps. К этой же сети подключены блок хранения базы двумерных изображений 5, блок хранения базы трехмерных изображений 6, вычислительный блок 7, в котором находится программное обеспечение, благодаря которому и производится сопоставление реконструированных изображений и непосредственно идентификация личностей, терминал оператора 8.

Предложенный способ идентификации личности человека прошел экспериментальную проверку в ООО «Вокорд СофтЛаб». Реконструкция была выполнена с использованием четырех синхронизированных по времени камер.Разрешение камер составляло: 1280×1024, частота кадров: 12 кадров/сек. Камеры были объединены в два стереомодуля (в две вертикальные пары, синхронизированные по времени и калиброванные друг с другом), расположенные на левой и правой стороне пропускной системы. Расстояние между двумя камерами в паре составляло 20 см., между стереомодуля ми - порядка 1 м.

Была проведена трехмерная реконструкция видимых частей лиц идентифицируемых людей каждым стереомодулем. После этого совмещали реконструированные части лиц людей в общую трехмерную реконструкцию лиц.

Задача поиска соответствий точек решалась независимо для различных точек изображений, что позволило значительно ускорить процесс поиска благодаря применению параллельных вычислений на графическом процессоре. Так, реконструкция области 500×500 пикселей (характерный размер лица в кадре) с шагом в 4 пикселя для двух камер на процессоре Intel Core2 Q6600 2.4 ГГц занимала 5.1 сек, а на видеокарте NVIDIA GTX260: 0.17 сек.

Реконструкция проводилась в условиях минимальной освещенности (400-600 люкс) на расстоянии до 2.5 м от камер. Тестирование проводилось на базе данных лиц (текстуры + трехмерные модели), собранной фирмой Vocord, состоящей из примерно 1800 изображений около 600 людей.

Способ был проверен на идентификации лиц людей по базе двумерных изображений лиц, по базе трехмерных изображений. В результате тестирования способ дал следующие результаты для вероятностей идентификации:

По базе трехмерных изображений - 94,9%

По базе двумерных изображений - 98,1%

Кроме того, дополнительно для тестирования данного способа на распознавание по базе двумерных изображений была использована база данных FERET. База данных FERET состоит из более 2000 изображений лиц, принадлежащих примерно 700 различным людям. Таким образом, для каждого человека имеется более одного изображения. Фотографии делались с различными ракурсами, выражениями лица, в разные моменты времени. Для теста были выбраны фронтальные изображения, но на них присутствовали вариации выражений лица, снятые в различные моменты времени, с возможными артефактами (отсутствие/наличие очков, бороды, усов). Точность распознавания предлагаемого способа на данной тестовой выборке составила 88,5%.

Экспериментальная проверка данного способа показала повышение вероятности идентификации личности человека. При этом:

1. Предлагаемый способ устойчив к различным ракурсам (поворотам, наклонам) лица, а также к изменению выражения лица и частичному перекрытию небольших участков лица.

2. Предлагаемый способ также устойчив к поворотам лица в пределах +50/-30 градусов вверх-вниз, и примерно +/-30 градусов влево-вправо.

3. Идентификация личности человека не зависит от наличия усов, бороды, макияжа;

4. Идентификация личности человека может проводиться в условиях плохого освещения;

5. Возможна идентификация личности людей по базе двумерных 190 изображений лиц идентифицируемых личностей, по базе трехмерных изображений лиц идентифицируемых личностей.

6. Вероятность идентификация личности человека в данном способе достигает 98,1%.

7. Возможно определение абсолютных размеров головы человека и ее частей.

Предложенный способ идентификации личности человека рекомендован к использованию в аэропортах, вокзалах, метрополитене для идентификации личностей, статистического анализа, контроля попыток безбилетного прохождения турникетов, в правоохранительных органах для поиска правонарушителей в потоке людей, для идентификации пользователей компьютера, а также для идентификации личностей на предприятиях с пропускным режимом.