способ распознавания образа, устройство распознавания образов и компьютерная программа

Формула изобретения

1. Способ распознавания образа в изображении, содержащий: начинают (D) поиск образа в принятых изображениях, тем самым подвергая принятое изображение:

разделению (Е) изображения на области (Al-An),

вычислению (F) специфичных для области (Al-An) опорных значений из информации изображения областей, при этом выборки берут только от части пикселов в области и опорное значение вычисляется для указанной области на основании взятых выборок,

сравнению (G) вычисленных опорных значений (REF) с сохраненными опорными значениями (REF), и

индикации (Н) распознанного образа, если в принятом изображении найдена часть, состоящая из смежных областей (Al-An), где опорные значения (REF) областей соответствуют с достаточной точностью хранящимся опорным значениям (REF).

2. Способ по п.1, отличающийся тем, что

разделяют (А) изображение, содержащее подлежащий распознаванию образ на области (Al-An);

вычисляют (В) специфичные для области (Al-An) опорные значения (REF) из информации изображения тех областей, где расположены части подлежащего распознаванию образа;

сохраняют (С) вычисленные специфичные для области опорные значения (REF) в памяти (12).

3. Способ по п.1, отличающийся тем, что опорное значение (REF) области (Al-An) вычисляют путем вычисления средних отсчетов, состоящих из значений отдельных пикселов области.

4. Способ по п.1, отличающийся тем, что опорное значение (REF) области (Al-An) вычисляют методом избыточной выборки.

5. Способ по п.1, отличающийся тем, что опорные значения (REF) областей (Al-An) в части соответствуют с достаточной точностью хранящимся опорным значениям (REF), если пропорция областей (Al-An), которые найдены в упомянутой части и опорные значения (REF) которых соответствуют опорным значениям (REF) всех хранящихся опорных значений, превышает заданное предельное значение.

6. Способ по п.1, отличающийся тем, что

когда обнаружено распознавание образа, информацию о местоположении этого образа в изображении сохраняют в памяти (12), и

когда обнаружено распознавание образа в следующий раз в другом изображении, вычисляют по меньшей мере направление или скорость перемещения на основе местоположения образа и местоположения образа, сохраненного в памяти (12), и индицируют (Н) упомянутые по меньшей мере направление или скорость перемещения.

7. Распознаватель образов, отличающийся тем, что распознаватель (10, 20) образов содержит:

память (12) для хранения специфичных для области опорных значений (REF), вычисленных на основе выборок, взятых из информации изображения областей (Al-An) изображения, содержащих части подлежащего распознаванию образа, при этом выборки берут только от части пикселов в области, и опорное значение вычисляется для указанной области на основании взятых выборок; и

процессор (14, 24), который выполнен с возможностью:

разделять (15) принятое изображение на области для взятия выборок от части пикселов каждой области,

вычислять (16) опорные значения (REF) специфично для области на основе выборок, взятых из информации изображения упомянутых областей (Al-An),

сравнивать (17) эти опорные значения (REF) с опорными значениями (REF), хранящимися в памяти (12), и

индицировать (18), что образ распознан, если в принятом изображении обнаружена часть, состоящая из смежных областей (Al-An), где опорные значения (REF) областей соответствуют с достаточной точностью опорным значениям (REF), хранящимся в памяти (12).

8. Распознаватель образов по п.7, отличающийся тем, что процессор (14, 24) вычисляет опорное значение (REF) области (Al-An) путем вычисления среднего отсчетов, состоящих из значений отдельных пикселов области.

9. Распознаватель образов по п.7 или 8, отличающийся тем, что процессор (14, 24) вычисляет опорное значение (REF) области (Al-An) методом избыточной выборки.

10. Распознаватель образов по п.7, отличающийся тем, что

когда обнаружено распознавание образа, информацию о местоположении этого образа в изображении сохраняют в памяти (12), и

когда обнаружено распознавание образа в следующий раз в другом изображении, вычисляют по меньшей мере направление или скорость перемещения на основе местоположения образа и местоположения образа, сохраненного в памяти (12), и индицируют (18) упомянутые по меньшей мере направление или скорость перемещения.

11. Распознаватель образов по п.7, отличающийся тем, что распознаватель (20) образов далее содержит пользовательский

интерфейс (29), через который пользователь может выбирать в изображении области (Al-An) изображения, где появляются части подлежащего распознаванию образа, и

процессор (24) выполнен с возможностью вычислять (16) опорные значения (REF) для областей (Al-An) изображения, выбранных через пользовательский интерфейс (29) на основе информации изображения упомянутых областей, и сохранять упомянутые опорные значения в памяти (12).

12. Распознаватель образов по п.7, отличающийся тем, что распознаватель (10) образов содержит далее вход (11) для приема и сохранения в памяти (12) специфичных для области опорных значений (REF), вычисленных на основе информации изображения областей (Al-An) изображения, содержащих части образа.

13. Машиночитаемый носитель, отличающийся тем, что упомянутый носитель содержит компьютерную программу, выполненную с возможностью управлять программируемым устройством для реализации способа по любому из пп.1-6.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к распознаванию образа, в котором принятое изображение отслеживается для выявления того, появляется ли в изображении узнаваемый образ.

Уровень техники

Распознавание образов в видеоизображении требует значительной вычислительной мощности применяемого оборудования. Поэтому известные решения не обеспечивают эффективного и быстрого распознавания образов оборудованием с низкой вычислительной мощностью.

Сущность изобретения

Целью настоящего изобретения является решение вышеописанной проблемы и получение нового и более эффективного решения, чем раньше, для распознавания образа в изображении. Это достигается способом по независимому п.1 формулы изобретения, устройством распознавания образов по независимому п.6 формулы изобретения, компьютерной программой по независимому п.12 формулы изобретения и машиночитаемым носителем по независимому п.13 формулы изобретения.

Данное изобретение использует возможность разделения подлежащего распознаванию образа и изображения, где осуществляется поиск этого образа, на области, для которых вычисляются специфичные для области опорные значения на основе информации изображения этих областей. После этого возможно осуществлять поиск образа в изображении путем взаимного сравнения опорных значений обрабатываемых областей изображения и опорных значений областей, содержащих части образа. Если обрабатываемое изображение включает в себя далее часть, где опорные значения областей соответствуют с достаточной точностью опорным значениям областей, включающих в себя части образа, возможно индицировать распознавание образа. При таком выполнении распознавание образов становится проще и быстрее, чем раньше, а следовательно, вычислительная емкость применяемого оборудования не должна быть такой высокой, как в известных решениях.

Предпочтительные варианты осуществления способа и устройства распознавания образов по изобретению раскрываются в приложенных зависимых пунктах формулы изобретения.

Краткое описание чертежей

Изобретение будет описываться ниже более подробно посредством примера со ссылкой на приложенные чертежи.

Фиг.1 иллюстрирует разделение изображения на области.

Фиг.2a-2e иллюстрируют дискретизацию области изображения.

Фиг.3 иллюстрирует предпочтительный вариант осуществления изобретения.

Фиг.4 иллюстрирует первый предпочтительный вариант устройства распознавания

образов.

Фиг.5 иллюстрирует второй предпочтительный вариант устройства распознавания образов.

Подробное описание изобретения

Фиг.1 иллюстрирует разделение изображения 1 на области A1-An. Число и размер этих областей можно в каждом случае выбирать по отдельности. Альтернативой является разделение изображения на области, содержащие каждая 8×8 пикселов. Яркость цвета этих пикселов предпочтительно составляет по меньшей мере 24 бита (RGB, красный-зеленый-синий), но наилучший результат получается за счет использования как можно более высокой яркости цвета, такой как яркость в 64 бита. Более крупная область движения требует более точной яркости цвета для получения равномерной области.

Фиг.2a-2e иллюстрируют выборку из области изображения. Можно предположить, например, что фиг.2a-2e показывают выборку из области A1 по фиг.1, что означает, что некоторые пикселы из информации изображения в этой области выбраны в качестве выборок.

Выборки можно выбирать с помощью известного самого по себе метода избыточной выборки, что означает, что в случае фиг.2а применен сеточный алгоритм для взятия девяти выборок из местоположения, показанного точками на фиг.2. В этом случае каждая выборка представляет численное значение пиксела в рассматриваемом местоположении, т.е. значение, практически определяющее цвет этого пиксела. Альтернатива состоит в осуществлении выборки по случайному алгоритму (фиг.2b), по алгоритму диска Пуассона (фиг.2c), по алгоритму Джиггера (фиг.2d) или по алгоритму повернутой сетки (фиг.2e).

Когда необходимые выборки взяты из обрабатываемой области, для рассматриваемой области изображения вычисляется опорное значение на основе этих выборок. Опорное значение можно вычислять так, чтобы оно соответствовало среднему от численных значений выборок из области, т.е. пикселов. Практически проверки показали, что хороший результат получается, например, за счет использования области изображения размером 4×4 или 8×8, метода избыточной выборки и цветовой яркости пикселов, которая составляет 24 бита, а размер исходного изображения равен 1920×1080 пикселов. Избыточную выборку можно осуществлять, например, следующим образом.

1) Исходное изображение разделяется на прямоугольники равного размера, причем каждый прямоугольник соответствует одной области изображения.

2) Вычисляется взвешенная сумма всех пикселов внутри прямоугольника или пересекаемых прямоугольником. Значение пиксела для пиксела, расположенного внутри прямоугольника, принимает весовое значение 1. Если же пиксел пересекается прямоугольником и прямоугольник имеет область пересечения a<1, значение такого пиксела принимает взвешенное значение а.

3) Для вычисления опорного значения взвешенная сумма делится на площадь поверхности прямоугольника (выраженную в пикселах, в каковом случае эта площадь поверхности равна числу пикселов по горизонтали в прямоугольнике, умноженному на число пикселов по вертикали в прямоугольнике).

Выше раскрыто, в качестве примера, что все пикселы в области учитываются для вычисления опорного значения, и области конкретно являются прямоугольными. Однако это не обязательно; опорное значение можно также вычислять, принимая выборки только от некоторых пикселов в области и делением изображения на области какой-нибудь иной формы, нежели прямоугольник, например, треугольной.

Фиг.3 иллюстрирует предпочтительный вариант осуществления изобретения.

На этапе A принимают изображение, которое содержит подлежащий распознаванию образ. В этой связи понятие «образ» следует понимать в широком смысле, содержащем, например, части человеческих существ, объектов или товаров, а также различные фигуры, которые нужно впоследствии по той или иной причине распознать в принятых изображениях. На этапе A изображение, содержащее образ, также разделяется на области, например, на прямоугольные равновеликие области, как описано выше.

На этапе B вычисляют опорное значение для областей изображения, содержащих части образа. Это вычисление опорного значения можно осуществлять как описано выше. Каждая область изображения, содержащая часть образа, будет тем самым иметь конкретное опорное значение.

На этапе C вычисленные опорные значения сохраняют в памяти. В некоторых вариантах осуществления может быть выгодно сохранять в памяти не только опорные значения, но также данные положения, которые указывают взаимное положение областей, которым соответствуют опорные значения. После этапа C завершают определение подлежащего распознаванию образа, и затем возможно начинать распознавание подлежащего распознаванию образа в изображении или изображениях.

На этапе D начинают прием изображений. Вопрос может стоять, например, о видеоизображении, получаемом видеокамерой и состоящем практически из множества отдельных следующих друг за другом изображений.

На этапе E отдельное принятое изображение разделяют на области. Это разделение на области осуществляют соответствующим образом, как в связи с этапом A.

На этапе F вычисляют опорные значения для областей изображения, например, на основе их информации изображения, как описано выше.

На этапе G вычисленные опорные значения обрабатываемого изображения сравнивают с опорными значения, хранящимися в памяти. Если в обработанном изображении найдена часть изображения, состоящая из смежных областей, где опорные значения областей соответствуют с достаточной точностью хранящимся опорным значениям, на этапе H индицируют, что подлежащий распознаванию образ найден. Как именно индицируется распознавание образа, зависит от приложения. В некоторых решениях возможно запускать звуковой сигнал, отображать информацию на дисплейном устройстве или, например, управлять устройством, таким как гаражные двери или шлагбаум автостоянки, когда приближается транспортное средство с разрешенным регистрационным номером.

Наверняка во всех ситуациях хранящиеся опорные значения областей, содержащих части образа, не полностью соответствуют опорным значениям в части изображения, где располагается подлежащий распознаванию образ. Следовательно, достаточно, чтобы сравнение показало, что опорные значения соответствуют одно другому с достаточной точностью. Что представляет собой достаточная точность, меняется для конкретных случаев. Например, возможно, чтобы опорные значения областей в части, соответствуют с достаточной точностью хранящимся опорным значениям, в случае, когда пропорция областей, которые найдены в упомянутой части и опорные значения которых соответствуют хранящимся опорным значениям из всех хранящихся значений, превышает заданное пороговое значение. Пользователь может тем самым определять предельное значение, означающее, что распознавание образа должно индицироваться в случае, когда, к примеру, 70% хранящихся опорных областей найдено в упомянутой части изображения. В этом случае, если опорные значения десяти областей, содержащих части изображения, хранятся в памяти, и в этой части изображения найдены семь областей, для которых опорные значения соответствуют хранящимся в памяти, индицируется распознавание образа.

Возможно также, что сравнение опорных значений не потребует абсолютно того же самого значения, но что два опорных значению считаются соответствующими одно другому, если они отклоняются одно от другого самое большее на заданный предел отклонения, определенный пользователем. Таким образом, например, может считаться, что опорное значение R найдено, если опорное значение найдено в пределах [R-10 R+10].

В практических воплощениях на этапе G предпочтительно используется нейронная сеть для вывода о том, распознан ли образ.

На этапе I проверяют, является ли обработанное изображение последним. Если нет, процесс возвращается к блоку D для обработки следующего изображения.

Выше посредством примера описано, что в связи с распознаванием образов всего лишь индицируется, что образ распознан. В отличие от этого возможно также, что в связи с индикацией получают также информацию о по меньшей мере направлении и скорости передвижения распознаваемого образа. Чтобы обеспечить это, на этапе H сохраняют в памяти информацию о местоположении в изображении, где был распознан образ. Когда образ впоследствии распознается в другом изображении, местоположение образа, сохраненное в памяти, сравнивают с местоположением в другом изображении. После этого на основе этих местоположений возможно вычислить направление перемещения. Если момент времени, когда образ появился в первом местоположении, также сохраняют в памяти и находят момент времени, когда он появился во втором местоположении, будет возможно вычислить скорость образа.

Вышеописанный вариант осуществления очень эффективен, когда распознаванию подлежат, например, несколько образов. В этом случае одна и та же память будет содержать специфичные для области опорные значения для всех подлежащих распознаванию образов. Во время приема изображений достаточно проверить, содержит ли эта память специфичные для области опорные значения изображения, принятого последним. Если нет, не требуется никаких дополнительных проверок, но вместо этого можно начинать обработку изображения, принятого следующим.

На практике этапы по фиг.3 могут быть воплощены, например, компьютерной программой, которая хранится на дисковых или иных машиночитаемых носителях и которая управляет программируемым устройством для воплощения этапов с A по I.

Фиг.4 иллюстрирует первый предпочтительный вариант осуществления распознавателя 10 образов. На практике распознаватель образов может состоять из программируемого устройства, такого как компьютер, IP камера, мобильный телефон или миниатюрный компьютер, в который подключена или встроена камера, и которое устроено для исполнения компьютерной программы, которая управляет упомянутым устройством.

В примере по фиг.4 предполагается, посредством примера, что распознаватель 10 образов принимает из внешнего устройства вычисленные опорные значения REF для областей, содержащих части подлежащего распознаванию образа, и позиционные данные POS, представляющие взаимные положения областей, соответствующих этим опорным значениям. Следовательно, этапы A-C по фиг.3 нет необходимости осуществлять посредством распознавателя образов по фиг.4, но посредством отдельного оборудования. Следует отметить, что позиционные данные POS не нужно учитывать во всех вариантах осуществления, но для сравнения, связанного с распознаванием образов, будет достаточно, чтобы подлежащие сравнению опорные значения соответствовали одно другому с достаточной точностью без рассмотрения взаимного положения соответствующих областей.

В случае фиг.4 распознаватель 10 образов включает в себя вход 11, например, последовательную шину, через который опорные значения REF и позиционные данные POS принимаются и сохраняются в памяти.

Посредством камеры 13 распознаватель 10 образов генерирует видеосигнал, который передается для использования в процессор 14. На практике процессор 14 может быть реализован посредством схемных решений, компьютерного программного обеспечения или их комбинации. В данном варианте осуществления дискретизирующий блок 15 процессора разделяет принятое изображение на области и выполняет дискретизацию областей, как описано выше. После этого вычислительный блок 16 процессора вычисляет из отсчетов специфичные для области опорные значения. Опорные значения REF и позиционные данные POS областей, связанные с ними и полученные дискретизирующим блоком, передаются в блок 17 сравнения процессора 14. Блок 17 сравнения осуществляет сравнение, описанное в связи с блоком G по фиг.3, за счет использования данных, хранящихся в памяти 12. На основе результата сравнения блок 18 индикации процессора 14 индицирует, что образ распознан, как описано выше в связи с блоком Н по фиг.3. В связи с этой индикацией возможно также получить информацию о направлении и (или) скорости перемещения распознанного образа.

Фиг.5 иллюстрирует второй предпочтительный вариант осуществления распознавателя 20 образов. Этот распознаватель образов по фиг.5 в большой степени соответствует распознавателю образов по фиг.4, а потому вариант осуществления по фиг.5 описывается ниже прежде всего путем подчеркивания различий между этими вариантами осуществления.

Распознаватель 20 образов по фиг.5 включает в себя пользовательский интерфейс 29, через который оператор распознавателя образов может управлять процессором 24 распознавателя 20 образов, чтобы осуществлять сохранение опорных значений в памяти 12, как описано в связи с этапами A-C по фиг.3.

Пользовательский интерфейс 29 может включать в себя дисплей и клавиатуру, через которые пользователь может индицировать в полученном камерой 13 изображении те области, где расположен подлежащий распознаванию образ. Для этих областей дискретизирующий блок 15, вычислительный блок 16 и блок 17 сравнения заботятся о том, чтобы опорные значения REF и связанные с ними позиционные данные POS сохранялись в памяти 12. Сохранение позиционных данных POS не является необходимым во всех воплощениях, как описано выше.

Поскольку в варианте осуществления по фиг.5 возможно заботиться, чтобы опорные значения REF и позиционные данные POS сохранялись в памяти, вход 11, описанный в связи с фиг.4, не нужен для этой цели.

Понятно, что вышеприведенное описание и связанные чертежи предназначены только для иллюстрации настоящего изобретения. Специалистам очевидно, что изобретение может быть модифицировано и иным образом изменено без отхода от объема формулы изобретения.