способ автоматического распознавания следов огнестрельного оружия на изображении боковой поверхности пуль (или гильз)

Формула изобретения

Способ автоматического распознавания следов огнестрельного оружия на изображении боковой поверхности пуль (или гильз), при котором получают изображение боковой поверхности исследуемого объекта, осуществляют обработку изображения для распознавания особенностей изображения поверхности исследуемого объекта, отличающийся тем, что изображение боковой поверхности пули (или гильзы) разбивают на фрагменты заданных размеров, для каждого фрагмента получают гистограмму распределения фаз векторов градиентов яркостей во всех точках фрагмента, полученную фазовую гистограмму подают на вход предварительно обученной нейронной сети, с помощью которой каждый фрагмент классифицируют, относя его к одному из двух классов: следов или шумов, причем следы, в свою очередь, подразделяют на первичный след, вторичный след, след дна нарезов, след дульного среза, при этом след представляют как набор параллельных прямых различной яркости и толщины, называемый текстурой, затем на фрагментах изображений, отнесенных к следам, проводят обработку, разбивая его по яркости на диапазоны, в каждом диапазоне выявляют упомянутые параллельные прямые с наибольшей длиной, и определяют угол наклона прямых, вдоль которых имеется максимальное скопление точек одинаковой яркости, являющихся минимально адресуемыми элементами двумерного растрового изображения, и при угле наклона, равном 90°, относят данный след на фрагменте к первичному следу, а при других углах наклона относят следы к остальным типам следов, для всех фрагментов строят гистограммы распределения углов наклона, где каждый элемент гистограммы соответствует количеству выявленных прямых с данным углом наклона, определяют максимум гистограмм, соответствующих определенной текстуре следов, и для всех следов, кроме первичного, путем топологического положения следов относительно положения граней нарезов определяют тип следа.

Описание изобретения к патенту

Предлагаемое изобретение относится к области приборостроения и вычислительной техники и, в частности, к способам обнаружения дефектов на изображении объектов.

Известен способ определения дефектов искрового изображения систем зажигания автомобилей (см. патент Японии № JP9120455, М.кл. G06F 15/18, G01N 19/06, 19/00, G06N 3/00, G06T 7/00, 1/00, опубл. 06.05.1997 г.), при котором используют две нейронные сети. При этом предварительно осуществляют последовательное обучение первой, а затем второй нейронных сетей, подавая на них полученное искровое изображение и добиваясь необходимой точности распознавания при их совместном использовании.

Данный способ исследует все изображение в целом и не предусматривает предварительной обработки изображения перед его подачей на нейронные сети, что усложняет последующий процесс распознавания дефектов изображения. Кроме того, обучение двух нейронных сетей проводится последовательно, что увеличивает время распознавания.

Известна аппаратура контроля дефектов на изображении объектов, которыми являются печатные платы (см. патент США № US2005002560, М.кл. G06K 9/00, 9/62, 9/64, 9/66; G06T 7/00, опубл. 06.01.2005 г.), в которой используются, по меньшей мере, две, а в общем случае четыре нейронных сети, каждая из которых определяет один из четырех типов дефектов, классифицированных согласно условно принятой классификации: трещины, проколы (точечный дефокус), частичный дефокус, послепроизводственные дефекты. Способ контроля дефектов на изображении, реализуемый данной аппаратурой, предполагает последовательное получение изображения всей поверхности печатной платы с каждым из четырех дефектов. При этом классифицируют дефекты согласно условно принятой классификации и создают базу, содержащую информацию об изображениях поверхности печатных плат с четырьмя дефектами соответственно условно принятой классификации. Далее осуществляют предварительное обучение нейронных сетей, на каждую из которых подают все изображение поверхности печатной платы с одним из четырех дефектов согласно условно принятой классификации. После этого осуществляют обработку сигналов, полученных от нейронных сетей, каждая из которых реагирует на один из дефектов изображения.

Способ контроля дефектов изображения поверхности печатных плат, используемый в данной аппаратуре, так же как и в предыдущем аналоге, основан на исследовании всего изображения объекта (в данном случае поверхности печатной платы) и не предусматривает предварительной подготовки изображения, что усложняет процесс распознавания и снижает его точность. Использование отдельной нейронной сети для классификации одного типа дефектов согласно условно принятой классификации, не обучаемой распознаванию реально имеющихся на объекте исследования дефектов, не позволяет осуществлять распознавание всех возможных дефектов поверхности печатных плат и усложняет процесс распознавания, так как требует большого количества нейронных сетей.

Данный способ принят за прототип.

Техническим результатом предлагаемого изобретения является расширение номенклатуры распознаваемых реально существующих особенностей изображения объектов при одновременном снижении количества используемых нейронных сетей, а также повышение вероятности и точности правильного распознавания и уменьшение времени распознавания.

Достижение указанного технического результата обеспечивается в способе автоматического распознавания следов огнестрельного оружия на изображении боковой поверхности пуль (или гильз), при котором получают (регистрируют) изображение поверхности исследуемого объекта, классифицируют изображения поверхности объекта по типам его особенностей с помощью нейронной сети, проводя предварительное обучение нейронной сети для определения различных типов особенностей изображений, осуществляют обработку сигнала, полученного с выхода нейронной сети для распознавания типа особенности изображения поверхности исследуемого объекта, отличающемся тем, что получают (регистрируют) изображение боковой поверхности пули (или гильзы), разбивают его на фрагменты заданных размеров, для каждого фрагмента получают гистограмму распределения фаз векторов градиентов яркостей во всех точках фрагмента, полученную фазовую гистограмму подают на вход предварительно обученной нейронной сети, с помощью которой каждый фрагмент классифицируют относя его к одному из двух классов: следов или шумов, причем следы, в свою очередь, подразделяют на первичный след, вторичный след, след дна нарезов, след дульного среза, при этом след представляют как набор параллельных прямых различной яркости и толщины, называемый текстурой, затем на фрагментах изображений, отнесенных к следам, проводят обработку разбивая его по яркости на диапазоны, в каждом диапазоне выявляют упомянутые параллельные прямые с наибольшей длиной и определяют угол наклона прямых, вдоль которых имеется максимальное скопление точек одинаковой яркости (пикселей), и при угле наклона, равном 90°, относят данный след на фрагменте к первичному следу, а при других углах наклона относят следы к остальным типам следов, для всех фрагментов строят гистограммы распределения углов наклона, где каждый элемент гистограммы соответствует количеству выявленных прямых с данным углом наклона, определяют максимум гистограмм, соответствующих определенной текстуре следов, и для всех следов, кроме первичного, путем топологического положения следов относительно положения граней нарезов определяют тип следа.

Как видно из вышеприведенной характеристики предлагаемого способа автоматического распознавания следов огнестрельного оружия на изображении боковой поверхности пуль (или гильз) в нем в отличие от прототипа исследуемое изображение анализируется не в целом, а предварительно разбивается на фрагменты заданных размеров, и с помощью одной обученной нейронной сети проводится классификация следов в каждом фрагменте изображения. Такая подготовка изображения позволяет значительно повысить точность распознавания, а использование только одной нейронной сети упрощает реализацию способа.

Проведение классификации нейронной сетью, обучение которой проводят с помощью последовательной подачи на нее гистограмм распределения фаз градиентов яркости на фрагментах изображений реально существующих следов, а не согласно условно принятой классификации, как в прототипе, значительно расширяет номенклатуру распознаваемых особенностей на изображении объекта и повышает вероятность и точность правильного распознавания.

Поясним подробнее данные выводы и дадим некоторые пояснения для понимания сущности предлагаемого способа.

В криминалистике с большой долей достоверности определяют тип оружия по следам, оставленным оружием на выстреленной пуле (или гильзе). Образование следов на поверхности пули (или гильзы) происходит в результате ее контакта с каналом ствола оружия, из которого она выстрелена. Канал ствола каждого типа оружия уникален. Следовательно, и след, образовавшийся в результате контакта с каналом ствола оружия, также уникален для каждого типа оружия. Таким образом, между следами и типом оружия, которым они образованы, существует однозначное соответствие, и с большой долей достоверности можно определять тип оружия по оставленным им на выстреленной пуле следам. Заявляемый способ, используя эти возможности, характеризуется следующими отличиями: 1) полученное изображение боковой поверхности пули (или гильзы) со следами огнестрельного оружия предлагается разбивать на фрагменты; 2) предлагается представлять следы в виде набора параллельных прямых разной яркости и толщины, называемого текстурой, имеющих различные углы наклона, характеризующие направление максимального изменения яркости; 3) проводить классификацию следов, относя их к одному из двух классов: следы или шумы (не следы), и в последующем разделять типы следов на первичные, вторичные, следы дна нарезов и следы дульных срезов; 4) определять направления максимального изменения яркости в каждой точке отдельных фрагментов изображения, т.е. направление вектора градиента яркости (фазы); 5) строить гистограммы распределения фаз градиента яркости в каждом фрагменте; 6) с помощью нейронной сети классифицировать анализируемые текстуры как след или шум (не след); 7) для фрагментов, классифицированных как след, определять тип следа по максимуму распределения длин прямых линий с определенным углом наклона.

Поскольку градиент - это векторная величина, математически этот процесс можно представить в виде комплексного числа, записанного в экспоненциальной форме: где A - амплитуда вектора, - его фаза.

Входное изображение I, разбитое на фрагменты заданной величины, подаваемые на нейронную сеть, можно представить в виде матрицы:

где m - ширина изображения в пикселах, n - высота изображения в пикселах;

Дифференцируя I вдоль оси X, получим перепады яркостей соседних пикселей i _ij входного изображения I вдоль оси X:

Дифференцируя I вдоль оси Y, получим перепады яркостей соседних пикселей i_ij входного изображения вдоль оси Y:

Затем для всех соответствующих элементов I_x и I_y вычислим элементы гистограммы:

Каждое полученное значение используется для построения гистограммы фаз H={h₀, h₁ , h₂, H₃₆₀}.

В качестве примеров гистограмм фаз на фиг.1 представлен фрагмент изображения, состоящий из вертикальных параллельных прямых, для которых изменение яркости пикселов - в горизонтальном направлении. На фиг.2 представлен фрагмент изображения, состоящий из горизонтальных параллельных прямых, для которого максимальное изменение яркости пикселов - в вертикальном направлении. На фиг.3 представлен фрагмент изображения, состоящий из прямой, угол наклона которой составляет 45°, для которого максимальное изменение яркости пикселов должно происходить по диагонали, но при дифференцировании фиксируются переходы не только из «белого» в «черный» пиксел, но и из «черного» в «белый», вследствие чего «белый» пиксел дает два перехода.

На фиг.4 представлена гистограмма фаз шума, а на фиг.5 - гистограмма фаз следа, по которым можно однозначно сделать вывод о принадлежности фрагмента изображения боковой поверхности пули (или гильзы) к следу или шуму.

Для классификации фрагмента изображения боковой поверхности пули (или гильзы) на входы нейронной сети поступают элементы гистограммы в качестве компонентов вектора характеристик этого фрагмента. Таким образом, количество нейронов во входном слое сети должно быть равным количеству элементов гистограммы фаз. При этом, исходя из того, что мы имеем два класса для распознавания - след (сигнал) и шум (не след), нейронная сеть для выполнения классификации должна содержать два выходных нейрона.

Для обучения нейронной сети использовался режим обратного распространения ошибок (Backpropagation), при котором использовалось распространение сигналов ошибки от выходов нейронной сети к ее входам, т.е. в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот режим обучения в результате проведенных исследований оказался наиболее эффективным для модификации коэффициентов связей между нейронами отдельных слоев нейронной сети.

Нейронная сеть, использовавшаяся для классификации, состоит из входного слоя К, скрытого слоя I и выходного слоя J. При этом размер (количество нейронов) входного слоя выбирается исходя из количества входных сигналов K, скрытый слой состоит из I нейронов, где I выбирается из условий обеспечения необходимого компромисса между быстродействием и вероятностью правильной классификации, выходной слой J состоит из двух нейронов (исходя из необходимости классификации двух классов - след и шум).

В процессе итерационного обучения нейронная сеть настраивается таким образом, чтобы при предъявлении ей гистограмм распределения фаз, которые формируются из большого числа фрагментов изображения боковой поверхности пули (или гильзы), содержащих изображения следов и шума, она могла безошибочно распознавать их.

Рассмотрим пример функциональной схемы устройства для реализации предлагаемого способа, приведенной на фиг.6, где показаны: устройство 1 пошагового вращения пули (или гильзы) 2 с двигателем, боковая поверхность 3 пули (или гильзы), а стрелкой - направление вращения. В устройство также входят источник 4 подсветки боковой поверхности пули (или гильзы), и показана оптическая ось 5, на которой он установлен. Кроме того, устройство содержит последовательно соединенные цифровую видеокамеру 6 регистрации изображений, блок 7 преобразования изображения в вектор градиента яркости, блок 8 формирования гистограмм распределения яркости (фаз), нейронную сеть 9, блок 10 идентификации типов следов. При этом ко второму входу нейронной сети 9 подключен выход блока 11 обучения нейронной сети, вход которого соединен с выходом блока памяти 12, в котором хранится информация о реальных следах на боковой поверхности пуль (или гильз).

Реализация предлагаемого способа в данном устройстве осуществляется следующим образом.

Для получения (регистрации) изображения боковой поверхности 3 пули (или гильзы) 2 она устанавливается в объектодержатель устройства 1 пошагового вращения с двигателем и в автоматическом режиме позиционируется в исходное положение. После этого с помощью источника 4 подсветки и цифровой видеокамеры 6 осуществляется регистрация (съемка) изображения боковой поверхности пули (или гильзы) 2. Далее цифровой сигнал с выхода видеокамеры 6 поступает в блок 7 преобразования изображения в вектор градиента яркости, где осуществляется разбиение изображения на фрагменты заданного размера, и далее из компонент вектора градиента яркости в блоке 8 формирования гистограмм распределения яркости (фаз) формируются две гистограммы для каждого фрагмента изображения. Эти гистограммы подаются на нейронную сеть 9, предварительное обучение которой осуществляется с помощью блока 11 обучения нейронной сети и блока 12 памяти, в котором хранится информация о предварительно обработанных изображениях фрагментов следов и шумов, заранее полученных с помощью блоков 1, 4, 6, 7. Нейронная сеть 9 осуществляет классификацию поступающих на ее входы элементов гистограмм, являющихся компонентами вектора градиента яркости - характеристиками фрагментов изображения. В результате классификации нейронная сеть 9 относит следы на фрагментах изображения боковой поверхности пули (или гильзы) к одному из двух классов: след или шум. Следует пояснить, что нейронная сеть 9 относит исследуемый объект к одному из классов в соответствии с определенным разбиением N-мерного пространства, которое называется пространством входов нейронной сети, размерность которого - количество компонент вектора градиента яркости. Т.е. на входы нейронной сети 9 поступают компоненты вектора (характеристики фрагментов изображения), а с ее двух выходов, соответствующих количеству классов, снимается сигнал, соответствующий одному из заданных классов. Сигнал, который соответствует следу, поступает далее на блок 10 идентификации типов следов, в котором осуществляется идентификация типов следов: первичного следа, вторичного следа, следа дна нарезов и следа дульного среза. Идентификация заключается в определении угла наклона прямой, вдоль которой имеется максимальное скопление пикселей (точек одинаковой яркости) по всему изображению. Так как первичный след - это набор параллельных вертикальных прямых разной яркости, вторичный след, след дна нарезов и след дульного среза - это набор параллельных наклонных прямых разной яркости, то можно идентифицировать эти следы по углу наклона. Для первичного следа максимальное скопление пикселей будет вдоль прямой, угол наклона которой равен 90°, все остальные значения углов наклона прямой будут соответствовать остальным следам. Окончательная классификация распознавания типов следов кроме первичного производится по их топологическому положению относительно известного положения граней нарезов на боковой поверхности пули (или гильзы).

Рассмотрим пример выполнения блоков устройства для реализации предлагаемого способа.

В качестве устройства пошагового вращения пули (блок 1) используется шаговый двигатель с устройством управления, осуществляющий дискретные повороты пули на углы, обеспечивающий покадровую непрерывную съемку всей боковой поверхности пули. Угол одного шага поворота определяется разрешением цифровой камеры по горизонтали, ее горизонтальным углом зрения, расстоянием от объектива до боковой поверхности пули.

Устройство подсветки (блок 4) построено на базе матрицы сверхъярких светодиодов, работающих в видимом диапазоне излучения. В данном примере использована матрица размером 9×18 мм.

Для последовательной съемки фрагментов боковой поверхности пули (блок 6) использована цифровая телекамера SPMtv-0905 с разрешением по горизонтали 560 и вертикали 560 линий.

Оцифрованное изображение снятого фрагмента боковой поверхности пули поступает на компьютер через стандартный интерфейс USB-2, имеющийся на телекамере SPMtv-0905.

Блоки 7-11 реализованы в виде автоматизированной системы, состоящей из персонального компьютера, управляемого установленным на нем программным обеспечением (см. фиг.7 и 8).

Применяемый компьютер типа Pentium-4 с быстродействием порядка 2 ГГц, оперативной памятью не менее 1 Гб и дисковой памятью порядка 250 Гб.