способ автоматического определения правильности отображения информации на жидкокристаллическом индикаторе

Формула изобретения

Способ автоматического определения правильности отображения информации на ЖКИ, заключающийся в том, что для проведения тестирования изображение с ЖКИ передают с помощью web-камеры в персональный компьютер (ПК), где проводят тестирование, определяя правильность вывода контрольных данных на ЖКИ путем анализа переданного в ПК изображения, и выявляют годность или негодность тестируемого ЖКИ, отличающийся тем, что вначале в ПК создают обучаемую для каждого типа ЖКИ нейросеть, перед началом процесса тестирования переданное изображение подвергают цифровой фильтрации, преобразуют изображение из цветного в черно-белое с использованием адаптивного алгоритма, выполняя расчет порогового значения яркости для каждого пикселя изображения и принимая, что при превышении порога - пиксель черный, при отсутствии превышения - пиксель белый, далее определяют размеры и положение ЖКИ на изображении, затем для удобства дальнейшей обработки вырезают изображение ЖКИ из всего снимка, находят сходные по габаритам и близкорасположенные друг от друга группы сегментов, выделяя их в логические группы, и с помощью имеющихся обученных для каждого типа ЖКИ и каждой логической группы этого ЖКИ нейронных сетей, автоматически анализируют и распознают участки изображения, содержащие элементы логической группы, и сравнивая распознанные данные с тестируемого ЖКИ с контрольными данными, при совпадении или несовпадении сравниваемых данных получают вывод о годности или негодности тестируемого ЖКИ с указанием неработающих сегментов ЖКИ.

Описание изобретения к патенту

Изобретение относится к средствам контроля жидкокристаллических индикаторов (ЖКИ) и может быть использовано в измерительной технике и приборостроении.

Известен способ коррекции динамического изображения на плазменной индикаторной панели или жидкокристаллическом устройстве отображения, описанный в п. РФ №2198434 «Способ коррекции динамического изображения и схема коррекции динамического изображения для устройства отображения» по кл. G09G 3/18, H04N 5/66, з. 10.04.97 (Яп.), з. 01.04.98, оп. 10.02.03.

В известном способе: один кадр изображения разделяют на множество субполей (субкадров), каждое из которых излучает свет в соответствии с уровнем яркости входного видеосигнала для отображения изображения с многочисленными градациями, обнаруживают вектор движения блока в течение одного кадра, значение вектора сравнивают с предварительно установленным значением, и при отличии его от установленного корректируют входной видеосигнал.

Недостатком известного способа является сложность его осуществления и предназначенность его для коррекции динамического изображения.

Известен способ контроля динамического изображения, описанный в п. РФ № 2199155 «Способ коррекции движущегося изображения для устройства отображения» по кл. G09G 3/18, з. 25.07.97 (Яп.), з. 24.07.98, оп. 20.02.03.

В известном способе разделяют время одного кадра на множество подполей (подкадров) и излучения этих подполей в соответствии с уровнем яркости входного подсигнала. На основе сигнала изображения на входе делают изображение предыдущего кадра, последовательно находят корреляционные значения сигнала изображения для всех блоков в области обнаружения векторов движения в предыдущем кадре, относящемся к блоку, состоящему из одного или нескольких пикселей, генерируют вектор смещения (сигнал, представляющий направление смещения и величину смещения), начальная и конечная точки которого представляют соответственно положение блока изображения предыдущего кадра, в котором корреляционное значение имеет минимальное значение и исходную точку движения вектора. Движущееся изображение корректируется за счет коррекции положения отображения каждого подполя для пикселей в блоке объекта.

Недостатком известного способа является сложность его осуществления и использование для динамического изображения.

Наиболее близким по технической сущности к заявляемому является способ автоматического определения правильности отображения информации на ЖКИ, использующийся в настоящее время на предприятии (см. Приложение к заявке) и выбранный в качестве прототипа.

Известный способ заключается в том, что изображение с ЖКИ передают с помощью web-камеры в персональный компьютер, сличают с помощью оператора переданное изображение с хранящимся в нем образцовым изображением и определяют наличие или отсутствие различий сравниваемых оператором изображений, выявляя тем самым годность или негодность исследуемого ЖКИ. В настоящее время существует 2 самых распространенных способа сличения изображения при тестирования ЖКИ: ручной способ (сличает оператор) и автоматический - с использованием анализа корреляции между эталонными образами и образами, полученными с тестируемого ЖКИ посредством web-камеры, подключенной к PC.

Самыми существенными недостатками первого способа являются возможные ошибки оператора (человеческий фактор) при анализе тестируемого ЖКИ, а также довольно низкая производительность процесса тестирования. Главным недостатком второго способа можно считать его привязанность только к одному типу ЖКИ (на подстройку метода к новому типу ЖКИ приходится нести существенные затраты).

В целом недостаток известного способа заключается в ограниченности его эксплуатационных возможностей и неудовлетворительном качестве контроля.

Это обусловлено следующими причинами:

1) при сличении оператором тестируемого изображения с эталонным возможны ошибки оператора; кроме того такое сличение занимает достаточно много времени;

2) способ привязан к одному типу индикатора;

3) способ чувствителен к расположению объекта исследования;

4) способ чувствителен к неравномерности освещения.

Два последних недостатка устраняются соответственно жесткой фиксацией индикатора и усилением освещенности, что приводит к усложнению схемы контроля и ее удорожанию.

Задачей заявляемого изобретения является расширение эксплуатационных возможностей способа при повышении качества тестирования, упрощении и удешевлении контроля.

Поставленная задача решается тем, что в способе автоматического определения правильности отображения информации на ЖКИ, заключающемся в том, что для проведения тестирования изображение с ЖКИ передают с помощью web-камеры в персональный компьютер (ПК), где проводят тестирование путем автоматического сличения переданного изображения с хранящимся в нем образцовым изображением и выявления наличия или отсутствия различий сравниваемых изображений, определяя тем самым годность или негодность исследуемого ЖКИ, согласно изобретению вначале в ПК создают обучаемую для каждого типа ЖКИ нейросеть, перед началом процесса тестирования по его изображению проводят цифровую фильтрацию переданного изображения и осуществляют с помощью адаптивного алгоритма преобразование цветного изображения в черно-белое, выделяя и анализируя на черно-белом изображении связные области, по которым определяют набор морфометрических характеристик для классификации областей по форме, положению и ориентации, используя которые затем программно определяют на плоскости относительно точки, принятой за начало координат, габариты ЖКИ и его положение, учитываемые далее при обработке переданного в ПК изображения, а сличение проводят автоматически, используя для этого нейросеть, сохраняемую в ПК и персонально обученную для каждого типа ЖКИ распознаванию тех участков изображения рабочей поверхности ЖКИ, которые содержат в себе определенные ранее морфометрические характеристики связных областей.

Выполнение цифровой фильтрации переданного изображения и осуществляемое затем с помощью адаптивного алгоритма преобразование цветного изображения в черно-белое с выделением и анализом на нем связных областей и определением морфометрических характеристик позволяет устранить влияние неравномерности освещения ЖКИ при проведении тестирования и дает возможность затем программно определить по изображению габариты и положение ЖКИ на плоскости относительно какой-либо точки, принятой за начало координат, устраняя зависимость от случайного поворота и смещения ЖКИ, что в совокупности с последующим использованием для автоматического сличения по морфометрическим характеристикам тестируемого и эталонного изображений обучаемой нейросети обеспечивает качественное автоматическое тестирование различных типов ЖКИ без изменения существующего программного кода, повышая качество тестирования и расширяя эксплуатационные возможности способа.

Технический результат - исключение влияния освещенности и положения изображения, а также субъективности оператора на качество контроля, автоматическое сличение изображений и автоматическая перенастройка системы тестирования на любой тип ЖКИ.

Заявляемое техническое решение обладает новизной в сравнении с прототипом, отличаясь от него такими существенными признаками как создание обучаемой для каждого типа ЖКИ нейросети в ПК, проведение цифровой фильтрации переданного изображения перед началом процесса тестирования, преобразование с помощью адаптивного алгоритма цветного изображения в черно-белое, выделение и анализ на черно-белом изображении связных областей, определение по ним набора морфометрических характеристик для классификации областей по форме, положению и ориентации, программное определение по ним на плоскости относительно точки, принятой за начало координат, габаритов ЖКИ и его положения, учитываемых далее при обработке переданного в ПК изображения, сличение тестируемого и эталонного изображения с использованием нейросети, сохраняемой в ПК и персонально обученной для каждого типа ЖКИ распознаванию тех участков изображения рабочей поверхности ЖКИ, которые содержат в себе определенные ранее морфометрические характеристики связных областей, обеспечивающими в совокупности достижение заданного результата.

Заявителю неизвестны технические решения, обладающие совокупностью перечисленных выше отличительных признаков, обеспечивающей заданный результат, поэтому он считает, что заявляемый способ автоматического определения правильности отображения информации на ЖКИ соответствует критерию "изобретательский уровень".

Заявляемый способ автоматического определения правильности отображения информации на ЖКИ может найти широкое применение в измерительной технике и приборостроении для контроля жидкокристаллических индикаторов, а потому соответствует критерию "промышленная применимость".

Изобретение иллюстрируется чертежами, где представлены на:

- фиг.1 - функциональная схема установки для автоматического определения правильности отображения информации на ЖКИ;

- фиг.2 - исходное бинарное и размеченное (с найденными связными областями) изображение;

- фиг.3 - снимок ЖКИ без активных сегментов и снимок ЖКИ с опорными сегментами;

- фиг.4 - пример использования заявляемого способа;

- фиг.5 - однослойный персептрон.

Заявляемый способ автоматического определения правильности отображения информации на ЖКИ заключается в следующем.

Для проведения тестирования изображение с ЖКИ 1 передают с помощью web-камеры 2 в персональный компьютер (ПК) 3. В персональном компьютере 3 создают обучаемую для каждого типа ЖКИ нейросеть 4. Перед началом процесса тестирования по изображению ЖКИ проводят с помощью фильтра 5 цифровую фильтрацию переданного изображения. Затем осуществляют с помощью адаптивного алгоритма посредством преобразователя 6 преобразование цветного изображения в черно-белое, выделяя и анализируя на черно-белом изображении связные области с помощью анализатора 7. По связным областям с помощью определителя 8 определяют набор морфометрических характеристик для классификации областей по форме, положению и ориентации. Далее, используя полученные морфометрические характеристики, программно определяют на плоскости относительно точки, принятой за начало координат, габариты ЖКИ и его положение, учитываемые далее при обработке переданного в ПК изображения (определитель 9 положения ЖКИ). Сличение проводят автоматически, используя для этого нейросеть 4, сохраняемую в ПК 3 и персонально обученную для каждого типа ЖКИ 1 распознаванию тех участков изображения рабочей поверхности ЖКИ 1, которые содержат в себе определенные ранее морфометрические характеристики связных областей. Итог сличения отражается на индикаторе 10.

На практике заявляемый способ осуществляют следующим образом.

С помощью web-камеры 2 изображение с ЖКИ 1 передают в персональный компьютер 3. Создают обучаемую для каждого типа ЖКИ нейросеть 4. Одной из основных идей предлагаемого способа автоматического определения правильности отображения информации на ЖКИ 1 является использование для каждой логической группы сегментов на ЖКИ 1 персональной обученной нейросети 4. Это означает, что полученное с web-камеры 2 изображение при тестировании будет распознаваться не целиком, а по частям: распознаванию будут подвергнуты только те участки изображения рабочей поверхности ЖКИ 1, которые могут содержать в себе определенные ранее логические группы сегментов. Таким образом, необходимо иметь столько нейросетей 4, сколько различных логических групп содержится на ЖКИ 1.

Для того чтобы обучить нейросеть 4 распознавать изображение какой-либо группы сегментов на снимке рабочей поверхности ЖКИ 1, предлагается следующий метод: во-первых, необходим снимок всей группы сегментов (при этом все остальные сегменты ЖКИ не активны), во-вторых, необходимы снимки всех сегментов, формирующих данную логическую группу. Этих данных достаточно для того, чтобы локализовать группу на снимке рабочей поверхности ЖКИ 1 (определить координаты ее границ) и сформировать набор обучающих примеров для нейросети 4.

В персональном компьютере 3 перед началом тестирования выполняют цифровую фильтрацию изображений. Средства языка, использованного при написании данного комплекса, позволяют провести ряд преобразований цветного изображения: изменение яркости, контрастности, освещенности, устранение высокочастотных шумов. Все это при использовании на практике в конкретных условиях съемки поверхности ЖКИ 1 позволяет получать довольно качественные снимки, необходимые для дальнейшей их обработки. Большинство преобразований опирается на операцию дискретной свертки исходного изображения по какой-либо (в зависимости от вида преобразования) функции:

- свертка двумерной функции f (исходное изображение) по функции (маске) g, где параметры n₀, n₁, m₀, m ₁ - задают маску фильтра (окрестность обрабатываемого в данный момент пикселя).

g(l,k) - маска фильтра, например (маска 3×3):

Затем выполняют преобразование цветного изображения в черно-белое с применением адаптивного алгоритма. Данная операция требуется для устранения неравномерного освещения поверхности ЖКИ во время проведения тестирования и для облегчения последующего анализа изображения. Адаптивный алгоритм бинаризации изображения (преобразование его из цветного в черно-белое) заключается в следующем: для каждого пикселя изображения I(х, у) проводится операция: в окрестности пикселя радиуса г высчитывается индивидуальный для данного пикселя порог Т. Если I(х, у)>Т+С (некоторая постоянная смещения), результирующий пиксель равен 1 (черный цвет), иначе равен 0 (белый цвет).

Варианты выбора порога Т:

1) Т = mean (среднее из всех пикселей в окрестности);

2) Т = median (медиана всех пикселей в окрестности);

3) Т=(min+max) / 2 (среднее между минимальной и максимальной яркостью пикселей в окрестности).

Затем находят габариты и положение ЖКИ на изображении. Данная операция требуется для устранения случайного поворота и смещения поверхности ЖКИ во время проведения тестирования. Для нее предлагается использовать выделение и анализ связных областей на бинарном (черно-белом) изображении. Связная область - множество пикселей изображения, у каждого пикселя которого есть хотя бы один сосед, принадлежащий данному множеству.

Соседи пикселя при 4х-связности

Соседи пикселя при 8 ми-связности

Для анализа всего изображения требуется информация о содержащихся на нем связных областях.

После составления списка связных областей на анализируемом изображении для каждой найденной области можно подсчитать набор так называемых морфометрических характеристик. На основе этих характеристик можно классифицировать имеющиеся области по форме, положению и ориентации.

При вычислении морфометрических признаков используются понятия механики твердого тела.

Пусть N - количество пикселей, относящихся к связной области. Все множество пикселей р(х, у), относящихся к связной области, обозначим . Тогда координаты центра масс связной области вычисляются как:

Введем несколько вспомогательных величин:

Тогда длины максимальной и минимальной осей инерции вычисляются как:

Длины главных осей инерции используются для вычисления эксцентриситета и ориентации связной области. Эксцентриситет определяется с помощью соотношения:

Ориентация определяется как угол в градусах между максимальной осью инерции и осью X. Если U_у >U_x, то ориентация О вычисляется с помощью формулы:

в противном случае О вычисляется как:

Есть возможность вычислить ряд других морфометрических характеристик имеющихся связных областей, что значительно облегчает процесс их идентификации (программного определения отличия одной связной области от другой).

Идея нахождения габаритов и положения ЖКИ на изображении состоит в следующем. Необходимо иметь 2 снимка ЖКИ: снимок чистого экрана ЖКИ (без активных сегментов) и снимок ЖКИ с несколькими (установленными заранее). В данном случае предлагается использовать три активных сегмента: (см. фиг.2).

Применяя все вышеуказанные преобразования к этим снимкам, мы получаем два бинарных изображения, которые необходимо проанализировать.

Во-первых, необходимо избавиться от фона (от всего, что находится за границами ЖКИ) на изображении с опорными сегментами. Это удается за счет попиксельного сравнения имеющихся изображений: те пиксели, которые есть на обоих изображениях, отсутствуют на результирующем изображении, говоря иначе, реализуется операция «вычитания» одного изображения из другого. В результате такого «вычитания» мы имеем изображение с одними лишь опорными сегментами и незначительным шумом, который появился из-за неидентичных очертаний устраняемого фона (шум аппаратуры).

Во-вторых, к полученному результату применяется анализ связных областей, при котором определяются координаты центров опорных сегментов.

Имеющийся на изображении шум при этом анализе игнорируется как множество связных областей, имеющих малую площадь.

В-третьих, зная координаты центров опорных сегментов на изображении и реальные габариты ЖКИ (а также соотношение расстояний между опорными сегментами) можно вычислить поворот и смещение границ ЖКИ на данном изображении относительно любой точки, принятой за начало координат.

После этого можно программным способом устранить смещение границ ЖКИ относительно начала координат, а также устранить поворот ЖКИ относительно того же начала координат. Зная габариты ЖКИ на данном снимке, можно отсечь (для удобства дальнейшей обработки) от него весь ненужный фон.

Таким образом, получено изображение ориентированной горизонтально рабочей поверхности ЖКИ. В дальнейшем при рассмотрении данного изображения рекомендуется манипулировать относительными расстояниями: горизонтальные расстояния - относительно ширины рабочей поверхности ЖКИ, вертикальные расстояния - относительно высоты рабочей поверхности ЖКИ. Данный способ позволяет избавиться от случайного масштаба полученного изображения рабочей поверхности ЖКИ.

Для сличения при тестирования ЖКИ используют нейросеть.

Предложенный способ использования нейросети позволяет избавиться от жесткой привязанности программного комплекса к конкретному типу ЖКИ.

Работа комплекса состоит из 3 этапов: этапа создания шаблона, описывающего структуру какого-либо типа ЖКИ, этапа создания и обучения нейросети и этапа использования обученной нейросети для тестирования ЖКИ.

1. Создание шаблона со структурой ЖКИ.

Для того чтобы стандартизировать работу программного комплекса с разными типами ЖКИ, предлагается следующий метод. Сегменты ЖКИ, выполняющие одинаковую функцию, объединяются в логическую группу (например, объединяются в группу сегменты, формирующие один десятичный разряд ЖКИ). Процедуру можно сделать автоматической.

Создаваемая структура данных должна хранить:

1) количество сегментов, формирующих каждую логическую группу;

2) количество логических групп на ЖКИ;

3) количество местоположений на ЖКИ для каждой логической группы.

На фиг.3 представлен ЖКИ со всеми активными сегментами, сгруппированными по указанному выше принципу. Каждая логическая группа обозначена своим цветом (для наглядности). Всего на данном ЖКИ 9 логических групп, причем группы, имеющие в своем составе 8 сегментов (красный цвет) и 16 сегментов (синий цвет), находятся, соответственно, в 3-х и 6-ти локациях на ЖКИ; на все остальные логические группы приходится по 1 локации.

В данном комплексе для распознавания группы сегментов используется однослойный (без скрытых слоев) персептрон (см. фиг.5).

Количество выходов персептрона определяется количеством сегментов в данной группе (каждый выход отвечает за отдельный сегмент группы), а количество входов определяется тем, каким образом распознаваемое изображение преобразуется во входной вектор сети. Предлагается следующий способ преобразования исходного изображения во входной вектор: изображение разбивается на ячейки определенного размера (получаем 2-мерную матрицу), для каждой ячейки подсчитывается средний цвет Col (отношение количества черных пикселей к общему числу пикселей ячейки), если Col>0.5, то данной ячейке присваивается значение 1, в противном случае - значение 0, после этого все ячейки матрицы вытягиваются (построчно) в 1-мерный массив, который и будет входным вектором сети.

Вопрос о том, на какое количество ячеек разбить исходное изображение, решается с использованием анализа связных областей, примененного к данному изображению. В результате данного анализа могут быть установлены габариты минимального объекта на изображении. За размер ячейки, таким образом, предлагается взять половину минимальной ширины сегмента, входящего в группу. Необходимо отметить, что вопрос локализации группы сегментов (определение координат ее границ) также решается при помощи данного анализа.

Для более качественного обучения нейросети предусмотрено заполнение обучающих примеров шумом и ряд других мер.

Все данные, необходимые для последующего использования при тестировании ЖКИ (структура данного типа ЖКИ, координаты логических групп сегментов на рабочей поверхности ЖКИ, количество ячеек, на которые разбита каждая группа), а также обученные нейросети сохраняются на ПК.

Алгоритм использования обученной нейросети для тестирования ЖКИ следующий:

1) фиксируют тестируемый ЖКИ перед web-камерой;

2) получают снимок пустой рабочей поверхности ЖКИ (без активных сегментов);

3) получают снимок ЖКИ с опорными сегментами;

4) определяют (с использованием п.2 и 3) положение границ рабочей поверхности ЖКИ на снимках в данных условиях проведения теста и считаем их неизменными в течение всего процесса тестирования;

5) выводят тестовую комбинацию сегментов на ЖКИ;

6) из базы данных структуры ЖКИ получают информацию о координатах границ первой логической группы сегментов на рабочей поверхности ЖКИ и о количестве ячеек, на которые нужно разбить изображение данной группы для преобразования его во входной вектор сети;

7) вырезают из изображения рабочей поверхности ЖКИ изображение текущей группы по найденным на шаге 6 границам, преобразуют его во входной вектор сети, подают его на входы сети и получают значения выходов сети;

8) интерпретируют полученные значения выходов сети (например, применяют какое-либо пороговое значение к каждому выходному значению);

9) повторяют шаги 7-8 для всех локаций текущей группы, а шаги 6-8 для всех различных логических групп на рабочей поверхности ЖКИ получают распознанное состояние ЖКИ. Сравнивают его с текущей тестовой комбинацией сегментов и делают вывод о содержащихся ошибках;

10) повторяют шаги 5-9 для всех тестовых комбинаций сегментов.

В сравнении с прототипом заявляемый способ автоматического определения правильности отображения информации на ЖКИ позволяет проводить более качественный контроль ЖКИ и имеет более широкие эксплуатационные возможности при упрощении технологии контроля и удешевлении способа.