интегральное устройство и способ восприятия образов

Формула изобретения

1. Устройство распознавания образов, включающее

один или более фоточувствительных элементов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, и

обрабатывающий элемент, соединенный с одним или более фоточувствительными элементами, встроенный в подложку или расположенный на ней и включающий одну или более нейронных цепей, причем прозрачная или полупрозрачная подложка образует оптический интерфейс между воспринимаемым падающим изображением и одним или более фоточувствительными элементами, и

конфигурация каждого фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация обрабатывающего элемента обеспечивает распознавание им образа, формируемого выходными сигналами фоточувствительных элементов.

2. Устройство по п.1, в котором подложка включает стекло, плексиглас или иной прозрачный материал.

3. Устройство по п.1, в котором конфигурация каждой нейронной цепи обеспечивает распознавание ею образа, формируемого выходными сигналами фоточувствительных элементов.

4. Устройство по п.1, в котором нейронные цепи обучаемы.

5. Устройство по п.1, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

6. Устройство по п.1, в котором подложка включает множество узлов линзы, причем каждый узел линзы образует оптический интерфейс с одним или более из одного или более фоточувствительных элементов устройства распознавания образов.

7. Устройство по п.6, в котором каждый узел линзы сформирован гравировкой подложки.

8. Устройство по п.1, включающее множество фоточувствительных элементов, организованных в решетку.

9. Устройство распознавания образов, включающее

множество воспринимающих элементов, расположенных на прозрачной или полупрозрачной подложке, каждый из которых включает:

фоточувствительный элемент, и

обучаемую нейронную цепь, связанную с фоточувствительным элементом,

множество оптических интерфейсов, сформированных на подложке, каждый из которых оптически связан с соответствующим одним из упомянутых воспринимающих элементов,

причем конфигурация фоточувствительного элемента обеспечивает выдачу им сигнала, зависящего от поступающего на его вход света, а конфигурация нейронной цепи обеспечивает распознавание ею образа, формируемого выходными сигналами фоточувствительных элементов.

10. Устройство по п.9, в котором оптические интерфейсы представляют собой линзы, сформированные гравированием подложки на участках рядом с каждым воспринимающим элементом.

11. Устройство по п.9, в котором каждый воспринимающий элемент является обучаемым и конфигурируемым для распознавания образов, основанных на падающем свете.

12. Устройство по п.9, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

13. Устройство по п.9, в котором подложка содержит стекло, плексиглас или иной прозрачный материал.

14. Устройство по п.12, в котором каждая нейронная цепь обучается распознаванию различных частей изображения, а конфигурация указанного множества нейронных цепей обеспечивает их совместную работу по распознаванию этого изображения.

15. Устройство по п.14, в котором конфигурация воспринимающих элементов обеспечивает выдачу сигнала при осуществлении распознавания упомянутого изображения.

16. Устройство по п.9, в котором воспринимающие элементы работают параллельно на низких частотах.

17. Устройство по п.9, в котором воспринимающие элементы потребляют очень малый ток.

18. Устройство распознавания образов, включающее

прозрачную или полупрозрачную подложку,

множество фотодетекторов, каждый из которых встроен в подложку и имеет конфигурацию, обеспечивающую выдачу сигнала, основанного на поступившем на вход свете,

множество обучаемых нейронных цепей, каждая из которых встроена в подложку и имеет конфигурацию, обеспечивающую распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе, и

средство оптического интерфейса для создания оптического интерфейса с множеством фотодетекторов.

19. Устройство по п.18, в котором средства оптического интерфейса содержат множество линз, сформированных в подложке.

20. Устройство по п.18, в котором каждая из множества обучаемых нейронных цепей связана с одним из множества фотодетекторов.

21. Устройство по п.20, в котором каждая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый упомянутый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

22. Устройство по п.18, в котором множество обучаемых нейронных цепей выполняет распознавание образов дискретным путем без применения программного обеспечения посредством использования множества параллельных элементов, работающих независимо и автономно.

23. Устройство по п.1, конфигурация которого обеспечивает выдачу выходного сигнала по беспроводному каналу.

24. Устройство по п.9, в котором конфигурация каждого воспринимающего элемента обеспечивает посылку и прием сигналов по беспроводному каналу.

25. Устройство по п.18, в котором конфигурация множества обучаемых нейронных цепей обеспечивает посылку и прием сигналов по беспроводному каналу.

26. Устройство по п.1, в котором питание устройства производится по беспроводному каналу.

27. Устройство по п.9, в котором питание устройства производится по беспроводному каналу.

28. Устройство по п.18, в котором питание устройства производится по беспроводному каналу.

29. Устройство распознавания образов, содержащее комбинацию нейронов с фоточувствительным элементом и логической схемой представления данных, встроенную в прозрачную или полупрозрачную подложку или расположенную на ней, и

при этом конфигурация фоточувствительного элемента обеспечивает выдачу сигнала, поступившего на вход логической схемы представления данных, а конфигурация нейронов обеспечивает распознавание образа, основанного на сигналах, выданных логической схемой представления данных.

30. Способ изготовления устройства распознавания образов, включающий шаги

встраивания в прозрачную или полупрозрачную подложку или нанесения на нее множества фотодетекторов и множества обучаемых нейронных цепей, и

использования средства оптического интерфейса для создания оптического интерфейса для множества фотодетекторов,

причем конфигурация каждого из множества фотодетекторов обеспечивает выдачу сигнала, основанного на поступившем на вход свете, а

конфигурация множества обучаемых нейронных цепей обеспечивает распознавание образа, основанного на выходных сигналах фотодетекторов, и выдачу сигнала, основанного на распознанном образе.

31. Способ по п.30, включающий использование множества линз, сформированных в подложке или нанесенных на подложку в качестве части упомянутого средства оптического интерфейса.

32. Способ по п.30, в котором каждая из множества обучаемых нейронных цепей связана с одним из множества фотодетекторов.

33. Способ по п.32, в котором каждая обучаемая нейронная цепь содержит множество нейронов, соединенных по своему входу с мультиплексной входной шиной, а по своему выходу с выходной шиной, причем каждый нейрон обучается "знанием", которое позволяет соответствующему нейрону распознавать сигнал и принимать решение.

34. Способ распознавания образов, включающий:

использование множества оптических интерфейсов, встроенных в прозрачную или полупрозрачную подложку или расположенных на ней, для создания оптического пути к одному или более фоточувствительным элементам, встроенным в подложку или расположенным на ней,

выдачу сигнала каждого из одного или более фоточувствительных элементов, основанного на поступившем на вход свете,

распознавание образа по выходным сигналам одного или более фоточувствительных элементов посредством параллельной обработки выходных сигналов одного или более фоточувствительных элементов в одном или более обрабатывающих элементах, каждый из которых соединен с одним из фоточувствительных элементов и встроен в подложку или расположен на ней,

причем упомянутые один или более обрабатывающих элементов включают одну или более нейронных цепей.

Описание изобретения к патенту

Ссылки на связанные заявки:

Настоящая заявка претендует на приоритет предварительной патентной заявки US 60/694988, поданной 30 июня 2005 г., содержание которой полностью включено в настоящее описание посредством ссылки.

Предпосылки создания изобретения

Область техники

В целом изобретение относится к области устройств для формирования изображений. В частности, настоящее изобретение относится к микроустройствам для распознавания образов (изображений), расположенным на прозрачной подложке, например стекле, или встроенным в нее.

Уровень техники

Прозрачные поверхности, например стеклянные, существовали сотни лет. Прозрачные поверхности первоначально использовались для защиты жилого пространства, позволяя его обитателям воспринимать окружающий мир (местность, погода и возможные опасности). В последнее время на прозрачные поверхности существует огромная потребность для производства дисплеев, начиная от электронно-лучевых трубок (ЭЛТ) и кончая, в последние годы, жидкокристаллическими дисплеями (ЖК-дисплеи) и разного рода дисплеями с плоскими панелями. При их использовании, во многих случаях человек или живые организмы (животные, растения) располагаются вблизи таких прозрачных поверхностей.

Датчики изображения используются уже несколько десятилетий (например, ПЗС датчики (датчики на базе приборов с зарядовыми связями) или КМОП датчики (датчики на комплементарных структурах "металл/оксид/полупроводник"). Например, в US 6617565, содержание которого включено в настоящее описание посредством ссылки, описан КМОП датчик изображения на одном кристалле. Типовыми конструкциями датчиков изображения являются камеры, включающие установленную за линзой объектива интегральную схему, которая может быть миниатюрной или сменной (например, навинчивающаяся линза). Чувствительные элементы датчика предназначены для преобразования световой энергии (фотоны) в электрический сигнал, пропорциональный количеству света, принятому фоточувствительными элементами, из которых в чувствительном элементе датчика сформирована решетка. Изображение синтезируется из выходных сигналов фоточувствительных элементов.

Технологии распознавания образов становятся все более востребованными. Видеокамеры различных размеров и конструкций требуются для самых различных применений, например охраны, идентификации личности, разведки, контроля качества, наблюдения за дорожным движением и др. Видеокамеры часто соединены с дисплеями либо проводной, либо беспроводной связью. Сегодня видеокамеры, объединенные с ЖК-дисплеем, стали стандартной принадлежностью сотовых телефонов.

Для совершенствования распознавания образов требуется синтез изображения высокого разрешения. Существующие системы распознавания образов работают со сравнительно невысокой скоростью из-за низких вычислительных возможностей и/или из-за того, что процессоры могут вести обработку не более одного пиксела изображения за один раз.

Таким образом, требуется создание новых устройств распознавания образов, более совершенных, чем существующие.

Краткое изложение сущности изобретения

В основу настоящего изобретения положена задача создания устройства для распознавания образов (изображений), имеющего чувствительную площадку (например, фоточувствительные элементы), непосредственно встроенную в прозрачный или полупрозрачный материал, образующий оптический интерфейс между падающим изображением и чувствительной площадкой. В предпочтительном варианте, само устройство распознавания образов является прозрачным или полупрозрачным.

Другой задачей настоящего изобретения является обеспечение чувствительной площадки, обладающей функцией самостоятельного ("на месте") принятия решения с использованием решетки обучаемых процессорных элементов. В одном варианте осуществления настоящего изобретения, обучаемые элементы когнитивной памяти или ячейки связаны с одним или более фоточувствительными элементами. Преимуществом принятия решения "на месте" является то, что снижаются требования к скорости передачи данных устройством (т.е. полосе), особенно в тех случаях, когда число фоточувствительных элементов велико, и должна быть высока частота передачи данных фоточувствительных элементов. Используя большие решетки чувствительных площадок, каждая из которых обладает способностью принятия решений "на месте", можно создать устройство формирования изображения с высоким быстродействием и разрешением.

В соответствии с вариантом осуществления настоящего изобретения, обучаемые элементы когнитивной памяти могут работать параллельно на низких частотах и потреблять очень малый ток. Как следствие, может обеспечиваться автономная работа каждого элемента при использовании маломощных источников энергии, например солнечных батарей или их эквивалентов.

В соответствии с вариантом осуществления настоящего изобретения, новое интегральное устройство распознавания образов образовано соединением одного или более фоточувствительных элементов с одним или более обучаемых элементов когнитивной памяти, причем все они встроены в подложку.

В соответствии с вариантом выполнения настоящего изобретения, множество фоточувствительных элементов, связанных с большим числом обучаемых элементов когнитивной памяти, может быть организовано в одну или несколько решеток и распределено по плоской прозрачной или полупрозрачной подложке. Решетки могут обладать изменяемыми геометрией и соединяемостью. К типичной геометрии относится линейная решетка параллельно расположенных нейронов, либо двумерная решетка нейронов, объединенных растровой или сотовой геометрией. Могут быть и иные конфигурации.

Другие применения и преимущества различных вариантов осуществления настоящего изобретения рассматриваются ниже со ссылками на чертежи, иллюстрирующие эти варианты осуществления изобретения.

Краткое описание чертежей

На фиг.1А-Б представлены, соответственно, вид спереди и вид сверху решеток чувствительных элементов, расположенных на стекле или плексигласе, или ином прозрачном пластике или прозрачной подложке, в которой гравированы линзы;

На фиг.2 представлен вид сверху решетки чувствительных элементов, расположенных на стеклянной или плексигласовой подложке с гравированными в ней линзами, в процессе распознавания фрагментов ДНК;

На фиг.3А-Б представлены, соответственно, вид сбоку и вид сверху матрицы чувствительных элементов;

На фиг.4 представлена блок-схема чувствительных элементов;

На фиг.5А представлена блок-схема решеток чувствительных элементов;

На фиг.5Б представлена блок-схема банка решеток чувствительных элементов;

На фиг.6А-В представлена конфигурация нейрона;

На фиг.7 представлена блок-схема нейрона; и

На фиг.8-12 приведены примеры применения устройства распознавания образов.

Подробное описание предмета изобретения

Хотя настоящее изобретение может быть осуществлено во множестве различных форм, в данном раскрытии описано несколько предпочтительных вариантов осуществления, которые используются только в качестве иллюстрации принципов изобретения, поэтому изобретение не должно считаться ограниченным этими конкретными вариантами.

Настоящее изобретение представляет собой формирователь изображения, который может включать чувствительное воспринимающее устройство, например фоточувствительный элемент, соединенный, скрепленный либо иначе связанный с обучаемым когнитивным элементом, причем оба элементы нанесены химическим или иным путем на поверхность прозрачной подложки, либо встроены в нее. Объединение чувствительной площадки с обучаемым когнитивным элементом, обладающим способностью принятия решения "на месте", в настоящем документе называется "CogniSensor" ("познающий чувствительный элемент"). Обучаемый когнитивный элемент в настоящем документе называется "CogniMem" ("познающая память"). Чувствительные площадки выполнены из одного или более фоточувствительных элементов, но могут быть и другие варианты конфигурации чувствительной области.

В соответствии с вариантами осуществления настоящего изобретения, конфигурация CogniSensors может обеспечивать распознавание приходящей световой картины (например, изображений или частей изображений), обработку приходящей световой картины для принятия решения "на месте" и передачу результатов этого решения или его индикацию. CogniSensor может включать несколько компонентов, например логическую схему ввода данных для принятия решения "на месте", "нейроны" и логическую схему вывода решений, буфер памяти, солнечные элементы для обеспечения автономной работы, а также и другие компоненты. В предпочтительном варианте осуществления, каждый CogniSensor включает параллельно организованные элементы реагирующей обучаемой ассоциативной памяти (REALM). Согласно варианту осуществления изобретения, CogniMem обеспечивает распознавание образов, как аналоговое, так и цифровое, без подключения к компьютеру.

CogniMem может содержать один или более нейронов, которые представляют собой параллельно организованные элементы ассоциативной памяти, которые могут реагировать на входные образы, аналогичные их собственному контенту. Нейроны могут реагировать как индивидуально, так и коллективно, подкрепляя свою реакцию реакцией других соседних нейронов. Выбор может осуществляться по входной линии "торможение/возбуждение", подходящей к нейронам.

Контент нейронов CogniMem образует "знание". Знание представляет собой набор статистически разделяемых сигнатур. Знание может быть статическим (загружаемым однократно) или динамическим (обновляемым реакцией других нейронов или загружаемым адаптивно из внешней базы данных знания), а в предпочтительном варианте знание генерируется автоматически в процессе обучения без использования компьютера. CogniMem, располагающаяся на той же подложке, может использовать это же или какое-либо иное знание.

CogniMem может быть нанесена или встроена (либо присоединена иным способом) к подложке, как часть CogniSensor, либо может быть отдельным компонентом. В первом случае, CogniMem обычно используется для распознавания данных пикселов, получаемых от фоточувствительного элемента. Во втором случае, CogniMem может быть использована для обслуживания других CogniMem и может, например, распознавать данные различных типов, передаваемые другими узлами CogniMem (например, для объединения образов по выходным данным с многих CogniSensors).

Приведенные ниже патенты и опубликованные заявки, содержание которых полностью включено в настоящее раскрытие посредством ссылки, описывают различные особенности нейронов и нейронных сетей, применимые к CogniMems и CogniSensors: US 5621863 - Нейронная сеть; 5717832 - Усовершенствованная архитектура нейронной сети; 5701397 - Схема для предварительной загрузки свободной нейронной сети; 5710869 - Гирляндная схема для последовательного соединения нейронных сетей; 5740326 - Поиск/сортировка данных в нейронных сетях; 6332137 - Параллельная ассоциативная память для распознавания изолированного оборудования; 6606614 - Однопроводный поиск и сортировка; заявки Японии JP 8-171543 - Гирляндная схема для последовательного соединения нейронных сетей; JP 8-171542 - Усовершенствованная схема загрузки; JP 8171541 - Схема группирования (поиск/сортировка); JP 8-171540 - Нейронная сеть и нейронный чип; JP 8-069445 - Архитектура нейронной сети; патентная заявка Кореи KR 164943 - Новая архитектура нейронной сети; Европейские патенты ЕР 0694852 - Новая архитектура нейронной сети; ЕР 0694854 - Усовершенствованная нейронная архитектура полупроводникового чипа; ЕР 0694855 - Поиск/сортировка для нейронных сетей; ЕР 0694853 - Схема для предварительной загрузки компонентов входного вектора в сети свободных нейронов в фазе распознавания; ЕР 0694856 - Гирляндная схема для последовательного соединения нейронных сетей; заявка Канады СА 2149478 - Усовершенствованная архитектура нейронной сети; патент Канады СА 2149479 - Усовершенствованная нейронная архитектура полупроводникового чипа.

Число нейронов, реализованных на CogniMem, может составлять от 1 до N, где N теоретически неограниченно благодаря архитектуре нейронной ячейки. В настоящее время N может достигать 1000. Вообще, N зависит от применения и, в частности, от разнообразия образов, которые требуется распознавать, и типа решений, которые необходимо передавать. Специалисту должно быть понятно, что технология кремниевых приборов может быть фактором, определяющим количество нейронов на единицу площади.

Пример конфигурации устройства распознавания образов, согласно варианту осуществления настоящего изобретения, показан на фиг.1А и 1Б. Фиг.1А представляет вид сверху устройства 100, которое включает подложку 102, которая может быть выполнена из ряда прозрачных или полупрозрачных материалов, например стекла, плексигласа, прозрачных пластиков и др. Один или более CogniSensors 104 (в данном случае, в виде решетки) может быть встроен в подложку 102 или, как в данном случае, прикреплен или приклеен, либо как-то иначе связан с поверхностью подложки 102 (см. фиг.1Б). Оптический тракт может быть гравирован или нанесен на подложку перед каждым фоточувствительным элементом. Например, подложка 102 может иметь гравировку в месте размещения CogniSensors 104 для формования линз 102а для каждого CogniSensor 104. В другом варианте, микролинзы 102а могут быть встроены в подложку (фиг.2), либо приклеены (фиг.3А-Б) на подложку 102 перед фоточувствительными элементами. Другим вариантом может быть изменение подложки для изменения коэффициента отражения части подложки, граничащей с каждым чувствительным элементом, для фокусировки падающего света. Как показано на фиг.1Б, падающий свет фокусируется на каждом CogniSensor 104 линзами 102а подложки.

Множество линз 102а позволяет CogniSensors 104 иметь различное поле зрения, в предпочтительном варианте, равное поверхности подложки, хотя также возможно получение более узкого или более широкого поля зрения, чем поле зрения, равное поверхности подложки. Микролинзы 102а превращают решетку CogniSensors 104 в телецентрическое устройство восприятия изображения с неограниченной поверхностью и полем зрения.

На фиг.2 представлено интегральное устройство формирования изображения, в соответствии с другим вариантом осуществления изобретения. Видно, что линзы 102а встроены в подложку 102 и расположены над каждым CogniSensor 104. В качестве примера использования устройства формирования изображения, на поверхности подложки 102 показаны расположенные там фрагменты 202 ДНК. Конфигурация каждого CogniSensor 104 может обеспечивать независимое распознавание, либо распознавание во взаимодействии с соседними CogniSensors 104, отдельного фрагмента ДНК и выдачу сигнала при идентификации этого фрагмента.

На фиг.3А-Б показан пример варианта осуществления отдельного CogniSensor 104. Как показано на фиг.3А, площадка размещения нейронов 104а окружает чувствительную область 104b, где размещаются пикселы. Нейроны в площадке 104а размещения нейронов могут быть соединены с чувствительными элементами в площадке 104b пикселов, а их конфигурация может обеспечивать распознавание образов, воспринятых площадкой 104b пикселов. Как показано на фиг.3Б, выпуклые линзы или микролинзы 102а расположены над площадкой 104b пикселов на поверхности подложки 102 для фокусировки падающего света на площадке 104b пикселов или соединены непосредственно с чувствительным элементом без промежуточной подложки. Линзы 102а могут, например, быть химически нанесены на подложку обычными средствами.

На фиг.4 приведена блок-схема использованного в качестве примера CogniSensor 104, в соответствии с вариантом осуществления настоящего изобретения. CogniSensor 104 включает область 402 чувствительного элемента (сенсора) или чувствительных элементов, логическую схему 404 представления данных, нейронную сеть 406 и логическую схему 408 принятия решений "на месте". Чувствительный элемент 402 может включать один или более чувствительных элементов, например фоточувствительных элементов. Логическая схема 404 представления данных соединена с чувствительной областью 402 и нейронной сетью 406, а ее конфигурация позволяет представлять выходные данные чувствительных элементов на нейроны в виде, пригодном для обработки. Нейроны 406 "обучены" или "обучаются" знанием и могут обрабатывать данные, поступающие на нейроны 406 из логической схемы 404 представления данных, и выдавать обработанные данные на логическую схему 408 принятия решений "на месте", которая принимает решение на основе обработанных данных. Логическая схема 408 принятия решений "на месте может быть соединена с другими CogniSensors или CogniMem различными известными способами. Соответственно, CogniSensors 104 могут быть организованы в решетки или решетки решеток.

На фиг.5А и 5Б показаны схемы расположения решеток CogniSensors. Как показано на фиг.5А, каждый CogniSensors 104 может быть соединен с несколькими CogniSensors 104 для образования решетки 502. Как описано ниже, входные и выходные шины могут быть использованы для последовательного или параллельного соединения чувствительных элементов.

Как показано на фиг.5Б, каждая решетка 502 может быть соединена с несколькими решетками 502 для образования банка 504 решеток. Объединяя решетки решеток CogniSensors 104, можно получить чрезвычайно мощное распознающее устройство, отличающееся как высоким разрешением, так и высоким быстродействием. Другими словами, разрешение формирователя изображения может быть увеличено путем увеличения числа чувствительных элементов. При использовании, однако, эффективного способа принятия решения "на месте" в форме CogniMem, увеличение числа CogniSensors не сопровождается снижением скорости обработки данных в устройстве. Кроме того, должно быть понятно, что организация решеток может иметь самую различную геометрию, и изобретение не ограничено только квадратными решетками.

Как уже упоминалось выше, каждый нейрон может быть соединен со многими входами 1-n, в том числе, например, мультиплексными, но также и другими. На фиг.6А представлен нейрон с большим числом входов, что упрощенно показано на фиг.6Б. Таким образом, может быть собрана решетка нейронов с использованием входной шины 602 (на фиг.6В шина 602 отсутствует), имеющая простую параллельную архитектуру, показанную на фиг.6В. Каждый выход нейронов 406 может быть соединен с общей шиной 406 принятия решений.

Фиг.7 представляет функциональную схему нейрона, иллюстрирующую вариант осуществления изобретения. Назначение нейронов, организованных в неограниченно расширяемую сеть, состоит в том, чтобы выучить и вызывать из памяти дискретные векторы или сигнатуру (образ). Дискретные сигнатуры по большей части представляют собой пространственные распределения интенсивности света, кодированные сжатием данных при обработке. Нейроны могут быть соединены параллельно, как показано на фиг.6В, что означает, что все входы нейронов соединены параллельно, также как и их выходы.

Сигналы данных могут поступать в нейрон 700 с мультиплексной входной шины (не показана). Обучающий мультиплексор (ОМП) 702 может разделять мультиплексные входные сигналы и передавать сигналы входных данных в память образов 704 нейрона и элемент 706 ассоциативной логики. Память образов 704 нейрона обрабатывает входные сигналы и выдает обработанные сигналы в элемент 706 ассоциативной логики. Элемент 706 ассоциативной логики включает элемент 706а принятия решения по параметру сходства.

Каждый нейрон может получить образ (т.е. вектор, представляющий дискретную сигнатуру данных чувствительного элемента), генерируемый логической схемой 404 представления данных, используя широковещательную адресацию. Этот передаваемый всем нейронам образ может представлять собой трансформацию (сжатие) данных чувствительного элемента, либо мгновенную, либо во временной области.

Нейрон может находиться в трех хронологически последовательных состояниях: неактивном, готовности к обучению (RTL) и, затем, в активном состоянии. По меньшей мере один нейрон находится в состоянии RTL постоянно, за исключением случаев, когда сеть полна (т.е. все нейроны активны). Если рассматривать все параллельно соединенные нейроны как цепочку, RTL-нейрон может перемещаться из первого положения в цепочке в последнее положение. В контексте настоящего раскрытия, RTL-нейрон обычно будет находиться справа от активного нейрона, а неактивный нейрон будет находиться справа от RTL-нейрона.

Когда нейрон находится в неактивном состоянии, он не реагирует ни на какой поступающий к нему образ. RTL-нейрон загрузит поступающий образ в свою память образов с тем, чтобы обучиться ему, если пользовательский процесс примет такое решение. Этот RTL-нейрон не будет принимать участие в процессе распознавания, но будет выделен для накопления нового знания в ходе обучения.

Процесс обучения включает создание нового знания при возникновении нового образа и решении пользователя обучиться ему. Прибавление этого знания произойдет в RTL-нейроне. Помимо создания нового знания, активные нейроны, которые, возможно, неправильно идентифицировали входной образ (т.е. не смогли ассоциировать нужную категорию), сокращают их интервал сходства с тем, чтобы избежать в дальнейшем неправильной классификации. При этом происходит модификация знания или "адаптивное обучение".

Фотоэлементы могут генерировать дискретные радиометрические значения. Комбинация всех значений по пространственному распределению формирует образ. Такой образ может также изменяться во времени и генерировать поток образа. Этот образ подвергается процедуре обработки со сжатием данных с получением дискретной сигнатуры (вектора) радиометрического образа. Сжатие при обработке не должно выходить за пределы так называемой "минимальной различающей матрицы", описанной ниже. Например, посредством матрицы 5×7 можно различить все символы верхнего регистра Европейских алфавитов, однако для Китайских иероглифов требуется матрица 16×16.

Активный нейрон обучается образу, находясь в состоянии RTL, ассоциируя вектор, загруженный в память образов 704, с категорией, хранимой в регистре 709 категорий. Когда поступающий образ попадает в активный нейрон, мультиплексор 702 сигналов обучения/вызова из памяти позволяет передать его в ассоциативную логику 706 для оценки сходства этого образа с вектором, хранящимся в памяти 704 образов. Если вычисленное сходство окажется меньше или равно параметру 706а сходства, произойдет возбуждение нейрона и он выдаст сигнал через логическое устройство 712. Функция логического устройства "возбуждения/торможения" состоит в осуществлении арбитража подключения общей шины среди активных возбужденных нейронов, когда происходит возбуждение множества нейронов, и "торможение" тех нейронов, в которых не достигается высокого сходства. Каждый CogniSensor может быть ассоциирован с областью интереса (ROI) в кадре изображения. Каждый CogniSensor может извлекать сигнатуру ROI для широковещательной передачи по своим нейронам (для обучения или распознавания). Сигнатура ROI представляет собой в сжатом виде значения сигналов ее пикселов, причем за счет сжатия ее размер соответствует последовательности N значений, где N представляет собой число ячеек памяти нейрона.

Рассмотрим пример, когда память нейрона имеет емкость 256 байт. CogniSensor может выполнять классификацию области интереса размером N×М пикселов. Сигнатура ROI будет сжата с М×N значений до 256 значений посредством, например, простого блочного сжатия.

Конфигурация CogniSensors может обеспечивать обработку ими ROI любой формы, а выбор способов выделения сигнатуры может определяться конкретным применением (например, контроль деталей, контроль поверхности, распознавание лица, сопровождение цели и др.). Выделение некоторых сигнатур может включать интегрирование во времени, повторения и др. Кроме того, разрядность ячеек памяти нейронов может превышать 8 для согласования с сигналами, поступающими от чувствительных элементов с 12-разрядным разрешением пикселов или более высоким разрешением.

Объединение нейронов с чувствительным элементом и логической схемой представления данных является совершенно новым подходом к распознаванию изображений интегрированными в подложку элементами, без использования программных средств для обучения или распознавания.

Адресация CogniMem может быть сквозной либо выборочной (например, запускаемой реакцией других CogniMem ячеек).

Следует иметь в виду, что подложка, в которой помещается CogniSensor(s), выполняет функцию как механической основы, так и линз (см. например, фиг.1-2). Подложка может быть жесткой или гибкой, с плоской или изогнутой поверхностью, или какой-либо иной, и может быть выполнена из стекла, плексигласа, пластика, Майлара или иного материала.

В предпочтительном варианте осуществления, для соединения ячеек CogniSensors и CogniMem используется минимальное число проводов.

В предпочтительном варианте осуществления, загружаемое в CogniSensors знание может обеспечивать распознавание различных семейств образов, как связанных друг с другом, так и не связанных.

Примеры

В соответствии с вариантом осуществления настоящего изобретения, CogniSensors представляют собой идеальное средство для выполнения автоматизированного контроля на производстве. Как показано на фиг.8, для проверки бутылки с водой может быть использован один или более CogniSensors. В этом примере, для контроля трех различных областей, названных Эксперт 1-3, используется три разных CogniSensors. Общая оценка определяется объединением оценок трех проверяющих CogniSensors. В данном примере CogniSensor 1 (Эксперт 1) может быть настроен на классификацию сигнатур ROI, содержащих крышку 802 бутылки. CogniSensor 1 может классифицировать свою ROI по двум категориям: Плохо и Хорошо. В категорию Плохо объединены следующие случаи: крышка отсутствует или крышка неправильно закручена.

Аналогично, CogniSensor 2 (Эксперт 2) может выучить сигнатуры ROI пересечения уровня 804 жидкости в бутылке. ROI может представлять собой узкий вертикально расположенный прямоугольник, который, в идеальном случае, перекрывает минимальный и максимальный возможные уровни заполнения бутылки. В зависимости от принятых производителем критериев контроля качества, CogniSensor 2 может классифицировать свою область интереса (ROI) по любому числу категорий, например Приемлемо и Неприемлемо; Слишком Высоко, Приемлемо и Слишком Низко; или Слишком Высоко, Высоко, но Приемлемо, В поле допуска, Низко, но Приемлемо, Слишком Низко.

CogniSensor 3 (Эксперт 3) может выучить сигнатуры области интереса, покрывающей область 806 наклейки. CogniSensor 3 может быть настроен на распознавание различных признаков или комбинаций признаков, например: Отсутствие наклейки, Дефект наклейки (порвана, поцарапана или загнута), неправильное расположение наклейки (перевернута, наклонена) и Хорошо.

Выходной сигнал из CogniSensors 1-3 может быть подан на контроллер, включенный в систему автоматизации процесса изготовления, для совершения соответствующих действий на базе принятого решения.

В соответствии с вариантом осуществления настоящего изобретения, CogniSensors могут быть оформлены в виде отдельных узлов, образуя "интеллектуальные" фоточувствительные ячейки или микролинзы. Такие устройства могут применяться в самых различных областях, например для обнаружения движущихся деталей, определения траекторий или направления по заданному маршруту движущихся деталей в процессе механической сборки (фиг.9А); для биометрической идентификации, например, в телефоне с фотокамерой (фиг.9Б); либо для обнаружения посетителей и идентификации в дверной глазок и т.п. (фиг.9В).

В соответствии с другим вариантом осуществления настоящего изобретения, предложена система обнаружения для предупреждения водителя. Как показано на фиг.10, один или более CogniSensor 104 может быть встроен в ветровое стекло, индикаторную панель приборного щитка или фары автомобиля. CogniSensors 104 могут быть обучены распознавать образы, указывающие на потерю внимания водителем (например, водитель засыпает), и выдавать сигнал, включающий сигнализацию. Эти образы могут включать отслеживание взгляда, распознавание лица, распознавание выражения лица и др. Кроме того, CogniSensors 104, находящиеся в ветровом стекле или фаре, могут быть обучены распознавать объекты или события снаружи транспортного средства, например обнаруживать дождевые капли для работы дворников лобового стекла, или источники опасности на дороге для системы предупреждения об опасности на дороге.

Обнаружение случайно появляющегося объекта в дальнем или ближнем поле зрения может быть выполнено рядом способов. Например, два или три чувствительных элемента могут быть оснащены линзами, сфокусированными на разные дальности. В чувствительные элементы может быть загружено одинаковое знание, но работать они будут с областями интереса разного размера. Общая реакция системы распознавания может считаться положительной, если хотя бы один чувствительный элемент распознает объект.

Далее, в конструкции CogniSensors могут использоваться входные чувствительные элементы, чувствительные на разных длинах волн, например ближнем инфракрасном и инфракрасном диапазонах, в узкой полосе, ограниченной фильтром и т.д. Для данного объекта или сцены, эти CogniSensors выдадут различные значения для пикселов, но могут быть обучены распознавать категории объектов по своим соответствующим видеоизображениям. При сопровождении целей, комбинация CogniSensors ближнего инфракрасного и инфракрасного диапазонов обеспечит распознавание цели в любое время суток.

В соответствии с другим вариантом осуществления настоящего изобретения, решетки CogniSensors могут использоваться во многих иных производственных процессах. Например, как показано на фиг.11А, одномерная решетка CogniSensors 1102 может быть использована для контроля качества стеклянных поплавков 1103 при их изготовлении. На фиг.11Б показана двумерная решетка CogniSensors 1104, используемая для обнаружения загрязнений на дне контейнеров 1105, например бутылок для напитков. В таких применениях, CogniSensors могут быть обучены определению образов, показывающих дефекты в стекле или загрязнения в жидкости.

Согласно другому варианту осуществления настоящего изобретения. CogniSensors могут быть распределены, например, по стеклянной панели для выполнения многих независимых функций. CogniSensors могут быть сгруппированы, и каждые группы могут быть обучены своему знанию. На фиг.12 показана, в качестве примера, раздвижная дверь 1202, в которой имеется несколько групп CogniSensors 1204 для обнаружения приближающихся объектов различного размера. Первая группа может быть обучена знанию для распознавания первого размера 1208 человека или животного (например, собаки), вторая группа может быть обучена для распознавания человека другого размера (например, мальчика) 1210, третья группа - для человека третьего размера (например, взрослого) 1212, и так далее. Каждая группа 1204 может быть соединена с одной или более CogniMems 1206 для управления раздвижными дверями.

Для специалиста, ознакомившегося с настоящим описанием, должно быть очевидно, что предложенный в изобретении формирователь изображения может быть использован для многочисленных, не упомянутых здесь, применений. Например, это может быть обнаружение остаточных повреждений (изменение текстуры) в плотине, мосту или ином сооружении. Реализация этого применения должна быть очевидной с учетом приведенного описания вариантов осуществления настоящего изобретения. Кроме того, передача энергии и сигналов может быть беспроводной (например, по инфракрасному каналу, посредством фотоэлемента, петли индуктивности и др.).

Таким образом, выше были подробно описаны, со ссылками на чертежи, несколько предпочтительных вариантов осуществления изобретения. Хотя описание изобретения было основано на этих предпочтительных вариантах осуществления, для специалиста должно быть очевидным, что для описанных вариантов возможны определенные модификации, изменения и конструктивные исполнения, не выходящие за пределы существа и области патентных притязаний изобретения.