устройство ассоциативной памяти (варианты) и способ распознавания образов (варианты)

Формула изобретения

1. Устройство ассоциативной памяти, содержащее средство запоминания и обработки сигналов, является искусственным нейронным прибором и выполнено с возможностью оперативного приема и преобразования сигналов, представляющих скалярные значения данных в комбинациях возбудитель-отклик, содержащих соответственные взаимно связанные наборы входных элементов возбудителя и отклика, и для запоминания преобразованного сигнала, представляющего то же самое в виде соответствующего корреляционного набора значений риманового пространства как минимум одной испытанной комбинации возбудитель-отклик, оперативной выработки и выведения эмпирически связанных сигналов отклика, генерированных в ответ на преобразование последовательно вводимых сигналов возбудителя, содержащих комплексные значения представления возбудителя, с помощью упомянутого набора запомненных значений риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, чтобы соответственно увеличить информационное содержание упомянутого корреляционного набора, что приводит к запомненным значениям риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинаций возбудитель-отклик для увеличения тем самым числа входных элементов в поле возбудителя так, чтобы оно содержало по меньшей мере некоторые входные элементы возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

2. Устройство по п. 1, отличающееся тем, что упомянутое средство запоминания и обработки сигналов предназначено для приема сигналов, представляющих наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также для кодирования упомянутых представлений скалярных значений в виде соответствия упомянутым элементам возбудителя и элементам отклика, каждый из которых тем самым определяется римановой плоской векторной координатой, обладающей как ориентацией фазового угла, так и величиной.

3. Устройство по п. 2, отличающееся тем, что входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле



где N представляет собой порядок статистики;

k(n) определяет n-ный элемент произведения статистики порядка N;

^k(n) представляет собой компонент величины для n-ного элемента произведения;

^k(n) обозначает фазовый компонент для n-ного элемента произведения;

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

4. Устройство по п. 2, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно содержит средство для нелинейного преобразования элементов упомянутых выходных данных отклика, с тем, чтобы каждый упомянутый компонент величины элемента усиливался или ослаблялся в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

5. Устройство по п. 4, отличающееся тем, что упомянутое дополнительное средство является двоичным переключаемым нейронным элементом, причем упомянутые римановые плоские векторные координаты размещены вдоль линии, пересекающей комплексное начало координат римановой плоскости.

6. Устройство по п. 2, отличающееся тем, что упомянутое средство запоминания и обработки сигналов, которое выдает последовательно подаваемые входные данные возбудителя и упомянутые данные отклика, служит также для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

7. Устройство по п. 6, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания и для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

8. Устройство по п. 2, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

9. Устройство по любому из пп. 1-8, отличающееся тем, что упомянутое средство запоминания и обработки сигналов предназначено для преобразования упомянутых наборов значений данных в комбинациях возбудитель-отклик из элементов в действительных числах в фазовые ориентации упомянутого соответствующего, семантически сопоставимого корреляционного набора значащих элементов риманового пространства, имеющих распределение в пределах от 0 до 2 , в соответствии с общим отображением



где S_k представляет собой значение данных комбинации в действительных числах;

_k представляет собой присвоенное значение доверительности для Sk;

_k обозначает фазовый угол риманового значения.

10. Устройство ассоциативной памяти, содержащее множество связанных между собой средствами сообщения искусственных нейронных приборов и средство запоминания и обработки сигналов, выполненное с возможностью оперативного приема и преобразования сигналов, представляющих скалярные значения данных в комбинациях возбудитель-отклик в по меньшей мере одном из упомянутых приборов, причем упомянутые значения данных содержат соответственные взаимно связанные наборы входных элементов возбудителя и отклика, и для запоминания преобразованного сигнала, представляющего то же самое в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудителя-отклика, оперативного вырабатывания и вывода сигналов эмпирически связанных откликов, генерируемых в ответ на преобразование последовательно вводимых сигналов возбудителя, содержащих представляющие возбудитель комплексные значения, через упомянутые запомненные значения риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, чтобы соответственно увеличить информационное содержание упомянутого корреляционного набора, что приводит к запомненным значениям риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинаций возбудитель-отклик, для увеличения тем самым числа входных элементов в поле возбудителя так, чтобы оно содержало по меньшей мере некоторые входные элементы возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя, а также это средство запоминания и обработки сигналов предназначено для поэлементного суммирования данных отклика, выводимых из упомянутого множества приборов, в виде векторной суммы для вырабатывания корреляционного набора с элементами, соответствующими единичным представительным значениям всех элементов возбудителя и связанного отклика каждого из упомянутого множества приборов.

11. Устройство по п. 10, отличающееся тем, что нейронные приборы скомпонованы в виде многослойной нейронной сети.

12. Устройство распознавания образов для генерирования сигнала отклика в ответ на сигнал возбудителя, содержащее средство преобразования для выработки скалярного сигнала возбудителя, средство запоминания и обработки сигналов, выполненное с возможностью оперативного приема и обработки упомянутого сигнала возбудителя и комбинирования с ним скалярного сигнала отклика и преобразования упомянутых сигналов в качестве значений данных в комбинациях возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика, оперативного запоминания преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик, и оперативной выработки и вывода эмпирически связанных сигналов данных отклика, вырабатываемых в ответ на преобразование последовательных сигналов данных возбудителя, содержащих представительные комплексные значения, с помощью упомянутых запомненных значений риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, для соответственного увеличения информационного содержания упомянутого корреляционного набора в результирующих запомненных значениях риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинации возбудитель-отклик, для увеличения тем самым числа входных элементов в поле возбудителя, чтобы оно содержало по меньшей мере некоторый входной элемент возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

13. Устройство по п. 12, отличающееся тем, что упомянутое средство запоминания и обработки сигналов предназначено принимать сигналы, представляющие наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также предназначено кодировать упомянутые представления скалярных значений в виде соответствий упомянутых элементов возбудителя и элементов отклика, каждый из которых определяется тем самым с помощью римановой плоской векторной координаты, обладающей как ориентацией фазового угла, так и величиной.

14. Устройство по п. 13, отличающееся тем, что упомянутое средство запоминания и обработки сигналов выполнено так, что входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле



где N представляет собой порядок статистики,

k(n) определяет n-ный элемент произведения статистики порядка N,

^k(n) представляет собой компонент величины для n-ного элемента произведения,

^k(n) обозначает фазовый компонент для n-ного элемента произведения,

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

15. Устройство по п. 12, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно содержит средство для нелинейного преобразования элементов упомянутых выходных данных отклика, с тем, чтобы каждый упомянутый компонент величины элемента усиливался или ослаблялся в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

16. Устройство по п. 12, отличающееся тем, что упомянутое средство запоминания и обработки сигналов, которое выдает упомянутые последовательно подаваемые входные данные возбудителя и данные отклика, служит также для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

17. Устройство по п. 16, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания, для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

18. Устройство по п. 12, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

19. Устройство по п. 14, отличающееся тем, что упомянутое средство преобразования содержит видеокамеру.

20. Устройство по п. 14, отличающееся тем, что упомянутое средство преобразования дополнительно содержит средство аудиовыхода, отвечающее на вывод данных отклика, для выработки и направления сигнала отклика на преобразователь аудиовывода, действующий в ответ на выработку связанного с комбинацией аудиоотклика, связанного с упомянутым сигналом возбудителя.

21. Устройство распознавания образов для генерирования сигнала отклика в ответ на сигнал возбудителя, содержащее средство преобразования для выработки сигнала возбудителя, средство запоминания и обработки сигналов, выполненное с возможностью оперативного приема и обработки упомянутого сигнала возбудителя и комбинирования с ним скалярного сигнала отклика и преобразования упомянутых сигналов в качестве значений данных в комбинациях возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика, оперативного запоминания преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик, и оперативной выработки и вывода эмпирически связанных сигналов данных отклика, вырабатываемых в ответ на преобразование последовательных сигналов данных возбудителя, содержащих представительные комплексные значения, с помощью упомянутых запомненных значений риманового пространства, для применения выбранного нелинейного преобразования к упомянутым выходным эмпирически связанным данным отклика, причем упомянутое средство предназначено для выборочного чередования значений коэффициента величины, связанных с этими данными нелинейным преобразованием, для того, чтобы тем самым различимо регулировать уровни доверительности для связей устройства между любыми заданными последовательно введенными данными возбудителя и любыми соответствующими выходными эмпирически связанными данными отклика.

22. Устройство по п. 21, отличающееся тем, что упомянутое средство запоминания и кодирования сигналов предназначено принимать сигналы, представляющие наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также кодировать упомянутые представления скалярных значений в виде соответствий упомянутых элементов возбудителя и элементов отклика, каждый из которых определяется тем самым с помощью римановой плоской векторной координаты, обладающей как ориентацией фазового угла, так и величиной.

23. Устройство по п. 21, отличающееся тем, что упомянутое средство запоминания и обработки сигналов, которое выдает последовательно подаваемые входные данные возбудителя и данные отклика, служит также для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

24. Устройство по п. 22, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания и для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

25. Устройство по п. 23, отличающееся тем, что упомянутое средство запоминания и обработки сигналов дополнительно предназначено для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

26. Устройство по п. 21, отличающееся тем, что упомянутое средство преобразования содержит видеокамеру.

27. Способ распознавания образов для соответственной идентификации комбинации возбудителя, включающий выработку скалярного сигнала возбудителя, направление упомянутого сигнала возбудителя на средство запоминания и обработки сигналов, и в нем: прием и обработку упомянутого сигнала возбудителя и комбинирование с ним сигнала отклика и преобразование упомянутых сигналов в значения данных комбинации возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика; запоминание преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик; и выработку и вывод эмпирически связанных сигналов данных отклика, генерируемых в ответ на преобразование последовательных входных сигналов данных возбудителя, содержащих представляющие возбудитель комплексные значения, с помощью упомянутых запомненных значений риманового пространства; при этом число наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации возрастает для соответствующего возрастания информационного содержания упомянутого корреляционного набора в результирующих запомненных значениях риманового пространства с помощью разложения упомянутых данных в комбинациях возбудитель-отклик для увеличения тем самым числа входных элементов в поле возбудителя, чтобы оно содержало по меньшей мере некоторый входной элемент возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

28. Способ по п. 27, отличающийся тем, что упомянутое средство запоминания и обработки сигналов работает для приема сигналов, представляющих наборы представлений скалярных значений, соответствующих испытанным, возбудительным и связанным откликам; и далее работает для кодирования упомянутых представлений скалярных значений в виде соответствия упомянутым элементам возбудителя и элементам отклика, каждый из которых тем самым определяется римановой плоской векторной координатой, обладающей как ориентацией фазового угла, так и величиной.

29. Способ по п. 27, отличающийся тем, что входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле:



где N представляет собой порядок статистики,

k(n) определяет n-ный элемент произведения статистики порядка N,

^k(n) представляет собой компонент величины для n-ного элемента произведения,

^k(n) обозначает фазовый компонент для n-ного элемента произведения,

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

30. Способ по п. 29, отличающийся тем, что он включает нелинейное преобразование элементов упомянутых выходных данных отклика, тем самым каждый упомянутый компонент величины элемента усиливается или ослабляется в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

31. Способ по п. 29, отличающийся тем, что упомянутые последовательно подаваемые входные данные возбудителя и упомянутые данные отклика, выдаваемые упомянутым средством запоминания и обработки сигналов, дополнительно кодируются и запоминаются в упомянутом корреляционном наборе.

32. Способ по п. 30, отличающийся тем, что он дополнительно включает обработку элементов упомянутого корреляционного набора с помощью функции переменного временного затухания для динамического чередования запомненных комбинаций связи возбудителя и отклика путем выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

33. Способ по п. 29, отличающийся тем, что упомянутое средство запоминания и обработки сигналов служит для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

34. Способ распознавания образов для соответственной идентификации комбинации возбудителя, включающий выработку скалярного сигнала возбудителя, направление упомянутого сигнала возбудителя на средство запоминания и обработки сигналов, и в нем: прием и обработку упомянутого сигнала возбудителя и комбинирование с ним сигнала отклика и преобразование упомянутых сигналов в значения данных комбинации возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика в преобразованном сигнале; запоминание преобразованного сигнала, представляющего упомянутое в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик; и выработку и вывод эмпирически связанных сигналов данных отклика, генерируемых в ответ на преобразование последовательных входных сигналов данных возбудителя, содержащих представляющие возбудитель комплексные значения, с помощью упомянутых запомненных значений риманового пространства; обеспечение средства запоминания и обработки сигналов для применения выбранного нелинейного преобразования к упомянутым выходным эмпирически связанным данным отклика, причем упомянутое средство запоминания и обработки сигналов предназначено для выборочного чередования значений коэффициента величины, связанных с этими данными нелинейным преобразованием, для того, чтобы тем самым различимо регулировать уровни доверительности для связей устройства между любыми заданными последовательно введенными данными возбудителя и любыми соответствующими выходными эмпирически связанными данными отклика.

35. Способ по п. 34, отличающийся тем, что упомянутое средство запоминания и обработки сигналов, применяющее выбранное нелинейное преобразование, действует в соответствии со следующей общей сигмоидальной формулой:



где r представляет собой отклик;

^* представляет собой компонент величины координаты отклика;

Тr устанавливает пороговый предел;

представляет собой вариативность для сигмоидальной функции.

Описание изобретения к патенту

Изобретение относится к адаптируемым системам по переработке информации и, в частности, к устройствам ассоциативной памяти, использующим конфиденциально-посреднические ассоциации, к способам распознавания образов и особенно к системам нейронных сетей, включающих в себя автоматический организационный аппарат и процессы динамических взаимоотношений любых входных данных к семантически соответствующим и одновременно обоснованным предварительно заученным откликам.

Говоря в общих словах, ассоциативная система памяти - это такая система, в которой пары информации стимул-отклик хранятся таким образом, что введение последовательности стимула результируется в генерировании ассоциативного отклика памяти. Системы памяти этого типа имеют очень широкий спектр потенциального применения, включая, например, управление логическими операциями, распознавание последовательностей и интерполяция образов.

Традиционные ассоциативные процессы, такие как те, что часто используются в применении искусственного интеллекта, зависят от точно предопределенных наборов правил, которые закладываются в ассоциативную память извне. Экспертные системы являются примерами таких традиционных архитектур. Такие экспертные системы являются парадигмами, основанными на правилах, которые управляются устройством, генерирующим выводы. Они следуют ортодоксальному подходу фон Неймана, обеспечивая детерминистическое взаимоотношение между программным обеспечением и компьютерным оборудованием, которое следует сериям заранее объявленных отношений и последовательных инструкций, сформатированных предопределенными наборами предложений типа ЕСЛИ-ТОГДА. Они существенно ограничены такими ассоциациями, чья динамическая откликаемость на меняющиеся окружающие среды или вообще любая способность создать набор откликов, соответствующих входным данным, в отсутствие навязанного набора применимых правил, специально предназначенных для реагирования на измененную или меняющуюся или, каким-либо другим образом, неизвестную среду. Более того, как с любым чисто эвристическим программированием, чем более сложно применение, чем больше число требуемых применяемых правил, тем пропорционально больше время обработки, необходимое на удовлетворение этих правил. Общепризнанно, что эти недостатки ограничивают полезность подходов, основанных на заранее установленных правилах, для ассоциативных запоминающих систем.

Нейронные сети, с другой стороны, генерируют свои собственные правила ассоциацией при помощи процесса обучения, который играет на подвергании сетей контролируемым или неконтролируемым образцам входных данных, извлеченным из статистического мира. Эти системы имеют в различных степенях некоторую способность делать обобщения об этом мире в целом, основываясь на входных образцах.

Нейронные сети являются ассоциативными системами памяти, объединяющими стратегические организации (архитектуры) обрабатывающих элементов. Индивидуально эти элементы являются аналогичными индивидуальным нейронам в биологической системе. Индивидуальные обрабатывающие элементы имеют множество входов, которые функционально аналогичны дендритным процессам нейронной клетки. Как таковые эти элементы являются "весами", основанными на текущих системных знаниях, по отношению к соответствующим входам.

Ассоциативные "веса" образуют набор данных, которые запоминаются в ассоциативной памяти системы. Для реализации нейронных сетей на базе цифровых компьютеров обычно используют численные методологии для того, чтобы осуществить желаемый ассоциативный отзыв через взвешенную сумму входных данных в среде цифровых компьютеров. Эти виртуальные сети используют преимущество коммерческой доступности современных машин фон Неймана, которые, будучи неотъемлемо детерминистическими, тем не менее могут быть использованы для кондиционирования входных сигналов в манере, которая стимулирует преимущества, присущие стохастическим архитектурам в применениях компьютерных нейронных сетей.

Ранний предшественник современных нейронных сетей, как бы ни мог он сейчас быть осуществлен, был настоящим компьютерным устройством, которое стало известно как Перцептрон. Это была система классификации последовательностей, которая могла идентифицировать как абстрактные, так и геометрические образы. Была организована координатная сетка фотоклеток получения первичного оптического стимула. Эти фотоклетки были, в свою очередь, рандомиально присоединены ко множественности элементов ассоциатора, которые выполняли функции, ассоциируемые с входным устройством того, что теперь признается как входы (или воображаемые дендритные процессы) перерабатывающего элемента нейронной сети. Когда совокупность электрических входов с клеток к ассоциатору превышала определенный порог, ассоциаторное устройство запускало осуществление отклика, которое, как это было доказано, имело серьезные принципиальные ограничения. Эти ограничения связаны с практической невозможностью системы выучить определенные известные функции, в особенности логическую функцию "XOR" Буллевой алгебры.

Для того чтобы иметь возможность выучить этот тип парной функции, устройство Перцептрон требует архитектуру многочисленных слоев взвешенных обрабатывающих элементов или альтернативно систему, имеющую от двух до N скрытых обрабатывающих элементов. Перцептрон не может надлежащим образом приспособить больше одного слоя изменяемых весов, таким образом устраняя первую альтернативу.

Альтернатива использования от двух до N скрытых обрабатывающих элементов имеет три фундаментальные проблемы:

1) должно быть от двух до N скрытых обрабатывающих элементов в системах для всех возможных функций, которые система должна будет когда-либо выучить - для дизайна системы можно только гадать об их количестве;

2) количество обрабатывающих элементов, требующихся в любой такой системе, увеличивается по экспоненте в соответствии с количеством требуемых входов, чтобы решать функции, которые могут потребоваться, и быстро достигает миллиардов;

3) экспериментально доказано, что при большом количестве скрытых обрабатывающих элементов система теряет возможность формулировать надежные обобщения.

Было ясно, что сети, имеющие такие внутренне присущие им ограничения, не могут подражать или даже приблизиться к функциям или эффективности работы человеческого мозга.

Появление парадигмов обратного распространения для установления взвешенной ассоциативной памяти для оценки нового стимула, каким он представлен на входы обрабатывающих элементов, представляет главный шаг по направлению преодоления некоторых из проблем, связанных с устройством типа Перцептрон. Например, обратное распространение включает механизм по устранению ошибок, который преодолевает по крайней мере одно из ограничений "классификации линейной разделяемости", присущее Перцептрону.

Обратное распространение исходит из допущения обработки, предполагающего, что все обрабатывающие элементы в любом данном слое сетевой архитектуры вводят ошибки в определении отклика, который исходит из этого слоя, по отношению к любому стимулу, получаемому из предшествующего слоя. Ответственность за эту ошибку затем оценивается количественно и распределяется среди взвешенности каждого из элементарных обрабатывающих входов в предыдущем слое, вплоть до и включая входы сети. Этот учебный процесс является принципиально медленным, поскольку требуется несколько итераций обратного распространения, прежде чем будет достигнуто желаемое уменьшение уровня ошибок (то есть произойдет "растворение" информационной ошибки).

Современные, наиболее совершенные нейронные сети могут быть, в общем, классифицированы как градиентно убывающие модели, в которых данные сети хранятся в виде "весов" способом, описанным выше.

В работе эти сети функционируют при помощи взвешенных скалярных входных значений, просуммированных обрабатывающими элементами, а затем нормализованными для того, чтобы поддерживать некоторую стабильность в распределении генерированных выходных значений откликов. Обычно нормализация связана с установлением порога или шкалирования продукта суммирования. Для этой цели обычно используются вариации сигмоидной функции.

Некоторые примеры таких последующих развитий в технологии нейронных сетей следовали моделям, предикатированным на естественных биологических системах. Одним из хорошо известных примеров было создание так называемой "Сети Хопфильда" в начале 1980-х годов.

Модель Хопфильда была среди первых, которая ясно представляла нейронные операции в виде специфических пороговых операций и иллюстрировала память как информацию, хранимую в виде взаимосвязей между обрабатывающими элементами, которые рассматривались в виде функции минимума энергии.

Одним примером градиентно убывающей сети является матричная алгебра, основанная на ассоциативной модели памяти, которая описана в работе "Neural Networks and Physical Systems with Emergent Collective Computational Abilities", JJ. Hopfield, Proc. Narl. Academy of Science, U.S.A. 1982, vol.79, pp.2554-2558. Эта модель использует обратную связь и установление нелинейных порогов для того, чтобы заставить выходную последовательность быть запомненной последовательностью, которая наиболее близко соответствует входной последовательности. Главным недостатком этой модели является необходимость в большом объеме памяти и вычислительных усилий, которые принципиально необходимы для манипуляции ассоциативной матричной памятью, используемой в этой модели. В сущности это является частным случаем более общего свойства сетей Когана-Гроссберга, в которых обрабатывающие элементы брали любое действительное активационное значение, производимое выходной сигмоидной пороговой функцией, колеблющейся между минимальным и максимальным значениями для того, чтобы определить это активационное значение обрабатывающего элемента. Было установлено, что отклик на любой внешний стимул, приложенный к одной из этих сетей, сходится к равновесию по энергии функции Ляпунова.

По мере непрерывного совершенствования технологии нейронных сетей последние были еще более усовершенствованы различными многослойными архитектурами.

Взвешивание входов обрабатывающих элементов через нормализацию и конкуренцию продолжалось для того, чтобы исправить некоторые из недостатков, которые несмотря на это продолжали быть присущими нейронным сетям.

Как это видно из примера и в дополнение ко всем другим недостаткам, указанным выше, все эти сети продолжают страдать от принципиально присущей им формы сокращения входной информации, что является частью наследства архитектуры фон Неймана. Как и с любой системой, информационные потери приводят к увеличению уровня ошибок, а исправление ошибок, в свою очередь, приводит к увеличению времени обработки (как времени обучения, так и времени отклика), будучи зависимым от большого количества вычислительных и образцовых итераций (в надежде на "растворение" ошибок путем увеличения размера образца) с соответствующим увеличением требуемого размера памяти.

Более того, такое исправление может в лучшем случае только уменьшить ошибку, которая является собственно введенной режимом градиентного отклика. Это невозможно полностью устранить. Соответственно в то время как в градиентно убывающих сетях нормализация является существенно необходимой, она также приводит к побочной деградации информационного значения входных данных. Необходимо заметить также, что осуществляемое обобщение, основанное на искаженном восприятии, которое может следовать из потери информации, ограничивает надежность применения таких сетей к линейно неразделимым стимулам.

Хорошим примером такого рода проблемы исправления является архитектура связующей нейронной сети, описываемая иногда как машина Больцмана, которая использует парадигму обратного распространения. Этот вид машины предназначен для того, чтобы иметь дело с тем, что один автор назвал "вычислительной гангреной".

Эта проблема является явной в любом детерминистическом подходе, применяемом для решения проблем, поскольку ошибочное решение на детерминистическом пути может воспрепятствовать любой возможности последующего исправления, таким образом навсегда отрезая правильный интерпретационный путь, ведущий к правильному или по крайней мере оптимальному решению. В то время как нейронные сети в целом продвинулись на некоторое расстояние в попытке уменьшить эту проблему, она продолжает существовать.

Машины Больцмана являются связующими машинами, ищущими равновесие, в котором обрабатывающие элементы демонстрируют двоичное поведение (включено-выключено) в отклике на входные стимулы. Отклик такого обрабатывающего элемента при любых данных обстоятельствах определен как взвешенными сигналами, прошедшими через соседние обрабатывающие элементы, так и вероятностным сигналом, таким образом трактуя отклик стохастически. Поведение такой машины может быть описано в терминах термодинамических уравнений Больцмана, которые, хотя и допускают, что состояние отклика индивидуальных обрабатывающих частей не может быть предсказано, в целом, делают разрешимым устойчивый отклик. Тем временем внутренняя "случайность" индивидуальных обрабатывающих элементарных откликовых состояний, которые участвуют в создании "прямого неслучайного" отклика машин Больцмана, может помочь сети избежать затора в "местно привлекательных", но "глобально неоптимальных" решениях, тем самым обходя некоторый риск вычислительной гангрены, которая возникает в строго детерминистических машинах фон Неймана.

Было замечено, однако, что в то время как машины Больцмана имеют более высокую вероятность достижения лучших решений, чем это возможно с архитектурами фон Неймана, существование "шума" в проблемах реальной жизни представляет собой проблему. Теоретически машина Больцмана по необходимости находит оптимальное решение любому количеству специфических классификационных проблем при условии, что имеется неограниченное время для этой цели. Однако существование проблем реального времени редко допускает возможность пользоваться упражнениями затянутого решения проблемы в течение сколько-нибудь значительного времени, и неспособность машин Больцмана надежно решать проблемы в течение разумного времени принципиально ограничивает их полезность.

Соответственно остается нужда в искусстве альтернатив современным нейронным системам.

Задача настоящего изобретения заключается в разработке свободных от указанных недостатков устройств ассоциативной памяти и способов распознавания образов.

Согласно изобретению эта задача решается с помощью устройства ассоциативной памяти, содержащего средство запоминания и обработки сигналов, являющегося искусственным нейронным прибором и выполненного с возможностью оперативного приема и преобразования сигналов, представляющих скалярные значения данных в комбинациях возбудитель-отклик, содержащих соответственные взаимно связанные наборы входных элементов возбудителя и отклика, и для запоминания преобразованного сигнала, представляющего то же самое в виде соответствующего корреляционного набора значений риманового пространства как минимум одной испытанной комбинации возбудитель-отклик, оперативной выработки и выведения эмпирически связанных сигналов отклика, генерированных в ответ на преобразование последовательно вводимых сигналов возбудителя, содержащих комплексные значения представления возбудителя, с помощью упомянутого набора запомненных значений риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, чтобы соответственно увеличить информационное содержание упомянутого корреляционного набора, что приводит к запомненным значениям риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинаций возбудитель-отклик для увеличения тем самым числа входных элементов в поле возбудителя так, чтобы оно содержало по меньшей мере некоторые входные элементы возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

В предпочтительном варианте выполнения упомянутое средство запоминания и обработки сигналов предназначено для приема сигналов, представляющих наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также для кодирования упомянутых представлений скалярных значений в виде соответствия упомянутым элементам возбудителя и элементам отклика, каждый из которых тем самым определяется римановой плоской векторной координатой, обладающей как ориентацией фазового угла, так и величиной.

При этом входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле:



где N представляет собой порядок статистики,

k(n) определяет n-ный элемент произведения статистики порядка N,

^k(n) представляет собой компонент величины для n-ного элемента произведения,

^k(n) обозначает фазовый компонент для n-ного элемента произведения,

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

В соответствии с изобретением упомянутое средство запоминания и обработки сигналов может дополнительно содержать средство для нелинейного преобразования элементов упомянутых выходных данных отклика, с тем чтобы каждый упомянутый компонент величины элемента усиливался или ослаблялся в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

Следует отметить, что упомянутое дополнительное средство является двоичным переключаемым нейронным элементом, причем упомянутые римановы плоские векторные координаты размещены вдоль линии, пересекающей комплексное начало координат римановой плоскости.

Предпочтительно, чтобы упомянутое средство запоминания и обработки сигналов, которое выдает последовательно подаваемые входные данные возбудителя и упомянутые данные отклика, могло служить также для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

Упомянутое средство запоминания и обработки сигналов дополнительно может быть предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания и для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

В соответствии с изобретением упомянутое средство запоминания и обработки сигналов дополнительно может быть предназначено также для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

В предпочтительном выполнении упомянутое средство запоминания и обработки сигналов служит для преобразования упомянутых наборов значений данных в комбинациях возбудитель-отклик из элементов в действительных числах в фазовые ориентации упомянутого соответствующего семантически сопоставимого корреляционного набора значащих элементов риманового пространства, имеющих распределение в пределах от 0 до 2 в соответствии с общим отображением:



где S_k - представляет собой значение данных комбинации в действительных числах,

_k представляет собой присвоенное значение доверительности для Sk,

_k обозначает фазовый угол риманового значения.

Задача решается также с помощью устройства ассоциативной памяти, содержащего множество связанных между собой средствами сообщения искусственных нейронных приборов и средство запоминания и обработки сигналов: выполненного с возможностью оперативного приема и преобразования сигналов, представляющих скалярные значения данных в комбинациях возбудитель-отклик в по меньшей мере одном из упомянутых приборов, причем упомянутые значения данных содержат соответственные взаимно связанные наборы входных элементов возбудителя и отклика, и для запоминания преобразованного сигнала, представляющего то же самое в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудителя-отклика, оперативного вырабатывания и вывода сигналов эмпирически связанных откликов, генерируемых в ответ на преобразование последовательно вводимых сигналов возбудителя, содержащих представляющие возбудитель комплексные значения, через упомянутые запомненные значения риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, чтобы соответственно увеличить информационное содержание упомянутого корреляционного набора, что приводит к запомненным значениям риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинаций возбудитель-отклик, для увеличения тем самым числа входных элементов в поле возбудителя так, чтобы оно содержало по меньшей мере некоторые входные элементы возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя, а также это средство запоминания и обработки сигналов предназначено для поэлементного суммирования данных отклика, выводимых из упомянутого множества приборов, в виде векторной суммы для вырабатывания корреляционного набора с элементами, соответствующими единичным представительным значениям всех элементов возбудителя и связанного отклика каждого из упомянутого множества приборов.

Предпочтительно нейронные приборы скомпоновать в виде многослойной нейронной сети.

Задача решается также с помощью устройства распознавания образов для генерирования сигнала отклика в ответ на сигнал возбудителя, содержащего: средство преобразования для выработки скалярного сигнала возбудителя, средство запоминания и обработки сигналов, выполненное с возможностью оперативного приема и обработки упомянутого сигнала возбудителя и комбинирования с ним скалярного сигнала отклика и преобразования упомянутых сигналов в качестве значений данных в комбинациях возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика, оперативного запоминания преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик, и оперативной выработки и вывода эмпирически связанных сигналов данных отклика, вырабатываемых в ответ на преобразование последовательных сигналов данных возбудителя, содержащих представительные комплексные значения, с помощью упомянутых запомненных значений риманового пространства для увеличения числа наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации, для соответственного увеличения информационного содержания упомянутого корреляционного набора в результирующих запомненных значениях риманового пространства, с помощью разложения комбинаторного произведения упомянутых данных комбинации возбудитель-отклик, для увеличения тем самым числа входных элементов в поле возбудителя, чтобы оно содержало по меньшей мере некоторый входной элемент возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

В этом случае предпочтительно, чтобы упомянутое средство запоминания и обработки сигналов было предназначено принимать сигналы, представляющие наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также предназначено кодировать упомянутые представления скалярных значений в виде соответствий упомянутых элементов возбудителя и элементов отклика, каждый из которых определяется тем самым с помощью римановой плоской векторной координаты, обладающей как ориентацией фазового угла, так и величиной.

При этом упомянутое средство запоминания и обработки сигналов целесообразно выполнить так, что входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле:



где N представляет собой порядок статистики,

k(n) определяет n-ный элемент произведения статистики порядка N,

^k(n) представляет собой компонент величины для n-ного элемента произведения,

^k(n) обозначает фазовый компонент для n-ного элемента произведения,

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

Предпочтительно упомянутое средство запоминания и обработки сигналов дополнительно снабдить средством для нелинейного преобразования элементов упомянутых выходных данных отклика, с тем чтобы каждый упомянутый компонент величины элемента усиливался или ослаблялся в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

Следует также отметить, что упомянутое средство запоминания и обработки сигналов, которое выдает упомянутые последовательно подаваемые входные данные возбудителя и данные отклика, служит и для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

Причем упомянутое средство запоминания и обработки сигналов дополнительно может быть предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания, для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

Кроме того, упомянутое средство запоминания и обработки сигналов дополнительно может быть предназначено также для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

В этом случае упомянутое средство преобразования целесообразно снабдить видеокамерой.

Это средство преобразования может дополнительно содержать также средство аудиовыхода, отвечающее на вывод данных отклика, для выработки и направления сигнала отклика на преобразователь аудиовывода, действующий в ответ на выработку связанного с комбинацией аудиоотклика, связанного с упомянутым сигналом возбудителя.

Задача решается также с помощью устройства распознавания образов для генерирования сигнала отклика в ответ на сигнал возбудителя, содержащего: средство преобразования для выработки сигнала возбудителя, средство запоминания и обработки сигналов, выполненное с возможностью оперативного приема и обработки упомянутого сигнала возбудителя и комбинирования с ним скалярного сигнала отклика и преобразования упомянутых сигналов в качестве значений данных в комбинациях возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика, оперативного запоминания преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик, и оперативной выработки и вывода эмпирически связанных сигналов данных отклика, вырабатываемых в ответ на преобразование последовательных сигналов данных возбудителя, содержащих представительные комплексные значения, с помощью упомянутых запомненных значений риманового пространства, для применения выбранного нелинейного преобразования к упомянутым выходным эмпирически связанным данным отклика, причем упомянутое средство предназначено для выборочного чередования значений коэффициента величины, связанных с этими данными нелинейным преобразованием, для того чтобы тем самым различимо регулировать уровни доверительности для связей устройства между любыми заданными последовательно введенными данными возбудителя и любыми соответствующими выходными эмпирически связанными данными отклика.

В этом случае упомянутое средство запоминания и кодирования сигналов может быть предназначено принимать сигналы, представляющие наборы представлений скалярных значений, соответствующих эмпирическим, возбудительным и связанным откликам, а также кодировать упомянутые представления скалярных значений в виде соответствий упомянутых элементов возбудителя и элементов отклика, каждый из которых определяется тем самым с помощью римановой плоской векторной координаты, обладающей как ориентацией фазового угла, так и величиной.

Одновременно упомянутое средство запоминания и обработки сигналов, которое выдает последовательно подаваемые входные данные возбудителя и данные отклика, может служить также для их дополнительного кодирования и запоминания в упомянутом корреляционном наборе.

Упомянутое средство запоминания и обработки сигналов может быть дополнительно предназначено для динамического чередования запомненных комбинаций связи возбудителя и отклика с помощью функции переменного временного затухания и для выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

Кроме того, упомянутое средство запоминания и обработки сигналов дополнительно предназначено для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

Упомянутое средство преобразования может содержать видеокамеру.

Задача решается также с помощью предложенного способа распознавания образов для соответственной идентификации комбинации возбудителя, включающего: выработку скалярного сигнала возбудителя, направление упомянутого сигнала возбудителя на средство запоминания и обработки сигналов, и в нем: прием и обработку упомянутого сигнала возбудителя и комбинирование с ним сигнала отклика и преобразование упомянутых сигналов в значения данных комбинации возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика; запоминание преобразованного сигнала, представляющего упомянутые значения данных в комбинациях возбудитель-отклик в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик; и выработку и вывод эмпирически связанных сигналов данных отклика, генерируемых в ответ на преобразование последовательных входных сигналов данных возбудителя, содержащих представляющие возбудитель комплексные значения, с помощью упомянутых запомненных значений риманового пространства; при этом число наборов данных в комбинациях возбудитель-отклик для упомянутой по меньшей мере одной испытанной комбинации возрастает для соответствующего возрастания информационного содержания упомянутого корреляционного набора в результирующих запомненных значениях риманового пространства с помощью разложения упомянутых данных в комбинациях возбудитель-отклик для увеличения тем самым числа входных элементов в поле возбудителя, чтобы оно содержало по меньшей мере некоторый входной элемент возбудителя с порядком более 1 из набора, состоящего из единичных комбинаторных комплексных произведений упомянутых входных элементов возбудителя.

Упомянутое средство запоминания и обработки сигналов в соответствии с изобретением работает для приема сигналов, представляющих наборы представлений скалярных значений, соответствующих испытанным, возбудительным и связанным откликам; и далее работает для кодирования упомянутых представлений скалярных значений в виде соответствия упомянутым элементам возбудителя и элементам отклика, каждый из которых тем самым определяется римановой плоской векторной координатой, обладающей как ориентацией фазового угла, так и величиной.

При этом входные элементы в поле возбудителя разлагаются в комплексное произведение или статистику более высокого порядка по следующей общей формуле:



где N представляет собой порядок статистики,

k(n) определяет n-ный элемент произведения статистики порядка N,

^k(n) представляет собой компонент величины для n-ного элемента

произведения,

^k(n) обозначает фазовый компонент для n-ного элемента произведения,

f(n) обозначает операцию формирования конъюнкции комплексного полярного вектора в виде любой функции от n.

Способ согласно изобретению включает нелинейное преобразование элементов упомянутых выходных данных отклика, тем самым каждый упомянутый компонент величины элемента усиливается или ослабляется в соответствии с тем, больше он или меньше, чем заданное пороговое значение связи комбинаций.

Нужно также отметить, что упомянутые последовательно подаваемые входные данные возбудителя и упомянутые данные отклика, выдаваемые упомянутым средством запоминания и обработки сигналов, дополнительно кодируются и запоминаются в упомянутом корреляционном наборе.

Способ согласно изобретению дополнительно также включает обработку элементов упомянутого корреляционного набора с помощью функции переменного временного затухания для динамического чередования запомненных комбинаций связи возбудителя и отклика путем выборочного уменьшения величины упомянутых элементов в упомянутом корреляционном наборе обратно пропорционально количеству времени, прошедшему с того момента, как соответствующие выбранные из упомянутых элементов были запомнены в упомянутом корреляционном наборе.

Упомянутое средство запоминания и обработки сигналов служит также для выполнения заданного векторного преобразования на выбранных поднаборах упомянутых соответствующих взаимно связанных наборов входных элементов возбудителя и отклика для увеличения симметричного распределения среди элементов упомянутого корреляционного набора.

Задача решается также с помощью предложенного способа распознавания образов для соответственной идентификации комбинации возбудителя, включающего: выработку скалярного сигнала возбудителя, направление упомянутого сигнала возбудителя на средство запоминания и обработки сигналов, и в нем: прием и обработку упомянутого сигнала возбудителя и комбинирование с ним сигнала отклика и преобразование упомянутых сигналов в значения данных комбинации возбудитель-отклик, содержащие соответственные взаимно связанные наборы входных элементов возбудителя и отклика в преобразованном сигнале; запоминание преобразованного сигнала, представляющего упомянутое в виде соответствующего корреляционного набора значений риманового пространства по меньшей мере одной испытанной комбинации возбудитель-отклик; и выработку и вывод эмпирически связанных сигналов данных отклика, генерируемых в ответ на преобразование последовательных входных сигналов данных возбудителя, содержащих представляющие возбудитель комплексные значения, с помощью упомянутых запомненных значений риманового пространства; обеспечение средства запоминания и обработки сигналов для применения выбранного нелинейного преобразования к упомянутым выходным эмпирически связанным данным отклика, причем упомянутое средство запоминания и обработки сигналов предназначено для выборочного чередования значений коэффициента величины, связанных с этими данными нелинейным преобразованием для того, чтобы тем самым различимо регулировать уровни доверительности для связей устройства между любыми заданными последовательно введенными данными возбудителя и любыми соответствующими выходными эмпирически связанными данными отклика.

При этом упомянутое средство запоминания и обработки сигналов, применяющее выбранное нелинейное преобразование, действует в соответствии со следующей общей сигмоидальной формулой:



где r представляет собой отклик;

^* представляет собой компонент величины координаты отклика;

Тr устанавливает пороговый предел;

представляет собой вариативность для сигмоидальной функции.

Преимущества и операционные характеристики, реализованные минимально по крайней мере предпочтительными вышеизложенными воплощениями изобретения, приводятся ниже.

1) Этот метод формирует несвязующую модель, в которой существует способность накладывать множество наборов независимых последовательностей стимулов-откликов и очень сложные ассоциации внутри индивидуальной нейронной клетки. Другими словами, последовательности множества стимулов-откликов могут быть наложены на то же устройство памяти, таким образом создавая плотности информационной памяти намного больше, чем позволяют современные и конвенциональные устройства или методы.

2) Голографический нейронный процесс осуществляет декодирование, ассоциированное с данным стимулом, когда нейронное устройство стимулировано указанным стимулом. Его преимущество заключается в том, что как функции кодирования (учебы), так и декодирования (выражения) выполняются одной неитеративной трансформацией. Во-вторых, вследствие применения метода, при котором информация наложена на то же самое устройство памяти внутри нейронного устройства, декодирующая трансформация, выполненная на любом нейронном элементе, трансформирует входной стимул одновременно через все ассоциации стимула-отклика, хранимые в абстрактной форме внутри указанного нейронного элемента. Свойства кодирующей/декодирующей трансформации действуют в совершенно детерминистической манере в противоположность ранним методам градиентного убывания, которые принципиально недетерминистические.

3) Голографическое нейронное устройство является общей формой и может быть применено в общем виде для осуществления кодирования и декодирования существенно любой формы последовательности стимула-отклика или ассоциации. Например, последовательность стимула-отклика может представлять любую форму чувствительной модальности, физического параметра, абстрактного представления или дифференциальной/интегральной функции предыдущего. Голографическое нейронное устройство осуществляет декодирование в общем виде путем представления указанного нейронного устройства множеству наборов последовательностей стимулов-откликов.

Подобно этому декодирование осуществляется в общем виде путем прикладывания голографического нейронного устройства ко входной последовательности, подобной стимулу, ассоциированному с предварительно закодированной последовательностью стимула-отклика, вследствие чего указанное нейронное устройство реагирует генерацией ассоциированного отклика.

4) Голографический нейронный процесс может быть описан как оперирующий в режиме состояния разметки пространства (концептуально подобно представлениям состояния пространства, как это описывается конвенциональной теорией управления). В частности, многозначный входной набор или входной стимул привязан к однозначному состоянию выходного отклика, однако в пределах риманова или фазового пространства. Как указано ранее, это состояние разметки пространства для каждой ассоциации стимула-отклика заучено в одной трансформации. Характеристики риманова множества, внутри которого эта разметка происходит, существенно раскрывают высокую степень генерализации разметочного процесса. Другими словами, выученная последовательность стимула, которая была сильно искажена или которая только частично была представлена нейронному элементу, будет существенно ассоциирована с выученным откликом с минимальной ошибкой.

5) Как следует из свойств, указанных в пунктах 1 и 4 выше, голографический нейронный элемент имеет широкую мощную способность к ассоциации.

Эти ассоциации извлечены из последовательностей стимулов-откликов, представляющих различные формы интенсивностей внешних полей, которые могут, в свою очередь, быть извлечены из любой формы чувствительной модальности или из этой дифференциальной/интегральной функции. Можно сделать такое сравнение, что нейронный элемент работает как адресуемая по содержанию память. Указанная адресуемая по содержанию система действует таким образом, что память выученного отклика выражена путем адресации нейрона ассоциированным входным стимулом. Внутри многоуровневой многонейронной системы эта способность будет разрешать ассоциациям распространяться вдоль по сети или итерировать по линии обратной связи. Ассоциации могут распространяться вдоль нейронного пути, раздваиваясь и воссоединяясь в любую примитивную или высококомплексную комбинацию, зависящую от закодированных ассоциаций и нейронной взаимосвязанной конфигурации.

6) Этот голографический нейронный процесс прямо следует правилу ненарушения. Это означает, что предварительно выученные ассоциации стимулов-откликов подвергаются минимальному влиянию последующего обучения или кодирования. Это свойство является отличным от большинства моделей градиентного убывания, которые требуют, чтобы весь тренировочный набор был представлен в течение операций заучивания или кодирования.

Свойство ненарушения голографического процесса разрешает заучиванию и выражению ассоциаций стимула-отклика быть попеременно разбросанными или действовать в любом последовательном порядке или приоритете.

7) По выражению, указанный голографический процесс генерирует вектор отклика, содержащий как фазовый угол относительного значения заученной информации в пределах аналогового диапазона, так и амплитуду. Эта амплитуда статистически пропорциональна степени распознавания для последовательности стимула. Она обеспечивает очень важный компонент в генерированном отклике, обеспечивая меру уверенности в распознавании. Нелинейная операция может быть выполнена на амплитуде генерированного отклика, разрешая нейронному элементу функционировать в качестве дискриминатора распознавания относительно определенного порога. Это операционное свойство существенно увеличивает возможность нейронной системы в том, что нейронный элемент действует как сложный ключ, включая выходной отклик (генерируя объединение или большое значение), когда ассоциированный стимул выражает высокую степень распознавания. Подобно этому генерированный отклик для нейронного элемента выключается (генерирует величину выхода, равную нулю), когда он приложен к незаученному или нераспознанному стимулу.

В многослойной сети или сети с обратной связью эта дискриминационная способность будет разрешать только заученным стимуляционным схемам генерировать отклики, которые, в свою очередь, распространяются через последующие слои внутри нейронной системы. Способность принципиально выполнять переключение логики на распознанной последовательности стимула позволяет нейрону действовать параллельно в пределах как аналоговой (фазовая информация), так и логической (высокое/низкое значение) структурах.

8) Указанные последовательности стимула-отклика не ограничены двоичными значениями и не ограничены любым базовым системным представлением на преобразовательной шкале (например, логарифмической). Указанное голографическое нейронное устройство разрешает кодирование и декодирование указанных последовательностей стимула-отклика, чьи элементы являются непрерывными переменными в пределах любого определенного диапазона аналоговых значений.

9) Это голографическое нейронное устройство может быть модифицировано для того, чтобы позволить кодирование и декодирование большого количества наборов указанных последовательностей стимула-отклика в качестве ассоциированных с любого размера полем стимула. Размер указанного поля стимула определен количеством различных элементов (элементов информации) в пределах указанного поля стимула. Увеличение емкости памяти для ассоциаций стимул-отклик внутри голографического нейронного устройства может быть выполнено путем генерирования статистик более высокого порядка, используя определенные средства предварительной обработки входных стимульных данных.

10) Указанный выходной отклик, описанный в подпараграфе 7 выше, содержит детерминистическую "ошибку" переменного значения. Эта детерминистическая "ошибка" характеризует расплывчатый фактор или вклад внутри генерированного выходного отклика. Вероятностные вариации указанной детерминистической "ошибки" в выходном отклике являются существенно малыми по величине для того, чтобы позволить большим наборам ассоциаций стимулов-откликов быть закодированным или наложенным на указанное голографическое нейронное устройство.

11) Эффективность голографического нейронного процесса представлена отношением количества элементов данных памяти в указанном голографическом нейронном устройстве к количеству информации в форме ассоциаций стимул-отклик, которые могут быть закодированы в абстрактной математической форме. Характеристики указанного устройства таковы, что эффективность памяти последовательности стимул-отклик пропорциональна количеству дискретных информационных элементов в поле стимула. Таким образом, количество независимых ассоциаций стимул-отклик, которые могут быть закодированы, прямо пропорционально количеству дискретных элементов в поле стимула.

12) Этот процесс имеет способность прямо устанавливать доминирующий профиль во времени для заученных ассоциаций стимул-отклик, таким образом демонстрируя профиль памяти, расширяющийся в любом диапазоне от непосредственного короткого условия до постоянной памяти.

Характеристики указанного голографического нейронного процесса высоко изотермичны как по отношению к структурным, так и по отношению к операционным характеристикам нейробиологической системы. Информация представлена в абстрактной форме двумерным или комплексным вектором и может быть транслирована непосредственно в импульс, модулированный формой волны, несущей частоту и амплитуду. Эта форма волны является общей характеристикой электромеханических импульсов, которые, как предполагается, передают информацию между нейронными клетками. Указанное голографическое нейронное устройство хранит информацию в виде, аналогичном известным гипотезам Хебба. Гипотезы Хебба определяют общепринятый информационный механизм памяти биологического нейрона. Обрабатывающие элементы в голографическом нейронном устройстве передают входной стимул в сигмоидальное отношение так же, как это делают определенные классы биологических нейронов (нейроны сетчатки глаза). Указанное устройство обрабатывает информацию в форме отношений стимул-отклик и кодирует или заучивает отношения стимул-отклик путем экспозиции этим ассоциациям, как это делает нейробиологическая система. Указанное нейронное устройство выдает немедленный выходной отклик (единственный трансформационный неитеративный механизм) под воздействием стимуляции входным стимулом, как это делает нейробиологическая система.

Указанное нейронное устройство демонстрирует характеристики нечеткой памяти или нечеткой логики. Указанное устройство имеет способности хранить, распознавать и издавать закодированный или заученный отклик на широкие наборы ассоциаций стимул-отклик так, как это делает нейробиологическая система. Указанное устройство включает в себя способность создавать профиль памяти, как это делает нейрологическая система.

Один аспект этого изобретения относится к искусственному нейронному устройству, которое состоит из следующего:

а) средства запоминания и обработки данных в абстрактной форме представления последовательностей стимула-отклика;

б) устройства для кодирования данных в указанное средство запоминания и обработки данных путем передачи элементов ассоциированных последовательностей стимула и отклика в комплексных числах или векторах вместе с ассоциированной информацией, представленной вектором фазового угла или вектором ориентации и компонентом амплитуды, и генерированием матрицы, чьи элементы являются комплексными числами или векторами, кодирующими указанные множественные последовательности стимула-отклика таким образом, что каждая из указанных последовательностей наложена на указанное средство запоминания;

в) указанного средства, декодирующего отклик, ассоциированный с закодированной последовательностью стимула-отклика, когда указанная матрица, закодированная в указанном средстве запоминания данных, стимулирована указанным сигналом стимула.

Другим аспектом этого изобретения является метод улучшения запоминающей и обрабатывающей способностей искусственного нейронного устройства, состоящий из следующих шагов.

а) Кодирование данных путем передачи наборов ассоциированных сигналов стимула-отклика в комплексные числа, представленные вектором фазового угла и амплитуды.

б) Генерирование матрицы, представляющей последовательности стимула-отклика для каждого набора ассоциированных сигналов стимула-отклика таким образом, что каждый из указанных стимулов-откликов наложен на средство запоминания и обработки данных.

в) Декодирование сигналов отклика, ассоциированного с сигналом стимула, путем приложения указанного сигнала стимула к указанным последовательностям стимула-отклика, закодированным в указанном средстве запоминания данных для того, чтобы генерировать указанный сигнал отклика, ассоциированный с указанным сигналом стимула.

Другой аспект этого изобретения относится к устройству распознавания последовательностей для генерирования сигнала отклика в ответ на сигнал стимула, которое состоит из следующего:

а) устройства для считывания или введения сигнала стимула;

б) устройства для передачи элементов указанного сигнала стимула в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазового угла или вектором ориентации и амплитудой компонента;

в) устройства для хранения и перевода сигналов стимула.

г) устройства для перевода элементов указанного сигнала отклика в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазовых углов или вектором ориентации и амплитудой компонента;

д) устройства для хранения указанных переведенных сигналов отклика;

е) устройства для генерирования и хранения матрицы, представляющей последовательности стимула-отклика для каждого набора переведенных ассоциированных сигналов стимула и отклика, таким образом накладывающего каждую последовательность стимула-отклика на указанное средство запоминания;

ж) устройства для генерирования сигнала отклика, когда указанный компонент для хранения указанной матрицы и выполнения декодирующей трансформации стимулирован указанным сигналом стимула, ассоциированного с указанным сигналом отклика.

Еще одним аспектом этого изобретения является метод улучшения распознавания в искусственном нейронном устройстве, состоящий из следующих шагов:

а) производство сигнала стимула;

б) преобразование указанного сигнала стимула обрабатывающим компонентом в комплексные числа, представленные вектором фазового угла и амплитуды;

в) хранение указанного преобразованного сигнала стимулов в запоминающем компоненте, генерируя сигнал отклика, ассоциированный с сигналом стимула, указанным обрабатывающим элементом в комплексные числа, представленные вектором фазового угла и амплитуды;

г) передача указанных сигналов отклика указанным обрабатывающим средством и хранение указанных переданных сигналов отклика в указанном средстве запоминания;

д) генерирование матрицы, представляющей последовательность стимула-отклика для каждого набора ассоциированных сигналов стимула и отклика, и хранение каждой указанной последовательности стимула-отклика в указанном средстве запоминания;

е) генерирование сигнала отклика, когда указанная матрица последовательностей стимула-отклика стимулирована указанным сигналом стимула, ассоциированного с указанным сигналом отклика.

Другой аспект этого изобретения относится к устройству распознавания зрительных образов для генерирования сигнала инспекционного отклика в ответ на сигнал визуального стимула, состоящему из следующего:

а) устройства входного визуального поля или камеры для генерирования сигнала стимула, когда последнее оперативно активировано;

б) средства запоминания для хранения данных;

в) устройства для преобразования элементов указанного сигнала визуального стимула в комплексные числа с ассоциированной информацией, представленной вектором фазовых углов и амплитудными компонентами, и хранения указанных преобразованных визуальных стимулов в указанном средстве запоминания;

г) устройства для считывания или введения инспекционного сигнала отклика, ассоциированного с сигналом визуального стимула;

д) устройства для преобразования указанных инспекционных сигналов отклика в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазовых углов и амплитудными компонентами, и хранения указанных преобразованных сигналов характерного слова отклика в указанном средстве запоминания;

е) обрабатывающего устройства, способного осуществлять трансформации для генерирования матрицы, представляющей последовательности стимула-отклика для каждого набора ассоциированных визуальных стимулов и инспекционных сигналов отклика и накладывающей каждую указанную последовательность на указанное средство запоминания;

ж) обрабатывающего устройства, способного выполнять трансформации для того, чтобы генерировать сигнал отклика, когда указанное обрабатывающее устройство, имеющее дело с матрицей последовательностей стимула-отклика, стимулировано указанным сигналом визуального стимула, ассоциированного с указанным сигналом инспекционного отклика;

з) устройства для трансформации указанного сигнала отклика, представленного комплексными числами или векторами в инспекционных выходных данных.

Еще один аспект этого изобретения - это метод генерирования инспекционного отклика искусственным нейронным устройством в ответ на визуальный сигнал стимула, состоящий из следующих шагов:

а) производство сигнала визуального стимула при помощи видеокамеры;

б) преобразование указанного сигнала визуального стимула в комплексные числа, представленные вектором фазового угла и амплитуды, и запоминание указанного преобразованного сигнала визуального стимула в запоминающем средстве;

в) устройство для генерирования сигнала инспекционного отклика, ассоциированного с указанным сигналом визуального стимула;

г) устройство для преобразования указанного сигнала инспекционного отклика в комплексные числа, представленные вектором фазового угла и амплитуды, и запоминание указанного преобразованного сигнала визуального стимула в запоминающем средстве;

д) устройство для генерирования и хранения матрицы, представляющей последовательность стимула отклика для каждого набора сигналов визуального стимула и сигналов инспекционного отклика, и хранение указанных последовательностей стимула отклика в указанном запоминающем средстве;

е) генерирование инспекционного отклика, когда указанная матрица последовательностей стимула отклика является стимулированной указанным сигналом визуального стимула, ассоциированного с указанным сигналом инспекционного отклика.

Другой аспект этого изобретения относится к устройству распознавания речи, которое генерирует выходной сигнал, кодируя характерные слова или римские цифры в ответ на сигнал произнесенного слухового стимула, которое состоит из следующего:

а) устройства слухового ввода или микрофона для генерирования сигнала слухового стимула, когда он оперативно активирован;

б) средства запоминания для хранения данных;

в) устройства для преобразования указанного сигнала слухового стимула в комплексные числа с ассоциированной информацией, представленной вектором фазовых углов и компонентов амплитуды, и хранения указанных преобразованных сигналов визуального стимула в указанном запоминающем средстве;

г) устройства для считывания или ввода сигнала отклика характерного слова, ассоциированного с сигналом слухового стимула;

д) устройства для преобразования указанных сигналов отклика характерного слова в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазового угла и амплитудных компонентов, и хранения указанных преобразованных сигналов характерного слова в указанном запоминающем средстве;

е) обрабатывающего устройства, способного производить преобразования для того, чтобы генерировать матрицу, хранящую последовательности стимула-отклика для каждого набора ассоциированных слуховых стимулов и сигналов отклика характерного слова, и накладывающую каждую указанную последовательность стимула-отклика на указанное запоминающее средство;

ж) обрабатывающего устройства, способного производить преобразование для того, чтобы генерировать сигнал отклика, когда указанное обрабатывающее устройство, имеющее дело с матрицей закодированных последовательностей стимула-отклика, стимулированного указанным сигналом визуального стимула, ассоциированного с сигналом слухового отклика;

з) устройства для преобразования указанного сигнала отклика, представленного комплексными числами или векторами в представлении характерного слова.

10) Указанный выходной отклик, описанный в подпараграфе 7 выше, содержит детерминистическую "ошибку" переменного значения. Эта детерминистическая "ошибка" характеризует расплывчатый фактор или вклад внутри генерированного выходного отклика. Вероятностные вариации указанной детерминистической "ошибки" в выходном отклике являются существенно малыми по величине для того, чтобы позволить большим наборам ассоциаций стимулов-откликов быть закодированными или наложенными на указанное голографическое нейронное устройство.

11) Эффективность голографического нейронного процесса представлена отношением количества элементов данных памяти в указанном голографическом нейронном устройстве к количеству информации в форме ассоциаций стимул-отклик, которые могут быть закодированы в абстрактной математической форме. Характеристики указанного устройства таковы, что эффективность памяти последовательности стимул-отклик пропорциональна количеству дискретных информационных элементов в поле стимула. Таким образом, количество независимых ассоциаций стимул-отклик, которые могут быть закодированы, прямо пропорционально количеству дискретных элементов в поле стимула.

12) Этот процесс имеет способность прямо устанавливать доминирующий профиль во времени для заученных ассоциаций стимул-отклик, таким образом демонстрируя профиль памяти, расширяющийся в любом диапазоне от непосредственного короткого условия до постоянной памяти.

Характеристики указанного голографического нейронного процесса высоко изотермичны как по отношению к структурным, так и по отношению к операционным характеристикам нейробиологической системы. Информация представлена в абстрактной форме двумерным или комплексным вектором и может быть транслирована непосредственно в импульс, модулированный формой волны, несущей частоту и амплитуду. Эта форма волны является общей характеристикой электромеханических импульсов, которые, как предполагается, передают информацию между нейронными клетками. Указанное голографическое нейронное устройство хранит информацию в виде, аналогичном известным гипотезам Хебба. Гипотезы Хебба определяют общепринятый информационный механизм памяти биологического нейрона. Обрабатывающие элементы в голографическом нейронном устройстве передают входной стимул в сигмоидальное отношение так же, как это делают определенные классы биологических нейронов (нейроны сетчатки глаза). Указанное устройство обрабатывает информацию в форме отношений стимул-отклик и кодирует или заучивает отношения стимул-отклик путем экспозиции этим ассоциациям, как это делает нейробиологическая система. Указанное нейронное устройство выдает немедленный выходной отклик (единственный трансформационный неитеративный механизм) под воздействием стимуляции входным стимулом, как это делает нейробиологическая система.

Указанное нейронное устройство демонстрирует характеристики нечеткой памяти или нечеткой логики. Указанное устройство имеет способности хранить, распознавать и издавать закодированный или заученный отклик на широкие наборы ассоциаций стимул-отклик так, как это делает нейробиологическая система. Указанное устройство включает в себя способность создавать профиль памяти, как это делает нейрологическая система.

Один аспект этого изобретения относится к искусственному нейронному устройству, которое состоит из следующего:

а) средства запоминания и обработки данных в абстрактной форме представления последовательностей стимула-отклика;

б) устройства для кодирования данных в указанное средство запоминания и обработки данных путем передачи элементов ассоциированных последовательностей стимула и отклика в комплексных числах или векторах вместе с ассоциированной информацией, представленной вектором фазового угла или вектором ориентации и компонентом амплитуды, и генерированием матрицы, чьи элементы являются комплексными числами или векторами, кодирующими указанные множественные

последовательности стимула-отклика таким образом, что каждая из указанных последовательностей наложена на указанное средство запоминания;

в) указанного элемента, декодирующего отклик, ассоциированный с закодированной последовательностью стимула-отклика, когда указанная матрица, закодированная в указанном элементе хранения данных, стимулирована указанным сигналом стимула.

Другим аспектом этого изобретения является метод улучшения запоминающей и обрабатывающей способностей искусственного нейронного устройства, состоящий из следующих шагов.

а) Кодирование данных путем передачи наборов ассоциированных сигналов стимула-отклика в комплексные числа, представленные вектором фазового угла и амплитуды.

б) Генерирование матрицы, представляющей последовательности стимула-отклика для каждого набора ассоциированных сигналов стимула-отклика таким образом, что каждый из указанных стимулов-откликов наложен на средство запоминания и обработки данных.

в) Декодирование сигналов отклика, ассоциированного с сигналом стимула, путем приложения указанного сигнала стимула к указанным последовательностям стимула-отклика, закодированным в указанном средстве запоминания данных для того, чтобы генерировать указанный сигнал отклика, ассоциированный с указанным сигналом стимула.

Другой аспект этого изобретения относится к устройству распознавания последовательностей для генерирования сигнала отклика в ответ на сигнал стимула, которое состоит из следующего:

а) устройства для считывания или введения сигнала стимула;

б) устройства для передачи элементов указанного сигнала стимула в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазового угла или вектором ориентации и амплитудой компонента;

в) устройства для хранения и перевода сигналов стимула.

г) устройства для перевода элементов указанного сигнала отклика в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазовых углов или вектором ориентации и амплитудой компонента;

д) устройства для хранения указанных переведенных сигналов отклика;

е) устройства для генерирования и хранения матрицы, представляющей последовательности стимула-отклика для каждого набора переведенных ассоциированных сигналов стимула и отклика, таким образом накладывающего каждую последовательность стимула-отклика на указанное средство запоминания;

ж) устройства для генерирования сигнала отклика, когда указанный компонент для хранения указанной матрицы и выполнения декодирующей трансформации стимулирован указанным сигналом стимула, ассоциированного с указанным сигналом отклика.

Еще одним аспектом этого изобретения является метод улучшения распознавания в искусственном нейронном устройстве, состоящий из следующих шагов:

а) производство сигнала стимула;

б) преобразование указанного сигнала стимула обрабатывающим компонентом в комплексные числа, представленные вектором фазового угла и амплитуды;

в) хранение указанного преобразованного сигнала стимулов в запоминающем компоненте, генерируя сигнал отклика, ассоциированный с сигналом стимула, указанным обрабатывающим элементом в комплексные числа, представленные вектором фазового угла и амплитуды;

г) передача указанных сигналов отклика указанным обрабатывающим элементом и хранение указанных переданных сигналов отклика в указанном средстве запоминания;

д) генерирование матрицы, представляющей последовательность стимула-отклика для каждого набора ассоциированных сигналов стимула и отклика, и хранение каждой указанной последовательности стимула-отклика в указанном средстве запоминания;

е) генерирование сигнала отклика, когда указанная матрица последовательностей стимула-отклика стимулирована указанным сигналом стимула, ассоциированного с указанным сигналом отклика.

Другой аспект этого изобретения относится к устройству распознавания зрительных образов для генерирования сигнала инспекционного отклика в ответ на сигнал визуального стимула, состоящего из следующего:

а) устройства входного визуального поля или камеры для генерирования сигнала стимула, когда последнее оперативно активировано;

б) средства запоминания для хранения данных;

в) устройства для преобразования элементов указанного сигнала визуального стимула в комплексные числа с ассоциированной информацией, представленной вектором фазовых углов и амплитудными компонентами, и хранения указанных преобразованных визуальных стимулов в указанном средстве запоминания;

г) устройства для считывания или введения инспекционного сигнала отклика, ассоциированного с сигналом визуального стимула;

д) устройства для преобразования указанных инспекционных сигналов отклика в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазовых углов и амплитудными компонентами, и хранения указанных преобразованных сигналов характерного слова отклика в указанном средстве запоминания;

е) обрабатывающего устройства, способного осуществлять трансформации для генерирования матрицы, представляющей последовательности стимула-отклика для каждого набора ассоциированных визуальных стимулов и инспекционных сигналов отклика и накладывающей каждую указанную последовательность на указанное средство запоминания;

ж) обрабатывающего устройства, способного выполнять трансформации для того, чтобы генерировать сигнал отклика, когда указанное обрабатывающее устройство, имеющее дело с матрицей последовательностей стимула-отклика, стимулировано указанным сигналом визуального стимула, ассоциированного с указанном сигналом инспекционного отклика;

з) устройства для трансформации указанного сигнала отклика, представленного комплексными числами или векторами в инспекционных выходных данных.

Еще один аспект этого изобретения - это метод генерирования инспекционного отклика искусственным нейронным устройством в ответ на визуальный сигнал стимула, состоящий из следующих шагов:

а) производство сигнала визуального стимула при помощи видеокамеры;

б) преобразование указанного сигнала визуального стимула в комплексные числа, представленные вектором фазового угла и амплитуды и запоминание указанного преобразованного сигнала визуального стимула в запоминающем средстве;

в) устройство для генерирования сигнала инспекционного отклика, ассоциированного с указанным сигналом визуального стимула;

г) устройство для преобразования указанного сигнала инспекционного отклика в комплексные числа, представленные вектором фазового угла и амплитуды, и запоминание указанного преобразованного сигнала визуального стимула в запоминающем средстве;

д) устройство для генерирования и хранения матрицы, представляющей последовательность стимула отклика для каждого набора сигналов визуального стимула и сигналов инспекционного отклика, и хранение указанных последовательностей стимула отклика в указанном запоминающем средстве;

е) генерирование инспекционного отклика, когда указанная матрица последовательностей стимула отклика является стимулированной указанным сигналом визуального стимула, ассоциированного с указанным сигналом инспекционного отклика.

Другой аспект этого изобретения относится к устройству распознавания речи, который генерирует выходной сигнал, кодируя характерные слова или римские цифры в ответ на сигнал произнесенного слухового стимула, который состоит из следующего:

а) устройства слухового ввода или микрофона для генерирования сигнала слухового стимула, когда он оперативно активирован;

б) запоминающего средства для хранения данных;

в) устройства для преобразования указанного сигнала слухового стимула в комплексные числа с ассоциированной информацией, представленной вектором фазовых углов и компонентов амплитуды, и хранения указанных преобразованных сигналов визуального стимула в указанном запоминающем средстве;

г) устройства для считывания или ввода сигнала отклика характерного слова, ассоциированного с сигналом слухового стимула;

д) устройства для преобразования указанных сигналов отклика характерного слова в комплексные числа или вектора с ассоциированной информацией, представленной вектором фазового угла и амплитудных компонентов, и хранения указанных преобразованных сигналов характерного слова в указанном запоминающем средстве;

е) обрабатывающего устройства, способного производить преобразования для того, чтобы генерировать матрицу, хранящую последовательности стимула-отклика для каждого набора ассоциированных слуховых стимулов и сигналов отклика характерного слова и накладывающую каждую указанную последовательность стимула-отклика на указанное запоминающее средство;

ж) обрабатывающего устройства, способного производить преобразование для того, чтобы генерировать сигнал отклика, когда указанное обрабатывающее устройство, имеющее дело с матрицей закодированных последовательностей стимула-отклика, стимулированного указанным сигналом визуального стимула, ассоциированного с сигналом слухового отклика;

з) устройства для преобразования указанного сигнала отклика, представленного комплексными числами или векторами в представлении характерного слова.

Когда требуется вычислительная простота, оперативная система может быть уменьшена или упрощена до одномерной или скалярной системы таким образом, что информация или фазовый компонент ограничен двоичным представлением. То есть фазовые компоненты определены в виде 0 и , представляя двоичную информационную систему. Большинство других аспектов процесса (например, статистики более высокого порядка) остаются подобными, принимая во внимание, что информационное представление внутри фазовой области ограничено только фазовой ориентацией 0/.

Аспектом этого изобретения также является то, что искусственное нейронное устройство, описанное здесь, может быть применено во многих областях, включающих следующие:

(а) включение искусственного нейронного устройства в любую систему или подсистему, чьей функцией является распознавание или отклик на визуальный входной стимул;

(б) включение искусственного нейронного устройства в любую систему или подсистему, чьей функцией является распознавание или отклик на слуховой входной стимул;

(в) включение искусственного нейронного устройства в любую систему или подсистему, чьей функцией является распознавание или отклик на входной стимул, который представляет любую форму чувствительной модальности или ее абстрактное представление;

(г) включение искусственного нейронного устройства в любую систему или подсистему, чьей функцией является распознавание или отклик на входной стимул, который представляет любой физический параметр или его абстрактное представление;

(д) включение искусственного нейронного устройства в любую контрольную систему или контрольную подсистему, причем эта аппликация охватывает, но не ограничена никакой формой контрольного процесса, механического контроля, электрического контроля, биологического контроля, транспортного контроля, роботического контроля;

(е) включение искусственного нейронного устройства в любую коммуникационную систему или коммуникационную подсистему для улучшения отношения сигнал/шум передачи или снабжая вспомогательными функциями, такими как перевод независимых сигналов входного стимула в ассоциированный выходной сигнал или представление (например, перевод голоса в текст);

(ж) включение искусственного нейронного устройства в любую систему, которая выполняет функции, связанные с искусственным интеллектом, причем эта аппликация охватывает, но не ограничена экспертными системами и системами автоматизированного мышления, при помощи которого входной стимул связан с интеллектуальным действием отклика или решения;

(з) включение искусственного нейронного устройства в любое вычислительное устройство для увеличения или улучшения вычислительной эффективности, причем такая аппликация может быть выполнена, например, в конечном элементарном анализе, посредством которого внешние и внутренние параметры узла сети в пределах одного или многих приращений времени ассоциированы с параметральным состоянием в последующих шагах времени;

(и) включение искусственного нейронного устройства в любое нейробиологическое или биологическое протезирующее устройство, причем эта аппликация охватывает, но не ограничена искусственными средствами улучшения слуха, ритмизаторами сердца.

СВОДКА ИЗОБРЕТЕНИЯ

Далее описан радикально новый подход к теории искусственной нейронной системы. Для того чтобы эффективно описать это изобретение, дается общее концептуальное изложение, сопровождаемое математическим описанием. Принципиальной целью в области исследования ANS (Искусственной Нейронной Системы) является создание механизма или процесса кодирования и наложения большого количества информации на данное средство запоминания данных. Нейронная система должна обеспечивать средства декодирования последующего входного стимула при помощи закодированной информации для того, чтобы произвести ассоциированный выходной отклик. Оптическая голограмма представляет систему, почти аналогичную указанному ранее кодирующему процессу. Процесс свертывания информации в оптической голограмме разрешает визуальному трехразмерному объекту быть запомненным в и реконструированным из двумерной фотографической поверхности, эффективно сворачивая или сжимая отдельное пространственное измерение. В результате работы механизмов голографического кодирования и декодирования информационная запоминающая плотность в двумерном пространстве значительно улучшается.

Подобная концепция для голографического нейронного процесса представлена далее. Этот нейронный процесс, однако, имеет дело с информацией в форме последовательностей стимула-отклика и запоминает информацию в абстрактной математической области (пространство Римана или фазовое пространство). Эти последовательности стимула-отклика могут представлять любые формы чувствительной модальности и могут быть считаны через рецепторы внешней среды или в случае многонейронных систем распространяться через межнейронные синаптические связи. Голографический нейронный процесс накладывает эти последовательности стимула-отклика на тот же самый запоминающий элемент или средство запоминания. Теоретическая база примерно аналогична оптической голограмме с принципиальным исключением того, что время является отдельным измерением, сворачиваемым или сжимаемым.

В момент активизации системы последовательностью стимула (декодирующая операция) стимул обрабатывается при помощи аккумулированной информации (все ассоциации стимула-отклика сворачиваются в корреляционный набор) для того, чтобы получить практически немедленный отклик. Характеристики выходного отклика описаны в разделе, относящемся к декодированию.

Для того чтобы обеспечить физическую аналогию, можно предположить выглядящую легкой человеческую задачу узнавания лица. Если она осложнена различными преобразованиями и вращениями в пространстве, эта задача намного превосходит вычислительные возможности современных методологий, использующих сегодняшние вычислительные системы. Голографическая нейронная система такого типа, как она описана далее, однако, может наложить и запомнить очень большие наборы образов в различных вариантах поворотов и преобразований и независимо от количества запоминаемых ассоциаций выдать желаемый отклик практически немедленно. Принципы, которые подчеркнуты далее, потенциально представляют основу для объяснения нашей способности хранить огромное количество чувствительной информации, реагировать на знакомые формы чувствительных модальностей практически немедленно и в отношении, независящем от количества аккумулированной информации (например, отклик в возрасте 4 года и в возрасте 40 лет с практически той же скоростью).

Смысл слова "последовательности", как он используется в пределах этой заявки, относится либо к наборам данных, либо наборам ассоциаций стимул-отклик, и этот термин будет использоваться для указания на то же самое.

Значения данных, содержащихся как в последовательностях стимула, так и в последовательностях отклика, могут представлять любую форму или тип информации. Например, наборы данных в последовательностях стимула или отклика могут представлять значение элемента растра в визуальном поле, угловую позицию или отношение движения в роботическом устройстве, или элементы разложения Фурье для слуховых входных данных. Соответственно как поле стимула, так и поле отклика могут содержать данные, представляющие любую форму чувствительной модальности измеряемого параметра или абстрактного представления, перечисленного ранее.

Для целей иллюстрации сигналы или поля стимула будут представлены следующим набором скалярных данных S"={s₁, s₂, s₃,...,s_N} Например, набор S" может представлять цифровые данные, производимые оцифровывающим видеоустройством, когда оно рассматривает такой объект, как яблоко, поэтому набор от s₁ до s_N является набором числовых или скалярных значений, представляющих интенсивности растра. Подобно этому поле отклика R", ассоциированное с полем входного стимула, может быть представлено как

R"={r₁,r₂,r₃,...r_N}

где r₁ и r_N являются набором действительных чисел. Например, такие числовые значения могут представлять букву или код ASCII для слова ЯБЛОКО.

Этот процесс включает преобразование вышеуказанной информации, содержащейся как в вышеуказанных скалярных наборах, называемых сигналом стимула или полем, так и в сигнале отклика или поля, в эквивалентные наборы комплексных векторов, чьи элементы набора содержат как фазовый угол, так и амплитудные компоненты. Информация, таким образом, представлена векторной ориентацией на двумерной или комплексной, или римановой (фазовой) поверхности. Это преобразование происходит при помощи следующего нелинейного управления памятью таким образом, что вышеуказанные наборы последовательностей стимула-отклика, обозначенные S_k и R_j, соответственно нормализованы до или шкалированы в пределах, кругового диапазона простирающегося до 2, или 360^o. Это преобразование производит представление пропорционального фазового угла для информации, как это представлено ниже, через е^k и соответственно, где

(1)

для элементов поля стимулов;

(2)

для элементов откликов.

Сопровождающее раскрытие.

Для того, чтобы поддерживать глобальную симметрию, используется вариация сигмоидной функции принципиально в пределах преобразования поля стимула. Концепция симметрии является существенной для работы голографического процесса, и его определение и вовлечение обсуждаются далее. Вышеуказанные преобразованные наборы данных в пределах риманового или фазового пространства тогда представлены как

S = {s(¹, ¹), s(², ²), s(³, ³), ...} (4)

для стимулов;

R = {r(¹, ¹), r(², ²), r(³, ³), ...} (5)

для откликов.

где ^k - определяет вектор амплитуды, указывающий фактор взвешивания или влияния на элемент k,

^j - определяет амплитуду векторного элемента, выражающего фактор а взвешивания или влияния на каждый элемент j в пределах поля отклика.

Многочисленные наборы последовательностей стимула-отклика могут быть генерированы и закодированы по данной временной оси. Обеспечивая приблизительную аналогию, можно визуализировать вышеуказанное преобразование наборов скаляров (последовательностей стимулов) в виде серии векторов, ориентированных относительно источника комплексной поверхности. Несколько наборов последовательностей стимула генерированы в продолжение данного времени с тем, чтобы эти поверхности могли быть распределены вдоль оси, формируя цилиндрическое геометрическое пространство, или представлены путем накладывания фазовых регионов в пространстве Римана. Каждый вектор в пространстве Римана представляет элемент информации. Эта концепция наиболее удобно выражена математически в комплексной экспоненциальной записи.

Общая форма s(^k, ^k) для стимула и r(^j, ^j) для отклика, следовательно, выражена в наиболее общей форме как следующая:



КОДИРОВАНИЕ

Операция кодирования связана с формированием управления памяти от состояния входного стимула до состояния отклика в фазовом пространстве. В наиболее простой форме кодирующая операция выполняется при помощи определения разницы в фазовой ориентации между набором элементов (или любого поднабора) в поле входного стимула S и набора элементов (или любого поднабора) в поле выходного отклика R. Это кодирующее преобразование связано с производством следующего набора коррелированных значений.

Элементы в пределах вышеуказанного набора корреляции являются комплексной формой и определены следующим нелинейным отношением:



Функция амплитуды h(^k, ^j) определяет ассоциированный профиль между полями стимула и отклика для каждого из вышеуказанных кодирующих преобразований. Этот ассоциированный профиль определен в терминах характеристик, управляя относительной амплитудой, присвоенной элементам корреляционного набора. Одна возможная характеристика для ассоциированного профиля может быть дана просто следующим:

h(^k, ^j) = ^kj (9)

Уравнение (1) выражает преобразование для одной последовательности стимула-отклика, закодированного в дискретной точке времени. Это кодирующее преобразование может быть применено к серии последовательностей стимула-отклика, посредством которой множественность последовательностей в продолжение данного интервала времени развернута на той же самой группе векторов в корреляционном наборе. Допуская интервал времени, простирающий от t1 до t2:



Вышеуказанное кодирующее преобразование может быть выражено в более канонической форме, используя матричную запись. Для любой данной последовательности стимула во времени матрица комплексного вектора представлена в форме, подобной уравнению 4:



Этот процесс обобщен как перевод из многозначного поля входного стимула в ассоциированное поле отклика. Матрица отклика имеет следующее представление:



Генерированные управления памятью между полями стимула-отклика развернуты в корреляционной матрице [X]. Кодирующее преобразование для этой последовательности стимула-отклика выполняется следующим внутренним продуктом на векторных матрицах:



где является транспонированным сопряжением [S].

Корреляционная матрица представляет математическую аналогию нейронным сиснаптическим соединениям и формирует основу памяти, содержащей всю информацию, закодированную в системе. В общем, эта информация закодирована в виде разницы фазовых углов между полевым вектором элементов входного стимула (Е^k) и элементами вектора отклика Эффективность и мощность голографической системы вытекает из ее способности развернуть те ассоциации или управления памятью для множественных последовательностей стимула-отклика на том же носителе памяти (элемент корреляционной матрицы или синапс). Для иллюстрирования этой концепции закодированные матрицы для последовательностей стимула-отклика от 1 до Т могут быть обозначены формулой

[X]₁, [Х]₂, [X]₃,...[Х]_T (14)

[Х] ₂ будет обозначать закодированную матрицу для второй последовательности стимула-отклика, где, например, [S]₂ может представлять данные, полученные из оцифровывающего видеооборудования, когда наблюдается объект, такой как груша, в то время как [R]₂ будет численно представлять код ASCII слова ГРУША.

Все вышеперечисленные ассоциации стимула-отклика или управлений памятью могут быть закодированы на той же самой корреляционной матрице [X] путем суммирования элементов индивидуальной корреляционной матрицы для каждого набора последовательностей, как это показано ниже на примере наборов последовательности от 1 до Т.

[X]=[X]₁+[Х]₂+[Х]₃+...+[X]_T (15)

Эта техника обеспечивает сохранность информации и создает информационную плотность исключительно высокого порядка. Как это обсуждается в следующем разделе, относящемся к декодированию, появляется детерминистическая остаточная "ошибка" в генерированном отклике при запоминании множественных ассоциаций стимула-отклика, генерируя заметную степень неопределенности в отклике. Вклад этой ошибки, однако, настолько невелик, что очень большое количество последовательностей или ассоциаций может быть закодировано до накопления излишней неопределенности в генерированном отклике.

Можно представить поле стимула как пространственную матрицу [S], индексирующую элементы вектора, представляющего дискретные входные стимулы вдоль строки и временной индекс по вертикали.

Например:



При моделировании одиночного нейрона один векторный элемент, представляющий информацию в поле отклика, является допускаемым. Этот отклик, распределенный во времени, представляем матрицей размера N на 1 векторных элементов [R] с временным индексом, растущим вдоль вертикальной оси. Выполняя преобразование кодирования промежуточного продукта, уравнение 13 производит корреляционную матрицу в следующей форме:



где t - индекс времени в промежутке времени кодирования

_t - угол векторной фазы, выражающий значение закодированного отклика для последовательности t,

e_t ^k - угол векторной фазы, представляющий информацию в k-ом элементе поля стимула для последовательности t,

h(^k, , t) - амплитуда компонента ассоциации стимул-отклик для k-ого элемента стимула и последовательности t (см. (9) для профиля ассоциации).

Вышеперечисленное преобразование кодирования определяет процесс, при котором размерный параметр, относящийся ко времени в пределах корреляционного набора, развернут или сжат.

Каждый элемент в вышеуказанной корреляционной матрице (например, х^k) суммирует векторные различия между элементом k в поле стимула и ассоциированным вектором отклика по всем закодированным последовательностям стимула-отклика. Например, матричный элемент х₂, суммирует векторные различия между элементом 2 поля стимула и значением ассоциированного отклика по всем последовательностям от 1 до Т. Вышеуказанная процедура достигает состояния, при котором информация, относящаяся к закодированным последовательностям, является голографически наложенной и запомненной на том же самом численном значении, размещении памяти или пространстве памяти.

ДЕКОДИРОВАНИЕ

Операция декодирования связана с ассоциативным вызовом соответствующего закодированного "заученного" отклика. Эта операция состоит из считывания данных, соответствующих любому входному стимулу, и преобразования этого стимула через корреляционный набор. Используя практический пример, можно сфокусировать оцифровывающее видеооборудование на изображении яблока для того, чтобы сгенерировать ассоциированные цифровые растровые данные, представляющие визуальное изображение.

Выполнение декодирующего преобразования через корреляционный набор X для любого стимула, несущего подобие последовательности, закодированной в продолжение установленного интервала времени, будет приводить к вызову заученного выходного отклика. Эта декодирующая операция подобна кодирующей трансформации во многих отношениях. Как определено ранее, поле стимула может быть представлено как набор скалярных значений.

S*={s*₁, s*₂, s*₃, ...}

Поле стимула привязано к набору комплексного вектора, в котором скалярные величины представлены ориентациями фазового угла:



где ^k - определяет амплитуду комплексного вектора, показывающую взвешивание или влияние элемента k в поле стимула,

^k - угол комплексного вектора фазы, показывающий информационный компонент элемента k поля стимула.

Иллюстрируя операцию единственного нейронного элемента, декодирование или выражение отклика [R] выполняется путем оценки промежуточного продукта поля стимула S и корреляционного набора X:



где

с - ренормализационная константа подстраивает выходную амплитуду к пропорциональным значениям в пределах желаемого диапазона (0-1). Эта константа может быть определена любым функциональным отношением над элементами полей стимула и отклика.

N - количество элементов дискретного вектора в поле стимула.

Переписывая уравнение 19 в развернутой экспоненциальной форме и интегрируя его по последовательностям, закодированным в диапазоне времени от t1 до t2:



Дополнительное раскрытие

Для иллюстрации свойства, относящегося к выражению выученной последовательности, применена следующая предельная теорема. Для упрощения иллюстрации все взвешенные амплитудные значения предполагаются эквивалентными объединению (например, равные взвешивания всех векторных элементов). Для любого поля стимула S приближающегося состояния последовательности S, закодированного в течение времени Т, можно установить следующую эквивалентность:

^k = ^k+^k_r

через элементы стимулов к = 1 до N,

где ^k_r/ является термином рандоминальной последовательности диссоциации, заменяющим вышеуказанное в уравнении 20:



Применяя следующий предел, когда поле S стимула достигает состояния последовательности, закодированной для времени Т:

^k_r0

через t = 1 до N

Приближение может быть выполнено путем дискретизации временного интеграла в уравнении 21. Тогда получается следующий результат в пределах вышеуказанного предела:



Первая часть в указанном решении представляет доминантный вектор, сгенерированный в распознающем отклике. Эта часть показывает амплитуду, пропорциональную N, с фазовым углом е_t, соответствующим фазовой информации доминантного отклика. Декодирующее преобразование действует следующим образом для любых полей входных стимулов, эквивалентных или подобных предварительно закодированной последовательности стимула (например, набора S в пределах временного диапазона обучения от t=1 до Т). В выражении фазовый угол в сгенерированном отклике будет достигать закодированного угла фазы отклика для этой ассоциированной последовательности стимула, включая, однако, детерминистический "ошибочный" вклад, как он определен вышеуказанной частью Еr. Эта ошибочная часть аналогична свертке остающихся наборов закодированной последовательности, выраженной в комплексных векторах в пространстве преобразования, и может быть выражена в следующей форме:



Эта часть представляет суммирование набора некоррелированных векторов объединения, включающих все остающиеся закодированные последовательности стимула-отклика. Для идеального случая эти вектора выражают свойство симметрии, характеризующееся четным вероятностным распределением на комплексной поверхности. Результирующий вклад ошибки увеличивается с количеством запомненных последовательностей, и свойства вектора суммирования, как показано в уравнении 23, аппроксимирует случайный путь для идеального симметричного случая. Последовательности отклика, запомненные во время Т, появляются в качестве доминирующего вектора с амплитудой, пропорциональной N и случайная часть Еr() создает вклад нечеткости в сгенерированном отклике. Статистическая вариация амплитуды для этой части Еr() пропорциональна общему количеству закодированных последовательностей и устанавливает практический предел количества ассоциаций стимула-отклика, который может быть развернут. Этот предел был проанализирован теорией случайных шагов (такой, как описание характеристик броуновского движения). Эмпирический анализ показывает, что для многомерной ортогональной координатной системы, допуская шаги объединения, средняя амплитуда в результате суммирования n случайных ходов будет:



Вышеуказанный остаточный "ошибочный" вклад в сгенерированном выходном отклике является детерминистическим и увеличивается пропорционально количеству запомненных последовательностей. Этот остаточный вклад является фактически функцией как количества элементов в поле стимула N, так и количества запомненных дискретных последовательностей Р. Результирующая средняя ошибка, выраженная как "нечеткости" в сгенерированном отклике, может быть аппроксимирована в полной процентной шкале (фазовой области 2) при помощи следующего соотношения для отношения P/N, меньшего, чем 0,5:



Дополнительное раскрытие

Вышеописанная аппроксимация средней "ошибки" в сгенерированной фазовой компоненте отклика допускает идеальную симметричную систему. Симметрия относится к единообразному вероятностному распределению элементов вектора, ориентированного относительно источника римановой или фазовой поверхности, как это случается, например, в наборе случайно генерированных фазовых углов, имеющих единообразное вероятностное распределение между 0 и 2. Естественно случающиеся распределения, демонстрирующие более гауссовскую форму, могут быть преобразованы в эту идеальную симметричную форму путем использования сигмоидальной обрабатывающей функции, как это показано в секции, относящейся к Улучшениям изобретения. Важно заметить, что закодированные последовательности стимула-отклика могут быть особыми и состоять из полностью нелинейных или независимых наборов.

Выражая декодирующее преобразование в более канонической форме, можно определить матричную форму для того, чтобы представить информацию стимула в виде:



Как указывалось ранее, ^k является амплитудой части, представляющей доминантный фактор для каждого входного элемента и вектора фазового угла, изображающего информацию поля стимула. Декодирующая операция выполняется при помощи следующего промежуточного продукта:



где С является переменной для ренормализации амплитуды в сгенерированном отклике.

Дополнительное раскрытие

Характеристики декодирующего преобразования показаны в следующем более широком виде, в котором выходной вектор может быть представлен в виде суммирования особых компонентов вектора отклика. Каждый из этих свернутых компонентов вектора является продуктом преобразования стимула при помощи одной из последовательностей стимула-отклика, развернутого в корреляционной матрице X. Расширение для сгенерированного отклика (один нейрон) может быть сформулировано в следующем виде:



где _t является амплитудой компоненты для свернутого вектора отклика, соответствующего стимулу, преобразованному при помощи одной ассоциации последовательности стимула-отклика, закодированного в момент времени t;

^*_t является сгенерированным фазовым углом для стимула, преобразованного при помощи ассоциированной последовательности стимула-отклика, закодированной в момент времени t.

В иллюстративных целях переменная часть последовательности стимула будет определена как степень соответствия между последовательностью рекферентного стимула и любой последующей последовательностью входного стимула. Представляя элементы этих последовательностей стимула конвенционально в области действительных чисел, переменная последовательность может быть определена следующим образом:



где s_k - элемент рекферентного стимула к,

s*_k - элемент последовательности входного стимула к.

Возвращаясь к голографическому процессу, отклик, сгенерированный на преобразование входного стимула S при помощи корреляционного набора, производит суммирующий вектор сгенерированных откликов, при этом каждый отклик ассоциирован с уникальной последовательностью стимула-отклика, развернутого в корреляционном наборе X, как это указано уравнением 28. Вышеуказанные разогнутые векторы отклика (т.е. ), произведенные из преобразования входного стимула при помощи одной из последовательностей закодированного стимула-отклика, выражают амплитуду, универсально пропорциональную переменной последовательности стимула, как это определено выше в уравнении 29.

Другими словами, каждый из разогнутых векторов отклика несет на себе амплитуду, статистически пропорциональную степени близости к последовательности входного стимула S. В результате закодированные последовательности стимула показывают величайшую степень подобия входному стимулу S, который производит пропорциональное доминантное распределение в сгенерированном отклике. Делая временной интеграл дискретным в уравнении 20, получаем следующую суммирующую форму для сгенерированного отклика



Если приравнять вышеуказанное выражение к расширенной суммирующей форме в уравнении 28, то каждая векторная составляющая в разогнутом отклике может быть определена в виде:



Следуя вышеуказанному, амплитудные и фазовые компоненты могут быть определены прямо как:





регулируя для главного угла.

Если применять аргумент ограничения, когда элементы в поле входного стимула достигают последовательности стимула S, закодированного в момент времени Т, тогда



над элементами k = 1 до N

где ^k_r является количеством ошибки. Подставляя заново вышеуказанную эквивалентность в уравнении 32 и 33





Когда элементы поля стимула приближаются к закодированной последовательности стимула, тогда:

^k_r0 над всеми

И из этого следует



^*_TT

Значение _T представляет амплитудную компоненту для преобразования поля входного стимула через последовательность стимула-отклика, закодированного в момент времени Т, и дает компоненту наиболее доминирующего фазового вектора для соответствия с близкой коррелированной последовательностью стимула. Сгенерированный фазовый угол соответствует значению закодированной фазы отклика для этой последовательности. Используя подобную иллюстрацию, когда элементы поля (^k) входного стимула рандомиально расходятся от последовательности S, закодированной в момент времени Т, может быть допущен предел, согласно которому планарное вероятностное распределение для представлено приблизительно фазовой поверхностью. На границе общей некоррелированной или случайной последовательности, между полем входного стимула S и закодированной последовательности S(t) составляющая суммирующего вектора, как это определено уравнением 31, следует случайному пути, показывая, что сгенерированная амплитуда отклика достигает нормального вероятностного распределения, центрированного относительно источника. Некоррелированный отклик будет генерировать фактически рандомиальную, однако вычислимую, или детерминистическую ориентацию фазового угла. Этот вектор отклика будет статистически представлять распределение, центрированное относительно источника, со средней амплитудой, аппроксимируемой следующим выражением:



где - средняя амплитуда элементов стимула.

В сущности метод, которым процесс оперирует, таков, что значения отклика, соответствующего любым запомненным ассоциациям стимула-отклика, могут быть регенерированы в любой момент времени путем введения предварительно закодированной последовательности стимула в нейронное устройство (вспоминая, что последовательность стимула может быть картиной, сказанной словом, или другими параметрами, а сгенерированный отклик может быть ассоциированным словом, управляющим действием, соответственно).

Вышеуказанное представляет математическую базу для информационной обрабатывающей системы, чья каноническая форма для обучения представлена уравнением 13, а для выражения - уравнением 27. Важно заметить, что операции кодирования и декодирования могут быть перемешаны таким образом, что оба процесса действуют фактически одновременно.

УСОВЕРШЕНСТВОВАНИЯ ИЗОБРЕТЕНИЯ

Описанное здесь голографическое нейронное устройство может быть модифицировано в нескольких направлениях для обеспечения усовершенствованных или улучшенных операционных характеристик. Эти усовершенствования могут быть реализованы путем применения кодирования статистик более высокого порядка, нелинейного фильтрирования сгенерированного отклика, сигмоидальной предварительной обработки, слоеных сетей, переключательных свойств нейронных элементов, методов установления профиля памяти и поощряющих и подавляющих синаптических соединений. Эти улучшения, конечно, принадлежат только к ограниченному поднабору возможных усовершенствований, чьи общие принципы описаны в нижеследующем.

Дополнительное раскрытие:

НЕЛИНЕЙНОЕ ФИЛЬТРИРОВАНИЕ

Нелинейное скалярное преобразование может быть применено для генерирования, отклика, усовершенствуя способности нейронной системы в отношении распознавательной дискриминации. Как это описано ранее, амплитуда отклика на декодирование является статистически пропорциональным степени распознавания. Сгенерированный отклик может быть выражен в экспоненциальной форме:



Поскольку математическая база операции хорошо определена, может быть установлен уровень порога на амплитудном компоненте отклика (^*), выше которого известно, что нейрон имеет высокую вероятность откликания на распознанную (ранее заученную) последовательность стимула. Этот порог может быть реализован любым классом нелинейных функций, но может, в общем, быть реализован вариацией сигмоидной функции. Нелинейная операция декодирования тогда может быть выражена через следующее отношение:



где Tr - устанавливает пороговый предел

- определяет дисперсию для сигмоидной функции.

Для малой дисперсии вышеуказанной нелинейной функции нейронный элемент действует как дискриминатор около определенного порогового предела (Tr). Это усовершенствование существенно расширяет способность нейронной системы в том, что нейронные элементные функции в качестве высокосовершенного ключа с аналоговыми возможностями включают выход (генерируя большую амплитуду) и распространяют информацию фазы отклика только тогда, когда стимул имеет высокую степень распознавания. Подобно этому нейронные элементы выключают (генерируют нулевую амплитуду отклика), когда они представлены невыученному или нераспознанному стимулу.

СИГМОИДАЛЬНОЕ ПЕРЕРАСПРЕДЕЛЕНИЕ

Многие классы нейронных рецепторов известны способностями обработать входной стимул в сигмоидальном взаимоотношении. Сигмоидная функция формирует основу для многих современных нейронных моделей в их использовании как порог или шкалирующее преобразование. Для теоретической основы, представленной здесь, сигмоидная функция также играет существенную роль, однако она используется по совершенно отличным концептуальным причинам. Сигмоидальная предварительная обработка, следовательно, может быть использована для того, чтобы преобразовать естественно встречающиеся распределения (например, распределения, представленные в гауссовской форме) в идеальную симметричную форму.

Идеальная симметричная форма относится к однородному вероятностному распределению векторов, ориентированных относительно источника на фазовой поверхности. Это сигмоидальное перераспределение требуется для достижения оптимальной способности кодирования для нейронных систем, допуская гауссовское входное распределение. Например, можно допустить, что сигналы стимула, связанные с применениями распознавания последовательности, представляют интенсивности растра. Обычно этот сорт входных данных, так же как и большой класс скалярных полей, представляющий количества в физических системах, представляет приблизительное гауссовское распределение, как это представлено следующими Вероятностными Функциями Распределения (В.Ф.Р.):



где - стандартное отклонение для распределения,

- среднее значение распределения,

- скалярная интенсивность поля.

Сигмоидная функция или отклонение, следовательно, может быть применено для перевода скалярных количеств в поле стимула в близко к однородному вероятностному распределению в диапазоне от 0 до 2, (см. график на фиг.19).

Сигмоидная функция обычно используется в применениях теории управления, но, что более важно, показала себя эмпирически как приблизительное взаимоотношение, которым некоторые классы нейронных клеток, включая ретиновые нейроны, реагируют на входной стимул, как это показано на фиг.4.

Неотъемлемые свойства сигмоидальной предварительной обработки также разрешают некоторые концептуальные проблемы, встречающиеся при использовании фазовых ориентаций, для представления сенсорной информации или скалярного поля интенсивностей. Информация, как она представлена в фазовой области, типично простирается в замкнутом диапазоне, соответствующем 2. В общем, внешние интенсивности поля простираются в неопределенной и, вероятно, неограниченной области действительных чисел. Сигмоидная функция обеспечивает прямые средства для преобразования неограниченной области действительных чисел, определяя любое поле внешнего стимула в замкнутом диапазоне, простирающемся на фазовой поверхности. Это сигмоидное отображение может быть представлено в следующей форме:



где в общем (F(s_k, , ) = A[(s_k-)/]

A, R

s_k - элемент входного стимула,

- стандартное отклонение распределения поля стимула,

- среднее значение распределения поля стимула,

R - набор действительных чисел.

В вышеуказанном преобразовании в фазовой области существует точка разрыва на ориентации 0/2, представляющей предел как на -, так и на + бесконечности во внешней области действительного числа. Этот вектор ориентации устанавливает фиксированную точку ссылки на фазовой границе, определяя разрыв в +/- бесконечности. Другими словами, предел на + и - бесконечности в области действительных чисел формируют геометрическое место точек на неизменной границе в переведенной области фазы (то есть 0/2).

Мера первоначальной симметрии для поля стимула может быть определена путем выполнения суммирования по набору вектора, определяющего поле стимула [S]"-.

Результирующий вектор обеспечивает две важные меры характеристик распределения входного поля. Амплитудная компонента универсально пропорциональна степени симметрии в поле стимула, а фазовый угол определяет главный угол, аналогичный среднему значению распределения входного стимула. Сигмоидная функция перераспределяет это поле стимула относительно главного угла для получения желательной симметрии. Мера начальной симметрии разрешает интерполяцию между сигмоидным и линейным преобразованием, реализуя средства, благодаря которым информация, представляющая любую форму или тип распределения, может быть отображена в идеальной симметричной форме. Функция предварительной обработки, использующая вышеуказанную концепцию в оптимальной форме, реализует систему, в которой большинство форм данных стимула-отклика, покрывающих диапазон статистических распределений, варьирующихся между гауссовской и симметричной, может быть эффективно абсорбирована в нейронном элементе.

СИСТЕМЫ БОЛЕЕ ВЫСОКОГО ПОРЯДКА

Типичное ограничение для этой системы относится к количеству последовательностей, которые могут быть закодированы для полей стимула некоторого размера. Этот предел наложен отношением статистической ошибки, определенной в уравнении 25. Ограничение хранения последовательности может быть преодолено, однако, путем операции предварительной обработки, связанной в одной форме с формированием гермитианской матрицы. Этот процесс требует формирования набора элементов комплексного вектора, относящегося к любому поднабору векторов в [S] к любому другому поднабору в [S], их различиями в ориентациях фазового угла. Точная гермитианская форма может быть получена путем представления набора в S как матрица размером 1 на N, так, что следующий внешний продукт оценивается как:



Этот процесс, однако, может быть обобщен таким образом, что матрица А, состоящая из любого поднабора поля входного стимула, формирует внешний продукт с сопряженным транспонированием любого другого определенного поднабора [В] [S], то есть



где элементы вектора a, b, [S]

Для иллюстрации предположите следующие поднаборы:



Выполнение операции, определенной (44), производит расширенное входное поле элементов стимула, представленного ниже в матричной форме:



где g(^k, ^j) является амплитудой шкалирующей функцией, то есть типично g(^k, ^j) = ^kj.

Для полей стимулов, расширенных, как указано выше, и предполагая, что продуктовые группы уникальны, симуляционные результаты показывают детерминистическую ошибку, сгенерированную в выходных данных отклика, и следуют взаимоотношению, определенному уравнением 25, предполагая сейчас, что поле стимула содержит NM элементов.

Дополнительное раскрытие

Вышеуказанное на элементарном уровне определяет процесс, которым статистики более высокого порядка могут быть закодированы в нейронном элементе. Используя этот метод, можно явно контролировать отображение N-го порядка статистик в нейронном элементе. Входное множество, расширенное для третьего и более высокого порядка статистик, может быть сгенерировано следующим отношением сигма-пи, например, в закодированном преобразовании, расширенном из уравнения 17:



где k(n) - определяет N-й элемент в составляющей продукта для четвертого порядка статистик, как показано.

Количество элементов вектора стимула в вышеуказанном продукте (то есть 4 в этом примере) определяет порядок статистики. Характеристика ошибки отклика следует взаимоотношению, определенному в уравнении 25, полагая, что расширенное множество составляющих продукта или "групп", сгенерированных для поля нейронного входного стимула, уникально. Уникальность в этом контексте относится ко множеству всех комбинаторных групп элементов стимула, в которых нет двух групп, содержащих в точности то же множество элементов стимула. Уникальность устанавливает теоретический предел, как на количество групп по всем статистикам для любого размера поля стимула. Термин "группа" относится к продукту индивидуальных элементов стимула, как это определяется ниже:



где N - порядок статистики

k(n) - определяет n-ый элемент продукта для порядка статистики,

f(n) - операция для формирования сопряжения комплексного вектора как любой функции.

Максимальное количество расширенных уникальных множеств для данной статистики следует распределению в порядке статистики, известном как треугольник Паскаля. Таблица 3 иллюстрирует это распределительное отношение для полей стимула от размера 2 до 20. Общее количество уникальных комбинаций, суммированное по всем статистикам более высокого порядка, является просто 2ⁿ, где n является количеством элементов в поле стимула.

Последствия важны в том, что генерирование статистик более высокого порядка обеспечивает механизм, которым крайне большое множество индивидуальных отображений стимул-отклик может быть свернуто в одно корреляционное множество (то есть нейронную клетку). Например, допуская относительно малое поле стимула, состоящее из 32 информационных элементов, может быть сгенерировано в 4 миллиарда уникальных продуктов более высокого порядка, разрешая пропорциональному количеству отображений быть свернутым в нейронную клетку.

Вышеуказанный процесс расширения продукта разрешает отображение статистиками 2-го и выше порядка в нейронный элемент. При расширении множества входного стимула до составляющих более высокого порядка характеристикой голографического нейронного процесса является то, что сильно увеличенные количества последовательностей стимула-отклика или отображений могут быть закодированы в одном нейронном элементе. Этот процесс расширения продукта также разрешает последовательностям стимула, показывающим высокую степень перекрытия или нелинейной отделяемости, быть закодированной для отдельного или особого отклика.

Для того чтобы продемонстрировать потенциал увеличения емкости запоминания последовательности, применяя вышеуказанную гермитианскую обрабатывающую технику, предположите поле входного стимула, состоящее из 4096 растров (визуальное поле 64 на 64 растров). Для достижения относительного значения 5% для средней детерминистической ошибки в выходном отклике, допуская случайные и некоррелированные последовательности, количество последовательностей, которые могут быть закодированы (каждая последовательность будет состоять из 4096 элементов), ограничено величиной не более 1000. Если поле входного стимула расширено до статистики второго порядка, то количество последовательностей стимула-отклика, которые могут потенциально быть закодированы, увеличится до 2,4 миллиона.

Дополнительное раскрытие

Следующим важным свойством, относящимся к статистикам более высоких порядков, является та особенность, что любое распределение входных векторов является существенно ортогонализированным или сделанным симметричным. Комплексное векторное распределение, полученное на прогрессивно расширенных составляющих более высоких порядков, достигает асимптоты в точке симметрии. Это определяет важный аспект голографического нейронного процесса в том, что любое распределение входного стимула таково, что оно существенно преобразовано в идеальную симметричную форму.

Гермитианская предварительная обработка работает несколько аналогично функции для скрытых слоев в методах градиентного спуска. Для таких моделей скрытые слои используются для интерпретации изометрии статистик более высокого порядка между шаблонами последовательности, отнесенными к данному классу. Имеющиеся проблемы таковы, что невозможно аналитически определить, какая статистика более высокого порядка интерпретирована. В дополнение к этому методы градиентного спуска существенно ограничены в количестве "статистик более высокого порядка", которые они способны расшифровать. Соответственно, если последовательности варьируются статистиками, отличными от тех, которые интерпретированы, ассоциации последовательностей не могут быть правильно классифицированы. Одним классическим примером этого рода является утверждение, сделанное одним исследователем, что он разработал сеть, которая может различать между мужскими и женскими лицами. При более глубоком рассмотрении этого достижения было обнаружено, что сеть градиентного спуска имела обобщенную функцию, которая измеряла расстояния между вершиной головы субъекта и краем рамки.

Детерминистический или точный аналитический контроль статистик нейронного отображения, как это определено в методе голографического нейрона, невозможен в техниках градиентного спуска или обратного распространения.

ПРОФИЛЬ ПАМЯТИ

Немедленным наблюдением в применении кумулятивной памяти в голографической системе является то, что в некоторой точке емкость памяти для ассоциаций стимула-отклика исчерпывается, приводя к преобладанию неточности в сгенерированном отклике. Может быть применено несколько методов для предотвращения насыщения памяти, все из которых требуют ограничения на среднюю амплитуду векторных элементов в корреляционной матрице. Наиболее явный и прямой метод состоит из применения составляющей затухания к амплитуде компонентов в матрице X. Следующий пример для данного профиля памяти выведен из уравнения 17, определяющего экспоненциальное затухание для закодированного элемента Х_k, где



Т - текущий промежуток времени,

t - постоянная затухания времени.

При условии, что последовательности входного стимула производят симметричное распределение вдоль по учебному временному интервалу, средняя амплитуда элементов Х_k корреляционной матрицы подчиняется нормальному распределению, следуя сценарию случайного пути. Для входных последовательностей, опробируемых в постоянном темпе, точка равновесия достигается тем, что увеличение в средней амплитуде распределения Х для характерных рандомиальных путей балансирует скорость экспоненциального затухания. В качестве общего руководства можно сказать, что насыщение памяти может быть предотвращено при условии, что вышеуказанная точка равновесия для данной скорости кодирования и скорости затухания памяти удовлетворяет следующему выражению:



Динамическая память может быть расширена до нескольких составляющих или коэффициентов затухания для того, чтобы определить профиль памяти. Краткосрочная память характеризуется коэффициентами, определяющими высокую скорость кодирования и (или) соответственно высокую скорость затухания и, наоборот, долгосрочная память характеризуется медленным кодированием и медленной скоростью затухания. Концепция памяти обеспечивает гибкость в нейронной системе для установления доминантного профиля запоминаемой информации над постоянным диапазоном, простирающимся от немедленной краткосрочной до долгосрочной и постоянной памяти.

Дополнительное раскрытие

ПОДАВЛЯЮЩИЕ/ВОЗБУЖДАЮЩИЕ СОЕДИНЕНИЯ

Как указывалось ранее, главной озабоченностью являются методы или процессы, которыми любая форма входного распределения может быть преобразована в идеальное симметричное распределение. Могут быть применены преобразования, связанные с зеркальным переводом подмножества поля входного стимула, для улучшения свойств симметрии. Это процесс связан с зеркальным переводом подмножества элементов вектора в поле стимула относительно определенной поверхности, пересекающей источник. Этот процесс может быть выполнен следующей операцией:



где е^t определяет ось зеркального вращения.

Вышеуказанный перевод существенно уменьшает вариацию распределения ориентацией векторов на комплексной или фазовой поверхности. Результирующее сглаженное распределение накладыванием двух подобных распределений, которые компенсируют одна другую, существенно улучшает симметрию входного поля. Этот процесс зеркального вращения демонстрирует подавляющее/возбуждающее группирование для подмножеств в поле стимула в такой манере, что увеличенная стимуляция входного элемента в одном классе (то есть подавления) будет давать дополняющее воздействие увеличенной стимуляции для входного элемента в альтернативном классе (то есть возбуждения). Существенно заметить, что нейрологические исследования указывают на существование структуры подавляющего/возбуждающего группирования для биологических нейронов, а некоторые классы нейронов известны как имеющие как возбуждающие, так и подавляющие соединения с их синаптическими областями.

КОММУНИКАТИВНЫЕ СВОЙСТВА НЕЙРОНОВ

Голографический нейронный процесс демонстрирует то, что может быть определено как "коммутативное" свойство, поскольку сгенерированные выходные данные отклика из множества нейронов могут быть суммированы в векторной области для производства отклика сети. В предположении, что входные поля стимула для всех нейронов состоят из уникальных или неперекрывающихся множеств статистик более высокого порядка, выражение ошибки вектора суммирования следует уравнению 25, где N теперь представляет общее количество элементов входного стимула по всем нейронным клеткам. Этот вектор суммирующей операции может быть показан в общей форме следующим выражением:



где [X]_Т = {[X]₁, [X]₂, [X]₃,...}

[S]_Т = {[S]₁, [S]₂, [S]₃,...}

и [S₁] до [S_t, ] формирует уникальное множество составляющих продукта более высокого порядка.

Представлен частный пример коммутативного свойства, в котором векторные отклики суммированы на множестве, состоящем из 10000 нейронных клеток, каждая обладающая полем входного стимула в количестве 10000 элементов. В предположении, что статистики более высокого порядка, представляющие все входные элементы, являются уникальными во всех множествах нейронов, характеристики суммированного отклика идентичны одному нейрону, обладающему 100 миллионами элементов в поле стимула, вышеуказанное коммутативное свойство, таким образом, разрешая нескольким миллионам ассоциаций стимула-отклика быть наложенными или развернутыми на те же самые корреляционные матрицы в этом теле клеток. Эта конфигурация эмулирует частный случай хорошо определенных клеточных структур, демонстрируя потенциальную "супернейронную" структуру в коре головного мозга и мозжечке, такую как относящуюся к пирамидальному клеточному комплексу.

СЛОЕНЫЕ СЕТИ

Фиг. 14 иллюстрирует слоеную сеть, где TG представляет группу нейронов и относится к устройству или множеству устройств, которые выполняют простые преобразования из поля входного стимула S в ассоциированное поле выходного отклика R. Слоеные сети состоят из серий преобразований TG1, TG2, TG3, в которых поле выходного отклика из группы или слоя TG1 заводится в поле входного стимула более высокого уровня TG2. Любое количество слоев может быть использовано для формирования более комплексных массивов сетей.

Дополнительное раскрытие

Каждая группа клеток в слое разворачивает большое количество ассоциаций стимула-отклика таким образом, что нейронный слой действует в манере, подобной памяти, адресуемой по содержанию. При распространении сигналов через множественные слои-отклики, генерированные путем симуляции нижних нейронных слоев, распространяют ассоциации более высоким слоям. Например, на фиг.14 стимулы, заводимые на А, ассоциируются в отклик B в первом слое, который, в свою очередь, ассоциируется в отклик С во втором слое и т.д. В этой слоеной конфигурации ассоциации могут разветвиться среди отдельных нейронных путей или заново объединиться в любую определенную оранжировку в зависимости от структуры взаимосвязей и закодированных ассоциаций стимула-отклика.

Второе свойство слоеных сетей состоит в суммировании векторов отклика. "Коммутаторное" свойство нейронов разрешает выходному отклику нескольких нейронов быть эффективно суммированному, производя "супернейрон", обладающий сильно улучшенными способностями для хранения последовательности стимула-отклика. Множественные слои могут быть использованы таким образом, что каждый слой выполняет суммирование над ахональным процессом (или сгенерированным откликом) предыдущих слоев, разрешая сильно увеличенному количеству ассоциаций стимула-отклика быть закодированным или развернутым на том же самом множестве. Увеличение плотности запоминаемой информации путем каскадирования нейронов вдоль слоя пропорционально количеству суммированных векторов отклика. Например, выполнение суммирования вектора на комплексной или римановой (фазовой) поверхности для 1000 нейронных клеток эквивалентного размера будет увеличивать количество последовательностей, которые можно развернуть, в 1000 раз. Это свойство является возможным для полей стимула по всем нейронным клеткам, следуя за свойством уникальности, как оно описано в секции, относящейся к Коммутативным Свойствам Нейронов.

ПАРАЛЛЕЛЬНЫЕ СЕТИ

Могут быть сформированы параллельные сети, как это иллюстрируется на фиг. 15, в которых слои в сети состоят из множества нейронов или преобразовательных групп, действующих в параллельной конфигурации. В этом случае поле выходного отклика может заводиться в поля входного стимула последующего слоя в любой взаимосвязи или аранжировке. Любая комбинация как слоеных, так и параллельных преобразующих групп может быть конфигурирована для того, чтобы сформировать высококомплексный массив взаимосвязанных нейронных элементов.

Дополнительное раскрытие

Преимущество параллелизма в нейронных слоях проявляется через "коммутативное" свойство нейронов в том, что выходы вектора из нескольких клеток, расположенных в параллельном массиве в данном слое, просуммированы на векторном пространстве. Этот вектор суммирования фактически создает "супернейрон", чьи характеристики, как они прежде определены, идентичны одной клетке, обладающей размером поля стимула, эквивалентным размеру полей стимула, просуммированным по всем нейронам во входном массиве, создавая плотность информации очень высокого порядка.

СЕТИ С ОБРАТНЫМИ СВЯЗЯМИ

Фиг. 16 иллюстрирует систему, в которой поля выходного отклика нейронных элементов в более высоких слоях подают эффекты назад на поля входных стимулов нейронных элементов в более низких или более ранних слоях. Может быть применена любая конфигурация или аранжировка систем с обратной связью. Нейронное устройство существенно обеспечивает управление обратной связи для любой ситуации, в которой выходной отклик манипулирует или модифицирует местную среду, обеспечивающей входной стимул (то есть обратную связь через среду). Эта концепция может быть визуализирована в системах роботного контроля, в которых входной стимул является осевой позицией, а сенсоры скорости и эффекты выходного отклика влияют на управление мотором. Любое изменение в выходном отклике (осевом движении) модифицирует последовательность входного стимула, таким образом действуя на последующий сгенерированный отклик, и т. д. Ожидается, что вышеуказанный механизм обратной связи будет существенно улучшать возможности управления в большинстве применений голографического нейронного устройства.

Дополнительное раскрытие

Внутренняя обратная связь или рекуррентные петли, сгенерированные через синаптические взаимосвязи, могут также создавать сигнальную петлю, реверберирующую через развернутые ассоциации стимула-отклика. Эти рекуррентные петли будут стремиться стабилизироваться до частной последовательности ассоциации до тех пор, пока эффекты внешнего стимула рекуррентной петли не достигнут нового состояния.

МОДИФИЦИРОВАНИЕ ИЛИ ПРИМЕНЕНИЕ АМПЛИТУДЫ КОМПОНЕНТА

Форма уравнений, указанных ранее, имеет дело, главным образом, с фазовым углом, имея амплитудную компоненту для элементов в поле стимула, установленную эквивалентно объединению. Амплитудная компонента, однако, может быть придана каждому из этих элементов стимула. Это в действительности придает "взвешивающий фактор" и определяет эффективное доминирование этого элемента в поле стимула, генерируя выходной отклик.

ТЕХНИКА РАЗРЕЖЕННЫХ МАТРИЦ

В некоторых аппликациях может быть необходимо исключить некоторые преобразующие элементы в корреляционной матрице (уравнение 17). Это эффективно уменьшает матрицу, делая некоторые из ее элементов равными нулю или 0, и будет упомянута в дальнейшем как разреженная матрица. Эта техника приводит к уменьшению резолюции, тем самым уменьшая детерминистическую ошибку или нечеткие компоненты в сгенерированном поле отклика. Преимущество может быть реализовано в том, что соответственно уменьшено количество операций преобразования (то есть уменьшено время обработки).

Дополнительное раскрытие

ДВОИЧНАЯ МОДЕЛЬ

В случае когда желательна вычислительная простота по причинам ограничений скорости или оборудования, этот голографический процесс может быть уменьшен или упрощен до двоичной системы. Операционные способности при этом существенно уменьшены, однако упрощения реализованы в том, что преобразования кодирования/декодирования могут быть выполнены целиком в более простой области скалярной величины. Это упрощение связано с исключением одной оси на фазовой поверхности путем допущения информационного представления только в виде 0 или фазы ориентаций.

Вышеуказанное упрощение до двоичной системы, таким образом, разрешает только множествам последовательностей стимула-отклика, содержащим двоичные состояния (-1/+1, 0/1 или 0/), быть закодированными/декодированными. Все ассоциированные улучшения, указанные при сем, действуют в той же манере для этих двоичных систем, как и для определенных ранее комплексных систем, принимая во внимание, что только две фазовые позиции разрешены в представлении информации.

СРАВНЕНИЕ С БИОЛОГИЧЕСКИМИ СИСТЕМАМИ

Для того чтобы полностью понять операционные характеристики и последствия этого устройства, показаны некоторые существенные аналогии между голографическим нейронным процессом, описанным при сем, и характеристиками нейробиологических систем.

Предполагается, что человеческий мозг обладает примерно 25 миллиардами нейронов. Подобно клеткам всех животных каждый нейрон ограничен клеточной мембраной, заключающей содержимое клетки - цитоплазму (клеточную жидкость) и ядро. Размер и форма этих нейронов широко варьируется, но структурный план всегда содержит некоторые элементы (фиг.1): тело клетки или сому, и простирающийся от этого тела клетки так называемый аксон (нейрит), а также обычно несколько дендритов. Классификация этих нейрональных процессов в терминах аксона и дендритов сделана на базе функции.

Аксон связывает нервную клетку с другими клетками. Аксоны других клеток заканчиваются на клеточных дендритах, обычно разделенных на различное количество ответвлений, после выхода из сомы. Соединение аксонального окончания с другой нейронной клеткой называется синапсом.

Большинство нейронов соединены с другими нейронами, формируя нейронные схемы или сети. Аксоны малого количества нейронов соединяются с полосатыми скелетными мышцами, с гладкими мышцами внутренностей и гланд и окончаниями афферентных нервов. Наоборот, специализированные нервные клетки, которые отвечают на некоторые изменения в организме или среде, передают эти отклики в центральную нервную систему и называются рецепторами. Каждая рецепторная клетка специализирована отвечать на особую форму стимула, что поднимает важную концепцию модальности. Зрение представляет одну форму модальности, слух - другую, и вкус - еще другую. Стимулы, принятые этими различными модальностями, формируют базу информации, которой обладают и хранят нейронные системы.

Распространение информации в биологическом нейроне случается в следующей общей форме: сигналы передаются в форме импульса модулированных волн, полученных клеточным дендритом и сомой, прошедших через синаптические соединения. Наоборот, в ответ на полученные сигналы нейрон генерирует выходной импульс, модулированный волной, проходящей через аксон и коллатералы, на последующие слои нейронных клеток. Общая структура нейрона в отношении ко входному пути показана на фиг.4. Теоретическая основа, описанная при этом, будет повторена в контексте следующего описания как возможный механизм для обработки информации в биологическом нейроне. Предполагается, что индивидуальная нейронная клетка имеет способность разворачивать массивное количество информации на ее синаптических соединениях и эмулирует подобный кодирующий/декодирующий механизм, как описано при этом.

Как указывалось ранее, каждое синаптическое соединение в дендритной структуре нейрона получает положительно модулированную характеристику формы сигнала фиг. 4. Эти формы сигналов могут быть иллюстрированы в абстрактной форме импульсами частоты, представляющими информацию и абстрактно определяющими ориентационный вектор на римановой или фазовой поверхности. Формы сигналов стимула, полученные синаптическими соединениями, могут быть представлены, как прежде определялось, следующим выражением:



Подобно этому выходные данные или форма сигнала отклика, выученная клеткой в связи с вышеуказанным стимулом, может быть представлена комплексным элементом Предположено, что закодированные ассоциации отклика считаны через путь, отдельный от дендритных процессов, вероятно, через аксон-соматические соединения. Следуя гипотезе Хебба, биологические структуры в массиве синаптических соединений модифицируются в ответ на стимуляцию, применяя механизм для хранения информации. Не представлено никаких заявок или объяснений в отношении этого вовлеченного биологического механизма, однако предположено, что ассоциации стимула-отклика выучены в общем смысле преобразованием кодирующей векторной матрицей, как это определено ранее и представлено ниже.

Сгенерированное множество корреляционных значений представлено в расширенной форме тем, что информация закодирована на дискретной оси времени. Для простоты в следующем уравнении указаны только статистики первого порядка:



Эта корреляционная матрица формирует математическую аналогию синаптических соединений, определяющих высокоабстрактное представление для информационной памяти. Эта теория предлагает такой механизм, что все ассоциации выученного стимула-отклика наложены или развернуты на то же самое средство запоминания в фазовой области - в этом случае на биологическую структуру в массиве синаптических соединений.

Как указывалось ранее, декодирование или выражение заученных откликов может происходить одновременно с кодирующими преобразованиями. По поводу стимуляции дендритных синаптических соединений сериями внешних импульсов модулирующих сигнальных форм было сделано допущение, что внутри тела клетки имеет место биологическая эквивалентность следующего комплексного вектора внутреннего продукта:



Комплексная величина R представляет сигнальную форму сгенерированного отклика, проходящего через нейронный аксон, и дополнения к последующим слоям нейронов.

Этот процесс показывает, что необходимы относительно немногие корковые слои для выполнения высокоинтеллигентных ассоциаций и контрольных действий.

Дополнительное раскрытие

Предполагается, что в очень общем смысле нижние слои в нейронной структуре выполняют функции, подобные сигмоидальной обработке и генерированию статистик более высокого порядка. Эта теоретическая основа будет указывать на то, что масса ассоциаций и учебных процессов выполняется в высокоразветвленной дендритной структуре звездообразных и ассоциированных клеток, расположенных в мозговой коре и мозжечке (фиг.5). Вышеуказанное формирует основу для несвязированного подхода, при котором механизм учебы (разворачивания информации) и выражения выполняется в индивидуальной нейронной клетке.

Этот процесс предполагает, что нейронная клетка, несмотря на ее крайнюю сложность и структурную вариацию, может обрабатывать информацию в высокообобщенной форме. Определенные функции могут быть определены по синаптической карте межсоединений, формируемой по мере того, как биологическая система взрослеет. Управляющие уравнения идеально подходят в этой манере для обобщения, в котором алгоритм разрешает синаптическое соединение матрицы неограниченно гибкой формы. Эти нейронные элементы могут быть структурированы для обеспечения любых вариаций перекрестных соединений между различными формами сенсорных модальностей и моторных рефлекторных откликов. Может быть также показано, что существует очень тесный изоморфизм между математической основой и общими структурно/внешними сигнальными процессами биологического нейрона (фиг. 4). Другой операционной особенностью процессов является то, что нейронный элемент действует оптимально в совершенно асинхронной форме. Другими словами, общность операции поддерживается тем, что не требуется координации или временных согласований между отдельными нейронными клетками. Интенсивная симуляция голографической теории показывает, что высококомплексные заученные ассоциации могут быть извлечены из нейронной системы при прохождении единственного слоя.

Как указывалось ранее, существует значительное различие между различными классами нейронных клеток в центральной нервной системе (фиг.3). Например, клетки в коре головного мозга обладают широко разветвленной структурой и внутренней микротубулярной аранжировкой, указывающими на возможный механизм для кодирования/декодирования, как это было определено в фундаментальном голографическом процессе. Главная клетка коры головного мозга, пирамидальная клетка, имеет немного древовидных разветвлений, однако имеет очень большое количество синаптических шипов на поверхности этих дендритных процессов. Этот тип структуры также характерен для главного нейрона мозжечка, называемого клеткой Паркинжа. Другая, третья, группа нейронных клеток обладает существенно другой структурой, которая характерна для нейронов спинного мозга таким образом, что не существует определенный аксональный процесс, однако множество дендритно-подобных разветвлений, простирающихся от клетки, получают множественность входных сигналов и генерируют множественность выходных сигналов.

Голографический нейронный процесс, как он определен, связан с несколькими важными предшественниками и новейшими последствиями, которые отражают возможную роль в каждом из вышеуказанных различных типов нейронных клеток. Одно из принципиальных требований связано с фундаментальной концепцией симметрии. Как указывалось в разделе, относящемся к статистикам более высокого порядка, идеальное симметрическое состояние может быть достигнуто через расширение полей входного стимула до статистик более высокого порядка. Масса внутренностных и внешних входных сигналов передается по путям в кортикоспинальных и спиноцеребральных трактах. Эти сырые, немодифицированные сигналы будут, наиболее вероятно, демонстрировать очень несимметричные характеристики распределения.

Нейроны позвоночника обладают структурой, показанной на фиг.3, указывающей на древовидное разветвление как входных, так и выходных сигналов, не имеющих определенных аксональных процессов. Эта нейронная структура может осуществлять модификацию последовательностей глобальных входных стимулов тем, что формы сенсорных модальностей могут быть расширены до продукта более высокого порядка (то есть статистик высокого порядка, по мере того как двигательная информация распространяется вдоль позвоночника). Процесс этого типа будет существенно преобразовывать характеристики распределения стимула в идеальную симметричную форму до преобразования в структуры нейронов коры головного мозга и мозжечка.

Кора головного мозга содержит принципиально три типа нейронов: звездообразные клетки, клетки Маринотти и пирамидальные клетки. Межкорковые соединения, определяющие перекрестные соединения процессов, идущих из этих типов клеток, относительно хорошо известны, однако мало известно относительно особенностей функций. На фиг.5 звездообразные клетки получают сигналы, сформированные из трактов спинного мозга главным образом через таламическую систему. Аксональный процесс из звездообразных клеточных синапсов действует на синаптические шипы ближайших пирамидальных клеток. Эти пирамидальные клетки, будучи главными типами клеток коры головного мозга, имеют аксональные процессы, оканчивающиеся на всех уровнях коры, и распространяются далее вниз до тракта спинного мозга, заканчиваясь на моторных нейронах в спинном мозге. Клетки Маринотти действуют главным образом в режиме обратной связи, получая входные импульсы от аксонов пирамидальных клеток, генерирующих выходной сигнал, оканчивающийся на дендритных процессах звездообразных нейронов вдоль более поверхностных слоев коры. Рассматривая характеристики голографического процесса и общую структуру типов клеток, можно определить роль или особенное различие между функциональностью для каждого из этих типов клеток.

Ссылаясь на секцию, относящуюся к "накопительным" свойствам голографических нейронов, это определяет такое свойство, что может быть выполнен вектор суммирования откликовых выходных данных, выраженных через множественность кодирующих/декодирующих нейронов, фактически производя "супер-нейрон", обладающий сильно улучшенными способностями для хранения информации. После исследования вышеуказанной структуры и межкорковых путей, связанных со звездообразными клетками и клетками Маринотти, стало очевидно, что эти типы клеток идеально подходят для выполнения кодирующих/декодирующих операций, это определено в главном голографическом методе. Пирамидальные клетки имеют структуру и межкорковые соединения, подходящие для выполнения суммирования над ближайшими звездообразными клетками и клетками Маринотти, тем самым выполняя операцию, аналогичную процессу "супер-нейрона". Эта голографическая модель операции показывает, что одна пирамидальная клетка в соединении с поддерживающим ближайшим звездообразным нейроном или нейроном Маринотти способна разворачивать значительно больше, чем в области одного миллиарда ассоциаций стимула-отклика на его корреляционном множестве (т.е. синапсах ближайшей звездообразной клетки или клетки Маринотти).

Полагая, что вышеуказанное влечет за собой 20000-40000 звездообразных клеток или клеток Маринотти и что одна пирамидальная клетка составляет очень малый процент общего количества клеток, голографический процесс определяет механизм, которым структурное образование, напоминающее особенности центральной нервной системы, может функционировать на очень высоком уровне сложности.

ЕМКОСТЬ ПАМЯТИ И СКОРОСТЬ ОБРАБОТКИ

Операционные характеристики одиночного пирамидального клеточного комплекса определены ниже при помощи применения голографической теории, имея подобные характеристики для систем меньшего масштаба, проверенных симуляциями Монте-Карло. Этот пример корковой структуры и соответствующих возможностей хранения/переработки основан на пирамидальных клетках Беца, расположенных в моторной коре. Эти пирамидальные клетки выполняют прямой контроль в возбуждении специфических моторных нейронов. Текущие исследования показывают, что этот тип пирамидального нейрона содержит вплоть до 100000 синаптических шипов, получающих входные сигналы от аксональных процессов как в ближайших, так и в периферических звездообразных клетках или клетках Маринотти. Количество последовательностей стимула-отклика, которое может быть развернуто в единственном комплексе пирамидальной клетки, определено ниже, применяя следующие допущения:

а) ближайшие звездообразные клетки или клетки Маринотти получают в среднем 40000 аксон-дендритных синаптических входных сигналов;

б) входные поля стимула ближайших нейронных клеток трансформированы в идеальную симметричную форму при расширении до статистик более высокого порядка;

в) множество статистик более высокого порядка или входных сигналов в значительной степени уникально по всем дендритным входным импульсам группы звездообразных клеток или клеток Маринотти;

г) количество разворачиваемых ассоциаций стимула-отклика таково, что детерминистическая "нечеткость", сгенерированная в выражении на ассоциацию заученного стимула, в среднем равна плюс/минус 2% от полной (абсолютной) шкалы.

Применяя коммутативное свойство нейронов и конфигурацию, которая представляет пирамидальный комплекс как исполняемый "супернейронный" процесс, демонстрирующий свойства существенной эквивалентности одному нейронному элементу, содержит следующее количество синаптических входов:

100000 дендритных сплинальных входов пирамидальных клеток 40000 синаптических входов на звездообразную клетку или клетку Маринотти = 4 миллиардам статистик более высокого порядка в комплексе пирамидальной клетки.

Интенсивные компьютерные симуляции, использовавшие технику Монте-Карло, показали, что отношение ошибки уравнения 25 инвариантно к количеству статистик более высокого порядка, заведенного в нейронный элемент или нейронный комплекс. Применяя это отношение ошибки, количество ассоциаций стимула-отклика, который может быть запомнен в одиночном пирамидальном нейронном комплексе, является:



Подсчитывая для всего множества статистик более высокого порядка, каждая ассоциация стимула-отклика соответствует 4 миллиардам элементов информации, следовательно содержание информации, закодированной в серии ассоциаций стимула-отклика, является (57):

РN= 4 миллиарда составляющих более высокого порядка 710 миллионов последовательностей стимула-отклика = 310¹⁹ элементов информации.

В практическом смысле можно заключить, что элемент информации представляет одно аналоговое значение, дискретизированное на уровне разрешающей способности в 256 уровней.

Этот информационный элемент может быть представлен одним байтом в конвенциальной компьютерной памяти. Применяя голографическую теорию, приблизительно 310¹⁹ элементов (байтов) информации в форме ассоциаций стимула-отклика могут быть закодированы в одном нейронном комплексе структуры, напоминающей пирамидальную клетку моторной части коры головного мозга. При стимуляции через дендритные синапсы характеристики вышеуказанного нейрона таковы, что поле входного стимула преобразовано через вышеуказанную аккумулированную массу информации, генерируя отклик в практически немедленной форме.

Для иллюстрации эффективной скорости обработки было выполнено сравнение со стандартной линейной поисковой техникой. Во всех линейных поисковых методах изображение, чтобы быть распознанным, должно быть индивидуально запомнено и сравнено с прототипами последовательностей в последовательной форме. Алгоритмы подбора соответствия классифицируют входные данные по принципу метода наилучшего приближения. В общем, элементы последовательностей могут быть представлены в N-мерном ортогональном пространстве. Элементарные операции в алгоритме представительного линейного поиска вычисляют разницу по размерной оси между входными последовательностями и одиночным ссылочным прототипом.

Суммирование этих расстояний вдоль каждой оси в N-мерном пространстве пропорционально последовательностному отклонению, в котором каждая элементарная составляющая вычислена следующим образом:

(a^k-b_t ^k)² (58)

где а^k- k-ый элемент поля входного стимула,

b_t ^k - k-ый элемент прототипной последовательности t.

Вышеуказанная операция может быть выполнена для того, чтобы сгенерировать множество составляющих отклонений для каждой прототипной последовательности. Эти составляющие отклонений используются в некотором функциональном взаимоотношении для генерирования желательного отклика или решения, то есть:



Голографический процесс выполняет функцию, приблизительно подобную вышеуказанному линейному поиску, однако, операционные характеристики его вычислительно существенно более эффективны. Преобразование элементарного вектора, обеспечивающее соответствующую функцию, в решение скалярной разницы, представленное ранее в уравнении 58, является следующим:



Реализованы следующие свойства фазового перевода путем представления информации в виде ориентации комплексного вектора - когда любой входной стимул достигает соответствующего прототипного элемента, (^kk_t) сгенерированная фаза в отклике переводится в желательный или выученный отклик (_t). Второе свойство, вытекающее из этого векторного представления, разрешает вышеуказанным экспоненциальным составляющим для каждого элемента по всем ссылочным прототипам быть свернутыми в один корреляционный элемент (Х_k). Одиночное преобразование через корреляционный элемент, выполненное голографическим методом, дано как:



Принимая во внимание пример пирамидальной клетки, вышеуказанное преобразование будет выполнять функцию, математически аналогичную 7,110⁸ сравнений в методе линейного поиска (т.е. уравнению 58).

На биологическом уровне, иллюстрирующем сравнение с конвенциональными средствами обработки, можно консервативно оценить, что время цикла отклика для нейронной клетки равно 100 миллисекундам. Эффективная обрабатывающая скорость одиночного пирамидального клеточного комплекса может быть оценена, допуская емкость информационной памяти, равную 310¹⁹ байтов, как это определено выше. При выполнении генерирования отклика в пределах 100 миллисекундам, используя линейный поиск без уменьшения или исключения данных, требуется следующее количество сравнений в секунду:

310¹⁹ элементов данных/100 мс период отклика

= 310²⁰ сравнений/секунду

Разумно предположить, что один суперкомпьютер может быть способным выполнить 100 миллионов сравнений в секунду. Для сравнения быстродействия вышеуказанная структура предполагает, что понадобится приблизительно 310¹² суперкомпьютеров, выполняющих линейный поиск для достижения информационной обрабатывающей способности одиночного нейронного комплекса - обрабатывающей структуры, подобной человеческой пирамидальной клетке коры головного мозга.

УПРАВЛЯЮЩАЯ ПАРАДИГМА

Можно относиться к нейронному процессу как к новой управляющей парадигме. Представление этой управляющей системы может быть иллюстрировано в конвенциальной манере (фиг.6) с входами множественных переменных, управлением выхода и процессами выходного отклика. Этот подход черного ящика будет определять фундаментальный управляющий элемент. Как в любой управляющей системе, множественные элементы могут быть конфигурированы в любой определенной манере для выполнения специфической функции. Принципиальное отличие от конвенционального процесса заключается в способности и способе, которым этот управляющий элемент выполняет свою функцию.

Для обеспечения аналогии для установления теории управляющего пространства управляющий элемент разрешает прямое кодирование или отображение множественных входных состояний в управляющий выход. Отображающая схема не будет требовать линейной зависимости между множествами входных состояний и выходных управляющих значений. Как подтверждено при помощи симуляций, система демонстрирует высокий уровень иммунитета по отношению ко входным помехам до такой степени, что широкая область в пространстве состояний, примыкающем к отображаемому входному состоянию, будет сказываться только в небольших искажениях в сгенерированном выходе. Этот иммунитет ко входному шуму выполняется без применения любого механизма обратной связи.

На как-то более абстрактном уровне такое отображение стимула-отклика определяет область влияния или "гипюр-эллипсоид" в N-мерном пространстве состояний. Можно манипулировать как геометрией, так и размером для этих отображающих зон путем явного определения статистик N-гo порядка (операций гермитианского предварительного процесса) и ассоциированных величин амплитуды. Используя эти методы, обобщения, выработанные в продолжении процесса заучивания, являются основательно контролируемыми.

Параллельно с этим отображением или заучиванием система может производить управляющее действие, такое как преобразование входного состояния через аккумулированное состояние пространства отображения. Входное состояние преобразовано через все развернутые отображения в существенно параллельном способе, как это обсуждалось ранее. Каждое из этих отображений вырабатывает вектор отклика, чья степень доминирования, свернутая в сгенерированном выходе, пропорциональна степени близости ко входному состоянию. Это сравнение состояния пространства, однако, не является прямо применимым к конвенциональной теории управления в том смысле, что размерные оси определены не в терминах реальных значений в эвклидовом пространстве, а в ориентациях вектора в многомерном фазовом пространстве.

Можно предвидеть систему, в которой управляющие элементы динамически заучивают или модифицируют отображение пространства состояний и используют переменные, такие как скорость заучивания и профиль памяти. Такие управляющие элементы будут осуществлять обратную связь окружающей среды в следующей манере. Подмножество из внешнего поля, генерирующее стимул, преобразовано при помощи управляющего элемента, производящего отклик. Это откликовое действие прямо или непрямо воздействует на внешнюю среду таким образом, что модифицированный внешний стимул заводится обратно в управляющий элемент. Этот процесс обратной связи будет продолжаться в стиле замкнутой петли между внешней средой и управляющим элементом. Параллельно, в то время, как работает вышеуказанный итеративный процесс обратной связи, кодирующие или заучивающие преобразования модифицируют отображение пространственного состояния стимула-отклика в ответ на изменяющуюся внешнюю среду.

Отображение управляющего элемента воплощает абстрактное представление внешней среды и ее влияния в этой среде. Операция вышеописанной системы, использующей обратную связь с окружающей средой даже в относительно простой форме, может не позволить применение уменьшительного анализа и выглядит как развивающая управляющую систему почти неограниченной сложности.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Воплощение этого изобретения будет теперь описано только через примеры со ссылками на сопровождающие чертежи и таблицы, где

Таблица 1 представляет вероятностную стандартную девиационную ошибку в отклике, как функцию количества закодированных последовательностей.

Таблица 2 перечисляет коды фонем.

Дополнительное раскрытие

Таблица 3 перечисляет некоторые уникальные множества статистик более высокого порядка в виде отношений между порядком статистики и размером поля входного стимула.

Фигура 1 иллюстрирует общие компоненты нейронного элемента в качестве стандарта в современных моделях градиентного спуска.

Фигура 2 иллюстрирует, в общем, компоненты биологического нейрона.

Дополнительное раскрытие

Фигура 3 - иллюстрирует общую структуру различных биологических нейронных клеток.

Фигура 4 иллюстрирует, в общем, характеристики сигнальной обработки биологического нейрона и сигмоидальные характеристики отклика. Дополнительное раскрытие:

Фигура 5 иллюстрирует различные нейронные соединения и внутренние нейронные петли в коре головного мозга.

Фигура 6 иллюстрирует обратную связь среды через нейронный управляющий элемент.

Фигура 7 иллюстрирует простое воплощение конфигурации аппаратуры для искусственного нейронного устройства для одного нейронного элемента.

Фигура 8 иллюстрирует, в общем, пример аппаратурной конфигурации для искусственного нейронного элемента, которое преобразует визуальные образы в слуховые.

Фигура 9 иллюстрирует оцифрованный визуальный образ, представленный растрами в визуальном поле.

Фигура 10 иллюстрирует оцифрованную звукограмму звукового входа.

Фигура 11 иллюстрирует применение искусственной нейронной системы в автоматически управляемом транспортном средстве.

Фигура 12 иллюстрирует последовательности, которые соответствуют пошаговому движению роботной системы в пределах данного интервала времени.

Фигура 13 иллюстрирует дерево решений.

Фигура 14 иллюстрирует многослойную параллельную нейронную сеть.

Фигура 15 иллюстрирует слоеную параллельную нейронную сеть.

Фигура 16 иллюстрирует нейронную сеть с обратной связью.

Дополнительное раскрытие

Фигура 17 иллюстрирует воплощение аппаратурной конфигурации для искусственного нейронного устройства в одиночном обрабатывающем узле.

Фигура 18 иллюстрирует воплощение конфигурации 16-узлового гиперкуба для связной коммуникации между обрабатывающими узлами.

Одинаковым частям будут даны одинаковые номера на всех фигурах.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВОПЛОЩЕНИЙ ЭЛЕМЕНТАРНАЯ МОДЕЛЬ (ФИГУРА 7)

Может быть предложено бесчисленное разнообразие физических конфигураций или аппаратурных воплощений нейронных процессов, описанных при сем. Намерением является проиллюстрировать примеры физического воплощения искусственного нейронного устройства, использующего описанный голографический нейронный процесс. Аппаратное воплощение этого устройства, однако, не лимитировано любым частным типом конфигурации устройства или информационной памяти или обрабатывающим средством.

Аппаратное воплощение проиллюстрировано на фиг.7. В этом примере показаны 16 входных данных стимула. Ожидается, что будут использоваться аналоговые мультиплексные сигнальные техники для увеличения количества элементов в поле стимула S до любого желательного количества. Входные сигналы являются колебательными импульсами, имеющими информацию фазы вектора, представленную частотой, и векторную амплитуду, представленную амплитудой сигнала. Этот сигнальный импульс обычно подобен нейробиологически сгенерированному импульсу, который, как полагают, передает информацию. Использование вышеуказанного механизма для передачи информации (колеблющейся волны или импульсно модулированного сигнала) также оказывает преимущество, заключающееся в том, что требуется только одна сигнальная линия для передачи как фазового угла, так и амплитуды компонентов информации.

В продолжение кодирующей операции элементы поля входного стимула (от 1 до 16) трансформированы в оцифрованное представление фазового угла и амплитуды через демодулирующую схему А. Отдельная компонента фазы и амплитуды определяется для каждого из элементов входного стимула. Ассоциированный выходной отклик для кодирования считан через демодулирующую схему Е и, подобно этому, преобразован в оцифрованное представление компонент фазового угла и амплитуды.

Цифровое кодирующее устройство (F) выполняет преобразование комплексного вектора согласно уравнению 13 для кодирования последовательностей стимула-отклика в устройстве (С) памяти. Устройство (С) хранит закодированную информацию и представляет аксон-дендритные синаптические соединения.

В продолжение декодирующей операции элементы поля входного стимула трансформированы в оцифрованное представление фазового угла и амплитуды через демодулирующую схему (А). Как и ранее, отдельная компонента фазы и амплитуды определяется для каждого из элементов входного стимула. Декодирующее устройство (В) считывает двоичное представление сигналов входного стимула и соответствующие элементы [X] закодированного вектора из устройства (С). Подходящие элементы [X] могут быть определены через адресную шину включения IN, управляемую внешней логикой. Устройство (В) выполняет декодирующую операцию, определенную уравнением 27, используя элементы входного стимула [S] из устройства (А) и закодированные элементы [X] из устройства (С). Выходной отклик передан на частотный модулятор (D), который преобразует двоичное представление вектора или комплексного числа в импульс с частотой, представляющей векторный фазовый угол, и сигнальной амплитудой, представляющей амплитуду вектора.

Несколько таких нейронных элементов могут быть соединены вместе в любой конфигурации для формирования массива нейронных элементов, работающих одновременно или массивно параллельным способом. Следующее иллюстрирует 6 устройств Искусственной Нейронной Системы (ИНС), которые могут быть получены из процесса, упомянутого ранее. Может быть предложено практически неограниченное количество устройств и применений, однако целью здесь является проиллюстрировать диапазон применений, для которого устройство ИНС, как здесь описано, может быть использовано.

УСТРОЙСТВО ПЕРЕВОДА ПОСЛЕДОВАТЕЛЬНОСТИ В ЗВУКОВУЮ

ЗАПИСЬ (РАСПОЗНАВАНИЕ ВИЗУАЛЬНЫХ ОБРАЗОВ)

Устройство для распознавания визуальных образов, воплощающих это изобретение, как оно описано выше, схематически представлено на фиг.8. Устройство для распознавания визуальных образов объединяет конвенциональную аппаратуру для схватывания и ввода визуальных данных в нейронную систему кодирования/декодирования. Это устройство 1 использует одиночную преобразующую группу (TG) для выполнения конверсии визуальной информации в звуковую.

Аппаратурными требованиями для устройства 1 являются следующие:

(а) видеокамера 2, способная генерировать стандартный аналоговый видеовыход;

(б) оцифровывающее устройство, такое как цифрователь 3 видеосигнала, способный получать аналоговый входной видеосигнал. Этот цифрователь 3 разделяет сканированные видеолинии в массив "растров". В одном применении представьте растровое поле 64 на 64. Каждый растр представлен значением, которое пропорционально средней интенсивности сканированных линий в этом растровом поле, как это показано на фиг.9;

(в) нейронный процессор, способный хранить и обрабатывать данные или сигнальную информацию. Искусственная нейронная система может быть воплощена любой физической аппаратурой (специальной или общего назначения), конфигурированной для выполнения требуемого процесса, как описано ранее.

Для того чтобы упростить этот пример, можно допустить, что серии фонем, составляющих выходной отклик, будут закодированы и аппаратура осуществляет перевод из фонем в речевой выход. Каждое произнесенное слово состоит из набора фонем. Требуется приблизительно 36 фонем для озвучивания большинства фраз в английском языке. Используя искусственную нейронную систему, описанную здесь, поток визуальных данных, сгенерированный цифрователем 3 видеосигнала (серии растровых значений), переводится в речевой выход (набор фонем) на громкоговорителе 12.

Процедуры кодирования/декодирования, выполняемые в процессе, иллюстрированы ниже.

КОДИРОВАНИЕ

Оборудование для цифрования видеосигналов генерирует, например, серию размером 4096 байтов, которая представляет поле растров размером 64 на 64 для визуального входа. Значения растров входного стимула переведены в углы векторной фазы 5 таким образом, что они попадают в диапазон от 0 до 2. Поле визуального входа должно быть представлено через [S].

Соответствующий выходной отклик 10 для этого визуального стимула является или спектральным гармоническим представлением для произнесенного слова, или эквивалентным набором фонем, каждая из которых определена числовым представлением; последний должен быть иллюстрирован для простоты. Например, допустим, что видеокамера 2 сфокусирована на картине дома и откликом должно быть произнесение слове HOUSE. Это слово может быть реконструировано при использовании 4 фонем: h, о, u, s. Представление этих четырех фонем должно быть закодировано в Памяти и нейронном процессоре 1. Вплоть до 36 фонем (см. таблицу 2) могут быть выбраны для формирования звука, следовательно должен быть определен механизм отбора. Для удобства 6 в степени два числа были выбраны для представления выбора фонем (то есть, 6²=36 возможностей). Каждое число и степени шести представлено двумя элементами в поле выходного отклика [R] . Если позволить емкость для кодирования четырем фонем, то потребуется 8 элементов в поле выходного отклика [R].

При представлении степени числа шесть комплексная поверхность должна быть разделена на 6 регионов, каждая секция по 60 градусов, например, с границами, определенными t:

0-/3

1-2/3

2-

3-4/3

4-5/3

5-2

Следовательно, для отклика закодированный выход будет состоять из следующего:



Действительный фонемный отклик может быть введен через клавиатуру 13 и преобразован в набор комплексных значений (диапазон фазы от 0 до ). Входной стимул [S] и закодированный отклик [R], преобразованные в массив векторов устройствами 5 и 6, состоят из данных, заведенных в кодирующий процессор нейронной системы 9. Сигмоидальная предварительная обработка и расширение до более высоких составляющих выполняется на данных входного стимула. Корреляционная матрица [X] генерируется и хранится в быстродействующей памяти 8, доступной для процессоров 7 И 9 нейронного кодирования и декодирования. Последовательности стимула-отклика закодированы в корреляционной матрице [X] через нейронный процессор 9, выполняющий следующие операции. Эти шаги выполняются для каждого элемента (х_j,k) в корреляционной матрице [X]:

1. Читай компоненты фазы [Ph] и амплитуды [Mag] для каждого элемента (х_j,k) и преобразуй в действительную (Re) и мнимую (Im) части. Запомни преобразованные значения в буфере данных в нейронном кодирующем процессоре 9.

2. Читай компоненту фазового угла (Ph) для элементов (s_j) из массива входного стимула [S] и элемент (r_k) из закодированного массива отклика [R]. Помести эти значения в буфер в нейронном кодирующем процессоре 9.

3. Выполни сигмоидальную предварительную обработку и расширение до составляющих более высокого порядка, как это определено в секции, относящейся к улучшениям изобретения.

4. Выполни следующие логические операции в нейронном процессоре 9:

Re(x_j,k) = COS[Ph(r_k)-Ph(s_j)] + Re(x_j,k) (63)

Im(x_j,k) = SIN[Ph(r_k)-Ph(s_j)] + Im(x_j,k) (64)

5. Определи фазовый угол (Ph) и амплитуду (Mag) для компоненты j,k из [X] путем использования следующих операций:



Заметь, что Ph(x_j,k) должна быть подстроена до правильного квадранта на комплексной поверхности.

Mag(x_j,k) = [Pe(x_j,k)² + Im(x_j,k)²]* (66)

Запомни фазовую и амплитудную компоненты вышеуказанных элементов [X] обратно в быстродействующей памяти.

Вышеуказанное иллюстрирует кодирующую порцию процесса. Этот процесс может быть повторен для кодирования множественности последовательностей стимула-отклика в корреляционной матрице [х]. Заметьте, что нейронный процессор 9 должен быть оптимально конфигурирован для выполнения преобразований (шагов 3 и 5) в параллельной форме, насколько это возможно. Следовательно, желательно устройство обработки матриц или конфигураций в нейронном процессоре. Вышеуказанная операция может, конечно, быть выполнена последовательно, как в конвенциональном компьютерном устройстве общего назначения, однако время обработки может быть предотвращающим фактором.

ДЕКОДИРОВАНИЕ

Операция, подобная кодированию, выполняется при декодировании или ассоциировании последующего входа стимула с откликом. Видеосигнал генерируется видеокамерой 2 и питает вход цифрователя 3 видеосигнала, разделяющего изображение в массиве растров размеров 64 на 64. Растровые значения пропорциональны шкале серого цвета или уровню интенсивности. Эти растровые значения переведены в вектора 5 (то есть информацию, представленную фазовыми углами, ориентированными между 0 и 2). Это поле стимула должно быть представлено в виде [S] " и элементы [S]" переведены в фазовые углы и считаны в быстродействующую память, доступную для процессора 7 нейронного декодирования. Выполняются следующие действия на комплексных элементах в корреляционной матрице [X] и на элементах в поле стимула [S]".

1. Читаются компоненты фазы [Ph] и амплитуды [Mag] для комплексных элементов (х_j,k) корреляционной матрицы [X] . Запоминаются вышеуказанные значения в буфере данных в нейронном кодирующем процессоре 7.

2. Читаются фазовые компоненты элементов (s*_j) из поля входного стимула [S] " и запоминаются эти значения в буфер в нейронном кодирующем процессоре 7.

3. Выполняется сигмоидальная предварительная обработка и расширение до составляющих более высокого порядка, как это определено в шаге 3 процесса кодирования.

4. Каждый элемент (r*_k) в поле выходного отклика [R*] затем оценивается в нейронном декодирующем процессоре путем выполнения следующих операций. Заметьте, что следующее является суммированием по всем j=1 до N элементов х_j,k и s*_j.

Вышеуказанные шаги должны быть выполнены (то есть с 1 до 3 шаг) для каждого из выходных элементов в поле отклика [R] (от k=1 до 8).

5. Вслед за вышеуказанной суммирующей операцией каждый элемент в поле отклика [R] преобразуется нейронным процессором в соответствующие значения фазы и амплитуды, как это следует ниже:



Заметьте, что подстройка должна быть сделана для главного угла.

Mag(r*_k)=[Im(r_k)²+Re(r_k)²]^1/2 (70)

Компонента фазы Ph [r_k] содержит выходную информацию (идентификацию фонемы), в то время как амплитудная компонента обеспечивает значение, статистически пропорциональное степени распознавания.

6. Вышеуказанные элементы выходного отклика для [R]* считываются выходным каскадом 10, который преобразует каждое из значений фазы Ph(r*_k) в степень числа 6, используя следующую формулу перевода:



Заметьте, что эта иллюстрация, относящаяся к преобразованию в (и переводу из) фазовый угол скалярного стимула и сигнала отклика, является специфическим применением или функциональной деталью, целиком модифицируемой в зависимости от специфического назначения.

7. Значения степени числа 6 идентифицируют выходные фонемы, каждая из которых содержит две цифры (выходных элементов). Эти значения отклика преобразуются в соответствующий речевой отклик, используя конвенциональное аппаратурное устройство 11 для генерирования речевого звукового выхода.

Вышеуказанное обеспечивает очень простую иллюстрацию применения для нейронного устройства, использующего только одну преобразовательную группу. Эта иллюстрация преобразовывает входную сенсорную модальность зрения в эффекторный речевой отклик. Эти визуальные последовательности могут быть любой формы сложности (то есть лицо, транспортное средство, любой объект).

Как описано в шаге 3 как кодирующего, так и декодирующего процесса, дальнейшее воплощение, относящееся к емкости памяти, может быть выполнено расширением поля входного стимула как при кодировании, так и при декодировании до составляющих более высокого порядка (то есть герметианской матричной формы). Герметианская матрица может быть оценена в нейронном процессоре следующей операцией расширения:



где является комплексным сопряжением от [S].

Результирующим эффектом вышеуказанной операции является то, что емкость памяти для стимула-отклика может потенциально превзойти несколько миллионов ассоциаций, прежде чем наступит слишком большая ошибка классификации. Вышеуказанная операция, как и прежде, может быть выполнена оптимально специально предназначенной для этого аппаратурой матричной обработки в нейронном процессоре.

УСТРОЙСТВО ДЛЯ ПРЕОБРАЗОВАНИЯ ГОЛОСА В ТЕКСТ

Преобразование голоса в текст является другим примером преобразования одной формы сенсорной модальности (то есть слуха) в эффекторный отклик (то есть текстовую запись). Это применение нейронного устройства будет воплощать кодирование и декодирование речевого входного стимула в ассоциированный тип или выходной код ASCII. В этом применении поле входного стимула будет состоять из оцифрованных звукограмм. Звукограмма является одним из средств выражения речевых данных и отражает интенсивность гармонического содержания на данной оси времени. Пример звукограммы приведен на фиг.10. Будучи очень похожей на оцифрованное поле визуального входа, звукограмма может быть расщеплена в растровое поле с частотой вдоль вертикальной оси и временем вдоль горизонтальной.

Например, допустим разложение речевого входа в 32 частоты с 32 временными шагами. Выходное поле будет состоять из 12 элементов. Эти элементы отклика могут представлять коды ASCII в виде, подобном представленному в предыдущем примере (два числа степени 6 на букву).

Входной стимул является, следовательно, словом речи, а выходной - записанным откликом. Для применения, специфицированного выше, и допуская распределение, которое может быть идеально симметризировано, количество последовательностей стимула/отклика, которые могут быть закодированы до появления слишком большой ошибки классификации, дано нижеследующим:



где Р = количеству запомненных последовательностей,

N = количеству элементов в поле стимула,

Еr = ошибке отклика (предполагается 5% от полной шкалы).

Если применяется расширение до статистик более высокого порядка (то есть герметианская предварительная обработка), то количество ассоциаций, которые могут быть закодированы, превышает 200000. Эта величина значительно больше, чем количество общего использования в английском языке. Преимущество, следовательно, может быть реализовано в распознавании речи многих пользователей, тем самым несколько вариаций каждого слова может быть закодировано, каждая из которых отражает вариации тонов и интонаций.

Современные системы распознавания речи требуют интенсивной тренировки пользователей (то есть речевого примеривания), однако ожидается, что системы, основанные на достаточном количестве образцов, не будут требовать дальнейшего программирования или тренировки для специфических индивидуумов. В дополнение к этому вследствие природы, согласно которой информация голографически закодирована в том же самом средстве, ожидается, что время обработки будет существенно уменьшено для того, чтобы сделать возможными системы распознавания непрерывных речевых голосов, работающих в реальном времени.

РОБОТНЫЕ УСТРОЙСТВА

Роботные или кибернетические применения требуют уровня сложности, каким-то образом превышающего устройства, описанные выше. Ожидается, что для применений в кибернетическом управлении будут требоваться массивы преобразовательных групп (TG), использующие различные режимы управления с обратной связью. Фиг.11 иллюстрирует одну возможную конфигурацию мульти-TG с обратной связью.

Применение нейронного устройства, основанного на голографическом процессе, описанном при сем, может потенциально привести к созданию управляющей системы, превосходящей современные технологии. Ниже описаны два применения нейронного устройства в области роботного управления.

РОБОТНАЯ РУКА

Нейронная управляющая система может быть использована в сборочном роботном устройстве, обладающем десятью осями вращения, а также визуальным входом. Механизм обратной связи работает через визуальный стимул и датчики положения/скорости осевых совместных движений. Один возможный концептуальный дизайн для роботного применения может состоять из двух нейронных преобразовательных групп TG1 и TG2.

Преобразовательная группа (TG1) будет получать входы стимула, указывающие на осевую позицию (10 элементов) и скорости движения (10 элементов). Эта преобразовательная группа может использовать генерирование статистик более высокого порядка (см. раздел, озаглавленный Улучшения изобретения) на поле стимула для увеличения емкости памяти для последовательностей. Путем расширения до статистик 6-го, 7-го и 8-го порядка поле входного стимула может быть увеличено до 250000 элементов. Это расширенное поле стимула может генерировать вход для второй преобразовательной группы (TG2), получающей второй стимул с визуального поля (то есть растр 64 на 64). Путем расширения визуального поля до 250000 элементов в статистиках второго порядка вышеуказанная модель обеспечивает примерно 500000 элементов в поле стимула группы TG2 (то есть 250000 визуальных и 250000 осевых положений/скоростей). Можно допустить, что количество закодированных ассоциаций последовательностей будет N/8, где N является количеством элементов в поле стимула, что определяет 3% абсолютный уровень детерминистической "ошибки" в сгенерированном отклике для идеальных симметричных данных. Количество отдельных последовательностей стимула-отклика, которые могут быть выучены роботной управляющей системой, может потенциально превзойти 60000. Должно быть отмечено, что вышеуказанное описывает элементарную модель кибернетической управляющей системы с очень ограниченным количеством нейронных клеток. Кроме того, ожидается, что будут требоваться сигнальные обратные связи, применяемые в большинстве управляющих систем так же, как и большие и более комплексные массивы голографических элементов, для реализации практичных роботных управляющих систем.

Метод кодирования или заучивания временных динамических движений для роботной руки иллюстрируется просто следующим образом. Комплексное движение будет определяться как серия последовательностей, представляющих визуальный вход, осевую позицию и скорость движения. Эти последовательности будут соответствовать каждому инкрементальному движению процесса в продолжение данного интервала времени, иллюстрированному довольно схематично на фиг. 12. Эти интервалы последовательностей стимула могут быть закодированы в сеть с последовательностью выходного отклика, соответствующего следующей осевой позиции (во времени) или движения роботного устройства.

Ожидается, что этот относительно простой механизм для кодирования роботных движений или тренажера будет порождать парадигму роботного управления с возможностями по сложности, превышающими те, которые можно получить, используя современные управляющие устройства или технологии.

УСТРОЙСТВО АВТОМАТИЧЕСКОГО ПИЛОТИРОВАНИЯ ПЕРЕВОЗОЧНЫМ

ТРАНСПОРТОМ

Для того чтобы проиллюстрировать пример более сложной системы управления, предложено применение нейронного устройства для перевозочной навигации. Транспортное средство не является роботным устройством в прямом смысле слова, однако может представлять готовый визуализированный пример.

Следующее будет служить входами для нейронного устройства:

1. Голос человека-оператора.

2. Визуальный вход.

3. Радарное слежение и навигация.

4. Управляющие параметры транспортного средства (то есть скорость, ускорение, рулевые данные, показания транспортного вождения и т.д.).

5. Широта, долгота и высота для навигационных целей. Выходное поле отклика может содержать следующее:

1. Речевой выход.

2. Ускорение.

3. Рулевые данные.

Применение этого типа является идеально подходящим для голографического нейронного устройства, потому что имеется большое количество входных элементов стимула и относительно немного выходных элементов отклика. Будет ожидаться, что задача такой сложности будет требовать несколько трансформационных групп. Например, одна TG может кодировать для того, чтобы реагировать на речевой вход, вторая - на визуальный стимул, и третья - на позицию датчика или радара. Эти преобразовательные группы будут снабжать последующие слои TG, как это иллюстрировано на фиг.11 с выходным нейронным слоем, определяющим управляющие действия (то есть ускорение или руление).

Вследствие большого объема данных стимула (то есть визуальных, радарных, речевых), большое количество элементов стимула может быть ожидаемым, как превышающим 200000. Допуская правило N/8 для низкой детерминистической ошибки, количество последовательностей стимула/отклика, которое может быть закодировано, будет приблизительно 25000. Если были сгенерированы статистики второго порядка во всем поле стимула, то емкость памяти для хранения последовательностей может превысить несколько миллиардов. Ожидается, что эта емкость памяти может кодировать существенные управляющие действия отклика для того, чтобы существенно реагировать на любую потенциально опасную ситуацию или защитное маневрирование, делая этот диапазон применений вполне возможным.

ЭКСПЕРТНЫЕ СИСТЕМЫ (УСТРОЙСТВО АВТОМАТИЧЕСКОГО МЫШЛЕНИЯ)

Современное основное направление применений искусственного интеллекта основано на эвристической технике. Эвристика является термином, который используется для определения концепции программирования, основанного на правилах. В общем этот подход связан с применением правил множественных решений по отношению к входным состояниям для того, чтобы выдавать отклик, выглядящий интеллигентно. Эвристика была первоначально использована в области игр (то есть шахматы) и продемонстрировала особо замечательные результаты.

Программирование, основанное на правилах, стало главной ветвью исследований по искусственному интеллекту и нашла более практическое применение в области экспертных систем. Значительные исследования в этой области концентрируются на развитии более эффективных поисковых и синтаксно-поисковых механизмов для обхода дерева решений, основанного на правилах. Принципиальный недостаток в конвенциональных эвристических подходах - это то, что правила решений должны быть приложены и проверены в последовательном режиме для достижения данного отклика или результата. В экспертных системах, работающих в области, связанной с некоторым уровнем сложности, количество правил и, таким образом, время поиска, которое требуется для этого, драматически увеличивается, тем самым ограничивая способности подхода, основанного на правилах. Должна быть сделана простая, однако прямая аналогия между голографическим нейронным устройством и функциональными аспектами эвристической техники. Ниже представлена главная концепция дерева решений в эвристическом подходе.

Форма дерева решений представлена на фиг.13. Событие на вершине определено как один из возможных выходов, а ветвящаяся сеть ниже описывает буллевские выражения, ведущие к этому событию на вершине. Буллевское дерево описывает все условные входы, ведущие к решающему событию на вершине в форме выражений AND и OR (в простейшей форме). В любых экспертных системах используются множественные деревья решений. В примере, который дается здесь:

Событие А истинно IF



(74)

Применяя буллевское уменьшающее отсечение к дереву решений, данному в приведенном примере, приходим к следующим результатам:



(75)

Каждая из составляющих продукта (от 1 до 12) состоит из серии "anded" условий, другими словами, состояний, которые происходят одновременно. Вышеуказанные отсечения или "входные последовательности" могут быть прямо закодированы в корреляционную матрицу в голографическом нейронном устройстве в форме дискретных ассоциаций стимула-отклика, и отклика или решения, в виде события на вершине логического дерева. Каждый из перечисленных составляющих продукта фактически представляет отдельную последовательность стимула-отклика и все последовательности последовательно закодированы в нейронной системе. Голографическое нейронное устройство, описанное при сем, обеспечивает колоссальную емкость для хранения последовательностей стимула-отклика и делает возможным механизм для создания исключительно большой и комплексной системы, основанной на эвристических правилах.

Информация запоминается в сети голографического нейронного устройства, и наиболее высококоррелирующие отклики на входной стимул выходят в массивно параллельном виде. Ожидается, что эта существенно параллельная техника будет давать существенное преимущество над современными эвристическими методами в смысле как скорости обработки, так и емкости хранения информации.

Предполагается, что может быть реализовано также существенное преимущество над эвристической техникой в том, что голографические операционные характеристики не являются двоичными по природе (прошел/не прошел), а являются аналоговыми и определенными в непрерывном диапазоне. В дополнение к этому, каждый из закодированных сценариев или последовательностных фреймов может быть совершенно отличен или независим от всех других закодированных последовательностных фреймов без того, чтобы неблагоприятно действовать на вычислительную эффективность. Это свойство может потенциально сделать возможной большую и сложную систему, которая не подчиняется буллевским сократительным техникам или решениям через эвристические методы.

Используется следующий пример для иллюстрации вышеуказанной концепции. Представьте экспертную систему, основанную на правилах, состоящую из 1000 входных параметров. Эти входы будут снабжать информацией, относящейся к "наблюдаемым" для возбуждения решения или выхода экспертной системы. Расширяя до составляющих второго порядка, сгенерированное входное поле производит нейронное устройство, реагирующее на поле входного стимула, состоящее из 500000 элементов. Используя выражение N/4, соответствующее среднему действительному значению "ошибки" в 5% от абсолютного значения, количество полных ассоциаций стимула/отклика или сценариев, которые могут быть закодированы этой системой, может превышать 125000.

Экспертная система, основанная на нейронах, будет, следовательно, способна запоминать ассоциированный отклик на 125000 сценариев, каждый из которых содержит 1000 входных параметров. В этом примере степень числа 4 должна быть использована для генерирования выходного отклика, следовательно требуется 9 цифр (log₄ 125000) для идентификации 250000 отдельных сценариев. Количество элементов (то есть требуемых преобразований) в матрице вектора корреляции [X] будет:

количество элементов стимула количество нейронов

510⁵log₄[M]=4,5х10⁶ (76)

где М = количеству возможных результатов (то есть 125000).

Можно допустить, что фундаментальное декодирующее преобразование выполняется в нейронном процессоре со скоростью 1 миллион преобразований в секунду. (Вычислительная скорость в 20 миллионов команд в секунду находится в пределах возможностей сегодняшних микропроцессоров). Следовательно, можно представить, что экспертная система, основанная на голографическом нейронном процессе, использующем один микропроцессор, будет доходить до высококоррелированных выходных решений, основанных на 125000 независимых входных сценариях, каждый содержащий 1000 параметров, в течение одной секунды.

Ожидается, что применение такого нейронного устройства превзойдет в огромной степени рабочие способности экспертных систем, использующих конвенциональные эвристические методы.

НЕЙРОННЫЕ ПРОТЕЗИРУЮЩИЕ УСТРОЙСТВА

Область протезного управления может выиграть в огромной степени от применения нейронного устройства, описанного здесь. Напоминается еще раз, что целью и назначением этого устройства является обеспечить эффективное запоминание информации и перерабатывающие способности при помощи эмуляции фундаментального механизма, при помощи которого биологическая нейронная система запоминает и обрабатывает информацию. Специфический нейронный процесс, описанный здесь, выглядит как эмулирующий форму характеристик информационной обработки в нейроне во многих отношениях. Эти сходства перечислены ниже:

а) импульсы, модулированные по частоте, подобные по форме биологически сгенерированным нервным импульсам;

б) информационное представление в форме ассоциаций стимула-отклика;

в) голографические свойства, демонстрирующие огромные плотности запоминания информации;

г) почти немедленное однопроходное преобразование как для учебных операций, так и для операций выражения;

д) функциональные сходства с изоморфическими характеристиками различных классов биологических нейронов;

е) асинхронная передача и обработка сигналов стимула-отклика;

ж) различный профиль памяти.

Синтетическая система, которая близко имитирует вышеуказанные биологические характеристики, будет неизбежно обеспечивать существенное продвижение вперед в области взаимосвязи между протезным управляющим устройством и нейробиологическими цепями.

Дополнительное раскрытие

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВОПЛОЩЕНИЙ

УСОВЕРШЕНСТВОВАННАЯ МОДЕЛЬ (ФИГУРЫ 17 И 18)

Этот пример аппаратного воплощения формирует концептуальную основу для возможного будущего поколения компьютерных прототипов, использующих голографический процесс, описанный здесь. Это усовершенствованное воплощенное устройство должно называться нейрокомпьютером. Нейрокомпьютер предназначен для целей общего назначения по его рабочим характеристикам. Методология программирования будет существенно отличаться от конвенциональных языков и техник программирования. Некоторые из этих основных категорий модификационных или программирующих свойств, которые требуются в нейрокомпьютере, перечислены ниже:

1) Спецификация синаптических взаимных соединений или матриц взаимосвязей между нейронными аналогиями.

2) Спецификации обработки входных данных в нейронных элементах (то есть сигмоидальная обработка, генерирование составляющих более высокого порядка, характеристики нелинейного фильтрования).

3) Спецификация возбуждающих/подавляющих состояний для синаптических взаимосвязей.

4) Спецификация знания или закодированных данных в корреляционной матрице [X] (аналогичной синаптической закодированной информации).

5) Спецификация коэффициентов затухания или скорости. Это программируемое свойство устанавливает профиль памяти (то есть, быстродействующая, в противоположность долговременной).

6) Спецификация скорости кодирования. Это программируемое свойство эффективно модифицирует скорость учебы.

7) Спецификация Входа/Выхода внешней среды. Она модифицирует отображение внешнего входного стимула (88 на фиг.17) в аналоговые синаптические входы так же, как отображение выходного отклика (90 на фиг.17) во внешнем устройстве.

В этом примере показаны две принципиальные аппаратные компоненты - однопроцессорный микрокомпьютер 70 и память 72. Однопроцессорный микрокомпьютер является представителем компоненты, доступной сейчас на рынке и имеющей следующие особенности:

1) процессор,

2) множественные сериальные соединения для транспортировки данных,

3) устройство связи с памятью.

Эти вышеуказанные функциональные блоки могут взаимодействовать в любой манере, однако приведенная иллюстрация на фиг.17 показывает только требуемое направление потока данных и относится к предписанному нейронному процессу. Процессор 84 разделен на 3 функциональных блока для иллюстративных целей. Эти функциональные блоки ниже перечислены и описаны более детально ниже:

1) Декодирование 74.

2) Кодирование 76.

3) Другие функции 78.

В этом примере элементы поля входного стимула [S] и поля выходного отклика [R] передаются через их действительную и мнимую части в двоичном представлении. Эта концепция иллюстрирована ниже в представительном случае для элемента _i в поле стимула [S]:



Например, и =74, тогда

s_i=-36+i 64

Предполагается, что используется восьмибитовая разрешающая способность для каждой действительной и мнимой части. Элементы стимула и поля отклика могут быть переданы или через сериальные связи данных 80 и 82, или отображены во внешней памяти (88 и 90). Фиг.17 иллюстрирует передачу одной последовательности элемента стимула через сериальную связь данных 82.

КОДИРОВАНИЕ (ВОПЛОЩЕНИЕ НА ФИГ.17)

Во время операции кодирования элементы последовательностей стимула (s₁) считываются либо через один из четырех сериальных входных связей, либо через внешнюю память 88, обеспечивая вход, отображенный в памяти. Подобно этому элемент или элементы последовательности отклика могут быть считаны в кодирующее устройство 76 либо через сериальные связи, либо через внешнюю память 88. Заметьте что для каждого из элементов стимула и отклика действительная и мнимая компонента, выведенные из фазы и амплитуды компонентов комплексного элемента или вектора, считаны в кодирующее устройство 76.

Действительные и мнимые компоненты соответствующих элементов [x₁] для корреляционной матрицы [X] считываются из внешней памяти 86. Кодирующее устройство 76 выполняет кодирующее преобразование, как это определено, в канонической форме путем следующего преобразования матричной формы:



Вышеуказанная операция накладывает выученную последовательность стимула-отклика на корреляционную матрицу [X]. Кодирующая операция определена в дальнейших деталях, при сем, в секции, озаглавленной Сводка изобретения. Заметьте, что представленная аппаратная конфигурация, а также характеристики процессора общего назначения требуют того, чтобы вышеуказанное матричное преобразование было выполнено в последовательной манере. Закодированный элемент или элементы корреляционной матрицы запоминаются обратно в запоминающем устройстве 86, которое выполняет функцию, аналогичную аксон-дендритным синаптическим соединениям.

ДЕКОДИРОВАНИЕ (ВОПЛОЩЕНИЕ НА ФИГ.17)

Во время операции декодирования элементы поля стимула (s*₁) считываются либо через сериальные входные соединения 82, либо через внешнюю память 88 для памяти отображения входа. Для элементов стимула действительные и мнимые компоненты, извлеченные из фазовых и амплитудных компонентов комплексного элемента или вектора (s*₁), считываются в декодирующее устройство 74. Действительные и мнимые компоненты соответствующего элемента вектора в корреляционной матрице [X] считываются из внешней памяти 86. Декодер 74 выполняет декодирующее преобразование, как это определено, в канонической форме, путем следующего преобразования векторной матрицы:



Заметьте, что представленная аппаратурная конфигурация и работа процессоров общего назначения требуют того, чтобы вышеуказанное матричное преобразование выполнялось в последовательной манере. Декодирующая операция определена в дальнейших деталях, при сем, под заголовком Сводка изобретения.

Сгенерированный отклик [R] может быть выдан через сериальные выходные связи 80 или через внешнюю память 90 для памяти отображенного выхода. Заметьте, что выходной сигнал отклика представлен действительной и мнимой компонентами, как это иллюстрировано прежде в уравнении 77.

ДРУГИЕ ФУНКЦИИ (ФИГ. 17)

Третий традиционный блок, определенный в процессорном блоке 78, относится к другим функциям или улучшениям процесса. Этот функциональный блок 78 имеет доступ как к данным сериальных связей входа и выхода, так и к данным внешней памяти 72. Воплощение нейронного процесса в процессоре общего назначения обеспечивает существенное преимущество в том, что может быть применен широкий диапазон улучшений или вариаций фундаментального нейронного процесса. Подмножество возможных улучшений состоит из гермитианской или сигмоидальной предварительной обработки поля входного стимула [S]*, как это описано в секции, относящейся к Улучшению изобретения, и всех программируемых функций, перечисленных под заголовком Физическое воплощение устройства - Усовершенствованная модель.

Несколько обрабатывающих узлов могут быть соединены вместе в любой конфигурации для того, чтобы сформировать массив нейронных элементов, действующих в асинхронном или параллельном режиме. Одна возможная параллельная конфигурация иллюстрирована на фиг.18 и состоит из 16 обрабатывающих узлов. Каждый обрабатывающий узел 92 состоит из аппаратной конфигурации, представленной на фиг.17. Представленная взаимосвязывающая аранжировка называется обычно буллевским гиперкубом. В этой аранжировке каждый обрабатывающий узел имеет доступ к своей собственной местной памяти и общается с четырьмя ближайшими узлами через высокоскоростные двухсторонние коммуникации.

При иллюстрировании наиболее вероятных вычислительных способностей вышеуказанного устройства, использующего предписанный голографический процесс, система (как она представлена на фиг.17) оценивается, используя операционные спецификации существующих и доступных аппаратных компонентов. Операционными спецификациями для избранной аппаратуры являются следующие:

местная память узла = 2 мегабайтам,

скорость передачи на одну связь = 20 мегабайтам в секунду,

скорость обработки узла = 20 миллионам операций в секунду.

Каждый обрабатывающий узел может быть конфигурирован внутренне для того, чтобы представлять несколько особых и отдельных нейронных клеток. Для этого примера будет допущено, что каждая нейронная клетка получает 8000 векторных элементов в его поле стимула (то есть [S]=[s₁, s₂, ... S₈₀₀₀) и производит один выходной отклик. Информация, запомненная в каждом из 8000 синаптических входных аналогов, представлена векторным элементом в корреляционной матрице [X]. Требуемая емкость памяти для каждого элемента [X] в этом примере составляет 4 байта. Предполагается 16-битная разрешающая способность для действительных и мнимых элементов в корреляционной матрице [X]. Количество нейронных клеток, которые могут содержаться в каждом обрабатывающем узле , следовательно, будет:



ЕМКОСТЬ ПАМЯТИ (ВОПЛОЩЕНИЕ НА ФИГ.18)

Как уже обсуждалось, последовательности стимула-отклика могут быть наложена на то же самое средство памяти. По мере того как количество последовательностей увеличивается, средняя амплитуда детерминистической ошибки в декодированном выходном отклике увеличивается нелинейно. Емкость памяти в этом примере предполагается в размере N/4 для того, чтобы обеспечивать малую ошибку отклика, где N является количеством элементов в поле стимула [S] (то есть количество элементов стимула N=8000 и емкость для закодированных ассоциаций стимула-отклика равно N/4 или 2000). Вышеуказанный закодированный набор последовательности стимула-отклика в одном нейронном аналоге, основанном на допущениях, при сем описанных, соответствуют следующему информационному содержанию



Вышеуказанное информационное содержание будет называться виртуальной информационной емкостью памяти. Каждый обрабатывающий узел 90 содержит 64 нейронных аналога, следовательно виртуальная информационная емкость, будучи пропорциональной количеству нейронных элементов, получается:

1610⁶ элементов 64 нейронов/узел

= 1 миллиард элементов (байтов)/узел

Для описанной нейронной системы, содержащей 16 обрабатывающих узлов, виртуальная емкость памяти соответствует 16 миллиардам байтов.

СКОРОСТЬ ОБРАБОТКИ (ВОПЛОЩЕНИЕ НА ФИГ.14)

Представлено сравнительное описание нейронного процесса для обеспечения иллюстрации эффективной обрабатывающей способности для этого воплощения, при сем описанного, по отношению к конвенциональным обрабатывающим методологиям.

В области идентификации последовательностей и охватывания больших множеств независимых и нелинейных последовательностей наиболее широко применима техника подбора последовательностей или линейного поиска.

Техника подбора последовательностей связана со сравнением каждого элемента поля стимула против соответствующего элемента каждого из запомненных ссылочных последовательностей. Эти последовательности могут представлять любую форму данных в несжатой форме или, если применимо, в сжатой форме (то есть преобразованной в область частоты).

Для того чтобы иллюстрировать увеличение в вычислительной эффективности, будет описана конвенциональная техника подбора последовательностей в общем и сравнительно с голографическим нейронным процессом. В обычной линейной поисковой технике отклонение (²_p) может быть сгенерировано для каждой ссылочной последовательности р следующим образом:



где а_j - элемент j поля стимула,

b_j,p - элемент j ссылочной последовательности р.

Тогда множество составляющих отклонения последовательности генерируется как:



и эти значения используются некоторым способом для того, чтобы определить или произвести выходной отклик.

Для этой иллюстрации, в которой количество элементов в поле стимула для каждого нейронного аналога равно 8000, предполагаемое количество закодированных последовательностей равно 2000. Процесс подбора последовательностей требует выполнения следующего количества сравнений:

8000 элементов на последовательность 2000 последовательностей = 16 миллионов сравнений (82)

Каждое сравнение состоит из оценки различия между элементами последовательности входного стимула и соответствующего элемента в запомненной ссылочной последовательности и подстраивания корреляционного значения (то есть оценки отклонения последовательности или значения стандартного отклонения). Серия шагов для фундаментальных сравнивающих операций, как они описаны выше, будет называться виртуальной операцией.

Нейронный процесс, описанный при сем, выполняет, грубо говоря, подобную функцию, однако его операционные характеристики являются более сложными и более вычислительно эффективными. Как это установлено в секции, относящейся к Сводке Изобретения, выходной отклик выводится прямо из декодирующего преобразования и является функцией всего множества закодированных ассоциаций, определенных как



где (₁, ₂, ..._T) является множеством значений амплитуды отклика для последовательностей, закодированных на промежутке от t=1 до Т,

является множеством значений сгенерированного выходного отклика, закодированного на промежутке от t=1 до Т.

Существенным для вышеуказанного голографического процесса является то, что выходной отклик выдается прямо как векторная величина с фазовым углом, представляющим скалярную информацию отклика, и амплитудой, статистически пропорциональной степени соответствия между входным стимулом и предварительно закодированными последовательностями стимула.

Одиночное преобразование, выполняемое голографическим нейронным декодирующим процессом, дано как:



При оценке желаемого выходного отклика можно применить некоторый консерватизм в смысле того, что вышеуказанная операция подобна той, которая выполняется 2000 виртуальными операциями в конвенциональном процессе подбора последовательностей или процессе линейного поиска.

Одиночное преобразование, как оно описано уравнением 16, преобразует один элемент в поле стимула через соответствующий элемент всего множества закодированных ассоциаций (2000 в том примере), наложенных в абстрактной форме на корреляционную матрицу [X]. Следовательно, количество механических шагов, требуемых для выдачи откликовых решений, уменьшается пропорционально (то есть в этом случае в 2000 раз).

Для того чтобы проиллюстрировать эффективную скорость обработки, можно допустить для воплощения на фиг. 18, что отношение преобразования кодирования/декодирования ограничено скоростью нейронного процессора.

Для процессорной скорости в 20 миллионов операций в секунду и консервативно предполагая, что требуется 40 операционных циклов для одного кодирующего или декодирующего преобразования (что может иметь место для неаппаратурных умножений), количество преобразований, которые могут быть выполнены в каждом обрабатывающем узле, является, следовательно, 500000 в секунду. Как указывалось ранее, одиночное декодирующее преобразование (уравнение 27) выполняет декодирующую операцию одновременно через развертывание 2000 ассоциаций стимула-отклика. Для сравнительного анализа определение виртуальной операции в методе линейного поиска эффективная обработка для обрабатывающего узла, использующего голографический метод, оценивается как:

500000 преобразований в секунду 2000 виртуальных операций на преобразование = 1 миллиарду виртуальных операций в секунду.

Предполагается, что эффективная скорость обработки для описываемой системы, состоящей из 16 обрабатывающих узлов на фиг.18, может достигать 16 миллиардов виртуальных операций в секунду.

Аппаратное воплощение, при сем описанное, следовательно, приводит к способности хранить 16 миллиардов виртуальных элементов (байтов) информации в форме закодированных ассоциаций стимула-отклика, и к обработке входного датчикового стимула через вышеуказанную аккумулированную информацию на скорости 16 миллиардов виртуальных операций в секунду. Ожидается, что система этого типа, получающая стимулы из различных форм датчиковых модальностей (то есть зрения, слуха, ощущений касания) и использующая характеристики памяти, заучивание и выражение, может потенциально обеспечить удобный информационный обрабатывающий субстрат для того, чтобы сделать возможным и вызвать характеристики срочности в форме такого интеллекта, который демонстрируется нейробиологическими системами наиболее примитивных насекомых.

Описанное аппаратное воплощение является указывающим в одном возможном примере и может быть расширено в любую область, включающую аппаратную конфигурацию, емкость памяти, количество обрабатывающих узлов, количество связей данных на один узел, скорость связной передачи данных, метод передачи данных (то есть сериальный/параллельный режим) и скорость обработки узла. Эти увеличенные способности могут быть использованы для конструирования устройств, имитирующих потенциально более высокий уровень интеллекта.

Хотя предпочтительное воплощение, так же как и операции и использование, были специально описаны в отношении к схемам, должно быть понятно, что могут быть легко достигнуты вариации в предпочтительных воплощениях квалифицированными в этой области людьми без отклонения от духа изобретения. Соответственно изобретение не должно быть понято таким образом, что оно ограничено в точности формами, раскрытыми в схемах.