способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер

Формула изобретения

1. Способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер, заключающийся в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам, отличающийся тем, что в качестве специфических информационных компонентов используют локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений, при этом, если значения двух соседних положительных максимумов отличаются менее чем на порог психофизиологического восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного максимума от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор для нейронной многослойной сети (НМС), и процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя, причем при обучении (НМС) дополнительно формируют массив указателей классов мысленных движений, выполняемых пользователем, который является выходным массивом для обучения НМС, и вычисляют весовые коэффициенты классификации по алгоритму обратного распространения ошибки, и при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя.

2. Способ по п.1, отличающийся тем, что значения двух соседних положительных локальных максимумов амплитуд ЭЭГ сигналов отличаются один от другого не менее чем на 5%.

Описание изобретения к патенту

Изобретение относится к биоинженерии и компьютерной технологии, в частности к области коммуникации мозга человека с компьютером, и предназначено для электроэнцефалографической (ЭЭГ) регистрации, анализа и интерпретации сигналов головного мозга для управления внешними исполнительными устройствами, например курсором «мыши» на экране монитора, инвалидной коляской или специализированными протезами, и может быть использовано в медицинской диагностике, операторской деятельности, в системах безопасности, индустрии развлечений (компьютерные игры).

Аппаратно-программный комплекс мозг - компьютер - интерфейс (Brain-Computer-Interface (BCI)) преобразует электрическую активность мозга - импульсную и суммарную в конкретное действие, в котором тело человека не принимает никакого участия. Посредством компьютера полностью парализованный человек может устанавливать контакт с окружающими, включаться активно в окружающую социальную среду и, возможно, выполнять определенные задания, заниматься полезной и интересной трудовой деятельностью. В BCI системах, основанных на электроэнцефалографии, зарегистрированной от скальпа, измеряют ЭЭГ сигналы и выбирают необходимые участки, в то время как пользователь представляет различные движения, например движения левой или правой рукой. В зависимости от BCI применяются специфическая предварительная обработка и методы извлечения особенности к образцу ЭЭГ определенной длины с целью надежно обнаружить (выделить) ограниченные состояния мозга из ЭЭГ сигналов или паттернов ЭЭГ- фрагментов с определенным уровнем точности. Проблема, которая при этом возникает, основана, по крайней мере, частично на ограниченном понимании человеческого мозга и свойственной ему электрической активности и состоит в том, что точность обнаружения состояния умственной деятельности ухудшается, поскольку число ментальных состояний увеличивается. Например, в настоящее время не возможно распознать слова, о которых пользователь может думать, что могло бы быть желательным, чтобы осуществить задачу диктовки. Однако текущее состояние уровня техники позволяет надежно обнаружить несколько эмоциональных состояний и/или моторных намерений, таких как состояния релаксации (расслабления) или стресса, перемещения правой или левой руки.

Проблема создания надежной BCI получила значительное внимание в последние годы. Предыдущие исследования сосредоточены на том, чтобы применять сигналы ЭЭГ для простых задач контроля команд, например перемещение курсора на экране компьютера или управление движением робота или робота-манипулятора. Этот тип линейного контроля команды создавался для обнаружения ментального состояния испытуемого из ЭЭГ и преобразования обнаруженного состояния в управляющий сигнал. В качестве специфических параметров биопотенциалов мозга в известных системах BCI используют мю, альфа и бета-ритмы мозга и вызванные потенциалы (Event Related Potentials - ERPs).

Известный энцефалолексианализатор (US 5840040, МПК А61В 5/00, U.S. Cl. 600/545, 600/544, 24-11-1998) /1/ предназначен для того, чтобы обнаружить, интерпретировать и использовать сигналы мозговой волны для коммуникации и для контроля за мыслью, например мысленный набор клавиатуры. В основном воплощении изобретения лежат две управляющие системы, основанные на парадигме репетиции движения. Изобретение измеряет уменьшение в mu-волне, которое отделяют от остальных событий, не связанных с движением или размышлением о движении. Изобретение обнаруживает мозговые волны, то есть ЭЭГ сигнал для определения состояния человека: двигающийся или думающий о перемещении или не двигающийся и не думающий о перемещении. Пара электродов размещена по моторной коре над центральной областью скальпа на обеих сторонах головы. Энцефалограф осуществляет запись ЭЭГ - различия потенциалов между этими двумя электродами. Когда человек отдыхает, то есть не двигается и не думает о перемещении, возникает волна, известная как мю-волна, представленная обычно в 8-13 Гц диапазоне. Эти подавления мощности известны как связанная с событием синхронизация - ERS (Event Related Synchronization или связанная с событием десинхронизация - ERD (Event Related Desynchronization). Когда человек двигается или думает о перемещении какой-либо части тела, мю-ритм существенно уменьшается. Таким образом, система работает на основе ослабления мю-волны, вызванного представлением движения (думающий о перемещении) или реальным движением. Обработка цифрового сигнала волны ЭЭГ по уровню спектральной мощности, отделенная от других волн, используется для генерации управляющего сигнала, который может использоваться для коммуникации или приведения в действие различных машин. В изобретении обеспечена двухсторонняя коммуникация между пользователем и инвалидным креслом, и двоичные сигналы произведены от двух отдельно легковозбудимых участков электрода, используя последовательно время коммуникации. Для любого данного заявления оператор обязан изучать соответствующий кодекс. После достаточной практики кодексы становятся подсознательными таким же образом, как опытная машинистка сознательно не обеспокоена деталями движения пальца. В самой простой реализации представлена двойная или релейная (on-off) система. Хотя много различных частей тела могли бы использоваться, такие части тела как руки и ноги предпочтительны. Пальцы - особенно подходящая часть тела, начало движения или репетиция движения пальцев производит надежный сигнал (большое изменение в мю-волне). В дополнительных реализациях могут использоваться более чем два электрода, измерения могут быть осуществлены с обеих сторон головы для обеспечения независимого лево - правого контроля.

В способе коммуникации и системе, использующей мозговые волны для многомерного контроля (US 5638826, МПК А61В 5/0476, U.S. Cl. 128/732, 340/825.19, 345/157, 463/36, 17-06-1997) /2/, управляющие сигналы для команды вертикального и горизонтального перемещения курсора на экране дисплея выделяют путем пространственно-временного и частотного анализа и классифицируют с использованием вероятностной статистической обработки цифровых ЭЭГ сигналов из накопленной базы данных.

Вызванные потенциалы (ERPs), скрытые в непрерывной ЭЭГ, являются мозговыми ответами, которые приурочены к началу внешнего события. Внешнее событие может быть сенсорным стимулом, таким как визуальная вспышка или звук, умственное событие, такое как распознавание специфического целевого стимула, или пропуск стимула, такое как увеличенный межстимульный интервал. ERP, зарегистрированные в ответе на визуальные стимулы, называют визуальными вызванными потенциалами (VRPs). Как и ЭЭГ, ERPs регистрируют, помещая электроды на различных частях скальпа. Высокое временное миллисекундное разрешение ERPs идеально для изучения аспектов выбора времени как в нормальных, так и в анормальных когнитивных процессах, таких как включение в обучение, внимание, принятие решения, чтение, языковая обработка и память. В клинических исследованиях используют ERPs, чтобы помочь в диагностировании дисфункции мозга у пациентов с дислексией, шизофренией, болезнью Альцгеймера, Паркинсона, афазией и алкоголизмом.

Вызванные потенциалы ERPs использованы в качестве специфических информативных параметров в системах BCI: (WO 2009057260 (A1). G06F 3/01, 2009-05-07) /3/, (WO 2009057278 (A1), G06F 3/01, А61В 5/0484, А61В 5/0476, 2009-05-07) /4/, (WO 2008059878 (A1), G06F 3/01, А61В 5/0476, 2008-05-22) /5/, (US 2005085744, А61В 5/00, G06F 3/00, G06F 3/01, 2005-04-21) /6/. В аппаратуре для классификации неизвестного многоканального сигнала биопотенциала (WO 2006026548, G06K 9/00, 2006-03-09) /7/ формы волны биопотенциала, такие как ERPs, ЭЭГ, кардиограммы или EMGs классифицируют, динамически соединяя информацию классификации от множества электродов, тестов или других хранилищ данных. Эти различные хранилища данных или каналы оцениваются в различные моменты времени согласно их соответствующей одномерной точности классификации. Ранжирование канала определено во время учебной фазы, в которой определена точность классификации каждого канала в каждый момент времени. Классификаторы - простые одномерные классификаторы, которые требуют только одномерной оценки параметра. Используя информацию классификации, сформулирован критерий, чтобы динамически выбрать различные каналы в различные моменты времени во время фазы тестирования. Независимые решения отобранных каналов в различные моменты времени объединены в вектор, который оптимально классифицирован, используя дискретный классификатор Bayes. Динамическая система обеспечивает высокую точность классификации, весьма гибка в использовании и преодолевает главные ограничения классификаторов, применяемых в настоящее время в исследованиях формы волны биопотенциала в клинических исследованиях.

Известный способ классификации мозговых сигналов в BCI системе (WO 2008117145, МПК G06F 3/01, 2008-10-12) /8/ включает обеспечение иерархической многоуровневой структуры дерева решения, состоявшей из внутренних узлов и узлов листа, где структура дерева решения представляет задачу. Информацию, полученную из обнаруженных психических состояний пользователя, через уровни структуры дерева решения используют, чтобы достигнуть узла листа и чтобы выполнить задачу. Операции способа классификации включают отбор, используя информацию, полученную из обнаруженных психических состояний пользователя, между значениями, связанными с внутренними узлами структуры дерева решения продуктом компьютерной программы, и устройством, которые отзывчивы к обнаруженным психическим состояниям пользователя, чтобы выполнить процессы выбора, чтобы выполнить задачу. Устройство может быть устройством коммуникации, и задача может быть вызовом номера названия задачи или задачей команды/контроля. Однако за время выполнения задачи посредством иерархической структуры дерева решения ментальное состояние пользователя изменяется, что снижает точность и увеличивает время при многократном преобразовании намерений пользователя в сигнал, управляющий внешним устройством.

В усовершенствовании, относящемся к BCI (WO 2009/044325 А1, 6 МКИ G06F 3/01, 09-04-2009) /9/, для получения управляющего инвалидным креслом сигнала пользователь обучается пяти командам (влево, вправо, назад, вперед, остановка). Процессор выбирает пять из десяти свойств, совпадающих с умственным описанием задачи в пользовательском профиле, включающем мозговые сигналы пользователя, нанесенные на карту. Функция обработки устроена так, чтобы измерить компонент взвешенной усталости пользователя во время учебного упражнения и соответственно приспособить BCI.

В способе и устройстве для определения намерений и контроля сигнала (US 6349231 В1, МПК А61В 5/0482, А61В 5/0484, А61В 5/16, G06F 17/00, А61В 5/0476, 2002-02-19) /10/ в качестве специфических информационных параметров в BCI используют альфа-, бета-, тета-, дельта- и мю-ритмы мозговой активности с сочетаниями с электрокардиаграммой, мускульным потенциалом, глазными движениями. Для классификации биосигналов от 63-х входов использована искусственная нейронная сеть, имеющая входной и выходной слои, выполняющая линейную классификацию, что необходимо для работы с входными векторами размерностью 63-х полученных векторов.

Наиболее близким по технической сущности к заявляемому изобретению является способ классификации сигналов мозга в BCI системе (WO 2008/097200 A1, 6 МПК А61В 5/0476, C06F 19/00, A61F 2/72, 14-08-2008) /11/, принимаемый за прототип. Известный способ классификации сигналов мозга в BCI системе включает следующую последовательность действий над ЭЭГ сигналами:

- выделение особенностей от N1 тренировочных испытаний;

- вычисление классификации, основанной на выделенных особенностях CSP (Common Spatial Pattern- общий пространственно-временной паттерн);

- классификация N2 тестовых испытаний и повторение;

- предварительное выделение особенностей от всех N1, N2 испытаний;

- предварительное вычисление классификации, основанное на предварительном выделении CSP особенностей;

- предварительная классификация N2 тестовых испытаний;

- и определение изменений (отличий) в предварительной классификации от N2 тестовых испытаний в сравнении с предшествующим повторением в равной степени или понижение в три раза.

Вычисление классификации основано на выделении CSP особенностей в линейном байесовском (Bayes) классификаторе.

Известный способ классификации электроэнцефалографических сигналов включает следующие действия: тестирование пользователя, выделение специфических информационных компонентов из общего пространственно-временного паттерна, создание выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычисление весовых коэффициентов и классификацию фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам.

Известная BCI система может быть использована как альтернативный путь коммуникации и контроля для людей с тяжелыми моторными нарушениями. В частности, BCI система может также использоваться для ввода тестовой информации для создания математического метода обработки многоканального сигнала для извлечения управляющего сигнала от мозговой активности. Например, неинвазивная, основанная на ЭЭГ BCI система может измерять специфические компоненты мозговой активности через ЭЭГ сигналы, выделять особенности этих сигналов и передавать эти особенности внешнему устройству, например приводу, курсору мыши или устройству руки робота.

В качестве специфических особенностей CSP частотно-полосовым фильтром выделены диапазоны частот мю-ритма (8-12 Гц) и бета-ритма (18-22 Гц) (стр.7 описания заявки).

При слабых сигналах мозговых волн желательно увеличить точность классификации с использованием данных от всех электродов, эпох и стимулов в процессе классификации. Главные ограничения существующих методов для классификации ERP (или классификации других биопотенциалов, связанных со специфическими событиями) вызваны следующими причинами. В первую очередь большинство ERP или другие измерения биопотенциалов требуют данных регистрации от множества электродов, эпох, стимулов и/или тестов (все вместе называемые каналами). Каждый канал данных содержит весовые коэффициенты. Различительная способность между классами изменяется от канала к каналу как функция времени. Большинство классификаторов ориентировано на то, чтобы классифицировать ERPs каждого канала независимо и полностью не использует различную, но дополнительную информацию, скрытую в многоканальной регистрации биопотенциалов. Из-за плохого соотношения сигнал/шум анализ и классификация типично проводится на ERPs, усредненном по большому количеству испытаний. Сбор большого количества испытаний ERPs для формирования усредненных ERPs приводит к тому, что пользователи испытывают усталость и теряют концентрацию при длительных сессиях сбора данных. В настоящее время необходимость многократного повторения экспериментов является основной причиной, ограничивающей применение ERPs в управлении внешними устройствами и медицинской диагностике. В-третьих, большинство классификаторов для оценки формы мозговых волн является многомерными классификаторами и требует задания ковариационных матриц. Для того чтобы матрицы ковариации могли быть использованы в расчетах, необходимо чтобы число отсчетов ERPs было больше размерности ковариационной матрицы. Так как при отдельном испытании это условие не выполняется, невозможно оценить многомерные параметры. В-четвертых, формулировки классификатора типично ограничиваются дихотомической классификацией (разделение на 2 класса) и не обобщены на большее число классов.

Таким образом, несмотря на отдельные достижения, нерешенных проблем в неинвазивных BCI еще очень много. Надежно распознается небольшое количество состояний (2-3); быстродействие распознавания этих состояний невысоко, особенно при использовании вызванных потенциалов или суммарной ЭЭГ (на распознавание одного состояния обычно уходят десятки секунд); обучение испытуемого для управления своими биопотенциалами может занять несколько дней и даже недель; необходим учет функционального состояния и настройка на индивидуальные особенности испытуемого. Решение этих проблем необходимо, чтобы довести характеристики основанных на принципах BCI систем коммуникации и управления до уровня, представляющего практический интерес.

Задачей, решаемой в заявляемом изобретении, является уменьшение времени идентификации мысленных команд пользователя в системе BCI до 2 секунд при повышении точности идентификации мысленных команд пользователя до 90% за счет использования неизвестных ранее специфических информационных компонентов общего пространственно-временного паттерна и обработки по адаптированному для решения данной задачи алгоритму классификации выделенных специфических фрагментов ЭЭГ сигнала нейронной многослойной сетью (НМС).

Указанный технический результат достигается тем, что способ классификации электроэнцефалографических сигналов в интерфейсе мозг - компьютер заключается в тестировании пользователя, выделении специфических информационных компонентов из общего пространственно-временного паттерна, создании выборки оцифрованных фрагментов ЭЭГ от множества отведений для обучения классификатора, вычислении весовых коэффициентов и классификации фрагментов ЭЭГ для идентификации классов мысленных команд пользователя, соответствующих управляющим сигналам.

Согласно изобретению в качестве специфических информационных компонентов используют локальные положительные максимумы амплитуды ЭЭГ сигналов от всех отведений, при этом если значения двух соседних положительных максимумов отличаются менее чем на психофизиологический порог восприятия человека, то их считают равными и второй максимум исключают из последующего анализа, одновременно с выделением первого положительного локального максимума от опорного отведения фиксируют значения амплитуд ЭЭГ сигналов по всем остальным отведениям, в результате получают набор амплитуд, представляющих собой первый входной вектор для нейронной многослойной сети (НМС), и процедуру формирования входных векторов повторяют для каждого последующего положительного максимума опорного отведения и для каждого отдельного отведения, каждый раз принимаемого как опорное отведение, до тех пор, пока каждое из отведений не выполнит функцию опорного, в результате получают многомерный массив входных векторов от конкретного пользователя, причем при обучении НМС сети дополнительно формируют массив указателей классов мысленных движений, выполняемых пользователем, который является выходным массивом для обучения НМС, и вычисляют весовые коэффициенты классификации по алгоритму обратного распространения ошибки, и при идентификации мысленного движения массив входных векторов подают на НМС для вычисления выходного вектора, по которому определяют класс мысленного движения пользователя.

В конкретном воплощении изобретения значения двух соседних положительных локальных максимумов амплитуд ЭЭГ сигналов отличаются не менее чем на 5%.

В основе настоящего изобретения лежат представления И.Пригожина о собственном времени нелинейных систем - неживых и живых. (Пригожин И. От существующего к возникающему. М., Наука, 1985, 326 с) /12/. Это время отличается от астрономического, хотя его можно измерить наручными часами или с помощью какого-либо динамического устройства, но оно имеет совершенно иной смысл, ибо возникает из-за случайного поведения траекторий, встречающегося в неустойчивых динамических системах.

В психологических исследованиях (Фресс П. Восприятие и оценка времени. Экспериментальная психология. Вып.VI, М., Прогресс, 1978, с 88-135) /13/ было показано, что в зависимости от функционального состояния испытуемого его субъективное время течет по-разному и, значит, оно может выступать в роли и зависимой переменной. Аналогичная ситуация имеет место не только на психологическом, но и на физиологическом уровне. О том, что именно собственное время, задаваемое физиологически значимыми событиями, необходимо учитывать при анализе процессов переработки информации в нервной системе, свидетельствуют, например, многочисленные факты, связанные с эффектами стимуляции, приуроченной к определенным фазам динамики показателей биоэлектрической активности разных подсистем организма. Таким образом, можно считать, что время в физиологических системах как "контекстно" зависимо, так и определяется функциональным состоянием. Опыт в разных областях исследований показывает, что в тех случаях, когда удается правильно определить собственное время системы, его использование значительно повышает эффективность описания динамических свойств и поведения этой системы. Это проявляется в значительном сокращении математического описания такой системы без потери информации и улучшении предсказательных свойств такого описания. Исходя из имеющихся фактов и теоретических обобщений, сформировалось представление, что для описания специфики и структуры биологических процессов необходимо ввести понятие биологического (физиологического) времени (Уитроу Дж. Структура и природа времени. М., Наука, 1984, 64 с) /14/, то есть времени, связанного с внутренней ритмикой функционирования и развития биообъектов и со случайным поведением траекторий биологических процессов. Используемая сейчас конструкция времени - это абсолютное время Ньютона, для измерения которого существуют разнообразные часы. С другой стороны, общепризнанной является точка зрения на функционирование живых организмов, как на последовательность событий - функциональных квантов, таких как кванты элементарных физиологических процессов, кванты гомеостаза, кванты поведения. Любой из этих квантов, заканчиваясь определенным результатом и являясь функционально одним и тем же, может иметь разную длительность в обычно используемой шкале времени. Следовательно, естественные элементы физиологических и поведенческих процессов не эквивалентны общепринятым метрическим единицам времени, а задают разнородный поток событий, определяющих собственное время того или иного процесса.

Известно, что основной вклад в электрическую активность, записываемую суммарно в виде ЭЭГ, вносится медленно развивающимися потенциалами нейронных мембран. Суммарная запись отражает изменения электрического потенциала, возникающие в сплетениях нервных волокон. Когда активность большого числа нейронов синхронизирована под действием внешних стимулов, наблюдается соответствие между импульсной и суммарной активностью. Следовательно, можно полагать, что суммарные потенциалы отражают вероятность, с которой будут разряжаться отдельные нейроны при предъявлении стимулов, синхронизирующих большие группы нейронов.

В настоящее время установлено, что медленные потенциалы образуют динамические структуры, которые играют важную роль не только в передаче нервных импульсов, но и при аналоговом «вычислении» взаимодействий между нейронами, в том числе и разнесенных в пространстве на значительные расстояния. Другими словами, имеет место двухпроцессный механизм, в котором локальная микроструктура - возрастание и убывание - медленных потенциалов, регистрируемая в виде ЭЭГ, сопрягается с распространяющимися нервными импульсами. Человек и животные воспринимают не время, а процессы, изменения, последовательности. В качестве естественных элементов поведения выступают последовательности физиологически значимых событий. Таким событием является изменение знака (от положительного к отрицательному) производной ЭЭГ сигнала. В момент каждого такого события отдельное отведение ЭЭГ выступает в качестве опорного по отношению к остальным отведениям. Все живые системы реагируют только на изменения в поступающей информации, причем существуют пороги восприятия, определяемые в соответствии с психофизическим законом Вебера-Фехнера (Харви Шиффман. Ощущение и восприятие времени. Пер. с англ., издание 5, гл. 19, изд-во «Питер», 2003, с.772-789) /15/. Исходя из этого, в настоящем изобретении принято, что два события ЭЭГ отличаются друг от друга в том случае, если амплитуда следующего события отличается от амплитуды предыдущего события не менее чем на 5%, что соответствует порогу психофизиологического восприятия человека.

Сущность изобретения иллюстрируется фигурами чертежей, графиками и таблицами.

На фиг.1 представлена общая схема системы интерфейс мозг - компьютер.

На фиг.2 представлена блок-схема энцефалографа.

На фиг.3 представлена блок-схема процессора для обучения многослойной нейронной сети и классификации ЭЭГ сигнала.

На фиг.4 представлена блок-схема обучения многослойной нейронной сети.

На фиг.5 представлена блок-схема, иллюстрирующая запоминание обучающих временных фрагментов, представленных в виде матриц Sⁱ ЭЭГ в памяти компьютера.

На фиг.6 представлена блок-схема формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b}.

На фиг.7 представлена блок-схема предобработки массива входных векторов {а} в массив векторов { }.

На фиг.8 представлена блок-схема предобработки массива выходных строковых переменных {b} в массив векторов { }.

На фиг.9 представлена блок-схема алгоритма обратного распространения ошибки классификации ЭЭГ сигнала.

На фиг.10а представлена структурная схема многослойной нейронной сети.

На фиг.10в представлена схема узлового элемента НМС.

На фиг.11 представлена блок-схема алгоритма прямопоточных вычислений выходного вектора в многослойной нейронной сети.

На фиг.12 представлена блок-схема алгоритма обратнопоточных вычислений ошибок весовых коэффициентов w в многослойной нейронной сети.

На фиг.13 представлена иллюстрация преимущества нелинейной классификации над линейной в случае нелинейно разделимых классов, где а) пример нелинейно разделимых классов, светлыми и темными точками обозначены области векторов х=(х1,х2), принадлежащих условно выделенным классам I и II соответственно, b) линейная классификация нелинейно разделимых классов, с) нелинейная классификация нелинейно разделимых классов.

На фиг.14 представлена блок-схема, иллюстрирующая процесс нейросетевой классификации ЭЭГ сигнала.

На фиг.15 представлена блок-схема формирования массива входных векторов {а}.

На фиг.16 представлена блок-схема, иллюстрирующая интерпретацию выходного вектора в нейронной многослойной сети.

На фиг.17 представлены фрагменты ЭЭГ, иллюстрирующие процесс формирования массива входных векторов {а}.

На фиг.18 приведена схема поиска и отбора положительных локальных максимумов амплитуды на фрагменте ЭЭГ сигнала.

На фиг.19 представлен общий вид используемой гарнитуры для регистрации ЭЭГ.

На фиг.20 представлена используемая электродная система ЭЭГ.

В таблице 1 показан временной отрезок Fⁱ ЭЭГ сигнала, представленный в виде массива Sⁱ векторов Sⁱ _j амплитуд Sⁱ _jk.

В таблице 2 приведены значения строковой переменной b.

В таблице 3 приведено кодирование значений строковой переменной b в выходной вектор .

В таблице 4 приведено кодирование классов мысленных движений в управляющие команды.

Пример преимущественного осуществления изобретения.

Общая схема BCI (фиг.1) содержит портативный энцефалограф 2, соединенный на входе посредством электродов со скальпом пользователя 1, а своим выходом подключенный к компьютеру 3, выход которого соединен с контролируемым устройством 4 (инвалидной коляской). Для регистрации ЭЭГ сигнала использован 19-канальный электроэнцефалограф-регистратор «Энцефалан-ЭЭГР-19/26», выпускаемый фирмой «Медиком», г.Таганрог. Гарнитура для съема ЭЭГ-сигналов включает в себя комплект хлорсеребряных электродов и тканевой шлем со специальными гнездами для закрепления электродов (фиг.1, 2). Рабочим элементом ЭЭГ-электродов является Ag/AgCl. Трубчатая конструкция электродов позволяет заправлять и добавлять контактное вещество без переустановки электрода. В теле электрода имеется отверстие под штуцер стандартного шприца (без иглы), предназначенное для заправки электродного геля. Цвета электродов идентичны с цветами соответствующих гнезд на шлеме.

- Полное сопротивление ЭЭГ-электродов - не более 2 кОм.

- Разность электродных потенциалов ЭЭГ - в пределах ±20 мВ.

- Время готовности ЭЭГ-электродов - не более 10 мин.

- Дрейф разности потенциалов ЭЭГ-электродов - не более 15 мкВ.

- Напряжение шума ЭЭГ-электродов - не более 3 мкВ.

Энцефалограф (фиг.2) содержит электроды 5, усилитель ЭЭГ 6, АЦП 7 и частотно-полосовой фильтр 7. Аналоговый сигнал ЭЭГ регистрируется с помощью электродов 5, размещенных на скальпе пациента 1 по 12 отведениям по стандартной схеме «10-20»: F3, F4, С3, С4, Т3, Т4, Т5, Т6, Р3, Р4, O1, O2 с использованием двух референтных электродов.

Процессор 3 (фиг.3) содержит блок обучения НМС 9 и блок классификации НМС 10.

Блок обучения НМС 9 (фиг.4) содержит блоки запоминания временных отрезков Fⁱ ЭЭГ для каждого i-го мысленного движения 11, формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b} 12, предобработки массива входных векторов {а} 13, предобработки массива выходных строковых переменных {b} 14, выполнения алгоритма обратного распространения ошибки 15.

Блок-схема запоминания обучающих отрезков ЭЭГ для каждого мысленного движения 11 (фиг.5) содержит блоки подачи испытуемому команды совершить i-e мысленное движение 16, запоминания временного отрезка Fⁱ ЭЭГ сигнала длительностью через время t после подачи команды 17, запоминания текстового названия мысленного движения bⁱ 18, прекращения подачи команд и записи ЭЭГ 19.

Блок-схема формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b} 12 (фиг.6) содержит блоки поиска положительных локальных максимумов амплитуды в запомненных временных отрезках Fⁱ ЭЭГ 20, отбора максимумов 21, отличающихся от предыдущего максимума по данному отведению не менее чем на 5%, формирования для каждого отрезка Fⁱ ЭЭГ массива векторов хⁱ из значений амплитуд по всем отведениям в моменты обнаружения максимумов 22, объединения векторов xⁱ _j из всех массивов хⁱ в обучающий массив входных векторов {а}: a=x¹ x² xⁿ 23, формирования обучающего массива выходных строковых переменных {b} из текстовых названий мысленных движений, соответствующих каждому вектору а массива {а} 24.

Блок-схема предобработки массива входных векторов { } 13 (фиг.7) осуществляет линейное преобразование массива входных векторов a=(a₁,a₂, ,a₁₂) в массив векторов =( ₁,a₂, , ₁₂).

Блок-схема предобработки массива выходных строковых переменных 14 (фиг.8) кодирует массив строковых переменных b в массив выходных векторов .

Блок-схема выполнения алгоритма обратного распространения ошибки 15 (фиг.9) содержит блоки выполнения прямопоточных вычислений выходных векторов 25, выполнения обратнопоточных вычислений ошибок w весовых коэффицентов w и их модификации w=w+ w 26.

Структурная схема используемой нейронной многослойной сети (НМС) содержит узловые элементы входного слоя, скрытого слоя и выходного слоя (фиг.10а).

Функциональная схема узлового элемента скрытого слоя и выходного слоя НМС содержит сумматор 27, вычисляющий скалярное произведение входного сигнала на вектор весовых коэффициентов w, и нелинейный преобразователь 28 (фиг.10б).

Блок-схема выполнения прямопоточных вычислений с входными векторами 25 (фиг.11) вычисляет послойно в НМС выходной вектор .

Блок-схема выполнения обратнопоточных вычислений ошибок w весовых коэффицентов w и их модификации w=w+ w 26 (фиг.12) вычисляет послойно в НМС весовые коэффициенты w.

Блок-схема классификации 10 (фиг.14) содержит блоки запоминания отрезка ЭЭГ F^class длительностью 29, формирования массива входных векторов {а} 30, предобработки массива входных векторов {а} 13, выполнения прямопоточных вычислений выходных векторов 24, интерпретации выходных векторов НМС 31, определения выполнения мысленного движения 32, кодирования класса мысленного движения в управляющую команду 33.

Блок-схема формирования массива входных векторов {а} 30 (фиг.15) содержит блоки поиска положительных локальных максимумов амплитуды в запомненном отрезке F^class ЭЭГ 34, отбора максимумов 35, отличающихся от предыдущего максимума по данному отведению не менее чем на 5%, формирования массива векторов {а} из значений амплитуд по всем отведениям в моменты обнаружения максимумов 36.

Схема интерпретации выходных векторов НМС 31 (фиг.16) осуществляет преобразование вычисленного выходного вектора в двоичный вектор =( ₁, , _i, ₅) путем инициализации компонента _i единицей, если i-я компонента вектора максимальна из всех значений компонент вектора , и инициализации остальных компонент вектора нулями, и преобразования двоичного вектора в строковую переменную b.

На фрагментах ЭЭГ в масштабе 100 мс/см показан процесс формирования массива входных векторов {а}=a₁, а₂, а₃ , , где вертикальными пунктирными линиями отображено выделение положительных локальных максимумов амплитуды a_{1 1}, а₂₁, а₃₁ , от опорного отведения Т4 ЭЭГ сигнала и фиксация значений амплитуд a₁₂, a₂₂, a_{3 2}, - a₁₁₂, a₂₁₂ , а₃₁₂, ЭЭГ сигналов по всем остальным отведениям (фиг.17 и фиг.17а - продолжение фиг.17).

Фрагмент ЭЭГ сигнала (фиг.18) иллюстрирует отбор локальных положительных максимумов амплитуды ЭЭГ сигнала, где вертикальными пунктирными линиями отмечены выбранные локальные максимумы, отличающиеся от соседних локальных максимумов не менее чем на 5%.

Аналоговые сигналы от электродов 5, соответствующих двенадцати отведениям от скальпа пользователя 1, поступают на энцефалограф 2 (фиг.1), где усиливаются многоканальным усилителем 6 и в АЦП 7 преобразуются в цифровые сигналы с частотой дискретизации 250 Гц и весом бита 25 мкВ и фильтруются частотно-полосовым фильтром 8 с полосой пропускания в диапазоне от 1,6 до 70 Гц для устранения низкочастотных и высокочастотных помех. Отфильтрованный сигнал передается в процессор 3 (фиг.1) на обучение нейронной многослойной сети (НМС), если НМС не обучена или на классификацию НМС 10, если НМС обучена (фиг.3). Обучение НМС 9 начинают с запоминания обучающих временных отрезков Fⁱ ЭЭГ сигнала для каждого i-го мысленного движения и названий мысленных движений, обозначенных как строковые переменные bⁱ в блоке запоминания временных отрезков Fⁱ ЭЭГ для каждого i-го мысленного движения 11 (фиг.4).

В блоке подачи испытуемому команды совершить i-e мысленное движение 16 испытуемому с экрана компьютера подается команда в виде словесного транспаранта или визуального изображения совершить i-e из пяти мысленных движений: сжать левый кулак, сжать правый кулак, высунуть язык, сжать пальцы левой ноги, сжать пальцы правой ноги.

В блоке запоминания временного отрезка Fⁱ ЭЭГ сигнала длительностью через время t после подачи команды 17 запоминается временной отрезок Fⁱ ЭЭГ сигнала длительностью =400 мс с интервалом задержки t=50 мс от момента подачи команды. Каждый временной отрезок Fⁱ ЭЭГ сигнала представлен в виде массива Sⁱ векторов амплитуд, где каждый вектор Sⁱ _j состоит из значений амплитуд Sⁱ _jk по всем 12 отведениям в один и тот же момент времени. Индекс i обозначает номер мысленного движения, индекс j обозначает порядковый номер вектора Sⁱ _j в массиве Sⁱ векторов, а индекс k - номер отведения. Структура массива Sⁱ векторов амплитуд проиллюстрирована в таблице 1. Каждый столбец таблицы соответствует одному отведению, а строка - одному вектору. Вектор Sⁱ _j в таблице выделен серым цветом, а значение амплитуды Sⁱ _jk - жирным шрифтом. Одновременно в блоке запоминания текстового названия мысленного движения bⁱ 18 запоминаются текстовые названия мысленных движений в строковой переменной bⁱ (фиг.5), представляющие собой указатели классов мысленных движений, выполняемых пользователем (таблица 2).

Подачу команд и запись ЭЭГ сигнала прекращают в блоке прекращения подачи команд и записи ЭЭГ 19, если условие «Поданы все 5 команд?» выполнено. Если это условие не выполнено, подают следующую команду в блок подачи испытуемому команды совершить i-e мысленное движение 16 (фиг.5). После запоминания формируют обучающие массивы входных векторов {а} и выходных строковых переменных {b} в блоке формирования обучающих массивов входных векторов {а} и выходных строковых переменных {b} 12. Для этого в блоке поиска положительных локальных максимумов амплитуды в запомненных временных отрезках Fⁱ ЭЭГ 20 выбирают положительные локальные максимумы амплитуды в каждом из временных отрезков Fⁱ ЭЭГ сигнала, запомненных в виде массивов S ⁱ векторов. В блоке отбора максимумов 21, отличающихся от предыдущего максимума по данному отведению не менее чем на 5%, из найденных положительных локальных максимумов амплитуды выбирают максимумы Mⁱ ₁, которые отличаются по амплитуде от предыдущего выбранного максимума по данному отведению не менее чем на 5%. Для этого из массива Sⁱ выбирают значения амплитуд Sⁱ _jk, удовлетворяющие условиям:

где L_k - предыдущий отобранный максимум по k-му отведению.

Если условие выполнено, значение L_k обновляется: . Процесс отбора максимумов проиллюстрирован на фиг.18. Отобранные максимумы Мⁱ _l отмечены вертикальными пунктирными линиями. Локальные максимумы с амплитудой меньше нуля, а также максимумы, не отличающиеся на 5% от предыдущего максимума, не отбираются и не учитываются в последующем анализе. В блоке формирования для каждого отрезка Fⁱ ЭЭГ массива векторов х ⁱ из значений амплитуд по всем отведениям в моменты обнаружения максимумов 22 из каждого массива Sⁱ векторов, соответствующего запомненному отрезку Fⁱ ЭЭГ, выбирают все вектора Sⁱ _j, содержащие хотя бы один отобранный на предыдущем этапе положительный локальный максимум Mⁱ _l амплитуды. Из этих векторов для каждого запомненного временного отрезка Fⁱ ЭЭГ сигнала формируют массив векторов хⁱ для i-го мысленного движения, где i=1, 2, 3, 4, 5.

В блоке объединения векторов x ⁱ _j из всех массивов хⁱ в обучающий массив входных векторов {а}: a=x¹ x² xⁿ 23 векторы xⁱ _j из сформированных массивов х¹, х², х³, х⁴, х⁵ объединяют в обучающий массив входных векторов {а}:

В блоке формирования обучающего массива выходных строковых переменных {b} из текстовых названий мысленных движений, соответствующих каждому вектору а массива {а} 24, формируют обучающий массив выходных строковых переменных {b}, содержащий текстовые названия мысленных движений bⁱ, соответствующие каждому вектору обучающего массива входных векторов {а}.

В блоке предобработки массива входных векторов {а} 13 (фиг.7) осуществляют предобработку массива входных векторов {а}, которая состоит в линейном преобразовании каждой i-й компоненты входного вектора а в компоненты вектора в соответствии с формулой:

где a_{i min} и a_{i max} соответственно минимальное и максимальное значение i-й компоненты вектора а массива {а}.

В блоке предобработки массива выходных строковых переменных {b} 14 (фиг.8) осуществляют предобработку массива выходных строковых переменных {b}, которая состоит в кодировании текстовых названий классов b¹, b² , b³, b⁴, b⁵ в числовые пятикомпонентные вектора ¹=(1, 0, 0, 0, 0), ²=(0, 1, 0, 0, 0), ³=(0, 0, 1, 0, 0), ⁴=(0, 0, 0, 1, 0), ⁵=(0, 0, 0, 0, 1) (таблица 3).

После предобработки обучающие массивы входных { } и выходных векторов { } используют для обучения НМС в блоке выполнения алгоритма обратного распространения ошибки 15, которое состоит в настройке весовых коэффициентов w, осуществляемой алгоритмом обратного распространения ошибки [Rumelhart D.E., Hinton G.E. and Williams R.J. Learning internal representations by error propagation. In Parallel distributed processing, London: MIT Press,vol.1, 1986, 550 p.]. Алгоритм обратного распространения ошибки состоит из итерационной процедуры выполнения прямопоточных вычислений с входными векторами в блоке выполнения прямопоточных вычислений выходных векторов 25 и последующим выполнением обратнопоточных вычислений ошибок w весовых коэффициентов w и их модификации в блоке выполнения обратнопоточных вычислений ошибок w весовых коэффицентов w и их модификации w=w+ w 26 по формуле:

Для классификации ЭЭГ сигналов использована искусственная нейронная многослойная сеть (НМС), которая содержит вычислительные узловые элементы, организованные в слои: входной слой, скрытый слой и выходной слой (фиг.10а, 10в). Каждый узел входного слоя НМС не выполняют никаких вычислений и служит для распространения каждого компонента входного вектора на все узловые элементы скрытого слоя, имеющего матрицу весовых коэффициентов w₁. Аналогичным образом узловые элементы выходного слоя связаны со всеми элементами скрытого слоя, имеющего матрицу весовых коэффициентов w₂. Вычисления производят узловые элементы в скрытом и выходном слое НМС.

При прямопоточном вычислении каждый узловой элемент ij скрытого i=1 и выходного i=2 слоя, где индекс j - порядковый номер узлового элемента в слое, содержит вектор весовых коэффициентов w_ij, сумматор 27 и нелинейный преобразователь 28 (фиг.11). Сумматор 27 вычисляет скалярное произведение вектора входного сигнала узлового элемента НМС с вектором весовых коэффициентов w_ij. Нелинейный преобразователь 28 вычисляет сигмоидную функцию:

В результате послойных вычислений, осуществляемых узловыми элементами скрытого и выходного слоя над входным вектором , получаем на выходе НМС вычисленный выходной вектор .

При обратнопоточном вычислении (фиг.12) каждый узловой элемент выходного слоя НМС вычисляет функцию ₂ по формуле:

где - вычисленный выходной вектор нейронной сети, - выходной вектор, ₂ - сигмоидная функция на выходе узлового элемента выходного слоя нейронной сети,

и модифицирует свои весовые коэффициенты w₂ на величину ошибки w₂= ₂· ₁ по формуле:

Далее каждый узловой элемент скрытого слоя НМС вычисляет функцию ₁ по формуле:

где ₁ - сигмоидная функция на выходе узлового элемента скрытого слоя нейронной сети,

и модифицирует свои весовые коэффициенты w₁ на величину ошибки w₁= ₁· ₀ по формуле:

где ₀= . Индексы 0,1 и 2 относятся соответственно к входному, скрытому и выходному слою.

Итерационная процедура прямопоточных и обратнопоточных вычислений продолжается до тех пор, пока не будет достигнут предел вычислений, заключающийся в изменении w весовых коэффициентов w: w<Aw_min, где w_min=0,001.

Алгоритм обратного распространения ошибки, используемый при обучении НМС, обеспечивает построение нелинейных границ, разделяющих заданные классы мысленных движений, представленные строковыми переменными bⁱ . На фиг.13 показан случай нелинейного расположения примеров двух классов, изображенных точками светлого и темного цвета (фиг.13а). Применение линейного классификатора, строящего линейные разделяющие границы, такого как дискриминантный анализ, не позволяет разделить области принадлежности примеров разных классов (фиг.13b). Применение нелинейного классификатора, строящего нелинейные разделяющие границы, такого как НМС с алгоритмом обратного распространения ошибки, позволяет разделить области принадлежности примеров разных классов (фиг.13с).

После обучения НМС процессор 3 осуществляет классификацию 10 (фиг.14). При классификации запоминают временной отрезок F^class ЭЭГ сигнала длительностью =400 мс в блоке запоминания отрезка ЭЭГ F^class длительностью 29. Временной отрезок F^class ЭЭГ сигнала представлен в виде массива S^class векторов амплитуд S^class _j, где каждый вектор состоит из значений амплитуд S^class _jk по всем 12 отведениям в один и тот же момент времени. Индекс j обозначает порядковый номер вектора амплитуд S^class _j в массиве векторов S^class, а индекс k - номер отведения. Структура массива S^class аналогична структуре массива Sⁱ, показанной в таблице 1.

Формирование массива входных векторов {а} в блоке 30 осуществляют путем поиска положительных локальных максимумов амплитуды в блоке поиска положительных локальных максимумов амплитуды в запомненном отрезке F^class ЭЭГ 34 и отбора максимумов Mⁱ _l, отличающихся от предыдущего выбранного максимума по данному отведению не менее чем на 5%, в блоке 35 в запомненном временном отрезке F^class ЭЭГ сигнала.

Для этого из массива S^class выбирают значения амплитуд S^class _jk, удовлетворяющие условиям:

где L_k - предыдущий отобранный максимум по k-му отведению. Если условие выполнено, значение L_k обновляется: L_k=S^class _jk.

В блоке формирования массива векторов {а} из значений амплитуд по всем отведениям в моменты обнаружения максимумов 36 из массива S^class векторов, соответствующего запомненному временному отрезку F^class сигнала, выбирают все вектора S^class _j, содержащие хотя бы один отобранный на предыдущем этапе положительный локальный максимум Мⁱ _l амплитуды. Из этих векторов формируют обучающий входной массив векторов {а} (фиг.15).

Затем массив входных векторов {а} подвергают предобработке в блоке 13 и осуществляют нейросетевые прямопоточные вычисления выходного вектора в блоке 24.

В блоке интерпретации выходных векторов НМС 31 (фиг.16) выходные вектора НМС преобразуют в двоичные вектора =( ₁, , _i, , ₅) в соответствии со следующей формулой:

и интерпретируют двоичные вектора в строковые переменные b (таблица 2).

В результате интерпретации массива выходных векторов { } получают массив строковых переменных {b} с текстовыми названиями классов мысленных движений. Строковые переменные b указывают на принадлежность входных векторов а к классам мысленных движений bⁱ. Определение выполнения мысленного движения осуществляют в блоке 32 (фиг.14) определением класса мысленного движения bⁱ с максимальным слом встречаемости значения строкой переменной bⁱ в массиве {b} по формуле:

Вероятность выполнения мысленного движения i-го класса вычисляют как отношение числа n= bⁱ выходных строковых переменных b со значением bⁱ к общему количеству N= b¹+ b²+ b³+ b⁴+ b⁵ строковых переменных b в массиве {b} =n/N·100%.

Принято, что мысленное движение происходит, если вероятность больше порогового значения

где ^*=80%, что согласуется с предварительно проведенными экспериментами. Десять серий проведенных экспериментов показывают, что в девяти случаях из десяти вероятность идентификации классов мысленных движений, соответствующих значениям строковой переменной b, составляет 80-95%. Таким образом, при выполнении условия (13) имеем точность идентификации мысленных команд 90%, что сравнимо с достижимой точностью 88% и 94% для двух отдельных сессий, которая достигалась пользователем при известном двумерном контроле мысленного движения курсора мыши при регистрации электрокортикограммы (ECoG) сигналов мозговой активности.

Если выявлено выполнение мысленного движения, в блоке 33 производится кодирование класса мысленного движения в управляющую команду: b¹ c¹, b² c², b³ c³, b⁴ c⁴, b⁵ c⁵ (таблица 4). Такие управляющие команды могут быть командами на перемещение курсора на экране компьютера или нажатие клавиши компьютерной «мыши», на приводы инвалидной коляски, тумблеры рабочего места оператора.

В настоящем изобретении отсутствует необходимость многократного накопления и обработки фрагментов ЭЭГ-сигналов для выявления информативных параметров, что позволяет сократить время на идентификацию мысленных команд. В процессе тестирования пользователя просили производить реальное сжатие кулаков левой и правой руки и сжатие пальцев правой и левой ноги, которые регистрировались с помощью электромиографических электродов, входящих в комплект энцефалографа. Сигнал электромиограммы появлялся через 400-600 мс от момента предъявления команды на выполнение движений. Появление этого сигнала означает, что мысленная команда на выполнение движения в течение этого временного интервала была сформирована в мозгу пользователя. Именно эти фрагменты ЭЭГ длительностью 400-600 мс (фиг.17, 17а) использовались в процессе обучения НМС. В процессе тестирования время вычислительных операций существенно меньше 1 секунды, так что общее время идентификации мысленной команды и выработки управляющего сигнала не превышает 2 секунд, что не достигалось в известных патентных аналогах и публикациях.

Блок процессора 3 реализован в операционной системе Microsoft Windows Vista на IBM PC, имеющей конфигурацию:

-системная плата с процессором архитектуры Intel семейства Core2Duo;

- тактовая частота микропроцессора 2000 МГц;

- оперативная память 1024 Мбайт;

- жесткий диск емкостью 80 Гбайт;

- видеоадаптер, поддерживаемый операционной системой;

- монитор LCD;

- клавиатура и манипулятор «мышь».

Источники информации

1. US 5840040, МПК А61В 5/00, U.S. Cl. 600/545, 600/544, 24-11-1998.

2. US 5638826, МПК А61В 5/0476, U.S. Cl. 128/732, 340/825.19, 345/157, 463/36, 17-06-1997.

3. WO 2009057260 (A1), МПК G06F 3/01, 2009-05-07.

4. WO 2009057278 (A1), МПК G06F 3/01, A61B 5/0484, A61B 5/0476, 2009-05-07.

5. WO 2008059878 (A1), МПК G06F 3/01, A61B 5/0476, 2008-05-22.

6. US 2005085744, А61В 5/00, МПК G06F 3/00, G06F 3/01, 2005-04-21.

7. WO 2006026548, МПК G06K 9/00, 2006-03-09.

8. WO 2008117145, МПК G06F 3/01, 2008-10-12.

9. WO 2009/044325 А1, МПК G06F 3/01, 09-04-2009.

10. US 6349231 В1, МПК А61В 5/0482, А61В 5/0484, А61В 5/16, G06F 17/00, А61В 5/0476, 2002-02-19.

11. WO 2008/097200 А1, 6 МПК А61В 5/0476, C06F 19/00, A61F 2/72, 14-08-2008 - прототип.

12. Пригожин И. От существующего к возникающему, М., Наука, 1985, 326 с.

13. Фресс П. Восприятие и оценка времени. Экспериментальная психология. Вып. V1, М., Прогресс, 1978, с 88-135.

14. Уитроу Дж. Структура и природа времени. М., Наука, 1984, 64 с.

15. Харви Шиффман. Ощущение и восприятие времени. Пер. с англ., издание 5-е, гл. 19, изд-во «Питер», 2003, с.772-789.