способ бесконтактного ввода информации в компьютер и система для его осуществления

Формула изобретения

1. Способ бесконтактного ввода информации в компьютер, преимущественно для инвалидов, включающий регистрацию в пространстве и во времени положения головы оператора и преобразование этих параметров в управляющие сигналы "положение курсора на экране" и "ВВОД" компьютера, отличающийся тем, что управляющий сигнал "положение курсора на экране" формируют поворотом головы в сторону желаемого направления перемещения курсора, при этом скорость перемещения курсора устанавливают пропорциональной пространственному углу поворота головы, а управляющий сигнал "ВВОД" формируют мимикой, преимущественно открытием рта на период времени, превышающий физиологический порог непроизвольной артикуляции.

2. Способ по п.1, отличающийся тем, что регистрацию поворотов головы и мимики проводят путем покадрового анализа телевизионного изображения пространственного положения головы оператора, оснащенного наголовной реперной структурой, при этом приемную телевизионную камеру для формирования телевизионного изображения размещают со стороны экрана компьютера, оператора размещают в поле зрения упомянутой камеры, а пространственный угол поворота головы определяют по проекциям элементов упомянутой реперной структуры на плоскость кадра упомянутого изображения.

3. Способ по п.1 или 2, отличающийся тем, что наголовная реперная структура содержит по меньшей мере три элемента, два из которых одинаковой формы, лежат в одной плоскости, преимущественно в плоскости лица оператора, и представляют собой прямоугольники, а третий, круглой формы, размещен симметрично между ними и отстоит от упомянутой плоскости.

4. Способ по любому пп.1-3, отличающийся тем, что наголовная реперная структура размещена на шлеме.

5. Способ по любому пп.1-4, отличающийся тем, что положение рта определяют по проекциям элементов реперной структуры, а факт его открытия по появлению в центре изображения рта темной области, соответствующей неосвещенной ротовой полости.

6. Система бесконтактного ввода информации в компьютер, включающая манипулятор "мышь", подсоединенный через блок ввода-вывода к компьютеру, отличающаяся тем, что дополнительно содержит бесконтактный манипулятор на основе системы технического зрения для определения в пространстве и во времени положения головы и мимики оператора и преобразования этих параметров в управляющие сигналы "положение курсора на экране" и "ВВОД" компьютера, при этом система технического зрения содержит последовательно соединенные приемную телевизионную камеру, блок обработки изображения, блок выработки сигналов управления "положение курсора на экране" и "ВВОД", выход которого присоединен к блоку ввода-вывода параллельно манипулятору "мышь".

7. Система по п.6, отличающаяся тем, что блок обработки изображений содержит последовательно соединенные блок выделения контуров реперных элементов, блок определения координат изображений характерных элементов лица оператора, один выход которого соединен с блоком вычисления пространственных углов, характеризующих положение головы оператора, а другой - с блоком определения мимических признаков, выходы которых являются выходами блока.

8. Система по п.6 или 7, отличающаяся тем, что бесконтактный манипулятор включает наголовную реперную структуру, содержащую по меньшей мере три реперных элемента, образующих трехмерную пространственную структуру, два из которых - одинаковой формы, лежат в одной плоскости, преимущественно в плоскости лица оператора, и представляют собой прямоугольники, а третий, круглой формы, размещен симметрично между ними и отстоит от упомянутой плоскости.

9. Система по любому из пп.6-8, отличающаяся тем, что наголовная реперная структура размещена на шлеме.

Описание изобретения к патенту

Изобретение относится к области компьютерной техники и может быть использовано при управлении компьютером для лиц с физическими недостатками, а также в случаях управления компьютером без помощи рук.

Проблема взаимодействия оператора с компьютером как современным средством коммуникации, обучения и обслуживания особенно остра для операторов с физическими недостатками. В частности, особую сложность вызывает полноценное общение с компьютером у пациентов, страдающих церебральным параличом. Этот недуг затрагивает прежде всего двигательный аппарат и характерен наличием хаотических движений, неадекватных выданной команде и выполняемому заданию. Поэтому такие тонкие инструменты управления компьютером, как клавиатура, манипуляторы типа “джойстик” или “мышь”, не пригодны для пациентов с указанным типом патологии.

Известны различные способы ввода информации в компьютер без помощи рук. Так, из патента RU 2084949, Логутко, 20.07.1997 известен способ управления компьютером, согласно которому одну из частей тела оператора помечают закреплением оптического излучателя, а перемещение курсора определяют пространственным перемещением части тела оператора. Клавиатуру создают на части экрана компьютера, выбор определенного действия осуществляют задержкой курсора на избранной клавише или движением дополнительного оптического излучателя (например, резким движением плеча). Соответственно, для реализации способа необходимо средство, диагностирующее местоположение и движение оптических излучателей на теле оператора.

В другом изобретении по патенту RU 2161816, СПЕЦВУЗАВТОМАТИКА, 10.01.2001 предлагается устройство манипулятора для компьютера, в котором управление осуществляется органами дыхания оператора: изменением направления потока воздуха ртом или носом при выдохе. Для этой цели служат четыре дифференциально включенных датчика температуры. Описаны также устройства для бесконтактного ввода, согласно которому используется панель дискретных фотоприемников, укрепленная на компьютере, и оптическая указка, укрепленная на оголовье, снабженном, кроме того, зубным многопозиционным переключателем для включения режима “ввод” (RU 93037986 А, 27.01.1997; RU 95110648, Рыбьяков и др., 27.05.1997).

В изобретении US 5686942, Ball, 11.11.1997 описана система управления компьютером путем регистрации перемещения части лица оператора, например, кончика носа, и выделения его положения, скорости, ускорения или иных характеристик движения. В изобретении US 5900863, Numazaki, 04.05.1999 анализируется система управления по дальности и технические средства.

В изобретении RU 2175143, Свириденко, 20.10.2001 описан способ дистанционного управления, в котором управляющий сигнал формируется посредством положения и состояния в пространстве и времени по меньшей мере одной части человеческого тела, регистрируемого посредством распознавания и анализа оптического изображения. Иными словами, управление курсором осуществляется посредством жестикуляции кистью руки, головой, туловищем. Устройство предусматривает реализацию стандартных процедур распознавания изображений, полученных телевизионным путем. Указанный источник является ближайшим аналогом для патентуемой группы изобретений.

Анализ уровня техники показывает, что упомянутые технические решения не могут быть использованы непосредственно для управления компьютером лицами, страдающими заболеваниями, связанными с патологией координации движений, характеризующимся чрезмерным усилением коррекции. Даже небольшой промах вызывает хаотическое нагромождение корректирующих движений с увеличивающейся амплитудой.

Задачей группы изобретений является построение бесконтактного метода управления компьютером для лиц, страдающих расстройствами адекватных двигательных функций конечностей, в частности, больных церебральным параличом.

Технический результат группы изобретений состоит в повышении социальной активности лиц с патологиями, в обеспечении возможности коммуникаций посредством письменной речи, а также обучения при параллельной работе с преподавателем на одном и том же экране компьютера.

Технический результат обеспечивается тем, что способ бесконтактного ввода информации в компьютер, преимущественно для инвалидов, включает регистрацию в пространстве и во времени положения головы оператора и преобразование этих параметров в управляющие сигналы “положение курсора на экране” и “ВВОД” компьютера. Управляющий сигнал “положение курсора на экране” формируют поворотом головы в сторону желаемого направления перемещения, при этом скорость перемещения устанавливают пропорциональной пространственному углу поворота головы, а управляющий сигнал “ВВОД” формируют мимикой, преимущественно открытием рта на период времени, превышающий физиологический порог непроизвольной артикуляции.

Способ может характеризоваться тем, что регистрацию поворотов головы и мимики проводят путем покадрового анализа телевизионного изображения пространственного положения головы оператора, оснащенного наголовной реперной структурой, при этом приемную телевизионную камеру для формирования телевизионного изображения размещают со стороны экрана компьютера, оператора размещают в поле зрения упомянутой камеры, а пространственный угол поворота головы определяют по проекциям элементов упомянутой реперной структуры на плоскость кадра упомянутого изображения.

Способ может характеризоваться также тем, что наголовная реперная структура содержит по меньшей мере три элемента, два из которых лежат в одной плоскости, преимущественно в плоскости лица оператора, а третий - размещен симметрично между ними и отстоит от упомянутой плоскости.

Способ может характеризоваться и тем, что наголовная реперная структура размещена на шлеме.

Способ может характеризоваться, кроме того, тем, что положение рта определяют по проекциям элементов реперной структуры, а факт его открытия - по появлению в центре рта темной области, соответствующей неосвещенной ротовой полости.

Система управления компьютером, включающая манипулятор “мышь”, подсоединенный через блок ввода/вывода к компьютеру, дополнительно содержит бесконтактный манипулятор на основе системы технического зрения для определения в пространстве и во времени положения головы и мимики оператора и преобразования этих параметров в управляющие сигналы “положение курсора на экране” и “ВВОД” компьютера. При этом система технического зрения содержит последовательно соединенные приемную телевизионную камеру, блок обработки изображения, блок выработки сигналов управления “положение курсора на экране” и “ВВОД”, выход которого присоединен параллельно манипулятору “мышь”.

Система может характеризоваться тем, что блок обработки изображений содержит последовательно соединенные блок выделения контуров, блок определения координат изображений реперных элементов, один выход которого соединен с блоком вычисления пространственных углов, в другой - с блоком определения мимических признаков, выходы которых являются выходами блока.

Система может характеризоваться и тем, что система технического зрения включает наголовную реперную структуру, содержащую по меньшей мере три реперных элемента, образующих трехмерную пространственную структуру, два из которых лежат в плоскости лица оператора, а третий - размещен симметрично между ними и отстоит от упомянутой плоскости.

Система может характеризоваться также тем, что наголовная реперная структура размещена на шлеме.

Сущность изобретения поясняется на чертежах, где:

на фиг.1 представлена блок-схема системы,

на фиг.2 - наголовная реперная структура,

на фиг.3 - то же, что на фиг.2, вид сбоку,

на фиг.4 - блок-схема блока выработки сигналов управления “положение курсора на экране” и “ВВОД”,

на фиг.5 представлена фотография варианта интерфейса.

В основе патентуемого способа лежит управление компьютером при помощи движений головы и мимики оператора. Движение головы - поворот в ту или иную сторону - влечет перемещение курсора в соответствующем направлении со скоростью, пропорциональной углу поворота. В теории этот метод носит название “управление по скорости”. Патентуемое решение имеет три специфических преимущества для лиц, страдающих координаторными расстройствами. Во-первых, это интегрирование воздействия: резкие движения головы не приводят к резким перемещениям курсора. Во-вторых, появляется возможность одновременного управления курсором как путем изменения угла поворота головы (по скорости), так и при помощи "мыши" (по положению). В третьих, становится возможной работа с преподавателем: системный курсор управляется как посредством мимики оператора, так и при помощи управляемого преподавателем стандартного манипулятора “мышь”, входящего в состав компьютера. Последнее имеет важное значение в процессе педагогической и реабилитационной деятельности с использованием современных компьютерных программных средств. Наибольший эффект достигается в процессе совместной работы с педагогом, когда педагог корректирует неизбежные ошибки и способен помочь инвалиду выполнить особенно трудные операции. Без совместного управления курсором и сигналом срабатывания “ввод” использование большинства готовых программ, так называемых стандартных приложений, вообще невозможно.

Блок-схема системы для осуществления способа представлена на фиг.1 и предусматривает использование обычного компьютера. Такой персональный компьютер 10 имеет в своем составе монитор 12, подключенный к системному блоку 14, к которому через блок 15 ввода-вывода подключен манипулятор 16 типа “мышь”.

Вблизи монитора 12 или непосредственно на нем установлена приемная телевизионная камера 18, входящая в состав системы 20 технического зрения. Приемная телевизионная камера 18 подключена к блоку 22 обработки изображения, выход которого соединен с блоком 24 выработки сигналов управления “положение курсора на экране” и “ВВОД”. Выход блока 24 присоединен к блоку 15 ввода-вывода компьютера 10. Блок 15 выполняет функции программного анализатора сигналов от драйверов внешних устройств, которыми являются как стандартный манипулятор 16 типа “мышь”, так и патентуемый мимический манипулятор.

На фиг.2, 3 показана наголовная реперная структура. Структура 50 включает оголовье 52, на которой закреплен темный, преимущественно черный небликующий экран 54 (заштрихован), содержащий по меньшей мере три контрастных по цвету реперных 56, 58, 60 элемента, образующих трехмерную пространственную структуру. Два реперных элемента 56, 60 лежат в плоскости лица оператора, а третий 58 - размещен симметрично между ними и отстоит от упомянутой плоскости экрана 54. Форма реперных элементов 56, 60 - одинаковая, например, в виде прямоугольников, форма реперного элемента 58 - круглая и может представлять собой штырь или плоский круг, установленный на кронштейне 62. Для фиксации на голове оператора реперная структура имеет оголовье, в качестве которого может быть использованы различные очковые оправы или шлем (не показаны).

На фиг.4 показана блок-схема блока 22 выработки сигналов управления “положение курсора на экране” и “ВВОД”. Блок 22 включает блок 222 выделения контуров реперных элементов, соединенный с блоком 223 определений координат изображений характерных элементов лица оператора. Выходы блока 223 соединены с входами блока 224 вычисления пространственных углов, характеризующих положение головы оператора и блока 225 выделения мимических признаков. Выходы блоков 224 и 225 соединены с входами блока 24 выработки сигналов управления. Выход блока 24 соединен, как указано выше, с блоком 15 ввода-вывода компьютера.

Способ управления компьютером с помощью бесконтактного манипулятора реализуют посредством системы, показанной на фиг.1-4, следующим образом.

Предварительно подготавливают систему 20 технического зрения и компьютер. На голову оператора устанавливают наголовную реперную структуру 50 и активизируют программу реализации блока 22, а регулировку ее параметров удобно реализовать посредством экранных окон.

Пример реализации интерфейса представлен на фиг.5. На верхней части экрана размещены окна настроек “Отслеживание лица”, “Кнопка мыши”, “Параметры движения”, “Функции передачи”, “Звуки”, “Индикация”.

Окно “Отслеживание лица” предназначено для задания параметров цвета для блока определения координат реперной структуры. Параметры цвета задаются указанием с помощью стандартной "мыши", принадлежащей реперной структуре точки на экране индикатора в окне “Отслеживание лица”, показывающего изображение головы и реперной структуры. Блок определения координат реперной структуры, получив цветовые и яркостные параметры точек реперной структуры, настраивает алгоритм выделения координат реперной структуры.

Окно “Кнопка мыши” предназначено для задания относительного положения области рта оператора в координатах реперной структуры. Относительное положение задается выбором с помощью стандартной "мыши" точки на экране индикатора в окне “Кнопка мыши”, показывающего текущее положение головы оператора вместе с выделенной реперной структурой.

Окно “Параметры движения” предназначено для задания нулевого положения продольной оси головы оператора относительно оси, проходящей через голову и приемную телевизионную камеру. Нулевое положение задается выбором с помощью стандартного манипулятора 16 “мышь” точки на экране индикатора в окне “Параметры движения”, показывающего текущее положение оси головы.

Окно “Функции передачи” предназначено для задания функциональной зависимости между углом отклонения оси головы оператора и соответствующей этому углу скоростью движения курсора на экране.

Окно “Звуки” предназначено для включения/отключения звуковой индикации открытия рта и поворота головы.

Окно “Индикация” предназначено для визуального контроля текущей работы блока 223 определения координат реперной структуры. Контуры выделяемой реперной структуры обводятся красными линиями на экране окна “Индикация”, что позволяет контролировать правильность операции.

В центральном окне размещены клавиатура и наборное поле. Работа на этом поле посредством клавиатуры реализует процесс коммуникации оператора посредством письменной речи, а также предоставляет возможность обучения при параллельной работе с преподавателем. Оператор может наблюдать на экране компьютера свое изображение.

Начинают работу с предварительной разметки телевизионного изображения, для этого определяют положение головы оператора относительно телевизионной приемной камеры 18, установленной со стороны экрана монитора 12 персонального компьютера 10, которым оператор управляет. Посредством блоков 22, 24 системы 20 технического зрения анализируется изображение, полученное телевизионной камерой 18. На изображении выделяют контуры изображений реперных элементов (блок 222), определяют координаты изображений характерных элементов лица оператора (блок 223). Вычисляют направление продольной оси головы оператора относительно оси, проходящей через голову и приемную телевизионную камеру 18 (блок 224). Сигнал управления перемещением курсора по экрану монитора формируют по величине пространственного угла между указанными осями (блок 24). Команду на срабатывание “ВВОД” в блок 24 подают при выявлении в анализируемом изображении открытого рта оператора (блок 245).

Ниже приведены пояснения принципов функционирования вышеуказанных блоков. Сначала активируют программу выделения контуров в блоке 222. Для этого на изображении выделяют одну из точек, принадлежащих реперному прямоугольнику 56 (или 60), и цвет этой точки запоминают. Далее автоматически настраиваются параметры программы распознавания, разделяющей точки изображения на две группы: на близкие и далекие по цвету к выделенной точке реперного прямоугольника. Построение подобных систем цветового анализа для систем технического зрения известно (см., например. Фор А., Восприятие и распознавание образов / Пер. с фр. А.В.Серединского; под ред Г.П.Катыса. - М, Машиностроение, 1986, с.70-74) и в патентуемом изобретении использовано по известному назначению. Кроме того, на анализируемом изображении определяют положение рта оператора и вычисляют его координаты относительно реперных прямоугольников 56, 60.

Далее в процессе реализации способа при функционировании системы технического зрения программой осуществляются следующие операции:

1. На каждом анализируемом кадре изображения выбирают прямоугольные контуры для реперных элементов 56, 60 и круглый контур для реперного элемента 58, для которых минимальна функция рассогласования. Это характеризует наличие внутри выделенных контуров точек, далеких по цвету от отмеченной точки, и наличие точек, близких к отмеченной по цвету, вне указанных контуров (блок 222).

2. По смещению выделенного изображения реперного элемента 58 относительно реперных прямоугольников 56, 60 вычисляют пространственные углы положения оси головы оператора относительно оси, соединяющей его голову и телевизионную камеру 18 (блоки 223, 224).

3. Вычисляют положение центра рта оператора по координатам рта относительно положения реперных прямоугольников (блок 223).

4. Анализируется наличие/отсутствие в области изображения центра рта темной области, соответствующей неосвещенной ротовой полости. При наличии таковой вырабатывается сигнал “есть мимический признак” (блок 225). При непроизвольной артикуляции (кратковременное открытие рта, подрагивание губами и пр.) на период времени меньший, 1-2 сек, подбираемый экспериментально, срабатывание блока 225 не осуществляется.

5. Далее осуществляется принятие решений и выработка сигналов управления “положение курсора на экране” и “ВВОД”.

5.1. Положение курсора на экране зависит от двух углов: горизонтального и вертикального, имеющихся между осью головы оператора и линией визирования (осью, соединяющей голову с телевизионной камерой 18). По величине горизонтального угла вычисляется скорость перемещения курсора по горизонтали, по вертикальному углу - скорость перемещения курсора по вертикали на экране компьютера.

Скорость перемещения курсора является нечетной кусочно-линейной функцией от величины угла. Вид этой функции задается в окне настроек “Функции передачи” (см. фиг.5), при этом для разных задач и для разных состояний оператора предпочтительными оказываются различные функции, которые подбираются экспериментальным путем. В результате блоком 24 выдается команда процессору компьютера переместить курсор на соответствующее расстояние. При этом анализ выхода курсора за пределы экрана операционная система компьютера проводит самостоятельно: если курсор оказывается на границе экранного поля, то он больше не сдвигается и остается видимым на границе экранного поля.

5.2. При наличии сигнала от блока 225 “есть мимический признак”, блок 24 формирует сигнал “левая кнопка мыши нажата”, что эквивалентно сигналу “ВВОД”, передаваемому к программному анализатору сигналов от драйверов внешних устройств в блок 15 ввода-вывода.

Поскольку блок 15 выполняет функции программного анализатора сигналов от драйверов внешних устройств, которыми являются как стандартный манипулятор типа “мышь”, так и патентуемый мимический манипулятор, может осуществляться режим параллельной работы как стандартного манипулятора 16, так и патентуемого, что особенно важно в процессе работы инвалида и преподавателя.

В результате эксплуатации системы бесконтактного ввода информации в компьютер, реализующей патентуемый способ, показана перспективность ее использования в качестве инструмента доступа к компьютерным ресурсам для инвалидов, страдающих церебральными расстройствами.

Промышленная применимость. Для осуществления способа и устройства управления возможно использование телевизионных камер с разрешением 320240, используемых в качестве web-камер. Система технического зрения может быть реализована с использованием известной элементной базы и программных средств.