способ и устройство формирования изображения для распознавания речи

Формула изобретения

1. Способ формирования изображения для распознавания смысла речи, включающий преобразование звука посредством микрофона в сигнал звука, автоматическое регулирование уровня сигнала звука, идентификацию сигналов звуков, отображение сигналов звука на дисплее, отличающийся тем, что определяют направление распространения сигнала звука и формируют его изображение, при этом для каждого простейшего звука речи на цветном жидкокристаллическом дисплее формируют соответствующее данному звуку изображение цветографического символа, включающего разграничительную линию, в точности повторяющую огибающую линию сигнала звука, и индивидуальную по цвету локальную зону дисплея, расположенную между разграничительной линией сигнала звука и осью абсцисс прямоугольной системы координат.

2. Способ по п.1, отличающийся тем, что при формировании на цветном дисплее изображения цветографического символа выделяют отдельно положительную разграничительную линию, расположенную выше оси абсцисс и точно повторяющую форму огибающей линии сигнала звука для положительных значений сигнала звука, и отрицательную разграничительную линию, расположенную ниже оси абсцисс и точно повторяющую форму огибающей линии сигнала звука для отрицательных значений сигнала звука.

3. Способ по п.1, отличающийся тем, что каждому простейшему звуку присваивают свою индивидуальную раскраску локальной зоны поля цветного дисплея, расположенной между положительной разграничительной линией сигнала простейшего звука и осью абсцисс, и индивидуальную раскраску локальной зоны поля цветного дисплея, расположенной между отрицательной разграничительной линией сигнала простейшего звука и осью абсцисс, причем данную раскраску выполняют в строгом соответствии с принятым цветографическим алфавитом.

4. Способ по п.1, отличающийся тем, что обертоны, имеющие место при произношении отдельных звуков, отображают на цветном дисплее на поле цветографического символа в виде узких цветных полос, параллельных оси абсцисс, и расположенных между положительной и отрицательной разграничительными линиями и осью абсцисс, причем по мере повышения частоты обертона соответствующую ему цветную полосу располагают дальше от оси абсцисс.

5. Способ по п.1, отличающийся тем, что момент начала возникновения любого слова отображают на цветном дисплее в виде цветной прямолинейной полосы, перпендикулярной оси абсцисс и проходящей через точку на оси абсцисс, соответствующую началу возникновения звука.

6. Способ по п.1, отличающийся тем, что на правом и левом цветных дисплеях высвечивается одновременно цветографическое изображение по меньшей мере двух слогов каждого слова.

7. Способ по п.1, отличающийся тем, что в процессе развития речи скорость движения на цветных дисплеях справа налево изображения группы цветографических символов прямо пропорциональна средней частоте повторения пауз между словами.

8. Способ по п.1, отличающийся тем, что для каждого цветографического символа, воспроизводимого на цветном дисплее, в канале цифровой обработки огибающей линии сигнала звука создают запаздывание по времени в прохождении цифрового сигнала огибающей линии сигнала звука для синхронизации на поле дисплея взаимного положения разграничительной линии цветографического символа и локальной индивидуально раскрашенной зоны поля дисплея, соответствующей данной разграничительной линии.

9. Устройство формирования изображения для распознавания смысла речи, содержащее оправу очков с левым и правым окулярами, микрофоны для восприятия речи, установленные на заушниках очков, дисплей для формирования изображения и блок идентификации звуков речи, отличающееся тем, что оно имеет одновременно левый и правый цветные дисплеи, расположенные соответственно в верхних зонах левого и правого окуляров очков, левый и правый каналы формирования изображения, каждый из которых имеет две функциональные ветви обработки сигнала звука, посредством одной из которых на цветном экране дисплея обеспечивается возможность формирования разграничительной линии сигнала звука, а посредством другой - идентификация сигнала звука и формирование сигнала, задающего цвет поля дисплея, находящегося между разграничительной линией сигнала звука и осью абсцисс.

10. Устройство по п.9, отличающееся тем, что на излучающие поверхности каждого их двух цветных жидкокристаллических дисплеев установлены корректирующие оптические линзы.

11. Устройство по п.9, отличающееся тем, что блок идентификации звуков речи выполнен в виде отдельного выносного блока, при этом в нем и корпусе заушников очков установлены двухканальные радиоприемники и радиопередатчики для осуществления двухканальной радиосвязи между блоком идентификации звуков речи и электронными устройствами в заушниках, управляющими работой двух цветных жидкокристаллических дисплеев.

12. Устройство по п.9, отличающееся тем, что оно имеет два звена запаздывания, включенных соответственно по одному в каждую из двух функциональных ветвей, служащих для формирования на экранах левого и правого дисплеев разграничительных линий сигнала звука.

Описание изобретения к патенту

Изобретение относится к техническим средствам распознавания речи и предназначено для обеспечения жизнедеятельности глухонемых и слабослышащих людей. Распознавание речи обеспечивается путем формирования цветографических изображений, являющихся функцией звуков речи. Изобретение может быть использовано в качестве технического средства обучения глухонемых людей при освоении разговорной речи.

Известно, что человеку в процессе обучения письменности каждому звуку согласно выбранного алфавита ставится в соответствие определенный графический символ (буква или сочетание букв).

В различных алфавитах одному и тому же звуку ставятся в соответствие различные графические символы (буквы или знаки).

Например, звуку «П» ставится в соответствие следующие графические символы:

1. в русском алфавите символ - (П),

2. в латинском алфавите символ - (Р),

3. в телеграфном коде Морзе символ - ( -- ).

В соответствии с возможными различными алфавитами каждому звуку «ли группе звуков могут быть поставлены в соответствие различные графические «ли цветографические символы. Все зависит от того, кем и по какому принципу изначально создавался алфавит.

В предлагаемом изобретении используется особый цветографический алфавит, согласно которому для каждого звука с помощью микрофона и электронных средств обработки выделяется на поле дисплея разграничительная линия сигнала звука, а поле дисплея под данной разграничительной линией раскрашивается индивидуально для каждого звука в определенный цвет. Таким образом, для каждого звука разграничительная линия сигнала звука и раскрашенное поле под данной разграничительной линией сигнала звука являются индивидуальным цветографическим символом данного сигнала звука.

Данные цветографические символы, как это уже пояснялось ранее, выносятся на цветные жидкокристаллические дисплеи, причем данные дисплеи, расположенные в верхних зонах окуляров очков, перекрывают только верхнюю зону периферического зрения глаза, не мешая восприятию объектов в основном центральном, баковых и нижних полях зрения.

В процессе обучения и запоминания символов цветографического алфавита человек по виду цветных графических символов будет распознавать не только основные звуки, слоги и слова, но и их тембр, и сможет так же распознавать звуки при наличии шумов. Человеку принципиально не важно, какой алфавит, с какой графической или цветографической символикой изучать и запоминать: будь это буквенный алфавит, нотная азбука, азбука Морзе или цветографический алфавит.

Настоящее изобретение относится к техническим средствам распознавания речи путем визуализации звуков речи на цветном экране практически синхронно с развитием речи.

Известен способ формирования изображения на экране в зависимости от звуков речи с целью коррекции произношения, описанный в [1] (патент RU №2111548, МПК 6 G09В 19/04, опубликован 20.05.98).

Для достижения цели, реализованной в изобретении [1], сигнал звука усаливают, фильтруют, выпрямляют, суммируют с инвертированным эталонным сигналом, суммарный сигнал преобразуют во временную задержку сигнала эталонного графического изображения. Сигнал графического изображения и сигнал эталонного графического изображения, задержанный на время , а так же сигнал графического изображения границ допустимого отклонения от эталонного графического изображения отображают на экране. В случае неправильного произношения обучаемым определенного звука речи на экране формируется искаженное графическое изображение буквы, соответствующей данному звуку речи, в сравнении с эталонным графическим изображением данной буквы. Перед обучаемым ставится задача произносить звук так, чтобы графическое изображение звука (конкретной буквы) на экране было без искажений.

В плане определения возможности применения данного способа формирования изображения отдельных звуков речи для распознавания речи как непрерывного процесса следует отметить следующий принципиальный существенный недостаток:

1. Изложенный в [1] способ контроля правильности произношения звуков речи позволяет распознавать только отдельные звуки речи и только при условии, что в памяти устройства распознавания записан эталонный сигнал произносимого звука речи. Эталонный сигнал должен вызываться из памяти устройства распознавания одновременно с началом произношения звука речи, то есть заранее должен быть известен произносимый звук. Так как при распознавании звуков речи в бытовом непрерывном разговоре заранее неизвестны будущие произносимые партнером звуки и неизвестна последовательность этих звуков, то изложенный в [1] способ невозможно применить для распознавания непрерывной речи в виду невозможности вызова из памяти устройства, необходимого для распознавания, точно в момент произношения, эталонных сигналов звуков и эталонных графических изображений этих звуков.

Известен так же способ идентификации звуков речи и формирования графических символов (букв) звуков речи, изложенный в [2] (патент RU №2231133, МПК 7 G10L 15/08, G10L 101:023, 2004.06.20).

Данный способ позволяет идентифицировать звуки речи и производить визуализацию звуков речи на экране или бумаге посредством печатающего устройства, используя в качестве графических символов звуков речи буквы алфавита. Данный способ, изложенный в [2], имеет существенный недостаток. Визуализация звуков речи посредством букв исключает возможность идентифицировать личность говорящего по тональным особенностям его речи, так как в графическом изображении букв не заложены и не отражаются индивидуальные особенности произношения каждого звука.

Известно устройство формирования изображения для распознавания речи, включающее противоослепляющие очки [10], к недостаткам которого относится невозможность формирования цветных графических символов простейших звуков речи на жидкокристаллических экранах данных очков в виду монохроматического принципа, заложенного в работу жидкокристаллических экранов данных очков.

Наиболее близким аналогом заявленного изобретения является способ формирования изображения для распознавания смысла речи и устройство формирования изображения для распознавания смысла речи, представленные в заявке US №2002/0158816, кл. G09G 5/00, 2002.

Известный способ формирования изображения для распознавания смысла речи включает преобразование звука посредством микрофона в сигнал звука, автоматическое регулирование уровня сигнала звука, идентификацию сигналов звуков, отображение сигналов звука на дисплее.

Известное устройство формирования изображения для распознавания смысла речи содержит оправу очков с левым и правым окулярами, микрофоны для восприятия речи, установленные на заушниках очков, дисплей для формирования изображения и блок идентификации звуков речи.

Техническим результатом изобретения является расширение возможности распознавания звуков речи с учетом индивидуальных особенностей голоса говорящего.

Указанный технический результат достигается тем, что в известном способе формирования изображения для распознавания смысла речи, включающем преобразование звука посредством микрофона в сигнал звука, автоматическое регулирование уровня сигнала звука, идентификацию сигналов звуков, отображение сигналов звука на дисплее, согласно изобретению, определяют направление распространения сигнала звука и формируют его изображение, при этом для каждого простейшего звука речи на цветном жидкокристаллическом дисплее формируют соответствующее данному звуку изображение цветографического символа, включающего разграничительную линию в точности повторяющую огибающую линию сигнала звука, и индивидуальную по цвету локальную зону дисплея, расположенную между разграничительной линией сигнала звука и осью абсцисс прямоугольной системы координат.

При формировании на цветном дисплее изображения цветографического символа выделяют отдельно положительную разграничительную линию, расположенную выше оси абсцисс и точно повторяющую форму огибающей линии сигнала звука для положительных значений сигнала звука, и отрицательную разграничительную линию, расположенную ниже оси абсцисс и точно повторяющую форму огибающей линии сигнала звука для отрицательных значений сигнала звука.

Каждому простейшему звуку присваивают свою индивидуальную раскраску локальной зоны поля цветного дисплея, расположенной между положительной разграничительной линией сигнала простейшего звука и осью абсцисс, и индивидуальную раскраску локальной зоны поля цветного дисплея, расположенной между отрицательной разграничительной линией сигнала простейшего звука и осью абсцисс, причем данную раскраску выполняют в строгом соответствии с принятым цветографическим алфавитом.

Обертоны, имеющие место при произношении отдельных звуков, отображают на цветном дисплее на поле цветографического символа в виде узких цветных полос, параллельных оси абсцисс и расположенных между положительной и отрицательной разграничительных линий и осью абсцисс, причем по мере повышения частоты обертона, соответствующую ему цветную полосу располагают дальше от оси абсцисс.

Момент начала возникновения любого слова отображают на цветном дисплее в виде цветной прямолинейной полосы, перпендикулярной оси абсцисс и проходящей через точку на оси абсцисс, соответствующую началу возникновения звука.

На правом и левом цветных дисплеях высвечивается одновременно цветографическое изображение по меньшей мере двух слогов каждого слова.

В процессе развития речи скорость движения на цветных дисплеях справа налево изображения группы цветографических символов прямо пропорциональна средней частоте повторения пауз между словами.

Для каждого цветографического символа, воспроизводимого на цветном дисплее, в канале цифровой обработки огибающей линии сигнала звука создают запаздывание по времени в прохождении цифрового сигнала огибающей линии сигнала звука для синхронизации на поле дисплея взаимного положения разграничительной линии цветографического символа и локальной, индивидуально раскрашенной зоны поля дисплея, соответствующей данной разграничительной линии.

Указанный технический результат достигается также тем, что известное устройство формирования изображения для распознавания смысла речи, содержащее оправу очков с левым и правым окулярами, микрофоны для восприятия речи, установленные на заушниках очков, дисплей для формирования изображения и блок идентификации звуков речи, согласно изобретению, имеет одновременно левый и правый цветные дисплеи, расположенные соответственно в верхних зонах левого и правого окуляров очков, левый и правый каналы формирования изображения, каждый из которых имеет две функциональные ветви обработки сигнала звука, посредством одной из которых на цветном экране дисплея обеспечивается возможность формирования разграничительной линии сигнала звука, а посредством другой - идентификация сигнала звука и формирование сигнала, задающего цвет поля дисплея, находящегося между разграничительной линией сигнала звука и осью абсцисс.

На излучающие поверхности каждого их двух цветных жидкокристаллических дисплеев установлены корректирующие оптические линзы.

Блок идентификации звуков речи выполнен в виде отдельного выносного блока, при этом в нем и корпусе заушников очков установлены двухканальные радиоприемники и радиопередатчики для осуществления двухканальной радиосвязи между блоком идентификации звуков речи и электронными устройствами в заушниках, управляющими работой двух цветных жидкокристаллических дисплеев.

Устройство имеет два звена запаздывания, включенных соответственно по одному в каждую из двух функциональных ветвей, служащих для формирования на экранах левого и правого дисплеев разграничительных линий сигнала звука.

В настоящем изобретении предлагается принципиально новый способ распознавания звуков речи посредством формирования на цветном экране изображения звуков речи практически синхронно с развитием речи и раскрывается конструкция устройства, позволяющего реализовать данный способ распознавания звуков речи с учетом индивидуальных особенностей голоса говорящего.

1. Из сигнала звука после усиления, фильтрации, спектрального анализа выделяют огибающую линию сигнала звука, которая выносится как разграничительная линия на поле каждого из двух цветных жидкокристаллических дисплеев, расположенных в верхних зонах двух окуляров очков.

2. Поле на экране дисплея под разграничительной линией сигнала звука раскрашивается в свой индивидуальный цвет, присвоенный согласно цветографическому алфавиту, только данному звуку.

3. На цветном жидкокристаллическом дисплее цветографическое изображение сигналов звука посредством электронной системы управления перемещается справа налево в режиме «бегущей строки», при этом на дисплее одновременно высвечивается изображение, соответствующее двум и более двух слогам произносимого слова.

4. Цветные жидкокристаллические дисплеи в количестве двух штук расположены по одному в верхней зоне каждого из двух окуляров очков, причем каждый дисплей перекрывает зону периферийного зрения в верхней части окуляров очков, оставляя свободной для ориентации основную центральную, боковые и нижнюю зону видимости.

Человек, носящий данные очки, через окуляры очков видит все в центральной, боковых и нижней зоне поля видимости, и одновременно на жидкокристаллических дисплеях видит цветографическое изображение звуков речи, распознавая при этом смысл речи.

В результате реализации изобретения появляется принципиальная возможность глухонемым людям распознавать речь здоровых, хорошо слышащих людей и, как результат этого, появляется возможность для глухонемых людей научиться самостоятельно говорить, так как посредством данного устройства у них появляется постоянная обратная связь по результатам произношения самим говорящим звуков и слов, что дает возможность глухонемому человеку самостоятельно корректировать неправильно произнесенные звуки и слова.

Для реализации способа и устройства формирования изображения с целью распознавания речи необходимо создать цветографический алфавит. Для рассмотрения принципа формирования цветографического алфавита обратимся к сигналу у(t) звуков слова «ПРОШУ», представленного на фиг.1.

На фиг.1 для каждого звука, входящего как составная часть произносимого слова «ПРОШУ», выделены интервалы времени звучания каждого звука и форма кривой линии для каждого сигнала звука. Для каждого звука, в соответствии с обозначенным интервалом, в цифровой форме указано время звучания каждого звука в млс. Например, звук «П» звучит в интервале времени 30 млс, а звуки «О» и «У» звучат в интервале времени 100 млс. Как видно из кривой линии сигнала звука, каждый звук имеет огибающую линию, представленную на фиг.1 пунктиром. Амплитуда огибающей линии сигнала звука «Ш» существенно меньше максимальной амплитуды огибающих линий гласных звуков «О» и «У». Звук «П» самый короткий. Низкочастотная огибающая линия каждого звука, показанная пунктиром, имеет две ветви: верхнюю положительную ветвь для положительных значений сигнала звука и нижнюю отрицательную ветвь для стр.5 отрицательных значений сигнала звука. Между звуками «О» и «Ш» есть пауза, которая возникает при спокойном произношении двух слогов слова «ПРО-ШУ». Длительность паузы между слогами «ПРО-ШУ» может меняться от 5 до 15 млс.

На фиг.2 представлена цветная картинка (сформированное по определенным принципам цветографическое изображение) для того же слова «ПРОШУ», причем за основу формирования данного цветографического изображения взят сигнал звука, представленный на фиг.1.

Путем сравнения фиг.1 и 2 можно выделить пять основных принципов формирования цветографических символов, являющихся функциями отдельных звуков и входящих как составные частя в цветографический алфавит:

1. Совокупность двух разграничительных линий 1, 2 сигнала звука, в точности повторяющих огибающие линии сигнала звука и представляющих две симметричные относительно оси абсцисс положительную и отрицательную ветви 1, 2, определяет первый основной отличительный признак цветографического символа сигнала звука.

1. Разграничительные линии сигнала звука, представляющие отдельно: только одну положительную ветвь 1 или только одну отрицательную ветвь 2 полной разграничительной линии сигнала звука, определяют второй основной отличительный признак цветографического символа сигнала звука.

3. Цвет поля 3, 4, 5, 6, 7, 8, экрана, находящегося между положительной или отрицательной ветвями разграничительной линии сигнала звука и осью абсцисс, определяет третий основной отличительный признак цветографического символа сигнала звука.

4. Обертоны, отражающие индивидуальные особенности голоса и имеющие место при произношении отдельных звуков, изображаются на ноле цветографического символа в виде цветных полос 9, параллельных оси абсцисс и расположенных между разграничительной линией сигнала звука и осью абсцисс, причем по мере повышения обертона соответствующая цветная полоса располагается дальше от оси абсцисс. Данные цветные полосы являются четвертым основным отличительным признаком цветографического символа сигнала звука.

5. Момент начала возникновения любого звука после паузы между звуками отображается в цветографическом алфавите в виде цветных узких полос 10, перпендикулярных оси абсцисс и проходящих через точку, соответствующую началу сигнала звука. Данные цветные полосы являются пятым основным отличительным признаком цветографического алфавита.

По совокупности выше перечисленных пяти основных отличительных признаков цветографических символов, представляющих составные элементы цветографического алфавита, глухонемой человек может идентифицировать, глядя на экран, все звуки, слоги и слова речи.

На фиг.2 для каждого звука все положительные ветви 1 и отрицательные ветви 2 огибающих линий сигналов звуков разграничивают поле цветного экрана на зоны с различным цветом и тем самым создают границы различных цветографических символов звуков слова «ПРО-ШУ». Будем называть в дальнейшем положительные 1 и отрицательные 2 ветви огибающих линий соответственно: положительной разграничительной линией 1 сигнала звука и отрицательной разграничительной линией 2 сигнала звука.

На поле цветного дисплея линии 1 и 2 выполняют роль профильной границы между зонами с разным цветом.

Положительная 1 и отрицательная 2 разграничительные линии в точности повторяют огибающие пунктирные линии сигналов звуков, представленных на фиг.1, как это следует из первого и второго принципов формирования цветографических символов цветографического алфавита.

Для отдельных зон поля цветного экрана, расположенных между положительной разграничительной линией 1 или отрицательной разграничительной линией 2 и осью абсцисс, пронумерованных на фиг.2 цифрами 3, 4, 5, 6, 7, 8, цвет данных зон отличается друг от друга в соответствии с третьим принципом формирования цветографического алфавита. Разные цвета зон на фиг.2 выделены условно штриховкой с различным наклоном. Цветные параллельные оси абсцисс прямые полосы 9 согласно четвертого принципа формирования цветографичского алфавита имеют разный цвет. Например, для звука «О» на фиг.2 таких полос три. Это означает, что в произношении звука «О» зафиксировано три обертона.

Цветные полосы 10, согласно пятого принципа формирования цветографического алфавита, фиксируют момент начала возникновения звука после паузы. Данные полосы возникают на цветном экране в момент начала возникновения раздельно произносимых слогов и начала возникновения отдельных слов.

Направление распространения звука, определяемое путем реализации стереофонического эффекта посредством блока идентификации звуков, отображается в виде высвечивания в нижнем правом углу экрана стрелки 11. Стрелка 11 меняет свое направление в зависимости от направления распространения звука.

Цветная картинка, представленная на фиг.2, для сигналов звуков слова «ПРОШУ» формируется на цветном экране и глухонемой человек, изучив цветографический алфавит, может идентифицировать слово «ПРОШУ», глядя на экран. В качестве цветного экрана может использоваться экран телевизора или цветной жидкокристаллический дисплей, встроенный в оправу очков.

Длительность огибающих линий сигналов звука будет определять необходимые частотные характеристики (быстродействие) работы цветного экрана.

Из фиг.1 и 2 следует, что самым коротким по времени является сигнал звука «П». Длительность этого звука составляет 30 млс, то есть максимальная частота пропускания сигналов для цветного жидкокристаллического дисплея согласно данной длительности должна составлять 33 Гц, что для современных цветных жидкокристаллических дисплеев вполне достижимо.

Для того чтобы глухонемой человек мог воспринимать последовательно во времени возникающие звуки речи, цветное изображение, представленное на фиг.2, должно перемещаться справа налево в режиме «бегущей строки» по оси абсцисс, при этом цветографические символы звуков будут исчезать на левой границе экрана, а новые цветографические символы будут возникать с правой стороны экрана в процессе развития речи. Скорость движения цветного изображения справа налево по экрану должна быть такой, чтобы глухонемой человек мог видеть одновременно на экране два и более двух слогов слова, что позволяет ему гарантировано идентифицировать слоги и слова, глядя на экран.

Техническое устройство, посредством которого формируется цветографическое изображение звуков речи, реализуется с помощью специализированных очков, представленных на фиг.3.

Данное устройство имеет оправу 1, два окуляра 2 и 3, два цветных жидкокристаллических дисплея 4 и 5, расположенных в верхних зонах окуляров очков, две корректирующие линзы 6 и 7, наложенные на плоскости двух цветных жидкокристаллических дисплеев со стороны глаз наблюдателя, два заушника 8 и 9, два микрофона 10 и 11, блок идентификации звуков речи (БИЗ) 12 с двухканальным приемопередающим радиоустройством.

Левый 10 и правый 11 микрофоны расположены с внешней стороны заушников 8 и 9 и служат для преобразования звуков речи в электрические сигналы звуков речи. В корпусе заушников 8 и 9 очков расположены приемопередатчики радиосигналов и электронные устройства управления цветными жидкокристаллическими дисплеями 4 и 5. Корректирующие линзы 6 и 7 обеспечивают четкость восприятия глазом цветных изображений, появляющихся на дисплеях 4 и 5.

Блок 12 идентификации звуков речи является общим для левого и правого каналов. Блок 12 расположен в нагрудном кармане рубашки глухонемого человека. Посредством этого блока осуществляется спектральный анализ сигналов звуков речи. На основании данного анализа выделяются характерные признаки звуков речи (форманты) и по совокупности индивидуальных признаков звуков речи производится идентификация звуков речи, например, по способу, изложенному в [2], [3]-[9]. Каждому звуку речи на выходе блока 12 соответствует сигнал, представляющий определенную цифровую кодовую комбинацию. Обмен информацией между блоком 12 и электронными устройствами, расположенными в заушниках 8 и 9, осуществляется по радиоканалу.

Техническое устройство формирования изображения для распознавания речи, представленное на фиг.3, имеет два независимых канала для восприятия речи и формирования изображения: левый канал формирования изображения (ЛКФИ) и правый канал формирования изображения (ПКФИ).

Левый канал (ЛКФИ) включает левый микрофон 10, электронное устройство управления, расположенное в левом заушнике 8, левый цветной жидкокристаллический дисплей 4 и левую корректирующую линзу 6.

Правый канал формирования изображения (ПКФИ) звуков речи включает соответственно правый микрофон 11, электронное устройство управления, расположенное в правом заушнике 9, правый цветной жидкокристаллический дисплей 5 и правую корректирующую линзу 7.

Два независимых канала (ЛКФИ и ПКФИ) для восприятия речи и формирования изображения для распознавания речи позволяют реализовывать стереофонический эффект и тем самым позволяют повысить ориентацию глухонемого человека в пространстве путем наблюдения и фиксации на двух дисплеях светящихся стрелок, указывающих направление распространения звука относительно головы глухонемого человека.

Цветные дисплеи 4 и 5 перекрывают поле зрения человека в угловом секторе, равном 15°, расположенном выше оптической оси ОО ₁, в диапазоне углов зрения от 20 до 35°, как это представлено на фиг.4. Данный угловой сектор выделен на фиг.4 косой штриховкой.

Светоизлучающее поле каждого цветного дисплея имеет линейные размеры L и h, как это представлено на фиг.2. Ориентировочно можно рекомендовать размер L=40 мм, a h=10 мм.

Управление каждым цветным жидкокристаллическим дисплеем осуществляется посредством специального контроллера.

Посредством контроллера программно создаются кольцевые сдвиговые регистры памяти, с помощью которых осуществляется движение группы цветографических символов на дисплее справа налево, в режиме «бегущей строки» путем переноса информации соответствующих ячеек памяти по столбцам справа налево в сдвиговых регистрах памяти. В блоке памяти сдвигового регистра ячейки памяти структурированы по столбцам памяти.

Таким образом, в устройстве формирования изображения для распознавания звуков речи посредством двух цветных дисплеев создается на каждом дисплее бегущее изображение звуков речи.

Скорость движения V бегущих на дисплеях справа налево изображений звуков речи посредством контроллеров меняется в зависимости от скорости произношения звуков речи путем фиксации средней частоты появления пауз между словами. Скорость V движения изображений звуков речи должна быть прямо пропорциональна средней частоте появления пауз между словами. При этом для глухонемого человека, носящего данное устройство, обеспечивается принципиальная возможность распознавать речь другого человека путем наблюдения во времени на дисплеях, бегущих справа налево, цветографических изображений (символов) звуков независимо от частоты произносимых слов.

Время обучения и отработка навыков по распознаванию речи путем визуализации сигналов звука будет зависеть от способности обучаемого и совершенства методики обучения. Обучение начнется с запоминания цветографических символов отдельных сигналов звука, затем с запоминания цветографических символов слогов и далее слов, как это имеет место при обучении навыкам письма и чтения здоровых детей.

Способ и устройство формирования изображения сигналов звука, включающий два независимых канала формирования изображения, реализованы с помощью структурной схемы, представленной на фиг.5.

Устройство формирования изображения сигналов звука включает левый канал формирования изображения (ЛКФИ) 1, все элементы которого размещены в левом заушнике очков наблюдателя; правый канал формирования изображения (ПКФИ) 2, все элементы которого расположены в правом заушнике очков, и блок идентификации звука (БИЗ) 3, который располагается в нагрудном кармане рубашки наблюдателя. На фиг.5 ЛКФИ, ПКФИ, БИЗ обведены пунктирными линиями. В свою очередь, левый канал ЛКФИ и правый канал ПКФИ формирования изображения имеют две функциональные ветви обработки сигнала звука. Посредством первой функциональной ветви (ПФВ) обработки сигнала звука на цветном экране жидкокристаллического дисплея формируется разграничительная линия сигнала звука.

Посредством второй функциональной ветви (ВФВ) обработки сигнала звука производится идентификация сигнала звука и формируется сигнал, задающий цвет поля жидкокристаллического дисплея, находящегося между разграничительной линией сигнала звука и осью абсцисс.

Согласно структурной схемы фиг.5, левый канал ЛКФИ включает левый микрофон (M1) 4, усилитель (У1) 5, полосовой фильтр (ПФ1) 6, звено автоматической регулировки уровня (АРУ1) 7, аналого-цифровой преобразователь (АЦП1) 8, звено временного запаздывания (331) 9, контроллер (КР1) 10, цветной жидкокристаллический дисплей (Д1) 11, корректирующую линзу (Л1) 12.

Все выше перечисленные звенья 4-12 образуют первую функциональную ветвь (ПФВ) обработки сигнала звука левого канала формирования изображения (ЛКФИ).

Вторая функциональная ветвь (ВФВ) обработки сигнала звука левого канала ЛКФИ включает первый канал двухканального радиопередатчика (РП1) 13, первый канал радиоприемника (П1) 14, контроллер идентификации сигнала звука и определения направления распространения звука (КИЗ1) 15, первый канал двухканального радиопередатчика (РП2) 17 и первый канал радиоприемника (П2) 18.

Правый канал (ПКФИ) 2 абсолютно идентичен левому каналу (ЛКФИ) 1, выполняет же функции и включает правый микрофон (М2) 19, усилитель (У2) 20, полосовой фильтр (ПФ2) 21, звено автоматической регулировки уровня (АРУ 2) 22, аналого-цифровой преобразователь (АЦП2) 23, звено временного запаздывания (332) 24, контроллер (КР2) 25, правый цветной жидкокристаллический дисплей (Д2) 26, корректирующую линзу (Л2) 27.

Вторая функциональная ветвь ВФВ обработки сигнала звука правого канава ПКФИ включает второй канал двухканального радиопередатчика 13, второй канал радиоприемника 14, контроллер идентификации сигнала звука (КИЗ 2) 16, второй канал двухканального радиопередатчика 17 и второй канал радиоприемника 18. Звенья 14-17 конструктивно размещены в отдельном выносном блоке идентификации сигнала звука 3. Двухканальный радиоприемники 14, 18 и двухканальные радиопередатчики 13, 17 позволяют передавать и принимать независимо сигналы звука, поступающие с выходов усилителей 5, 20 для левого ЛКФИ и правого ПКФИ каналов. Радиосигналы с выхода 1 первого канала приемника 18 поступают на контроллер 10, а с выхода 2 второго канала на контроллер 25. Радиопередатчик 13 расположен в левом заушнике очков, а радиоприемник 18, с целью равномерного распределения элементов, расположен в правом заушнике очков канала ПКФИ.

Согласно структурной схемы фиг.5 для левого канала ЛКФИ 1 выход микрофона 4 соединен со входом 1 усилителя 5, выход усилителя 5 соединен одновременно со входом трех звеньев: со входом полосового фильтра 6, со входом (АЦП 1) 8, с первым входом радиопередатчика 13. Выход полосового фильтра 6 соединен со входом звена (АРУ 1) 7. Выход звена (АРУ 1) 7 соединен со входом 2 усилителя 5. Выход (АЦП 1) 8 соединен со входом звена запаздывания 9, выход звена запаздывания 9 соединен со входом 1 контроллера 10, выходы сигналов управления контроллера 10 соединены с соответствующими входами жидкокристаллического дисплея 11. Выход радиопередатчика 13 по радиоканалу связан со входом радиоприемника 14, выход 1 радиоприемника 14 связан со входом 1 контроллера идентификации сигнала звука 15, выход 2 радиоприемника 14 связан со входом 2 контроллера 15, выход контроллера 15 связан со входом 1 первого канала радиопередатчика 17. Двухканальный радиопередатчик 17 по радиоканалу связан со входом радиоприемника 18, выход 1 первого канала радиоприемника 18 связан со входом 2 контроллера 10.

Согласно структурной схемы фиг.5 для правого канала ПКФИ 2 выход микрофона 19 связан со входом 1 усилителя 20, выход усилителя 20 связан одновременно со входами трех звеньев: со входом полосового фильтра 21, со входом 2 второго канала двухканального радиопередатчика 13, со входом (АЦП 2) 23. Выход полосового фильтра 21 связан со входом звена автоматической регулировки уровня 22, выход звена (АРУ 2) 22 связан со входом 2 усилителя 20. Выход (АЦП 2) 23 связан со входом звена запаздывания 24, выход звена запаздывания 24 связан со входом 1 контроллера 25. Все выходы контроллера 25 связаны с соответствующими входами цветного жидкокристаллического дисплея 26. Звенья 13, 14, 16, 17, 18, 19-27 образуют канал ПКФИ формирования изображения сигнала звука. Звенья 18-25 расположены в правом заушнике очков, а звенья 26, 27 - на правом окуляре очков.

Левый канал ЛКФИ работает следующим образом. Сигнал звука речи с выхода микрофона 4 поступает на вход усилителя 5. Усилитель 5 служит для управления величиной уровня сигнала звука на выходе усилителя 5 при возможном существенном изменении силы звука. Для этого служит специальное звено автоматической регулировки уровня сигнала 7. Посредством полосового фильтра 6 из сигнала звука выделяется сигнал наиболее употребительных и стабильных формант и посредством данного сигнала осуществляется управление звеном (АРУ 1)7. Выходной сигнал звена 7 автоматически по входу 2 звена 5 изменяет коэффициент усиления усилителя 5, тем самым автоматически удерживается (нормируется) в пределах технически обоснованного уровень сигнала на выходе усилителя 5.

Нормированный сигнал звука с выхода усилителя 5 поступает на вход 1 первого канала двухканального радиопередатчика 13. Далее посредством радиоканала и радиоприемника 14 преобразованный сигнал звука поступает на вход 1 контроллера 15, предназначенного для идентификации звуков канала ЛКФЙ непосредственно в процессе развития речи. На вход 1 и вход 2 контроллера 15 поступают одновременно с выхода 1 и выхода 2 радиоприемника 14 сигналы звуков, соответствующих каналу ЛКФИ и ПКФИ. По совокупности сигналов поступающих на входы 1 и 2 контроллера 15 по программе, заложенной в контроллер 15, определяется направление распространения звука относительно головы глухонемого человека.

Данное направление, как это указывалось ранее, отображается на дисплеях в виде светящихся стрелок, расположенных в правом нижнем углу дисплеев 11 и 26.

Идентификация звуков речи может производиться посредством контроллеров 15 и 16 по способу, описанному в [2], [3], [4], [5], [6]. Основные требования к блоку 3 идентификации звуков речи - это достоверность идентификации звуков речи с возможностью распознавания по голосу личности говорящего и время идентификации звуков , которое не должно превышать Т=100-150 млс. Это необходимо для того, чтобы не разделить существенно моменты начала возникновения звуков речи и моменты начала распознавания этих произнесенных звуков и слов.

Способ распознавания звуков, изложенный в [2], вполне соответствует вышеуказанным требованиям по идентификации звуков речи. Результатом идентификации звуков речи являются цифровые коды, возникающие на выходе контроллера 15. Причем в соответствии с каждым звуком или сочетанием звуков на выходе контроллера 15 будет появляться цифровой код, строго соответствующий только данному звуку или сочетанию звуков.

Данные цифровые коды посредством первого канала 1 двухканального радиопередатчика 17 и радиоприемника 18 попадут на вход 2 контроллера 10. По заложенной в контроллер 10 программе, в строгом соответствии с цифровым кодом, на выходе контроллера 10 появятся сигналы управления, позволяющие окрасить зону поля дисплея между разграничительной линией и осью абсцисс в цветную зону, строго соответствующую только данному цифровому коду, как это было показано при описании фиг.2. Время запаздывания , затраченное на идентификацию звуков речи, должно быть обязательно учтено при работе первой функциональной ветви обработки сигналов звуков речи ПФВ.

Нормированный сигнал звука речи с выхода усилителя 5 поступает так же на вход (АЦП1) 8, посредством которого производится оцифровка входного аналогового сигнала. Выходной цифровой сигнал звука речи с выхода (АЦП1) 8 поступает на вход звена временного запаздывания 9. Данное звено 9 служит для синхронизации в прохождении сигналов по второй функциональной ветви ВФВ обработки сигналов звука через звенья 13, 14, 15, 17, 18 и первой ветви ПФВ обработки сигналов звука через звенья 8, 9.

Посредством звена запаздывания 9 создается искусственное запаздывание в прохождении сигнала по первой (ПФВ) ветви на время Т, соответствующее запаздыванию сигнала, накопившемуся при его обработке во второй (ВФВ) ветви. Звено запаздывания 9 синхронизирует прохождение сигналов звуков речи по первой и второй функциональным ветвям обработки, и на входы 1 и 2 контроллера 10 данные сигналы приходят в одной фазе, что очень важно при совмещении раскраски зоны поля дисплея под разграничительной линией сигнала звука в соответствии с фиг.2.

Время запаздывания Т, возникающее при обработке сигнала звука посредством звеньев 13, 14, 15, 17, 18, если его не учитывать, будет сдвигать на поде дисплея локальную цветную зону сигнала звука по отношению к разграничительной линии данного сигнала звука по оси абсцисс на величину отрезка L

L=V×T,

где L - величина отрезка сдвига,

V - скорость движения цветографического изображения по полю дисплея,

- время запаздывания.

Звено запаздывания 9 осуществляет запаздывание на время , обеспечивает синхронизацию на поле дисплея изображений разграничительном линии сигнала звука и локальной зоны с индивидуальной раскраской, соответствующей данному сигналу звука. При введении звеньев 9 и 24 величина L=0 для ЛКФИ и ПКФИ.

Реально время запаздывания составляет величину Т=80-100 млс. Такое запаздывание в виду его незначительности не помешает глухонемому человеку распознавать речь, так как распознавание речи будет происходить практически синхронно самой речи. Цифровой сигнал с выхода звена запаздывания поступает на вход 1 контроллера 10.

Посредством контроллера 10 данный сигнал преобразуется в разграничительную линию фиг.2, которая повторяет во всех ее изгибах огибающую линию сигнала звука и тем самым отражает индивидуальные особенности произносимых звуков речи. Как указывалось выше, разграничительная линия, появляющаяся на поле дисплея, и раскраска зоны поля дисплея между разграничительной линией и осью абсцисс являются характерными элементами цветографического алфавита, по которым глухонемой человек может распознавать речь и индивидуальные особенности речи говорящего.

Восприятие цветографических символов с дисплея 11 осуществляется посредством корректирующей линзы 12, что увеличивает четкость восприятия.

Правый канал ПКФИ 2 имеет точно такую же структурную схему, что и левый канал ЛКФИ, работает по такому же принципу, имеет тот же самый набор функциональных звеньев. Наличие двух абсолютно идентичных каналов формирования изображения позволяет реализовать стереофонический эффект и тем самым позволяет глухонемому человеку более точно ориентироваться в пространстве звуков.

Блок идентификации звуков 3 имеет две самостоятельные ветви обработки сигналов звука, причем контроллер 15 обеспечивает работу ЛКФИ, а контроллер 16 обеспечивает работу ПКФИ. Передатчики 13 и 17, а так же приемники 14 и 18 двухканальные, с частотным или временным разделением в работе двух каналов.

Фиг.1 - Графическое изображение сигналов звуков, на примере слова «ПРО-ШУ».

Фиг.2 - Цветографическое изображение сигналов звуков на цветном экране, на примере слова «ПРО-ШУ».

Фиг.3 - Устройство формирования изображения для распознавания речи.

Фиг.4 - Картина распределения секторов зрения при использовании устройства формирования изображения для распознавания речи.

Фиг.5 - Структурная схема устройства формирования изображения для распознавания речи.

Сведения, подтверждающие возможность осуществления изобретения.

Предлагаемое изобретение может быть реализовано с помощью устройства, конструкция которого приведена на фиг.3 и структурная схема которого приведена на фиг.5. Элементы устройства могут быть выполнены с помощью аналоговых и цифровых микросхем, студийных малогабаритных радиоприемников и радиопередатчиков, цифровых контроллеров и цветных жидкокристаллических дисплеев, широко применяемых в цифровых фотоаппаратах и фотокамерах.

Изобретение относится к техническим средствам распознавания речи путем формирования на цветных жидкокристаллических экранах, расположенных в верхних зонах окуляров очков, цветографических изображений, являющихся функцией произносимых звуков, слогов и слов речи, и может быть использовано в качестве технического средства обучения глухонемых людей при освоении ими разговорной речи. При этом для глухонемого человека, носящего данное устройство в виде специализированных очков, обеспечивается принципиальная возможность распознавать речь говорящего человека, глядя на дисплеи.

Источники информации

1. Патент RU №2111548, МПК 6 G09В 19/04, опубликован 20.05.98, Бюл, №14.

2. Патент RU №2231133, МПК 7 G10L 15/08, G10L 101:023, опубликован 2004.06.20.

3. Патент RU №2230375, МПК 7 G10L 15/00, 17/00 опубликован в 2004 г., БИ №16 (II ч), стр.437.

4. Патент RU №2234746, МПК 7 G10L 19/02, опубликован 2004.08.20.

5. Патент РФ №2047912, МПК G10L 7/06, опубликован 10.11.1995.

6. Патент РФ №2161826, МПК G10L 17/00, опубликован 10.01.2001.

7. Патент США №6411930, МПК G10L 15/08, 25.06.2002.

8. Патент США №5995927, МПК G10L 9/00, 30.11.1999.

9. Патент США №6389392, МПК G10L 17/00, 14.05.2002.

10. Патент RU №2036496, МПК 6 G02С 7/16, опубликован 27.05.95, Бюл. №15.