способ и устройство формирования изображения для распознавания направления распространения звука речи

Формула изобретения

1. Способ формирования изображения для распознавания направления распространения звука речи, включающий преобразование звука посредством микрофонов в сигналы звука, автоматическое регулирование уровня сигналов звука, идентификацию сигналов звуков, отображение сигналов звука на левом и правом цветных жидкокристаллических дисплеях, отличающийся тем, что направление распространения звука отображается относительно направления прямого взгляда слушателя на левом цветном дисплее посредством левой вертикальной индикаторной полосы, расположенной вдоль левой вертикальной стороны левого дисплея и на правом дисплее посредством правой вертикальной индикаторной полосы, расположенной вдоль правой вертикальной стороны правого дисплея, причем ширина данных вертикальных индикаторных полос меняется противоположно друг другу в зависимости от изменения направления распространения звука: справа или слева, при этом вертикальные индикаторные левая и правая полосы перемещаются по полю дисплеев относительно среднего положения, отмеченного на экранах вертикальными неподвижными метками, вверх или вниз в зависимости от того приходит ли звук речи сверху или снизу по отношению к голове человека, цвет вертикальных индикаторных полос меняется в зависимости от изменения направления распространения звука речи по двум возможным противоположным направлениям: спереди или сзади.

2. Устройство формирования изображения для распознавания направления распространения звука речи, содержащее оправу очков с левым и правым окулярами, два заушника с установленными на каждом из них микрофонами, левый и правый каналы восприятия речи и формирования изображения, блок идентификации звуков речи, левый и правый цветные жидкокристаллические дисплеи, отличающееся тем, что имеет центральный микрофон, установленный посредством шарового шарнира на переносице оправы очков.

Описание изобретения к патенту

Изобретение относится к техническим средствам распознавания речи, а именно распознавания направления распространения звука речи, и предназначено для обеспечения жизнедеятельности глухонемых и слабослышащих людей. Распознавание речи обеспечивается путем формирования цветографических изображений, являющихся функцией звуков речи. Изобретение может быть использовано в качестве технического средства обучения глухонемых людей при освоении разговорной речи.

В ранее поданной заявке №2004139176/12 (042581) авторы изложили способ и конструкцию устройства для распознавания смысла речи глухонемыми людьми. Эффективность применения данного устройства в существенной степени будет зависеть от того, насколько точно человек будет распознавать с помощью данного устройства при наличии нескольких собеседников, кто из них в данный момент говорит. Это можно сделать только при условии, что в данном устройстве технически реализован надежный способ визуального распознавания направления распространения звука речи. Распознавание направления распространения звука очень важно для глухонемого человека в момент поступления звукового сигнала тревоги: сигнал приближающего автомобиля или поезда, звук летящего самолета, сигнал грузового крана на стройке и так далее. Направление распространения звука относительно головы человека может быть любым, и глухонемой человек должен надежно визуально его распознавать.

В ранее поданной заявке №2004139176/12 (042581) авторы изложили способ распознавания звука по двум направлениям относительно головы слушателя (справа и слева) за счет применения левого и правого каналов формирования изображения для распознавания речи. Однако этого недостаточно для распознавания направления распространения звука спереди, сзади, сверху и снизу. Для определения всех возможных направлений распространения звука необходимо иметь как минимум три микрофона, разнесенных в пространстве на конечное расстояние между собой.

Настоящее изобретение относится к техническим средствам распознавания направления распространения звука путем визуализации цветографических символов направления распространения звука на цветном экране практически синхронно с развитием речи.

Наиболее близким к предлагаемому изобретению является способ формирования изображения на экране в зависимости от направления распространения звука речи, описанный в [1] (патент US 6629076 B1, опубликован 30.09.2003) В описании данного устройства на Fig.5 показано, что направление распространения звука индицируется на дисплее в виде стрелок 64. Стрелки 64 позволяют индицировать направления распространения звуковых волн, лежащих только в одной плоскости - плоскости расположения векторов максимальной чувствительности лепестковых диаграмм звуковой чувствительности всех микрофонов 12, расположенных на оправе и дужках очков. Из описания изобретения и расположения микрофонов 12, представленных на Fig.1, следует, что при таком расположении микрофонов 12 невозможно идентифицировать направление звуков приходящих сверху и снизу по отношению к голове человека так как в заявленном устройстве нет микрофонов, лепестковая диаграмма звуковой чувствительности которых была бы направлена вверх по отношению к голове человека. Это является существенным недостатком заявленного устройства. Кроме того, предложенный способ визуализации посредством стрелок 64 (Fig.5) не позволяет визуализировать все пространственные направления распространения звуков, так как стрелки 64 всегда расположены в одной плоскости и отображают направление вектора распространения звука только в одной плоскости координат Х и Y, что недостаточно для отображения пространственного направления вектора распространения звука, для чего необходимы обязательно три координаты: X, Y, Z. Отличия предложенного способа распознавания направления распространения звуков речи от известного способа изложенного в [1]:

1. Предлагаемый способ позволяет определять и визуально распознавать направления распространения звуков речи по каждой из трех пространственных координат X, Y, Z.

2. Распознавание направления распространения звуков речи осуществляется посредством формирования на цветном экране цветной вертикальной индикаторной полосы, меняющей свою ширину, положение и цвет в зависимости от изменения направления распространения звуков речи по каждой из трех пространственных координат X, Y, Z.

3. В конструкцию устройства, позволяющего реализовать данный способ распознавания направления распространения звуков речи, вводится центральный микрофон, установленный на шаровом шарнире на переносице очков, причем так, что данный микрофон и, следовательно, его лепестковая диаграмма звуковой чувствительности вместе с микрофоном может вручную перемещаться в любом направлении в пределах заданного пространственного телесного угла, включая направление вверх по отношению к голове человека.

В основу устройства для распознавания направления распространения звуков речи положено устройство для распознавания смысла речи, предложенное и описанное авторами данной заявки в ранее поданной теми же авторами заявке №2004139176/12 (042581).

Техническим результатом изобретения является повышение информативности звуковой информации, воспринимаемой глухонемым и слабослышащим человеком.

Указанный технический результат достигается тем, что в известном способе формирования изображения для распознавания направления распространения звука речи, включающем преобразование звука посредством микрофонов в сигналы звука, автоматическое регулирование уровня сигналов звука, идентификацию сигналов звуков, отображение сигналов звука на левом и правом цветных жидкокристаллических дисплеях, согласно изобретению направление распространения звука отображается относительно направления прямого взгляда слушателя на левом цветном дисплее посредством левой вертикальной индикаторной полосы, расположенной вдоль левой вертикальной стороны левого дисплея и на правом дисплее посредством правой вертикальной индикаторной полосы, расположенной вдоль правой вертикальной стороны правого дисплея, причем ширина данных вертикальных индикаторных полос меняется противоположно друг другу в зависимости от изменения направления распространения звука: справа или слева, кроме того, вертикальные индикаторные левая и правая полосы перемещаются по полю дисплеев относительно среднего положения, отмеченного на экранах вертикальными неподвижными метками, вверх или вниз в зависимости от того, приходит ли звук речи сверху или снизу по отношению к голове человека, цвет вертикальных индикаторных полос меняется в зависимости от изменения направления распространения звука речи по двум возможным противоположным направлениям: спереди или сзади.

Указанный технический результат достигается также тем, что известное устройство формирования изображения для распознавания направления распространения звука речи, содержащее оправу очков с левым и правым окулярами, два заушника с установленными на каждом из них микрофонами, левый и правый каналы восприятия речи и формирования изображения, блок идентификации звуков речи, левый и правый цветные жидкокристаллические дисплеи, согласно изобретению имеет центральный микрофон, установленный посредством шарового шарнира на переносице оправы очков.

Рассмотрим способ формирования изображения, служащий для распознавания направления распространения звуков речи. На Фиг.1 на поле правого дисплея 1 представлено изображение группы цветографических символов 2, сущность которых раскрыта в заявке №2004139176/12 (042581). На поле правого дисплея 1 также изображена подвижная вертикальная индикаторная полоса 3, расположенная вдоль правой вертикальной стороны поля дисплея, и неподвижная остроконечная метка 4, служащая для индикации среднего положения полосы 3. На поле полосы 3 строго в середине по вертикали расположена подвижная метка 5, которая перемещается вверх, вниз вместе с вертикальной индикаторной полосой 3. По соотношению взаимных положений подвижной 5 и неподвижной 4 меток человек определяет, куда сместилась вертикальная индикаторная полоса 3 - вверх или вниз. На левом дисплее, расположенном на левом окуляре очков, цветная вертикальная индикаторная полоса и остроконечная метка располагаются вдоль левой стороны поля левого дисплея.

В жизненной практике человеку приходится многократно ориентировать свой слуховой аппарат (пара ушей) по направлению максимальной чувствительности его к источнику звука с целью максимально точной идентификации характера тревожного звука или с целью точной идентификации смысла речи. Для этих целей человеку придан универсальный телесный орган - шея человека. Шея позволяет мобильно ориентировать голову человека и, следовательно, органы слуха и зрения в нужном направлении. Она играет роль своеобразного шарнира. Яблоко глаза человека также играет роль шарового шарнира.

В технических устройствах шаровые шарниры применяются часто там, где необходимо сориентировать струю воды, воздуха или поток света в нужном направлении. Шаровые шарниры используют в конструкции прожекторов, антенн, воздушных вентиляторов, студийных манипуляторах с закрепленными на них микрофонами. Корреспонденты радио и телевидения ориентируют свои микрофоны всегда в направлении максимальной силы звучания голоса говорящего человека. Отсюда следует, что весьма целесообразно использовать микрофоны с применением шарниров.

Техническое устройство, посредством которого формируется цветографическое изображение звуков речи и цветных вертикальных индикаторных полос, реализуется с помощью специализированных очков, представленных на фиг.2.

Данное устройство имеет оправу 1, два окуляра 2 и 3, два цветных жидкокристаллических дисплея 4 и 5, расположенных в верхних зонах окуляров очков; две корректирующие линзы 6 и 7, наложенные на плоскости двух цветных жидкокристаллических дисплеев со стороны глаз наблюдателя; два заушника 8 и 9, два боковых микрофона 10 и 11 центральный микрофон 12, причем ось максимальной звуковой чувствительности микрофона 12 может перемещаться в пределах телесного угла 14 за счет установки его на шаровом шарнире 13; блок идентификации звуков речи (БИЗ) 15 с двухканальным приемопередающим радиоустройством.

Человеку для стереофонического восприятия звука природой придано два слуховых аппарата (уха), разнесенных в пространстве на некоторое расстояние, примерно равное диаметру головы. При распространении звука звуковая волна, последовательно во времени, достигает сначала слухового аппарата одного уха, а затем с запаздыванием (со сдвигом по фазе) и пониженным звуковым давлением достигает слухового аппарата другого уха. По тому, как велика величина запаздывания при распространении звуковой волны и как уменьшается сила звучания в другом ухе, соответствующие структуры мозга человека фиксируют направление распространения звука речи по отношению к голове человека, тем самым реализуя стереофонический эффект.

Таким же образом в предлагаемом авторами техническом устройстве для реализации стереофонического эффекта необходимо наличие одновременно нескольких микрофонов, позволяющих воспринимать звук по трем пространственным координатам Х, Y, Z одновременно. С технической точки зрения реализация стереофонического эффекта и, следовательно, определение направления распространения звука в пространстве возможно при наличии трех микрофонов 10, 11, 12 разнесенных в пространстве, как это показано на Фиг.2. Лепестковая диаграмма звуковой чувствительности левого микрофона 10 направлена влево по отношению к голове человека. Для правого микрофона 11 она направлена вправо. Для центрального микрофона 12 ось максимальной звуковой чувствительности может перемещаться в пределах телесного угла 14 за счет установки его на шаровом шарнире 13, причем она может быть направлена за счет шарнира 13 также вверх и вперед по отношению к голове человека.

Одновременно микрофоны 10, 11, 12 будут воспринимать звуковые волны, приходящие по направлениям спереди и сзади по отношению к голове человека, но микрофоны 10, 11 будут делать это с меньшей чувствительностью, что не мешает идентифицировать эти направления.

Центральный микрофон 12 обеспечивает восприятие звуков речи, приходящих сверху и спереди (при повороте его по направлению «вперед»), с большей чувствительностью и снизу с меньшей чувствительностью по отношению к паре микрофонов 10, 11. Этот факт позволяет определять направления распространения звука речи как сверху, так и снизу по отношению к голове человека. Так как данный микрофон 12 закреплен на переносице оправы очков и смещен по отношению боковых микрофонов 10 и 11 вперед на некоторое расстояние, то это позволяет за счет стереофонического эффекта определить с помощью него и боковых микрофонов 10, 11 также направление звука, приходящего спереди или сзади по отношению к голове человека.

Крепление центрального микрофона 12 на шаровом шарнире 13 позволяет глухонемому человеку самостоятельно вручную менять направление ориентации микрофона 12 и тем самым выбирать оптимальный режим восприятия звука речи. Это очень важно делать при наличии шумов, нарушающих четкое восприятие звуков речи.

Блок 15 идентификации звуков речи является общим для левого и правого каналов. Посредством этого блока осуществляется спектральный анализ сигналов звуков речи, идентификация звуков речи, например по способу, изложенному в [3]-[9], и определяется направление распространения звука речи. Обмен информацией между блоком 13 и электронными устройствами, расположенными в заушниках 8 и 9, осуществляется по радиоканалу.

Техническое устройство формирования изображения для распознавания направления распространения звука речи, представленное на фиг.2, имеет три независимых канала для восприятия речи и формирования изображения: левый канал формирования изображения (ЛКФИ), правый канал формирования изображения (ПКФИ), центральный канал (ЦК), служащий для определения направления распространения звука речи с максимальной чувствительностью в пределах телесного угла 14 и с пониженной чувствительность во всех направлениях за пределами данного угла. Левый канал (ЛКФИ) включает левый микрофон 11, электронное устройство управления, расположенное в левом заушнике 8, левый цветной жидкокристаллический дисплей 4 и левую корректирующую линзу 6.

Правый канал формирования изображения (ПКФИ) звуков речи включает соответственно правый микрофон 11, электронное устройство управления, расположенное в правом заушнике 9, правый цветной жидкокристаллический дисплей 5 и правую корректирующую линзу 7. Центральный канал (ЦК) включает центральный микрофон 12 и электронное устройство управления расположенное в правом заушнике 9.

Три независимых канала (ЛКФИ, ПКФИ, ЦК) для восприятия речи и формирования изображения позволяют также реализовывать стереофонический эффект и тем самым позволяют повысить ориентацию глухонемого человека в пространстве путем наблюдения на двух дисплеях двух подвижных вертикальных индикаторных полос, указывающих направление распространения звука относительно головы глухонемого человека.

Перемещение вертикальных индикаторных полос 3 (см. Фиг.1) вверх от среднего положения, отмеченного меткой 4, вдоль оси ординат означает, что звук речи приходит сверху относительно головы человека. Перемещение вертикальных индикаторных полос 3 (см. Фиг.1) вниз от среднего положения, отмеченного меткой 4, вдоль оси ординат означает, что звук речи приходит снизу относительно головы человека. Расстояние между неподвижной меткой 4 и подвижной меткой 5 пропорционально силе звука приходящего сверху или снизу по отношению к голове человека. Увеличение ширины правой индикаторной полосы на правом дисплее и одновременное уменьшение ширины левой индикаторной полосы на левом дисплее означает, что звук речи приходит справа от человека. Увеличение ширины левой вертикальной индикаторной полосы на левом дисплее и одновременное уменьшение ширины правой вертикальной индикаторной полосы означает, что звук речи приходит слева от человека. Если звук приходит спереди относительно головы человека, то обе (левая и правая) индикаторные полосы принимают один, принятый только для направления «спереди», цвет. Если звук приходит сзади относительно головы слушателя, то обе (левая и правая) индикаторные полосы меняют свой цвет на другой, принятый только для направления «сзади». Способ и устройство формирования изображения для распознавания направления распространения сигнала звука, включающее два независимых канала формирования изображения и центральный канал, реализованы с помощью структурной схемы, представленной на Фиг.3.

Устройство формирования изображения для распознавания направления распространения сигнала звука включает левый канал формирования изображения (ЛКФИ) 1, все элементы которого размещены в левом заушнике очков наблюдателя, правый канал формирования изображения (ПКФИ) 2, центральный канал (ЦК) 28, все элементы которого расположены в правом заушнике очков, и блок идентификации звука (БИЗ) 3, который располагается в нагрудном кармане рубашки человека. На Фиг.3 ЛКФИ, ПКФИ, ЦК И БИЗ обведены пунктирными линиями. Описание работы левого (ЛКФИ) 1 и правого (ПКФИ) 2 каналов подробно рассмотрено в заявке №2004139176/12 (042581), поданной авторами ранее. Надо еще раз отметить, что по совокупности сигналов, поступающих на входы 1 и 2 контроллера 15 по программе, заложенной в контроллер 15, определяется направление распространения звука относительно головы глухонемого человека: справа или слева. Данное направление, как это указывалось ранее, отображается на дисплеях в виде цветных вертикальных индикаторных полос 3 (см. Фиг.1), меняющих свою ширину.

Взаимопротивоположное изменение ширины вертикальных индикаторных полос на левом и правом дисплеях как раз и является способом визуализации стереофонического эффекта при восприятии звука речи.

Центральный канал (ЦК) 28 включает: центральный микрофон (М3) 29, усилитель (У3) 30, полосовой фильтр (ПФ3) 31, звено автоматической регулировки уровня сигнала звука (АРУ3) 32, аналого-цифровой преобразователь (АЦП3) 33, звено запаздывания по времени (ЗЗ 3) 34. Все радиоэлементы (ЦК) 28 расположены в правом заушнике очков.

В соответствии с структурной схемой, представленной на Фиг.3, для центрального канала (ЦК) 28 выход микрофона (М3) 29 соединен с входом 1 усилителя (У3) 30, выход усилителя 30 соединен с входом полосового фильтра (ПФ3) 31 и с входом (АЦП3) 33. Выход полосового фильтра 31 соединен с входом звена (АРУ3) 32. Выход звена (АРУ3) 32 соединен с входом 2 усилителя (У3) 30. Выход (АЦП3) 33 соединен с входом звена запаздывания 34, выход звена запаздывания 34 соединен одновременно с двумя входами: входом 3 контроллера (КР2) 25 и входом 3 контроллера (КР1) 10. Центральный канал (ЦК) 28 работает следующим образом. Звук речи воспринимается микрофоном 29, преобразуется в сигнал звука речи, который поступает на вход 1 нормирующего усилителя 30. Усилитель 30 служит для управления величиной уровня сигнала звука на выходе данного усилителя 30 при возможном существенном изменении силы звука. Для этого служит специальное звено автоматической регулировки уровня сигнала 32. Посредством полосового фильтра 31 из сигнала звука выделяется сигнал наиболее употребительных и стабильных формант, и посредством данного сигнала осуществляется управление звеном (АРУ3) 32. Выходной сигнал звена 32 автоматически по входу 2 звена 30 изменяет коэффициент усиления усилителя (У3) 30, тем самым автоматически удерживается, нормируется в пределах технически обоснованного, уровень сигнала на выходе усилителя 30. С выхода усилителя 30 нормированный сигнал поступает на вход (АЦП3) 33, посредством которого производится оцифровка входного аналогового сигнала. Выходной цифровой сигнал звука речи с выхода (АЦП3) 33 поступает на вход звена запаздывания по времени 34. С выхода звена 34 выходной сигнал поступает одновременно на входы двух звеньев: вход 3 звена 10 и вход 3 звена 25. С появлением звукового сигнала на выходе центрального микрофона (М3) 29 меняются значения цифровых кодов на входах 3 звеньев 10, 25 и, следовательно, смещаются вверх или вниз относительно среднего положения, отмеченного меткой 4, цветные вертикальные индикаторные полосы на экранах левого и правого дисплеев, сигнализируя этим, что звук приходит сверху или снизу. Звено 34 выполняет те же функции, что и звенья 9 и 24. Блок идентификации звуков 3 имеет две самостоятельные ветви обработки сигналов звука, причем контроллер 15 обеспечивает работу ЛКФИ, а контроллер 16 обеспечивает работу ПКФИ. Передатчики 13 и 17, а также приемники 14 и 18 двухканальные, с частотным или временным разделением в работе двух каналов.

Перечень чертежей

Фиг.1 - Цветографическое изображение сигналов звуков на цветном экране, на примере слова «ПРО-ШУ»

Фиг.2 - Устройство формирования изображения для распознавания смысла речи и направления распространения звука речи.

Фиг.3 - Структурная схема устройства формирования изображения для распознавания смысла речи и направления распространения звука речи.

Сведения, подтверждающие возможность осуществления изобретения.

Предлагаемое изобретение может быть реализовано с помощью устройства, конструкция которого приведена на Фиг.2 и структурная схема которого приведена на Фиг.3. Элементы устройства могут быть выполнены с помощью аналоговых и цифровых микросхем, студийных малогабаритных радиоприемников и радиопередатчиков, цифровых контроллеров и цветных жидкокристаллических дисплеев, широко применяемых в цифровых фотоаппаратах и фотокамерах.

Литература

1. Патент US 6629076 В1, опубликован 30.09.2003 г.

2. Заявка RU №2004139176/12 (042581), МПК G09B 21/00 (2006.01), G10L/06 (2006.01).

3. Патент RU №2230375, МПК 7 G10L 15/00, 17/00, опубликован в 2004 г., БИ №16 (II ч.) стр.437.

4. Патент RU №2234746, МПК 7 G10L 19/02, опубликован 2004.08.20.

5. Патент РФ №2047912, МПК G10L 7/06, опубликован 10.11.1995.

6. Патент РФ №2161826, МПК G10L 17/00, опубликован 10.01.2001.

7. Патент США №6411930, МПК G10L 15/08, 25.06.2002.

8. Патент США №5995927, МПК G10L 9/00, 30.11.199.

9. Патент США №6389392, МПК G10L 17/00, 14.05.2002.