улучшение разборчивости речи в мобильном коммуникационном устройстве путем управления работой вибратора в зависимости от фонового шума

Формула изобретения

1. Мобильное коммуникационное устройство, содержащее:

громкоговоритель (14) для воспроизведения речи из речевого сигнала (s(n)),

вибратор (22),

средство (24) для измерения фонового шума относительно воспроизводимой речи и

блок (16) управления вибратором для генерирования управляющего сигнала в зависимости от фонового шума для управления работой вибратора (22) во время воспроизведения речи в зависимости от уровня фонового шума.

2. Устройство по п.1, содержащее средство (30) для расчета сигнала спектра (|N(f)|) фонового шума, представляющего уровень фонового шума, при этом блок (16) управления вибратором выполнен с возможностью генерировать управляющий сигнал для выборочного включения вибратора (22) во время воспроизведения речи на основе сигнала спектра фонового шума.

3. Устройство по п.2, в котором средство (24) для измерения фонового шума содержит один или более микрофонов, при этом сигнал спектра (|N(f)|) фонового шума генерируется на основе вклада окружающего шума в один или более сигналов, полученных от упомянутых одного или более микрофонов.

4. Устройство по п.3, в котором сигнал спектра (|N(f)|) фонового шума оценивается из единственного микрофонного сигнала (x(n)).

5. Устройство по п.3, в котором сигнал спектра (|N(f)|) фонового шума оценивается из множества микрофонных сигналов (x₁ (n), x_m(n)).

6. Устройство по п.2, дополнительно содержащее фильтр (50) нижних частот для фильтрования речевого сигнала (s(n)) и усилитель (52) для умножения отфильтрованного речевого сигнала на величину коэффициента усиления (g(n)) в зависимости от сигнала спектра (|N(f)|) фонового шума для генерирования управляющего сигнала.

7. Устройство по п.6, содержащее средство (54) для интегрирования спектра (|N(f)|) фонового шума по множеству частот для получения мгновенного значения (P_NN), связанного с мощностью шума, и средство (56) для преобразования этого мгновенного значения (P_NN) в коэффициент усиления (g(n)) посредством применения заранее определенной функции преобразования.

8. Способ повышения разборчивости речи, воспроизводимой мобильным коммуникационным устройством из речевого сигнала (s(n)), при этом мобильное коммуникационное устройство содержит вибратор (22), содержащий этапы, на которых

определяют фоновый шум относительно воспроизводимой речи,

генерируют управляющий сигнал в зависимости от фонового шума и

подают этот управляющий сигнал на вибратор (22) для выборочного включения вибратора (22) во время воспроизведения речи в зависимости от уровня фонового шума.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретения относится к мобильному коммуникационному устройству, более конкретно, к мобильному коммуникационному устройству, имеющему средство для улучшения разборчивости выводимых им аудиосигналов в присутствии внешнего шума.

Предшествующий уровень техники

Мобильные коммуникационные устройства, такие как сотовые телефоны, получили широкое распространение практически во всех населенных районах мира, и существенная часть голосовой связи в настоящее время осуществляется с использованием мобильных телефонов. Однако в связи с мобильной природой таких устройств, они неизбежно применяются в самых разных акустических средах, в том числе и в условиях зашумленности. Внешний шум может создавать проблемы, независимо от того, где он проявляется - на принимающей стороне соединения, на передающей стороне или в комбинации (до любой степени) этих двух сторон.

Известно, что фоновый шум ухудшает разборчивость речи, поскольку разборчивость речи уменьшается с уменьшением отношения сигнал/шум (SNR), и в последние годы предпринимались попытки улучшить разборчивость речи в неблагоприятных условиях зашумленности. Например, в патенте США № 6741873 описано мобильное коммуникационное устройство, в котором на микрофоне определяется уровень фонового шума и устанавливается пороговое значение. Если этот порог превышен, определяют, что по всей вероятности, на микрофон поступает голосовая энергия. Поэтому, если входной сигнал превышает пороговое значение, мобильное коммуникационное устройство передает входной сигнал, и пороговое значение варьируется в зависимости от уровня фонового шума.

Однако такая конструкция не обязательно улучшает разборчивость речи в неблагоприятных условиях зашумленности; она просто пытается уменьшить значимость фонового шума относительно голосового сигнала в соответствии с восприятием слушателя, тем самым повышая вероятность того, что речь для слушателя станет более разборчивой. Однако крайне желательно на самом деле улучшить разборчивость речи в мобильном коммуникационном устройстве для улучшения его рабочих характеристик в различных акустических средах.

Краткое описание сущности изобретения

Таким образом, целью настоящего изобретения является создание мобильного коммуникационного устройства, в котором разборчивость речи улучшается в качестве реакции на разные уровни фонового шума. Целью настоящего изобретения также является создание соответствующего способа улучшения разборчивости речи в мобильном коммуникационном устройстве.

Согласно настоящему изобретению предлагается мобильное коммуникационное устройство, содержащее громкоговоритель для воспроизведения речи из речевого сигнала, вибратор, средство для измерения фонового шума относительно воспроизводимой речи, и блок управления вибратором для генерирования управляющего сигнала в зависимости от фонового шума для управления работой вибратора во время воспроизведения речи в зависимости от уровня фонового шума.

Преимущественно, мобильное коммуникационное устройство содержит средство для расчета сигнала спектра фонового шума, представляющего уровень фонового шума, при этом блок управления вибратором выполнен с возможностью генерировать управляющий сигнал так, чтобы выборочно включать вибратор во время воспроизведения речи на основе сигнала спектра фонового шума. Средство для измерения фонового шума может содержать один или более микрофонов, и сигнал спектра фонового шума может генерироваться на основе вклада фонового шума в один или более сигналов, полученных от этих одного или более микрофонов.

Согласно варианту осуществления настоящего изобретения сигнал спектра фонового шума оценивается из одного микрофонного сигнала. Согласно другому варианту осуществления настоящего изобретения сигнал спектра фонового шума оценивается из множества микрофонных сигналов.

Мобильное коммуникационное устройство может дополнительно содержать фильтр нижних частот для фильтрования сигнала речи и усилитель для усиления отфильтрованного сигнала речи на величину коэффициента усиления, которая зависит от сигнала спектра фонового шума, для генерирования управляющего сигнала. Дополнительно, устройство может содержать средство для интегрирования спектра фонового шума по множеству частот для получения мгновенного значения, связанного с мощностью шума, и средство для преобразования этого мгновенного значения в упомянутую величину коэффициента усиления посредством применения заранее определенной функции преобразования.

Настоящее изобретение распространяется на способ улучшения разборчивости речи, воспроизводимой мобильным коммуникационным устройством из речевого сигнала, при этом мобильное коммуникационное устройство содержит вибратор, и способ содержит этапы, на которых определяют фоновый шум относительно воспроизводимой речи, генерируют управляющий сигнал в зависимости от фонового шума и подают управляющий сигнал на вибратор для выборочного включения вибратора в зависимости от уровня фонового шума.

Эти и другие аспекты настоящего изобретения будут очевидны из нижеследующего подробного описания его вариантов.

Перечень чертежей

Далее следует описание вариантов осуществления настоящего изобретения, приведенных лишь для примера, со ссылками на прилагаемые чертежи, где:

Фиг.1 - схематическая блок-схема, иллюстрирующая основные компоненты мобильного коммуникационного устройства по иллюстративному варианту настоящего изобретения;

Фиг.2 - схематическая диаграмма, иллюстрирующая основные компоненты блока управления вибратором по фиг.1;

Фиг.3 - схематическая блок-схема, иллюстрирующая основные этапы процесса оценивания спектра окружающего шума с одним микрофоном для использования в способе улучшения разборчивости речи по иллюстративному варианту настоящего изобретения; и

Фиг.4 - схематическая блок-схема, иллюстрирующая основные этапы процесса оценивания спектра окружающего шума с множеством микрофонов для использования в способе улучшения разборчивости речи по иллюстративному варианту настоящего изобретения.

Подробное описание изобретения

Согласно настоящему изобретению предлагаются способ и средство для улучшения разборчивости речи в мобильном коммуникационном устройстве путем использования вибратора в сочетании с громкоговорителем во время воспроизведения речи. Вибратор уже имеется в большинстве мобильных телефонов для предупреждения пользователя о входящих вызовах и сообщениях либо самостоятельно в режиме отключенного звонка, либо в сочетании с выбранным тоном вызова (рингтоном). В настоящем изобретении вибратор включается для создания колебания в управляемом режиме при нормальной работе громкоговорителя устройства путем обработки низкочастотной части речевого сигнала и подачи ее на вибратор, где обработка осуществляется так, что разборчивость речи оптимизируется для разных уровней окружающего шума.

Как показано на фиг.1, входной сигнал s(n) представляет цифровой речевой сигнал, который требуется воспроизвести. Первый цифроаналоговый преобразователь (ЦАП) 10 преобразует цифровой сигнал s(n) в аналоговую форму, после чего аналоговый сигнал усиливается усилителем 12 громкоговорителя и подается на громкоговоритель 14 для вывода. Тот же цифровой сигнал s(n) обрабатывается блоком 16 управления вибратором, и обработанный сигнал вибратора преобразуется в аналоговую форму посредством второго ЦАП 18, после чего усиливается усилителем 20 вибратора и подается на вибратор 22. Блок 16 управления вибратором использует алгоритм обработки, который приводится в действие по измеренному окружающему шуму так, что для более высоких уровней шума достигается более сильный выходной сигнал. Окружающий шум измеряется, используя сигналы, приходящие от банка М микрофонов 24, где М - целое число, равное или превышающее 1, и эти сигналы усиливаются соответствующими микрофонными усилителями 26 и преобразуются в цифровую форму соответствующими аналого-цифровыми преобразователями (АЦП) 28. Из М преобразованных микрофонных сигналов x₁ (n)-x_m(n) блок 30 обработки спектра окружающего шума (т.е., процессор цифровых сигналов) рассчитывает спектр окружающего шума, и сигнал |N(f)| подается на блок 16 управления вибратором для использования в алгоритме управления вибратором при генерировании сигнала вибратора.

Понятно, что вместо ЦАП в конструкции по фиг.1 можно генерировать двоичный сигнал с помощью средства, которое может находиться, например, в блоке 16 управления вибратором, и настоящее изобретение не ограничивается этой конструкцией. Далее, хотя показан только один вибратор 22, можно использовать множество вибраторов, например, для разных частотных диапазонов, и настоящее изобретение не ограничивается такой конструкцией.

На фиг.2 более подробно показаны основные компоненты блока 16 управления вибратором для создания из сигнала s(n) громкоговорителя сигнала для управления вибратором 22. Цифровой сигнал s(n) громкоговорителя фильтруется фильтром нижних частот LPF 50. Подходящий фильтр имеет функцию преобразования в z-области, задаваемую соотношением (1-а)*z/(z-а), где а - параметр, лежащий в диапазоне 0<a<1. Сигнал, отфильтрованный фильтром нижних частот, умножается регулируемым усилителем 52 на коэффициент усиления g(n), и полученный сигнал используется для управления током, пропускаемым через вибратор 22. В этом иллюстративном варианте коэффициент усиления g(n) рассчитывается по спектру |N(f)| величины шума следующим образом. Сначала, спектр шума интегрируют по всем частотам с помощью интегратора 54 для получения мгновенной величины P_NN, которая связана с мощностью шума по закону квадратного корня (т.е. P _NN представляет корень квадратный от мощности шума). Следует отметить, что мощность шума также можно рассчитывать путем интегрирования |N(f)|², но такой расчет требует умножений и не обязательно дает существенные преимущества для целей настоящего изобретения.

Затем P_NN преобразуют в коэффициент усиления g(n) с помощью процессорного устройства, которое также выполнено с возможностью рассчитывать функцию 58 преобразования, как показано на фиг.2. Для низких значений мощности шума (т.е., P_NN ниже, чем первый порог Т1), нет необходимости улучшать с помощью вибратора 22 разборчивость речи, и поэтому g(n) задается как единица. Свыше некоторого уровня шума (т.е. P_NN превышает первый порог Т1) вибратор нужен и тем больше, чем выше шум, поэтому g(n) увеличивается вместе с увеличением P_NN. При наивысших уровнях окружающего шума (т.е., P_NN превышает второе пороговое значение Т2) коэффициент усиления g(n) ограничивается физическими ограничениями вибрационной системы.

Микрофонные сигналы состоят из окружающего шума с внедренной речью, и согласно настоящему изобретению можно применять оценивание спектра окружающего шума с одним микрофоном или множеством микрофонов для оценивания спектра |N(f)| величин окружающего шума.

На фиг.3 схематически показаны основные этапы оценивания спектра шума с единственным микрофоном, где спектр |N(f)| величин окружающего шума по микрофонному сигналу x(n) можно оценить по статистике минимума спектра, как описал Reiner Martin в "Spectral subtraction based on minimum statistics", Signal Processing VII, Proc. EUSIPCO, Edinburgh, сентябрь 1994, pp. 1182-1185, где n-показатель дискретизации, а f-показатель частоты. Сначала оцифрованный микрофонный сигнал x(n) делится во времени на блоки по В последовательных отсчетов, выполняемых последовательно-параллельным преобразователем на этапе 32. Далее, старый блок из В замеров и новый блок из В отсчетов на этапе 34 соединяются, и полученный блок из 2В последовательных отсчетов умножают на этапе 36 на окно Хенинга (Hanning). Этот обработанный методом окна сигнал на этапе 38 преобразуется дискретным преобразованием Фурье (ДПФ) в комплекснозначный ряд Фурье, и затем на этапе 40 определяется величина микрофонного сигнала взятием абсолютного значения комплексных чисел результата ДПФ для каждой частоты. Наконец, на этапе 42 при каждой частоте осуществляют поиск минимума по ограниченному прошедшему времени для получения оценки спектра |N(f)| величин шума. Этот способ находит квазистационарные шумы, где "квазистационарные" означает, что спектральные характеристики во времени изменяются медленно.

На фиг.4 схематически показаны основные этапы по оцениванию спектра шума при использовании множества микрофонов, где применяется технология формирования луча для оценивания спектра |N(f)| окружающего шума. Эта технология позволяет отделить окружающий шум от речи на основе пространственной селективности, как описал, например, Peter S. K. Hansen, "Signal subspace methods for speech enhancement", Ph.D. thesis, Technical University of Denmark, 1997. Таким образом, в этом случае М оцифрованных микрофонных сигналов x₁(n)-x_m(n) фильтруются матрицей 44 фильтров для извлечения из пространства сигналов, охватываемого x₁(n)-x_m(n), только тех компонентов, которые приходят с направления, с которого, как ожидается, будет говорить пользователь (например, прямо перед микрофонами). В результате, отношение речь/шум на выходе матрицы 44 фильтров больше, чем на любом из М микрофонов. Пример конструкции матрицы 44 фильтров приведен в вышеуказанной работе Peter S. K. Hansen. Разумеется, в случае настоящего изобретения, интерес представляет не улучшение речи, а окружающий шум. Из выхода матрицы фильтров можно рассчитать матрицу 46 блокирующих фильтров, которые блокируют сигналы, приходящие с направления пользователя, и пропускают все другие сигналы. В результате получается сигнал, который представляет окружающий шум. Для того чтобы получить спектр |N(f)| величин шума, сигнал обрабатывают методом окна, преобразуют в частотную область методом ДПФ и, наконец, для каждой частоты берут абсолютное значение, причем эти операции представлены в комбинации на этапе 48. Пример конструкции матрицы блокирующих фильтров 46 также приведен в указанной работе Peter S. K. Hansen.

Преимущество многомикрофонного способа, описанного со ссылками на фиг.4, по сравнению с одномикрофонным способом, описанным со ссылками на фиг.3, заключается в том, что измеряются не только квазистационарные компоненты, но и нестационарные компоненты окружающего шума.

Следует понимать, что разборчивость речи в мобильном коммуникационном устройстве по настоящему изобретению можно улучшить еще больше путем визуальных сигналов, используя, например, технологию преобразования речи в анимацию, которая преобразует человеческую речь в анимированный фильм, представляющий эту речь. Механизм распознавания речи в реальном времени преобразует речь человека в фонемы, которые являются базовыми или атомарными строительными блоками человеческой речи. Анимационный пакет отбирает и выводит на дисплей соответствующие лицевые жесты и визуальные знаки каждой фонемы в реальном времени для создания своего рода анимационного фильма с пренебрежимо малой задержкой, который полностью синхронизирован с голосом говорящего. Альтернативно или дополнительно, можно генерировать сами слова и выводить их на дисплей по существу в реальном времени.

Следует также понимать, что настоящее изобретение предназначено для мобильных телефонов, но не ограничивается ими.

Следует отметить, что вышеописанные варианты иллюстрируют, а не ограничивают настоящее изобретение, и специалисты могут создать множество альтернативных вариантов, не выходя за пределы объема настоящего изобретения, определенного прилагаемой формулой. В формуле изобретения любые ссылочные позиции, указанные в скобках, не должны считаться ограничивающими. Слова "содержащий" и "содержит" и подобные не исключают наличия других элементов и этапов, помимо перечисленных в любом пункте формулы или в описании в целом. Упоминание элемента в единственном числе не исключает наличия множества таких элементов и наоборот.

Настоящее изобретение может быть реализовано аппаратными средствами, содержащими несколько отдельных элементов, и через соответственно запрограммированный компьютер. В пункте формулы изобретения, относящемся к устройству, где перечисляются несколько средств, некоторые из этих средств могут быть реализованы в одном и том же аппаратном средстве. Сам факт, что некоторые меры перечислены во взаимоотличающихся зависимых пунктах формулы изобретения, не означает того, что нельзя с выгодой использовать комбинацию этих мер.