способ акустического представления пространственной информации для пользователей

Формула изобретения

Способ акустического представления пространственной информации для пользователей, заключающийся в излучении ультразвукового частотно-модулированного импульса, бинауральном приеме эхо-сигнала на два ультразвуковых микрофона, усилении и преобразовании электрических эхо-сигналов в акустические, согласованной фильтрации эхо-сигналов, временном растяжении полученных откликов в каналах бинаурального приема, с последующим восприятием сигналов слуховым анализатором человека, отличающийся тем, что предварительно проводят тестирование для каждого канала слуховой системы пользователя путем предъявления акустических сигналов с разными частотами на фоне естественных шумов, проведения статистического анализа их восприятия слуховым анализатором пользователя с учетом правильного обнаружения, пропуска и ложного обнаружения сигналов в отношении к общему количеству предъявляемых акустических сигналов и получения корректирующих коэффициентов усиления для каждого канала, а после операции согласованной фильтрации и временного растяжения полученных откликов в каналах бинаурального приема производят многоканальную масштабно-временную фильтрацию откликов путем их прямого и обратного вейвлет-преобразования с последующим весовым суммированием выходных сигналов каждого канала с учетом полученных корректирующих коэффициентов усиления в каждом канале.

Описание изобретения к патенту

Предлагаемое изобретение относится к области специальной акустики и может быть использовано для ориентации специалистов, чья профессиональная деятельность связана с передвижением в условиях ограниченной видимости, например бойцов МЧС в очаге пожара, а также для реабилитации инвалидов по зрению.

Известны технические системы и приборы, предназначенные для инвалидов по зрению, позволяющие им ориентироваться в окружающей обстановке. Принято выделять два направления развития технических систем визуализации окружающего пространства в помощь слепым. К первому направлению относятся приборы для индикации свободного пути. Они наиболее просты и несут информацию только о наличии препятствия на пути следования слепого (см. Патент Китая CN 2907594, М.кл. A61F 9/08, опубл. 06.06.2007 г. «Стереоультразвуковой прибор помощи слепым», Европейский патент ЕР 1025828, М.кл. A61F 9/08, G01S 17/02, опубл. 09.08.2000 г., приоритет Германии, «Помощь в ориентации для слепых и слабовидящих»; Патент Германии DE 4212163, М.кл. A61F 9/08 А61Н 3/06, опубл. 14.10.1993 г. «Оптическая эхо-система для ориентации слепых»; Патент на изобретение РФ № 2040234, М.кл. A61F9/08, опубл. 25.07.1995 г. «Ультразвуковой локатор для слепых»; Патент на изобретение РФ № 2359287, М.кл. A61F 9/08, опубл. 20.06.2009 г. «Инфракрасный локатор для людей с ослабленным зрением»).

Наиболее совершенный прибор этого направления - Детектор препятствий для людей с ослабленным зрением (см. патент на изобретение РФ № 2212871, М.кл. A61F 9/08, опубл. 27.09.2003), который содержит генератор импульсов, ЦАП, генератор звуковой частоты и головной телефон. В приборе производится излучение с помощью линейки точечных инфракрасных излучателей и прием на линейку точечных фотопреобразователей, позволяющих определять направление на препятствие при больших углах обзора.

Устройства, реализующие способы, относящиеся к первому направлению, наиболее просты, но несут информацию только о наличии препятствия на пути следования слепого.

Второе направление предполагает использование слуха в максимальных пределах его возможностей для восприятия окружающей обстановки. Приборы этого направления позволяют осуществить локализацию объекта, получить информацию о направлении и расстоянии. В устройствах такого типа возможно организовать сканирование нескольких объектов одновременно, причем звуковой сигнал несет в себе информацию об акустической природе объектов. Для обеспечения широкого поля зрения используется бинауральное восприятие.

Близким по технической сущности к предлагаемому изобретению является способ акустического представления пространственной информации (см. Лесли Кэй. Воздушные сонары с акустическим представлением пространственной информации для инвалидов по зрению. Animal Sonar Systems, edited by R.G.Busnel and J.F.Fish Plenum, New York, 1980).

Сущность способа представления акустической информации состоит в следующем. В среду излучается ультразвуковой сигнал с линейной частотной модуляцией (ЛЧМ) с частотным диапазоном примерно в октаву. Производят бинауральный прием эхо-сигналов на два ультразвуковых приемника. Полученные сигналы перемножаются с опорным сигналом для получения сигнала биения. Осуществляют низкочастотную фильтрацию процесса. После усиления сигналы поступают на головные телефоны для восприятия слуховой системой человека. Расстояние до объекта представляется частотой слышимого сигнала, а направление на объект - интерауральной разностью амплитуд сигналов, попадающих на оба уха. Таким образом, в рассмотренном способе производится перемножение эхо-сигнала и эталонного ЛЧМ-сигнала (операция гетеродинирования). Выделяемое в результате низкочастотной фильтрации колебание биения частот несет информацию о дистанции до объекта.

Электроника и аккумуляторное питание вынесены в отдельный блок, помещенный в карман. Таким образом обеспечивается получение информации о направлении и расстоянии до объекта (чем он дальше, тем звук выше), а также после тренировок пользователя в известных пределах о его форме, размерах и фактуре.

Прибор, реализующий данный способ, представляет собой уже не простой индикатор препятствия, а в определенной степени анализатор среды со многими важными характеристиками. Однако, чем богаче выдается информация на оператора, тем большую психоакустическую нагрузку он испытывает. Оператор перерабатывает достаточно сложную звуковую картину с привлечением таких параметров отраженного сигнала, как громкость, высота звука, тембровые характеристики.

Однако прибору для успешного восприятия и классификации объектов, составляющих акустическую сцену, требуется достаточно долгий процесс обучения. При этом курсы по освоению аппарата в ФРГ длятся около месяца.

Кроме того, в приведенном техническом решении осуществляется выбор операции гетеродинирования сигналов в качестве процедуры согласования рабочих частот локатора (40-120 кГц) с частотным диапазоном слуха, что приводит к изменению числа волн, содержащихся в полезном сигнале.

К аналогичным способам относится способ ориентации слепого и устройство для его осуществления (см. патент на изобретение РФ № 2188611, МПК A61F 9/08, опубл. 10.09.1999 г.), который состоит в том, что между слепым и наблюдаемой сценой помещают оптико-электронное устройство, с помощью которого преобразуют изменения освещенности сцены в пропорциональные частотно-модулированные звуковые сигналы по двум каналам и направляют их в головные телефоны слепого, который по изменению звукового сигнала судит о появлении, наличии и исчезновении объекта на сцене.

Однако в данном способе оптические сигналы не несут информацию о фактуре объекта.

Наиболее близким по технической сущности к предлагаемому изобретению (прототипом) является способ акустического представления пространственной информации для инвалидов по зрению (см. патент на изобретение РФ № 2053746, МПК A61F 9/08, опубл. 10.02.96). Сущность способа состоит в следующем. Излучают ультразвуковой частотно-модулированный импульс. Производят бинауральный прием эхо-сигнала на два ультразвуковых микрофона, усиливают и преобразуют электрические сигналы в акустические, осуществляют согласованную фильтрацию эхо-сигналов, временное растяжение полученных откликов в каналах бинаурального приема с последующим восприятием сигналов слуховой системой человека.

Данный способ обеспечивает согласование частотного диапазона и длительности акустического сигнала со слуховым анализатором и получение полной информации, содержащейся в эхо-сигнале. В то же время необходимо отметить, что основным средством обработки сигналов в предложенном способе является слуховой анализатор человека. Поэтому даже минимальное нарушение слуховых функций приводит к ухудшению возможности оператора ориентироваться в пространстве, т.е. к снижению распознаваемости объектов.

Достигаемым техническим результатом предлагаемого изобретения является улучшение распознавания объектов, составляющих акустическую сцену, путем избирательного повышения помехоустойчивости системы.

Достижение технического результата обеспечивается тем, что в способе акустического представления пространственной информации для пользователей, заключающемся в излучении ультразвукового частотно-модулированного импульса, бинауральном приеме эхо-сигнала на два ультразвуковых микрофона, усилении и преобразовании электрических эхо-сигналов в акустические, согласованной фильтрации эхо-сигналов, временном растяжении полученных откликов в каналах бинаурального приема, последующем восприятии сигналов слуховым анализатором человека, предварительно проводят тестирование для каждого канала слуховой системы пользователя путем предъявления акустических сигналов с разными частотами на фоне естественных шумов, проведения статистического анализа их восприятия слуховым анализатором пользователя с учетом правильного обнаружения, пропуска и ложного обнаружения сигналов в отношении к общему количеству предъявляемых акустических сигналов и получения корректирующих коэффициентов усиления для каждого канала, а после операции согласованной фильтрации и временного растяжения полученных откликов в каналах бинаурального приема производят многоканальную масштабно-временную фильтрацию откликов путем их прямого и обратного вейвлет-преобразования с последующим весовым суммированием выходных сигналов каждого канала с учетом полученных корректирующих коэффициентов усиления в каждом канале.

Влияние отличительных признаков предлагаемого способа на достижение технического результата можно пояснить следующим образом.

Осуществление предварительного тестирования слуховой системы оператора позволяет сформировать корректирующие масштабно-временные коэффициенты усиления для каждого канала, индивидуальные для каждого пользователя. И при осуществлении многоканальной масштабно-временной фильтрации откликов - прямое и обратное вейвлет-преобразование (ВП) - используют выбранные корректирующие коэффициенты усиления в каждом частотном канале и производят последующую операцию суммирования выходных сигналов каждого канала.

Рассмотрим данные операции более подробно. Для входного процесса x(t) акустического приемника возможно двумерное представление в масштабно-временной области, получаемое путем применения непрерывного вейвлет-преобразования [Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ "Регулярная и хаотическая динамика", 2001, 464 с., Астафьева Н.М. Вейвлет-анализ: основы теории и примеры применения. Успехи физических наук. Том 166, № 11, 1996, с.1145-1170. Дремин И.М., Иванов О.В., Нечитайло В.А. Вейвлеты и их использование. Успехи физических наук. Том 171, № 5, 2001, с.465-501. Дьяконов В.П. Вейвлеты. От теории к практике. М.: СОЛОН-Р, 2002, 440 с. Кравченко В.Ф., Рвачев В.А. Wavelet - системы и их применение в обработке сигналов. Зарубежная радиоэлектроника. 1996, № 4, с.3-20].

Непрерывное ВП можно определить как скалярное произведение исследуемого процесса x(t) и базисных функций (t) [Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ "Регулярная и хаотическая динамика", 2001, 464 с.]:

где черта сверху обозначает операцию комплексного сопряжения.

Общий принцип построения базиса ВП состоит в использовании масштабных преобразований с параметром сжатия и смещений с параметром сдвига исходной вейвлет-функции (t) (т.н. материнского вейвлета):

Чтобы быть вейвлетом базисные функции (t) L²(R) должны обладать рядом необходимых свойств [6-10]. Они должны быть: квадратично-интегрируемыми, знакопеременными (обладать нулевым средним), при этом вейвлеты должны стремиться к нулю на ± , и для практических целей - чем быстрее, тем лучше (причем вейвлет должен быть хорошо локализован и во времени и по частоте). Для того чтобы было возможно обратное ВП, спектральная функция вейвлета должна удовлетворять еще одному условию:

Формула непрерывного обратного вейвлет-преобразования имеет вид:

Как видно из (4), исходный сигнал x(t) может быть восстановлен через интегральную сумму тех же базисных функций (t) с весами в виде вейвлет-спектра сигнала [W x]( , ). Здесь константа C (3) выступает как нормирующий коэффициент, аналогичный коэффициенту (2 )^1/2, нормирующему преобразование Фурье. Выбранные в процессе предварительного тестирования регулируемые коэффициенты усиления в каждом частотном канале представляют собой весовые множители, определяющие вклад каждого из масштабов в суммарный отклик, поступающий на слуховой аппарат пользователя. Затем производится операция весового суммирования в соответствии с соотношением:

где W - результат масштабно-временного преобразования, _a - корректирующие коэффициенты, a - номер масштаба, m=0 N-1, N - количество масштабных отсчетов.

Предложенная обработка сигналов позволяет учесть реальное восприятие пользователем акустических сигналов и более полно передать на его слуховой анализатор информацию об окружающей обстановке, что улучшает распознавание объектов.

Предлагаемое изобретение поясняется чертежами, где на фиг.1 показан пример устройства для реализации предлагаемого способа, на фиг.2 показана блок-схема алгоритма прямого вейвлет-преобразования с использованием вейвлета Хаара, реализованного в среде Mathcad, на фиг.3 показана блок-схема алгоритма обратного вейвлет-преобразования, выполненная в среде MathCAD, на фиг.4 представлены вероятности правильного обнаружения предъявляемых реализаций на фоне естественных шумов, на фиг.5 показана структура блока управления, а на фиг.6 показана блок-схема алгоритма работы блока статистического анализа.

Устройство, реализующее обработку в соответствии с рассмотренным способом (фиг.1), содержит последовательно соединенные генератор 1 зондирующих импульсов, блок 2 частотной модуляции (ЧМ), усилитель 3 тракта излучения и передатчик 4, правый и левый каналы обработки, каждый из которых содержит последовательно соединенные ультразвуковой преобразователь 5 (6), аналого-цифровой преобразователь 7 (8) (АЦП), согласованный фильтр (СФ) 9 (10), блок 11 (12) памяти, набор масштабно-временных фильтров 13 (14), сумматор 15 (16), цифроаналоговый преобразователь (ЦАП) 17 (18), усилитель 19 (20), головной телефон 21 (22), причем второй вход АЦП 7 (8) обоих каналов подключен к соответствующим выходам генератора 23 синхронизирующих импульсов, соответствующие входы масштабно-временных фильтров 13 (14) соединены с соответствующими выходами блока 24 управления, к другим соответствующим выходам которого подключены входы соответствующих цифроаналоговых преобразователей 17 (18), и блоков 11 (12) памяти, а вход блока 24 управления соединен с соответствующим выходом генератора 23 синхронизирующих импульсов.

Блок 24 управления согласно фиг.5 содержит последовательно соединенные блок 25 статистического анализа, оперативно-запоминающее устройство 26 и мультиплексор 27, выходы которого служат для подключения к масштабно временным фильтрам 13, 14, а также делитель 28 частоты, выходы которого служат для подключения к соответствующим входам блоков 11 и 12 памяти и ЦАП 17, 18.

Рассмотрим осуществление предлагаемого способа в приведенном устройстве.

После излучения входная реализация поступает на АЦП 7, 8 и далее - на цифровые СФ 9, 10. Предположим, используются зондирующие импульсы с несущей частотой 80 кГц, а средняя частота слышимого диапазона 1,2 кГц. В этом случае ~66. Если сигнал длительностью T испытывает отражение от объекта с протяженностью в пространстве L, длительность отклика СФ Тсф можно оценить как . Например, при L=0,5 м Тсф После временного растяжения длительность сигнала, поступающего на слуховой аппарат пользователя (САП), составит Тсф~200 мс. Такое увеличение длительности важно при восприятии, поскольку сигналы длительностью меньше 0,2 с распознаются с трудом. Отклики СФ 9, 10, соответствующие импульсной характеристике рассеивающего объекта, записываются в блоки 11 (12) памяти. Реализации поступают на наборы масштабно-временных фильтров 13 (14), реализующих Вейвлет-преобразование, и производится их последующее суммирование в блоках 15 (16).

Операция прямого вейвлет-преобразования с использованием вейвлета Хаара осуществляется в соответствии с выражением:

где - вейвлет-коэффициенты, соответствующие горизонтальному и вертикальному направлениям, для j-го масштаба; j=0, , log₂N-1 - количество масштабов; ; - количество строк и столбцов результирующей матрицы вейвлет-коэффициентов для j-го масштаба. Вейвлет Хаара реализован в среде Mathcad в качестве рабочего встроенного модуля (фиг.2).

При этом выполняется процедура прогнозирования по каждому из масштабов масштабно-временной плоскости.

Операция обратного вейвлет-преобразования выполнена в среде MathCAD и представлена в виде алгоритма (фиг.3) в соответствии с выражением:

где _n,m - базисные функции.

Блок 24 управления обеспечивает считывание информации в раз медленнее записи и поступление корректирующих множителей в масштабно-временные фильтры 13 (14). Блок 25 статистического анализа предназначен для получения корректирующих коэффициентов усиления в каждом канале обработки. Регулируемые коэффициенты усиления в каждом частотном канале представляют собой весовые множители, определяющие вклад каждого из масштабов в суммарный отклик, поступающий на слуховой анализатор пользователя (САП). Для того чтобы учесть особенности САП, необходимо первоначально принять значения корректирующих множителей равными единице. При проведении испытаний в работе блока 25 статистического анализа использовалась методика вынужденного выбора [Грин Д. Приложение теории обнаружения в психофизике. ТИИЭР 5, т.58, 1970 г.], суть которой заключается в выборе испытуемым решения на определенном интервале времени из нескольких гипотез. В нашем примере реализации - 2 гипотезы: есть сигнал или нет сигнала.

В результате проведенных испытаний набирается статистика обнаружения , где x - соответствует правильному обнаружению, y - общее количество предъявляемых стимулов. Полученные значения используются в качестве корректирующих коэффициентов. Для набора статистики оператору предъявляются сигналы с разными частотами на фоне естественных шумов, программным методом фиксируется статистика правильного обнаружения, пропуска сигналов и ложного обнаружения. Для набора репрезентативной выборки проводится необходимое количество испытаний. Пример кривых представлен на Фиг.4 (верхняя кривая - вероятность правильного обнаружения в устройстве для реализации предлагаемого способа, нижняя кривая - вероятность правильного обнаружения в прототипе). Введение коэффициентов позволяет повысить статистические показатели правильного обнаружения сигналов на фоне естественных шумов. Корректирующие коэффициенты берутся как величины, обратные к вероятности правильного обнаружения, для каждого масштаба, полученные в результате предварительного тестирования. Полученные значения корректирующих коэффициентов хранятся в ОЗУ 26 и с помощью мультиплексора 27 подаются в соответствующий канал масштабно-временных фильтров 13 (14). Делитель частоты 28 обеспечивает считывание информации в раз медленнее записи из блоков 11 (12) памяти.

Полученные сигналы преобразуются в аналоговую форму с помощью ЦАП 17 (18) и после усиления поступают на головные телефоны 21 (22).

Применение новых по сравнению с прототипом операций для левого и правого каналов обработки:

- масштабно-временной фильтрации откликов (Вейвлет-преобразования) с корректирующими коэффициентами в каждом масштабе;

- последующей операции суммирования выходов каждого канала масштабно-временной фильтрации

позволяет получить новый положительный эффект - более полно передать на слуховой анализатор оператору информацию об окружающей обстановке (повысить помехоустойчивость способа).

Авторами была проведена предварительная оценка эффективности предложенного^: метода. Группе операторов в количестве трех человек случайным образом предъявлялись сигналы на фоне помех.

Перед прослушиванием выполнялась операция масштабно-временного преобразования с введением масштабно временных коэффициентов на каждом масштабе с последующим весовым суммированием. Используемые частоты сигналов:100, 200, 400, 800, 1600, 3200, 6400 Гц. Верхний график (фиг.4) соответствует вероятности правильного обнаружения предъявляемых реализаций с использованием предложенных операций. Нижний график построен на основе обработки, реализованной в способе-прототипе. Видно, что выигрыш лежит в пределах 0.5-2 дБ.

Покажем пример выполнения блоков устройства для реализации предлагаемого способа.

Генератор 1 зондирующих импульсов, блок 2 ЧМ, усилитель 3 тракта излучения, передатчик 4, ультразвуковые преобразователи 5, 6, АЦП 7, 8, согласованные фильтры 9, 10, блоки 11, 12 памяти, цифроаналоговые преобразователи 17, 18, генератор 23 синхронизирующих импульсов могут быть реализованы аналогично прототипу. В частности, в качестве согласованных фильтров 9, 10, могут быть использованы цифровые или акустоэлектрические фильтры сжатия. В блоке 24 управления (фиг.5) делитель частоты 28 может представлять собой двоичный счетчик. Коэффициент деления частоты определяется по формуле К=2^а, где а - разрядность счетчика [Щеголева Л., Давыдов А. Основы вычислительной техники и программирования. Л.: Энергоиздат, 1981, с 144-145].

Мультиплексор 27 (мультиплексный канал) служит для обмена информацией между ОЗУ 26 и масштабно-временными фильтрами 13 (14) и известен в цифровой технике [Дроздов Е.А., Комарницкий В.А., Пятибратов А.П. Многопрограммные цифровые вычислительные машины. М.: Изд. МО СССР, с.378-383].

Блок 25 статистического анализа выполнен программно согласно блок-схеме алгоритма (фиг.6).

Сумматоры 15,16, ОЗУ 26 известны в цифровой технике (Щеголева Л., Давыдов А. Основы вычислительной техники и программирования. Л.: Энергоиздат, 1981 с., 155-201).

Тип АЦП 7, 8 выбирают исходя из требуемого быстродействия, определяемого частотой зондирующих импульсов. Поскольку максимальная частота, используемая в подобных системах, составляет 120 кГц, необходимое быстродействие обеспечивает со временем преобразования меньше 0,9 мкс с тактовой частотой в пределах 0,4-1,5 МГц, Можно использовать АЦП серии QMbox 15-48 с тактовой частотой 1.5 МГц Временное масштабирование сигнала реализуется путем аналого-цифрового преобразования, записи отсчетов сигнала в память с одной тактовой частотой с последующим чтением из памяти и цифроаналоговым преобразованием другой тактовой частотой, меньшей в раз, где - коэффициент транспонирования. Емкость блоков 11, 12 памяти (БП) должна обеспечивать запись отчетов входной реализации. Количество отсчетов определяется N=f_dT_p , где Т_р - длительность реализации, f_d - частота дискретизации. ЗУ используются в цифровой технике. К ЦАП 17, 18 не предъявляется особых требований по быстродействию, поскольку частота считывания информации из блоков памяти значительно ниже частоты записи. Наборы масштабно-временных фильтров, реализующих Вейвлет-преобразование, известны в современной радиотехнике (см. патент на изобретение РФ № 2246132, М.кл. G06F 17/14, опубл. 20.07.2004 г.).