способ и система для передачи характеристик виртуального акустического окружающего пространства

Формула изобретения

1. Способ передачи характеристик виртуального акустического окружающего пространства из передающего устройства в приемное устройство, при этом виртуальное акустическое окружающее пространство содержит представления поверхностей, виртуально существующих в виртуальном акустическом окружающем пространстве, отличающийся тем, что поверхности, виртуально существующие в виртуальном акустическом окружающем пространстве, описаны фильтрами, которые воздействуют на акустический сигнал в зависимости от параметров, которые относятся к каждому фильтру, при этом параметры, относящиеся к каждому фильтру, передают из приемного устройства в передающее устройство.

2. Способ по п.1, отличающийся тем, что параметры, относящиеся к каждому фильтру, являются коэффициентами, представляющими характеристики акустического отражения и/или поглощения и/или передачу характеристик поверхностей.

3. Способ по п.1, отличающийся тем, что он содержит этапы, на которых передающим устройством создают пространство, содержащее представления поверхностей, виртуально существующих в виртуальном окружающем пространстве, которые представлены фильтрами, имеющими действие на акустический сигнал, которое зависит от параметров, относящихся к каждому фильтру; передающим устройством передают в приемное устройство информацию об упомянутых параметрах, относящихся к каждому фильтру; для того, чтобы восстановить виртуальное акустическое окружающее пространство приемным устройством создают банк фильтров, содержащий фильтры, которые оказывают воздействие на акустический сигнал в зависимости от параметров, относящихся к каждому фильтру, на основе информации, переданной передающим устройством.

4. Способ по п.3, отличающийся тем, что передающим устройством передают в приемное устройство информацию относительно параметров, относящихся к каждому фильтру, в виде части потока данных по международному стандарту сжатия и передачи видеоданных в низкоскоростных мультимедийных системах MPEG-4.

5. Способ по п.4, отличающийся тем, что передающим устройством передают в приемное устройство информацию относительно параметров, относящихся к каждому фильтру, в виде части двоичного формата для описания сцены (BIFS), включенной в поток данных по стандарту MPEG-4, часть BIFS содержит некоторые поля, адаптированные к передаче акустических параметров.

6. Способ по п.3, отличающийся тем, что он содержит этапы, на которых передающим устройством создают виртуальное акустическое окружающее пространство, содержащее представления первого набора поверхностей, виртуально существующих в виртуальном акустическом окружающем пространстве, которые представлены фильтрами, имеющими воздействие на акустический сигнал, которое зависит от параметров, относящихся к каждому фильтру; передающим устройством передают в приемное устройство информацию относительно упомянутых параметров, относящихся к каждому фильтру, представляющему поверхность в первом наборе поверхностей; для того, чтобы восстановить виртуальное акустическое окружающее пространство приемным устройством создают банк фильтров, содержащий фильтры, описывающие второй набор поверхностей, виртуально существующих в виртуальном акустическом окружающем пространстве, причем второй набор поверхностей является истинным поднабором первого набора поверхностей, таким образом, что число поверхностей во втором наборе поверхностей зависит от пропускной способности приемного устройства.

7. Способ по п.1, отличающийся тем, что параметры, относящиеся к каждому фильтру, являются идентификаторами стандартных поверхностей в базе данных, содержащей некоторые стандартные поверхности, база данных, запоминаемая в памяти приемного устройства, содержит параметры, адаптированные для описания поверхностей, включенных в базу данных, в связи с чем, когда идентификаторы некоторых стандартных поверхностей в базе данных передают в приемное устройство, приемное устройство компонуют таким образом, чтобы считывать соответствующие параметры фильтров из базы данных.

8. Способ по п.1, отличающийся тем, что, по меньшей мере, один из упомянутых фильтров состоит из трех последовательных фильтрующих каскадов (530, 531, 532), из которых первый фильтрующий каскад (530) представляет ослабление в передающей среде, второй фильтрующий каскад (531) представляет поглощение в отражающем материале, и третий фильтрующий каскад (532) учитывает направленность источника звука таким образом, что первый каскад (530) компонуют так, чтобы учитывать как расстояние, которое проходит звук от источника звука через поверхность отражения к точке наблюдения, так и характеристики передающей среды, такие как влажность, давление и температура.

9. Система для передачи характеристик виртуального акустического окружающего пространства, содержащего представления поверхностей, виртуально существующих в виртуальном акустическом окружающем пространстве, отличающаяся тем, что она содержит передающее устройство и приемное устройство и средство для передачи электрических данных между передающим устройством и приемным устройством, средство для создания банка фильтров, который содержит параметризованные фильтры, имеющие действие на акустический сигнал, которое зависит от параметров, относящихся к каждому фильтру, для моделирования поверхностей виртуально существующих в виртуальном акустическом окружающем пространстве, и средство для передачи соответствующих параметров, описывающих упомянутые параметризованные фильтры, из передающего устройства в приемное устройство.

10. Система по п.9, отличающаяся тем, что передающее устройство содержит средство мультиплексирования, предназначенное для присоединения параметров, которые представляют характеристики параметризованных фильтров, к потоку данных по стандарту MPEG-4, и приемное устройство содержит средство демультиплексирования, предназначенное для определения параметров, которые представляют характеристики параметризованных фильтров, из потока данных, передаваемых по стандарту MPEG-4.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к способу и системе, которые могут создавать для слушателя искусственное слуховое ощущение, соответствующее определенному пространству. В частности, изобретение относится к передаче такого слухового ощущения в системе, которая в цифровой форме передает, обрабатывает и/или сжимает информацию, которая должна представляться пользователю.

Уровень техники

Виртуальное акустическое окружающее пространство относится к слуховому ощущению, при помощи которого человек, слушающий электрически воспроизведенный звук, может воображать, что он находится в некотором пространстве. Простое средство для создания виртуального акустического окружающего пространства состоит в том, чтобы добавлять реверберацию, посредством чего слушатель получает ощущение от пространства. Сложные виртуальные акустические окружающие пространства часто стараются имитировать некоторое реальное пространство, в связи с чем это часто называется аурализацией (созданием ауры) упомянутого пространства. Эта концепция описана, например, в статье М.Kleiner, B.-I. Dalenback, P. Svensson: "Auralization - An Overview", 1993, J. Audio Eng. Soc., Vol. 41, №11, p.861-875. Аурализация естественным способом может быть объединена с созданием виртуального визуального окружающего пространства, в связи с чем пользователь, обеспеченный подходящими устройствами отображения и громкоговорителями или наушниками, может наблюдать желаемое реальное или воображаемое пространство и даже "перемещаться" в упомянутом пространстве, в связи с чем его аудиовизуальное ощущение бывает различным в зависимости от того, какую точку в упомянутом окружающем пространстве он выбирает в качестве своей точки наблюдения.

Создание виртуального акустического окружающего пространства делится на три фактора, которые представляют собой: моделирование источника звука, моделирование пространства и моделирование слушателя. Настоящее изобретение относится, в частности, к моделированию пространства, в соответствии с чем цель заключается в том, чтобы создать идею относительно того, как звук распространяется, как он отражается и ослабляется в упомянутом пространстве, и в том, чтобы передавать эту идею в электрической форме, которую должен использовать слушатель. Известные способы моделирования акустики пространства представляют собой так называемые определения траектории луча и способ воображаемого источника. В известном способе звук, генерируемый источником звука, делится на трехмерный пучок, содержащий "звуковые лучи", распространяющиеся по существу прямолинейно, и затем выполняется вычисление относительно того, как каждый луч распространяется в обрабатываемом пространстве. Слуховое ощущение, получаемое слушателем, производится посредством сложения звука, представленного теми лучами, которые в течение некоторого периода и через некоторое максимальное число отражений достигают точку наблюдения, выбранную слушателем. В способе воображаемого источника для исходного источника звука генерируется множество виртуальных воображаемых источников, в связи с чем эти виртуальные источники являются зеркальными изображениями источника звука относительно рассматриваемых поверхностей отражения: позади каждой рассматриваемой поверхности отражения помещается один воображаемый источник, имеющий расстояние по прямой до точки наблюдения, которое равняется расстоянию между исходным источником звука и точкой наблюдения, измеренному через отражение. Далее, звук от воображаемого источника достигает точки наблюдения с такого же расстояния, как реальный отраженный звук. Слуховое ощущение получается посредством сложения звуков, генерируемых воображаемыми источниками.

Способы уровня техники имеют очень большую вычислительную нагрузку. Если предположить, что виртуальное окружающее пространство передается пользователю, например, посредством радиовещания или через сеть передачи данных, то приемник пользователя должен непрерывно отслеживать до десятков тысяч звуковых лучей или складывать звук, генерируемый тысячами воображаемых источников. Кроме того, базовая точка вычисления изменяется всегда, когда пользователь решает изменить положение точки наблюдения. С существующими в настоящее время устройствами и способами уровня техники фактически невозможно передавать аурализованное звуковое окружающее пространство.

Сущность изобретения

Задача настоящего изобретения состоит в том, чтобы обеспечить способ и систему, с помощью которой виртуальное акустическое пространство может передаваться пользователю при приемлемой вычислительной нагрузке.

Решение задач изобретения достигается посредством разделения окружающего пространства, которое должно моделироваться, на секции, для которых создаются параметризованные модели отражения и/или поглощения, а также модели пропускания, и посредством обработки главным образом параметров модели в передаче данных.

Способ согласно изобретению отличается тем, что: поверхности, содержащиеся в виртуальном акустическом окружающем пространстве, описывают фильтрами, действие которых на акустический сигнал зависит от параметров, относящихся к каждому фильтру, и параметры, относящиеся к каждому фильтру, передают из передающего устройства в приемное устройство.

Изобретение также относится к системе, которая отличается тем, что она содержит передающее устройство и приемное устройство и средство для реализации передачи электрических данных между передающим устройством и приемным устройством, средство для создания банка фильтров, которое содержит параметризованные фильтры для моделирования поверхностей, содержащихся в виртуальном акустическом окружающем пространстве, и средство для передачи определенных параметров, описывающих упомянутые параметризованные фильтры, из упомянутого передающего устройства в упомянутое приемное устройство.

Согласно настоящему изобретению акустические характеристики пространства могут быть смоделированы способом, принцип которого также известен из визуального моделирования поверхностей. Здесь поверхность вообще говоря обозначает объект рассматриваемого пространства, в соответствии с чем характеристики объекта являются относительно однородными относительно модели, созданной для пространства. Для каждой рассматриваемой поверхности задается множество коэффициентов (в дополнение к визуальным характеристикам, если модель содержит визуальные характеристики), которые представляют акустические характеристики поверхности, в связи с чем такие коэффициенты представляют собой, например, коэффициент отражения, коэффициент поглощения и коэффициент пропускания. Говоря в более общем смысле, мы можем утверждать, что для поверхности задается некоторая параметризованная передаточная функция. В создаваемой модели пространства упомянутая поверхность представлена фильтром, который реализует упомянутую передаточную функцию. Когда звук из источника звука используется в качестве входных данных в систему, отклик, создаваемый передаточной функцией, представляет собой звук при попадании на упомянутую поверхность. Акустическая модель пространства составляется множеством фильтров, каждый из которых представляет некоторую поверхность в пространстве.

Если проект фильтра, представляющего акустические характеристики поверхности, и параметризованная передаточная функция, реализованная фильтром, известны, то для представления некоторой поверхности достаточно задать параметры передаточной функции, характеризующие упомянутую поверхность.

В системе, предназначенной для передачи виртуального окружающего пространства в виде потока данных, имеется приемник и/или воспроизводящее устройство, в память которого заносятся тип или типы фильтра и передаточной функции, используемой системой. Устройство получает поток данных, функционирующий в качестве входных данных, например, принимая его посредством радио или телевизионного приемника, загружая его из сети передачи данных, типа сети Интернет, или считывая его локально из средства записи. В начале работы устройство получает в потоке данных те параметры, которые используются для моделирования поверхностей в пределах виртуального окружающего пространства, которое должно быть создано. С помощью этих данных и сохраненных типов фильтров и типов передаточной функции устройство создает банк фильтров, который соответствует акустическим характеристикам виртуального окружающего пространства, которое должно быть создано. Во время работы устройство получает в потоке данных звук, который оно должно воспроизвести для пользователя, в связи с чем оно подает звук в банк фильтров, который оно создало, и в результате оно получает обработанный звук, а пользователь, слушающий этот звук, получает ощущение желательного виртуального окружающего пространства.

Требуемое количество переданных данных может быть дополнительно уменьшено посредством формирования базы данных, содержащей некоторые стандартные поверхности и запоминаемой в памяти приемника/воспроизводящего устройства. База данных содержит параметры, с которыми возможно описать стандартные поверхности, задаваемые базой данных. Если виртуальное окружающее пространство, которое должно быть создано, содержит только стандартные поверхности, то в потоке данных должны передаваться только идентификаторы стандартных поверхностей, имеющиеся в базе данных, в связи с чем из базы данных могут считываться параметры передаточных функций, соответствующих этим идентификаторам, и не нужно будет передавать их отдельно в приемник/воспроизводящее устройство. База данных также может содержать информацию относительно таких типов составных фильтров и/или передаточных функций, которые не похожи на те типы фильтров и передаточных функций, которые в основном используются в системе, и которые потребляли бы неприемлемо много из пропускной способности системы передачи данных, если бы они передавались с потоком данных, когда это требуется.

Краткое описание чертежей

В дальнейшем изобретение поясняется описанием конкретных вариантов его воплощения со ссылками на сопровождающие чертежи, на которых:

фиг.1 изображает моделируемое акустическое окружающее пространство,

фиг.2 - параметризованный фильтр,

фиг.3а - банк фильтров, сформированный посредством параметризованных фильтров,

фиг.3б - модификацию компоновки, показанной на фиг.3а,

фиг.4 - систему для применения изобретения,

фиг.5а - часть фиг.4 более подробно,

фиг.5б - часть фиг.5а более подробно,

фиг.6 - другую систему для применения изобретения.

Для соответствующих частей используются одни и те же номера позиций.

Подробное описание чертежей

Фиг.1 изображает акустическое окружающее пространство, содержащее источник 100 звука, отражающие поверхности 101 и 102 и точку 103 наблюдения. Дополнительно к акустическому окружающему пространству принадлежит источник 104 интерферирующего звука. Звуки, распространяющиеся от источников звука до точки наблюдения, представлены стрелками. Звук 105 распространяется непосредственно из источника 100 звука до точки 103 наблюдения. Звук 106 отражается от стены 101, и звук 107 отражается от окна 102. Звук 108 - это звук, производимый источником 104 интерферирующего звука, и этот звук попадает в точку 103 наблюдения через окно 102. Все звуки распространяются в воздухе, который занимает рассматриваемое акустическое окружающее пространство, кроме моментов отражения и моментов прохождения через оконное стекло.

Относительно моделирования пространства все звуки, показанные на чертеже, ведут себя по-разному. На звук 105, распространяющийся прямо, действует задержка, вызванная расстоянием между источником звука и точкой наблюдения и скоростью звука в воздухе, а также ослабление, вызванное воздухом. На звук 106, отраженный от стены, действуют, в дополнение к влиянию, вызванному задержкой и ослаблением в воздухе, также ослабление звука и возможный фазовый сдвиг при попадании звука на препятствие. Те же факторы действуют на звук 107, отраженный от окна, но из-за того, что материал стены и оконное стекло акустически различны, в этих отражениях звук отражается и ослабляется, а фаза сдвигается по-разному. Звук 108 от источника интерферирующего звука проходит через оконное стекло, в связи с чем на возможность детектировать его в точке наблюдения действуют характеристики пропускания оконного стекла в дополнение к эффектам задержки и ослабления в воздухе. В этом примере можно предположить, что стена имеет настолько хорошие акустические изоляционные характеристики, что звук, произведенный источником 104 интерферирующего звука, не проходит через стену к точке наблюдения.

Фиг.2 изображает в общем фильтр, то есть устройство 200, имеющее некоторую передаточную функцию Н и предназначенное для обработки зависящего от времени сигнала. Функция X(t) зависящего от времени импульса преобразуется в фильтре 200 в зависящую от времени функцию Y(t) отклика. Если зависящие от времени функции представлены способом, известным также как Z-преобразование (дискретное преобразование Лапласа), то Z-преобразование H(z) передаточной функции может быть выражено как соотношение

в связи с чем для того, чтобы передать произвольную передаточную функцию в параметрической форме, достаточно передать коэффициенты [b₀ b₁ a₁ b₂ a₂...], используемые в выражении ее Z-преобразования.

В системе, применяющей обработку цифрового сигнала, фильтр 200 может быть, например, БИХ (IIR) фильтром (с импульсной характеристикой бесконечной длительности), который известен как таковой, или КИХ (FIR) фильтром (с импульсной характеристикой конечной длительности). Относительно изобретения существенно то, что фильтр 200 может быть задан как параметризованный фильтр. Более простая альтернатива, чем выше представленное определение передаточной функции, состоит в том, чтобы сформулировать определение таким образом: в фильтре 200 импульсный сигнал умножается на набор коэффициентов, представляющих характеристики желаемой поверхности, в связи с чем параметры фильтра представляют собой, например, коэффициент отражения и/или поглощения сигнала, коэффициент ослабления сигнала для сигнала, проходящего через среду, задержку сигнала и фазовый сдвиг сигнала. Параметризованный фильтр может реализовать передаточную функцию, которая всегда имеет одинаковый тип, но относительные доли различных частей передаточной функции проявляются по-разному в отклике в зависимости от того, какие параметры заданы для фильтра. Если цель фильтра 200, который задается только коэффициентами, состоит в том, чтобы представить поверхность, отражающую звук особенно хорошо, и если импульс X(t) представляет собой некоторый звуковой сигнал, то фильтр задается в виде параметров: коэффициент отражения близок к единице, и коэффициент поглощения близок к нулю. Параметры передаточной функции фильтра могут быть частотно зависимыми, потому что высокие звуки и низкие звуки часто отражаются и поглощаются по-разному.

Согласно предпочтительному варианту воплощения изобретения, поверхности пространства, которое должно моделироваться, делятся на узлы, и все необходимые узлы образуют собственную модель фильтра, где передаточная функция фильтра представляет отраженный, поглощенный и прошедший звук в различных отношениях в зависимости от параметров, заданных для фильтра. Пространство, показанное на фиг.1, которое должно быть смоделировано, может быть представлено простой моделью, где имеется всего несколько узлов. Фиг.3а изображает банк фильтров, содержащий три фильтра, где каждый фильтр представляет поверхность пространства, которое должно быть смоделировано. Передаточная функция первого фильтра 301 может представлять отражение, которое не показано отдельно на фиг.2, передаточная функция второго фильтра 302 может представлять отражение звука от стены, и передаточная функция третьего фильтра 303 может представлять и отражение звука от оконного стекла, и прохождение звука через оконное стекло. Когда звук из источника 100 звука действует как функция X(t) импульса, тогда параметры r (коэффициент отражения), а (коэффициент поглощения) и t (коэффициент пропускания) фильтров 301, 302 и 303 устанавливаются такими, чтобы отклик, обеспеченный фильтром 301, представлял звук, отраженный поверхностью, не показанной на фиг.2, отклик, обеспеченный фильтром 302, представлял звук, отраженный от стены, и отклик фильтра 303 представлял звук, отраженный от оконного стекла.

Если, например, мы предполагаем, что стена сделана из сильно поглощающего материала, а оконное стекло сделано из хорошо отражающего материала, то в рассматриваемом варианте воплощения коэффициент отражения r2 близок к нулю, а коэффициент отражения r3 оконного стекла соответственно близок к единице. Вообще следует отметить, что коэффициент поглощения и коэффициент отражения некоторой поверхности зависят друг от друга: чем ниже поглощение, тем выше отражение и наоборот (математически зависимость имеет вид ). Отклики, даваемые фильтрами, складываются в сумматоре 304.

Когда интерферирующий звук 108, показанный на фиг.1, желательно моделировать с банком фильтров фиг.3а, коэффициенты поглощения а1 и а2 фильтров 301 и 302 устанавливаются равными единице, в связи с чем составляющая отражения интерферирующего звука вообще не образуется. В фильтре 303 коэффициент пропускания t3 устанавливается равным такому значению, с которым фильтр 303 может быть сделан так, чтобы он представлял звук, который прошел через оконное стекло.

Фиг.3а также изображает элемент 305 задержки, который генерирует взаимные разности времени составляющих звука, распространяющихся по различным путям до точки наблюдения. Звук, который распространяется прямо, достигает точки наблюдения в кратчайшее время, что представлено его задержкой только в первом каскаде 305а элемента задержки. Звук, отраженный стеной, задерживается в двух первых каскадах 305а и 305b элемента задержки, и звук, отраженный окном, задерживается во всех каскадах 305а, 305b и 305с элемента задержки. Вследствие того, что на фиг.1 расстояние, покрываемое звуком, почти одинаковое от стены и от окна, можно сделать вывод, что различные каскады в средстве 305 задержки представляют задержки различных размеров: третий каскад 305с не может задерживать звук намного больше. В качестве альтернативного варианта воплощения мы можем задумать решение согласно фиг.3б, где все каскады средства задержки имеют равный размер, но где выход из элементов задержки к фильтрам может быть сделан в различных точках в зависимости от желаемой соответственной задержки.

Фиг.4 изображает систему, имеющую передающее устройство 401 и приемное устройство 402. Передающее устройство 401 формирует некоторое виртуальное акустическое окружающее пространство, содержащее, по меньшей мере, один источник звука и акустические характеристики, по меньшей мере, одного пространства, и передающее устройство передает их в некоторой форме в приемное устройство 402. Передача может быть выполнена, например, в цифровой форме посредством радио или телевизионного вещания или через сеть передачи данных. Передача может также означать, что на основе виртуального акустического окружающего пространства, произведенного передающим устройством 401, оно производит запись, например, типа записи цифрового универсального диска (DVD), который приобретает пользователь приемного устройства. Типичным применением, передаваемым в виде записи, мог бы быть концерт, где источником звука является оркестр, содержащий виртуальные инструменты, и пространство в воображаемом или реальном концертном зале, которое моделируется электрически, в связи с чем пользователь приемного устройства с помощью своего оборудования может слушать как звучит концерт в различных точках зала. Если такое виртуальное окружающее пространство является аудиовизуальным, то оно также содержит визуальную секцию, реализованную посредством компьютерной графики. Изобретение не требует, чтобы передающее и приемное устройства были отдельными устройствами, но пользователь может создавать некоторое виртуальное акустическое окружающее пространство в одном устройстве и пользователь то же самое устройство для проверки этого создания.

В варианте воплощения, показанном на фиг.4, пользователь передающего устройства создает с помощью инструментов 403 компьютерной графики некоторое визуальное окружающее пространство типа концертного зала и создает с помощью соответствующих инструментов 404 видеомультипликации типа музыкантов и инструментов виртуального оркестра. Еще он вводит с клавиатуры 405 некоторые акустические характеристики для поверхностей создаваемого им окружающего пространства, такие как коэффициенты отражения r, коэффициенты поглощения а и коэффициенты пропускания t, или вообще передаточные функции, представляющие поверхности. Звуки виртуальных инструментов загружаются из базы 406 данных. Передающее устройство в блоках 407, 408, 409 и 410 обрабатывает данную пользователем информацию в битовые потоки и объединяет в мультиплексоре 411 битовые потоки в один поток данных. Поток данных передается в некоторой форме в приемное устройство 402, где демультиплексор 412 извлекает из потока данных видеочасть, представляющую окружающее пространство, и передает ее в блок 413, передает зависящую от времени видеочасть или мультипликацию в блок 414, передает зависящий от времени звук в блок 415, а в блок 416 передает коэффициенты, представляющие поверхности. Видеочасти объединяются в блоке 417 драйвера дисплея и подаются к дисплею 418. Сигнал, представляющий звук, переданный источником звука, направляется из блока 415 в банк 419 фильтров, где для фильтров заданы параметры, которые были получены из блока 416 и которые представляют характеристики поверхностей. Банк 419 фильтров обеспечивает звук, который содержит различные отражения и ослабления и который направляется в наушники 420.

Фиг.5а и 5б более подробно показывают компоновку фильтра приемного устройства, которая может реализовать виртуальное акустическое окружающее пространство способом согласно изобретению. Средство 305 задержки соответствует средству задержки, показанному на фиг.3а и 3б, и генерирует взаимные разности времени составляющих звука (например, звуки, отраженные по различным путям). Фильтры 301, 302 и 303 представляют собой параметризованные фильтры, для которых заданы некоторые параметры способом согласно изобретению, в связи с чем каждый из фильтров 301, 302 и 303 и других соответствующих фильтров, показанных на чертеже только точками, обеспечивает модель некоторой поверхности виртуального окружающего пространства. Сигнал, обеспеченный упомянутыми фильтрами, разветвляется, с одной стороны к фильтрам 501, 502 и 503, а с другой стороны через сумматоры и усилитель 504 к сумматору 505, которые вместе с эхоканалами 506, 507, 508 и 509 и сумматором 510, а также с усилителями 511, 512, 513 и 514 образуют по сути известную схему, с помощью которой возможно создать реверберацию в некотором сигнале. Фильтры 501, 502 и 503 представляют собой по сути известные фильтры направления, которые учитывают различия в слуховом ощущении слушателей в различном направлении, например, согласно модели передаточной функции, относящейся к голове (HRTF). Наиболее предпочтительно, когда фильтры 501, 502 и 503 также содержат так называемые задержки межслуховой разности времени (ITD), которые представляют взаимные разности времени составляющих звука, приходящих с различных направлений.

В фильтрах 501, 502 и 503 каждая составляющая сигнала делится на левый и правый канал, или в многоканальной системе, в более общем смысле, на N каналов. Все сигналы, принадлежащие к некоторому каналу, собираются в сумматоре 515 или 516 и подаются в сумматор 517 или 518, где к сигналу каждого канала добавляется соответствующая реверберация. Линии 519 и 520 ведут к громкоговорителям или к наушникам. На фиг.5а точки между фильтрами 302 и 303, а также между фильтрами 502 и 503 означают, что изобретение не налагает ограничения на то, сколько фильтров находится в банке фильтров приемного устройства. Может быть даже несколько сотен или тысяч фильтров, в зависимости от сложности моделируемого виртуального акустического окружающего пространства.

Фиг.5б более подробно изображает одну возможность реализовать такой параметризованный фильтр 301, который представляет поверхность отражения. На фиг.5б фильтр 301 содержит три последовательных каскада 530, 531 и 532 фильтров, из которых первый каскад 530 представляет ослабление распространения в среде (в основном в воздухе), второй каскад 531 представляет поглощение, происходящее в отражающем материале, и третий каскад 532 учитывает направленность источника звука. В первом каскаде 530 возможно учитывать как расстояние, которое звук прошел в среде из источника звука через поверхность отражения к точке наблюдения, так и характеристики среды, такие как влажность, давление и температура воздуха. Чтобы вычислять расстояние, каскад 530 получает из передающего устройства информацию о положении источника звука в системе координат пространства, которое должно быть смоделировано, и из приемного устройства информацию о координатах той точки, которую пользователь выбрал в качестве точки наблюдения. Информация, описывающая характеристики среды, обеспечивается первым каскадом 530 либо из передающего устройства, либо из приемного устройства (пользователь приемного устройства может иметь возможность задавать желательные характеристики для среды). По умолчанию второй каскад 531 получает коэффициент, представляющий поглощение поверхности отражения, из передающего устройства, хотя в этом случае пользователю приемного устройства также может быть дана возможность варьировать характеристики смоделированного пространства. Третий каскад 532 учитывает, каким путем звук, переданный источником звука, направляется из источника звука по различным направлениям в пространстве, которое должно быть смоделировано, и в каком направлении расположена поверхность отражения, смоделированная фильтром 301.

Выше уже обсуждалось в общем, как характеристики виртуального акустического окружающего пространства могут быть обработаны и переданы из одного устройства в другое посредством использования параметров. Далее будет обсуждено применение изобретения к конкретному виду передачи данных. "Мультимедиа" означает синхронизированное представление аудиовизуальных объектов пользователю. Считается, что диалоговые мультимедийные представления информации должны найти широко распространенное использование в будущем, например, как форма развлечения и организации телеконференций. В уровне техники имеется известное множество стандартов, которые задают различные способы передачи мультимедийных программ в электрической форме. В этом патентном описании мы рассматриваем, в частности, так называемые стандарты MPEG (группа экспертов по движущимся изображениям), из которых прежде всего стандарт MPEG-4 (Международный стандарт сжатия и передачи видеоданных в низкоскоростных мультимедийных системах), который находится в процессе подготовки, когда это патентное описание представляется на рассмотрение, и имеет ту цель, что передаваемое мультимедийное представление может содержать реальные и виртуальные объекты, которые вместе образуют некоторое аудиовизуальное окружающее пространство. Изобретение применимо еще, например, в случаях, соответствующих стандарту VRML (язык моделирования виртуальной реальности).

Поток данных по стандарту MPEG-4 содержит мультиплексированные аудиовизуальные объекты, которые могут содержать как часть, которая непрерывна во времени (типа некоторого синтезированного звука), так и параметры (типа положения источника звука в пространстве, которое должно быть смоделировано). Объекты могут быть заданы как иерархические, в связи с чем так называемые примитивные объекты находятся на более низком уровне иерархии. В дополнение к объектам мультимедийная программа по стандарту MPEG-4 содержит так называемое описание сцены, которое содержит такую информацию, относящуюся к взаимным отношениям объектов и к компоновке общей структуры программы, которая наиболее предпочтительно кодируется и декодируется отдельно от действительных объектов. Описание сцены также называется частью BIFS (двоичный формат для описания сцены). Передача виртуального акустического окружающего пространства согласно изобретению успешно реализуется так, что часть информации, относящаяся к нему, передается в части BIFS, и эта часть посредством использования структурного языка аудиооркестра/звукового языка аудиопартитуры (SAOL/SASL), определяется стандартом MPEG-4.

Часть BIFS известным образом содержит описание заданной поверхности (материальный узел), которое содержит поля для передачи параметров, визуально представляющих поверхности, такие как SFFloat ambientIntensity (плавающая интенсивность окружения поверхности), SFColor diffuseColor (цвет поверхности размытый цвет), SFColor emissiveColor (цвет поверхности эмиссионный цвет), SFFloat shininess (плавающее свечение поверхности), SFColor specularColor (цвет поверхности цвет при отражении) и SFFloat transparency (плавающая прозрачность поверхности). Изобретение может применяться посредством добавления к этому описанию следующих полей, применимых для передачи акустических параметров:

SFFloat diffuseSound (плавающий диффузный звук поверхности)

Значение, передаваемое в поле, представляет собой коэффициент, который определяет коэффициент диффузии акустического отражения от поверхности. Значение коэффициента находится в диапазоне от нуля до единицы.

MFFloat reffuncSound (функция, моделирующая плавающее отражение звука).

Поле передает один или более параметров, которые определяют передаточную функцию, моделирующую акустические отражения от рассматриваемой поверхности. Если используется модель с простым коэффициентом, то ради ясности, вместо этого поля можно передавать поле, названное по-другому refcoeffSound (коэффициент отражения звука), где передаваемый параметр наиболее предпочтительно представляет собой такой же, как вышеупомянутый коэффициент отражения r или набор коэффициентов, каждый из которых представляет отражение в некоторой предопределенной полосе частот. Если используется более сложная передаточная функция, то мы имеем здесь набор параметров, которые определяют передаточную функцию, например, таким же образом, как была представлена выше в связи с формулой (1).

MFFloat transfuncSound (функция, моделирующая плавающее пропускание звука).

Поле передает один или более параметров, которые определяют передаточную функцию, моделирующую акустическое пропускание через упомянутую поверхность способом, сопоставимым с предыдущим параметром (один коэффициент или коэффициенты для каждой полосы частот, в связи с чем, ради ясности, имя поля может быть transcoeffSound (коэффициент пропускания звука); или параметры, определяющие передаточную функцию).

SFInt MakerialIDSound (идентификатор материала поверхности).

Поле передает идентификатор, который идентифицирует некоторый стандартный материал в базе данных, использование которой было описано выше. Если поверхность, описанная этим полем, не имеет стандартного материала, то значение параметра, передаваемого в этом поле, может быть, например, единицей или другим согласованным значением.

Поля описаны выше как потенциальные дополнения к известному материальному узлу. Альтернативный вариант воплощения состоит в том, чтобы задать новый узел, который мы можем для примера назвать AcousticMaterial node (акустический материальный узел), и использовать вышеописанные поля или некоторые подобные и функционально равные поля как части AcousticMaterial node (акустического материального узла). Такой вариант воплощения мог бы оставить известный материальный узел для использования исключительно графических целей.

Вышеупомянутые параметры всегда относятся к некоторой поверхности. Из-за того, что рассмотрение моделирования акустического пространства также выгодно, чтобы дать некоторые параметры относительно всего пространства, можно к известной части BIFS (двоичный формат для описания сцены) добавить AcousticScene node (узел акустической сцены), в связи с чем AcousticScene node (узел акустической сцены) выступает в виде списка параметров и может содержать поля для передачи, например, следующих параметров:

MFAudio Node.

Поле представляет собой таблицу, содержимое которой сообщает, на какие другие узлы воздействуют определения, данные в AcousticScene node (узле акустической сцены).

MFFloat reverbtime.

Поле передает параметр или набор параметров, чтобы показать время реверберации.

SFBool useairabs.

Поле типа да/нет, которое сообщает должно использоваться или нет ослабление, вызванное воздухом, в моделировании виртуального акустического окружающего пространства.

SFBool usematerial.

Поле типа да/нет, которое сообщает должны использоваться или нет характеристики поверхностей, заданные в части BIFS (двоичный формат для описания сцены) в моделировании виртуального акустического окружающего пространства.

Поле MFFloat reverbtime, показывающее время реверберации, может быть задано, например, следующим образом. Если в этом поле задается только одно значение, то оно представляет время реверберации, используемое на всех частотах. Если имеется 2n значений, то последовательные значения (1-е и 2-е значения, 3-е и 4-е значения и так далее) образуют пару, где первое значение показывает полосу частот, а второе значение показывает время реверберации на упомянутой полосе частот.

Из проектов стандарта MPEG-4 мы знаем ListeningPoint node (узел точки прослушивания), который представляет в основном обработку звука и который представляет положение слушателя в пространстве, которое должно быть смоделировано. Когда изобретение применяется к этому узлу, мы можем добавлять следующие поля:

SFInt spatialize ID.

Параметр, заданный в этом поле, показывает идентификатор, с помощью которого мы идентифицируем функцию, связанную с точкой прослушивания, относящейся к конкретному применению или пользователю, такому как модель HRTF (передаточной функции, относящейся к голове).

SFInt dirsoundrender.

Значение, передаваемое в этом поле, показывает, какой уровень обработки звука применим для звука, который приходит по прямой от источника звука до точки прослушивания без каких-либо отражений. Для примера мы можем задумать три возможных уровня, в связи с чем так называемый метод прокрутки амплитуды применяется на самом низком уровне, задержки межслуховой разности времени (ITD) дополнительно наблюдаются на среднем уровне, и на самом высоком уровне применяется наиболее сложное вычисление (например, модели HRTF (передаточной функции, относящейся к голове)).

SFInt reflsoundrender.

Это поле передает параметр, представляющий выбор уровня, соответствующего уровню вышеупомянутого поля, но относящийся к звуку, приходящему через отражения.

Масштабирование представляет собой еще одну особенность, которая может учитываться, когда виртуальное акустическое окружающее пространство передается в потоке данных по стандартам MPEG-4 или VRML (язык моделирования виртуальной реальности) или других подключениях, способом согласно изобретению. Все приемные устройства не обязательно могут использовать полное виртуальное акустическое окружающее пространство, произведенное передающим устройством, потому что это пространство может содержать так много заданных поверхностей, что приемное устройство не способно сформировать такое же число фильтров, или что обработка модели в приемном устройстве будет слишком тяжела для вычисления. Чтобы учесть это, параметры, представляющие поверхности, могут быть скомпонованы так, чтобы наиболее существенные поверхности, относящиеся к акустике, могли отделяться приемным устройством (например, поверхности задаются в списке, где они находятся в порядке, соответствующем акустической значимости), в связи с чем приемное устройство с ограниченной пропускной способностью может обрабатывать в порядке значимости столько поверхностей, сколько оно способно.

Конечно, обозначения полей и параметров, представленных выше, являются только иллюстративными и не предназначены для ограничения изобретения.

В заключение, будет описано применение изобретения к телефонной связи, или более точно, к видеотелефонной связи по телекоммуникационной сети общего пользования. На фиг.6 изображены передающее телефонное устройство 601, приемное телефонное устройство 602 и подключение связи между ними через телекоммуникационную сеть 603 общего пользования. Для примера предположим, что оба телефонных устройства оборудованы для видеотелефонного использования, подразумевая, что они содержат микрофон 604, систему 605 воспроизведения звука, видеокамеру 606 и дисплей 607. Дополнительно оба телефонных устройства содержат клавиатуру 608 для ввода команд и сообщений. Система воспроизведения звука может представлять собой громкоговоритель, набор громкоговорителей, наушники (как на фиг.6) или их комбинации. Термины "передающее телефонное устройство" и "приемное телефонное устройство" относятся к следующему упрощенному описанию аудиовизуальной передачи в одном направлении; типичное видеотелефонное подключение, естественно, является двунаправленным. Телекоммуникационная сеть 603 общего пользования может быть цифровой сотовой сетью, коммутируемой телефонной сетью общего пользования, цифровой сетью с комплексными услугами (ISDN), сетью Интернет, локальной сетью (LAN), глобальной сетью (WAN) или некоторой их комбинацией.

Цель применения изобретения к системе фиг.6 состоит в том, чтобы дать пользователю приемного телефонного устройства 602 аудиовизуальное ощущение пользователя передающего телефонного устройства 601 так, чтобы это аудиовизуальное ощущение было как можно ближе к естественному, или как можно ближе к некоторому воображаемому целевому ощущению. Применение изобретения означает, что передающее телефонное устройство 601 составляет модель акустического окружающего пространства, в котором оно расположено в настоящее время, или в котором пользователь передающего телефонного устройства хочет себя представить. Упомянутая модель состоит из множества поверхностей отражения, которые моделируются как параметризованные передаточные функции. При составлении модели передающее телефонное устройство может использовать собственный микрофон и систему воспроизведения звука, испуская множество контрольных сигналов и измеряя отклик действующего в настоящий момент окружающего пространства. Во время установки подключения связи передающее телефонное устройство передает в приемное телефонное устройство параметры, которые описывают составленную модель. Как ответ на получение этих параметров, приемное телефонное устройство строит банк фильтров, состоящий из фильтров с соответствующими параметризованными передаточными функциями. После этого все звуковые сигналы, приходящие от передающего телефонного устройства, направляются через построенный банк фильтров перед воспроизведением соответствующих акустических сигналов в системе воспроизведения звука приемного телефонного устройства, таким образом создавая звуковую часть требуемого аудиовизуального ощущения.

При составлении модели акустического окружающего пространства могут быть сделаны некоторые основные допущения. Обычно расстояние между лицом пользователя, принимающего участие в подключении диалоговой видеотелефонной связи, и дисплеем составляет приблизительно 40-80 см. Таким образом, в виртуальном акустическом окружающем пространстве, предназначенном для описания пользователей, говорящих лицом к лицу, естественное расстояние между источником звука и точкой прослушивания составляет между 80 и 160 см. Также могут быть сделаны некоторые основные предположения о размере комнаты, где находится пользователь со своим видеотелефонным устройством так, чтобы отражения от стен комнат можно было учесть. Естественно, также возможно вручную программировать параметры желательного акустического окружающего пространства для передающего и/или приемного телефонного устройства.