способ и устройство для улучшения воспроизведения звука

Формула изобретения

1. Способ восстановления звукового сигнала, имеющего, по крайней мере, один звуковой канал и связанные параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи, характеризующийся тем, что включает

выбор установленного направления происхождения относительно позиции звукозаписи;

и изменение части звукового канала для получения восстановленной части восстановленного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к установленному направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от установленного направления происхождения.

2. Способ по п.1, характеризующийся тем, что выбор включает считывание установленного направления с памяти.

3. Способ по п.1, характеризующийся тем, что модификация включает изменение представления частотной области части звукового канала.

4. Способ по п.1, характеризующийся тем, что модификация включает изменение представления временного интервала части звукового канала.

5. Способ по п.1, характеризующийся тем, что модификация включает получение коэффициента масштабирования для каждой части звукового канала таким образом, что масштабируемая часть звукового канала, полученная путем умножения части звукового канала на коэффициент масштабирования, имеющего связанные параметры направления, указывающие направление происхождения, расположенное близко к желаемому направлению происхождения, имеют усиленную интенсивность относительно другой масштабируемой части звукового канала, имеющего связанные параметры направления, указывающие направление происхождения, расположенное дальше от желаемого направления происхождения.

6. Способ по п.1, характеризующийся тем, что включает получение частотного представления, по крайней мере, одного звукового канала.

7. Способ по п.1, характеризующийся тем, что дифференцирование включает получение представления конечной ширины первого и второго частотных интервалов, по крайней мере, одного звукового канала, где ширина первого частотного интервала отличается от ширины второго частотного интервала.

8. Способ по п.1, характеризующийся тем, что выбор желаемого направления происхождения включает приемные входные параметры, указывающие желаемое направление в качестве пользовательского ввода.

9. Способ по п.1, характеризующийся тем, что выбор желаемого направления включает приемные параметры направления, связанные со звуковым сигналом, параметры направления указывают желаемое направление.

10. Способ по п.1, характеризующийся тем, что выбор желаемого направления включает определение направления происхождения конечной ширины частотного интервала, по крайней мере, одного звукового канала.

11. Способ по п.1, характеризующийся тем, что включает

получение параметра диффузности, связанного со звуковым каналом,

параметр диффузности указывает диффузность части звукового канала, и

где изменение части звукового канала включает уменьшение интенсивности части звукового канала, имеющего параметр диффузности, указывающий на высокую диффузность относительно другой части звукового канала, имеющего параметр диффузности, указывающий на более низкую диффузность.

12. Способ по п.1, характеризующийся тем, что включает повышающее микширование, по крайней мере, одного звукового канала на множественные каналы для воспроизведения через систему громкоговорителей, имеющую множественные громкоговорители, где каждый из многочисленных каналов имеет часть канала, соответствующую части, по крайней мере, одного звукового канала.

13. Способ по п.12, характеризующийся тем, что модификация включает усиление интенсивности каждой из частей канала повышающего микширования от части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к желаемому направлению происхождения относительно других частей канала множественных каналов повышающего микшировання от другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от желаемого направления происхождения.

14. Способ по п.13, характеризующийся тем, что включает панорамирование амплитуды частей канала таким образом, что воспринятое направление происхождения восстановленных частей канала соответствует направлению происхождения при воспроизведении с использованием заданной установки громкоговорителей.

15. Способ улучшения направленного восприятия звукового сигнала, характеризующийся тем, что включает

получение, по крайней мере, одного звукового канала и связанных параметров направления, указывающих направление происхождения части звукового канала относительно позиции звукозаписи;

выбор установленного направления происхождения относительно позиции звукозаписи; и

изменение части звукового канала для получения части улучшенного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к установленному направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от установленного направления происхождения.

16. Звуковой декодер для восстановления звукового сигнала, имеющего, по крайней мере, один звуковой канал и связанные параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи, характеризующийся тем, что включает

селектор направления, адаптированный для выбора установленного направления происхождения относительно позиции звукозаписи; и

модификатор звуковой части для изменения части звукового канала для получения восстановленной части восстановленного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к установленному направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от установленного направления происхождения.

17. Звуковое кодирующее устройство для улучшения направленного восприятия звукового сигнала, характеризующееся тем, что включает

генератор сигнала для получения, по крайней мере, одного звукового канала и связанных параметров направления, указывающих направление происхождения части звукового канала относительно позиции звукозаписи;

селектор направления, адаптированный для выбора установленного направления происхождения относительно позиции звукозаписи; и

модификатор сигнала для изменения части звукового канала для получения части улучшенного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к установленному направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от установленного направления происхождения.

18. Система улучшения восстановленного звукового сигнала, характеризующаяся тем, что включает

звуковое кодирующее устройство для получения звукового сигнала, имеющее, по крайней мере, один звуковой канал и связанные параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи;

селектор направления, адаптированный для выбора установленного направления происхождения относительно позиции звукозаписи; и

звуковой декодер, имеющий модификатор звуковой части для изменения части звукового канала для получения восстановленной части восстановленного звукового сигнала, где изменение включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к установленному направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное дальше от установленного направления происхождения.

19. Машиночитаемый носитель записи, содержащий сохраненный на нем программный код для выполнения способа по п.1 при запуске на компьютере.

Описание изобретения к патенту

Данное изобретение имеет отношение к методам, дающим возможность улучшить восприятие направления источника восстановленного звукового сигнала. В частности, данное изобретение предлагает устройство и способ для воспроизведения записанных звуковых сигналов таким образом, что выбираемое направление источников звука может быть акцентировано или перегружено относительно звуковых сигналов, поступающих с других направлений.

Обычно при многоканальном воспроизводстве и прослушивании слушатель окружен многочисленными громкоговорителями. Существуют различные методы захвата звуковых сигналов для определенных установок. Общая цель при воспроизведении состоит в том, чтобы воспроизвести пространственный состав первоначально записанного звука, то есть происхождение индивидуального звукового источника, такого как местоположение трубы в оркестре. Использование нескольких акустических установок достаточно распространено и может создать различные пространственные впечатления. Не используя специальные методы компоновки, общеизвестные двухканальные стереоустановки могут только воссоздать слуховые события на линии между этими двумя громкоговорителями. Это, главным образом, достигается так называемым «амплитудным панорамированием», где амплитуда сигнала, связанного с одним звуковым источником, распределяется между этими двумя громкоговорителями, в зависимости от положения источника звука относительно громкоговорителей. Это обычно делается во время звукозаписи или последующего микширования. То есть источник звука, поступающий с крайне-левой позиции относительно слушателя, будет, главным образом, воспроизведен левым громкоговорителем, а источник звука с позиции перед слушателем будет воспроизведен с идентичной амплитудой (уровнем) обоими громкоговорителями. Однако звук, исходящий с других направлений, не может быть воспроизведен.

Следовательно, при использовании большего количества громкоговорителей, которые распределены вокруг слушателя, большее количество направлений может быть покрыто, и может быть создано более естественное пространственное впечатление. Вероятно, самая известная схема расположения многоканальных громкоговорителей - это стандарт 5.1 (ITU-R775-1), который состоит из 5 громкоговорителей, азимутальные углы которых определены равными 0°, ±30° и ±110° относительно положения слушателя. Это означает, что во время звукозаписи или микширования сигнал приспосабливается к этой определенной конфигурации громкоговорителей, и отклонения установки воспроизведения от стандарта приведут к снижению качества воспроизведения.

Также были предложены многочисленные другие системы с различным числом громкоговорителей, расположенных в различных направлениях. Профессиональные и специальные системы, особенно в театрах и звуковых установках, также включают громкоговорители, расположенные на различных высотах.

Согласно различным установкам воспроизведения несколько различных методов записи были разработаны и предложены для вышеупомянутых систем громкоговорителя, чтобы записывать и воспроизводить пространственное впечатление в ситуации прослушивания, как если бы оно было воспринято при звукозаписи в окружающей среде. Теоретически идеальный способ записи пространственного звука для выбранной многоканальной системы громкоговорителя состоял бы в том, чтобы использовать столько же микрофонов, сколько имеется громкоговорителей. В таком случае диаграммы направления микрофонов должны также соответствовать схеме расположения громкоговорителей так, чтобы звук от любого единичного направления был бы записан только небольшим количеством микрофонов (1, 2 или больше). Каждый микрофон связан с определенным громкоговорителем. Чем больше громкоговорителей используется при воспроизведении, тем более узкими должны быть диаграммы направления микрофонов. Однако узко-направленные микрофоны довольно дороги и обычно имеют неплоскую частотную характеристику, значительно ухудшающую качество записанного звука. Кроме того, использование нескольких микрофонов со слишком широкими диаграммами направления в качестве ввода к многоканальному воспроизведению приводит к окрашенному и расплывчатому слуховому восприятию, вследствие того, что звук, исходящий из единичного направления, будет всегда воспроизводиться большим количеством громкоговорителей, чем необходимо, как если бы запись производилась микрофонами, связанными с различными громкоговорителями. В целом, имеющиеся в настоящее время микрофоны лучше всего подходят для двухканальной записи и воспроизведения, то есть они разработаны без цели воспроизведения окружающего пространственного впечатления.

Относительно конструкции микрофона обсуждалось несколько способов приспособления диаграмм направления микрофонов к требованиям пространственного воспроизведения звука. Вообще, все микрофоны захватывают звук по-разному в зависимости от направления поступления звука в микрофон. Таким образом, микрофоны имеют различную чувствительность в зависимости от направления поступления записанного звука. В некоторых микрофонах этот эффект незначителен, поскольку они захватывают звук почти независимо от направления. Эти микрофоны обычно называют ненаправленными микрофонами. В типичной конструкции микрофона круглая диафрагма прикреплена к маленькому воздухонепроницаемому корпусу. Если диафрагма не прикреплена к корпусу, и звук достигает ее одинаково с каждой стороны, то ее диаграмма направления имеет два лепестка. Таким образом, такой микрофон захватывает звук с равной чувствительностью и спереди, и сзади диафрагмы, однако, с обратными полярностями. Такой микрофон не захватывает звук, поступающий с направления, совпадающего с плоскостью диафрагмы, то есть перпендикулярного направлению максимальной чувствительности. Такая диаграмма направления называется диполем, или «восьмеркой».

Ненаправленные микрофоны могут также быть модифицированы в направленные микрофоны при помощи использования воздухопроницаемого корпуса для микрофона. Корпус специально сконструирован таким образом, что звуковые волны могут проходить по корпусу и достигать диафрагмы, в которой некоторые направления распространения являются предпочтительными, так что диаграмма направления такого микрофона становится конфигурацией между ненаправленным микрофоном и диполем. Эти конфигурации могут, например, иметь два лепестка. Однако лепестки могут иметь различную интенсивность. Некоторые наиболее известные микрофоны имеют конфигурации только с одним единственным лепестком. Самый важный пример - кардиоидная конфигурация, где направленная функция D может быть выражена как D=1+cos ( ), - направление поступления звука. Направленная функция, таким образом, определяет, какая фракция поступающей звуковой амплитуды захватывается в зависимости от направления.

Ранее обсужденные ненаправленные конфигурации также называют конфигурациями нулевого порядка, а другие ранее упомянутые конфигурации (диполь и кардиоид) называют конфигурациями первого порядка. Все ранее обсужденные конструкции микрофона не допускают произвольное формирование диаграммы направления, так как их диаграмма направления полностью определяется их механической конструкцией.

Чтобы частично преодолеть эту проблему, были разработаны некоторые специализированные акустические конструкции, которые могут использоваться для создания более узких диаграмм направления, чем таковые у микрофонов первого порядка. Например, если прикрепить трубку с отверстиями в ней к ненаправленному микрофону, можно создать микрофон с узкой диаграммой направления. Эти микрофоны называются остронаправленными микрофонами. Однако обычно они не имеют плоской частотной характеристики, то есть диаграмма направления сужена за счет качества записанного звука. Кроме того, диаграмма направления предопределена геометрической конструкцией и, таким образом, диаграмму направления записи, выполненной с таким микрофоном, нельзя контролировать после записи.

Поэтому были предложены другие методы, позволяющие частично изменять диаграмму направления после фактической записи. В целом, это рассчитано на основную идею записи звука при помощи множества ненаправленных или направленных микрофонов с последующей обработкой сигнала. Недавно был предложен целый ряд таких различных методов. Довольно простой пример - запись звука с двумя ненаправленными микрофонами, размещенными близко друг к другу, и вычитание обоих сигналов друг из друга. Это создает виртуальный сигнал микрофона, имеющий диаграмму направления, эквивалентную диполю.

В других более сложных схемах сигналы микрофона могут также быть отсрочены или отфильтрованы до их суммирования. В технике, использующей формирование луча, также известной в связи с беспроводной ЛВС (локальная вычислительная сеть), сигнал, соответствующий узкому лучу, формируется путем фильтрации каждого сигнала микрофона при помощи специально разработанного фильтра и суммирования сигналов после фильтрации (формирование фильтрованно-суммированного луча). Однако эти методы «слепые» в отношении самого сигнала, то есть они не дают информации о направлении поступления звука. Таким образом, должна быть задана предопределенная диаграмма направления, которая независима от фактического присутствия источника звука в предопределенном направлении. В целом, определение «направления поступления» звука является задачей само по себе.

В целом, многочисленные различные пространственные характеристики направления могут быть сформированы при помощи вышеупомянутых методов. Однако формирование произвольных пространственно отобранных конфигураций чувствительности (то есть формирование узких диаграмм направления) требует большого количества микрофонов.

Альтернативный способ создания многоканальной записи состоит в том, чтобы разместить микрофон близко к каждому источнику звука (например, инструмент), чтобы записывать и восстанавливать пространственное впечатление, контролируя уровни крупноплановых сигналов микрофона в окончательной смеси. Однако такая система требует большого количества микрофонов и большого пользовательского взаимодействия при осуществлении окончательного понижающего микширования.

Недавно был предложен метод преодоления вышеупомянутой проблемы, названный направленным кодированием звука (DirAC), который может использоваться с различными системами микрофона и который позволяет записывать звук для воспроизведения с произвольными установками громкоговорителя. Цель DirAC состоит в воспроизведении пространственного впечатления существующей акустической окружающей среды настолько возможно точно, используя многоканальную систему громкоговорителя, имеющую произвольную геометрическую конфигурацию. В пределах окружающей среды звукозаписи отклики окружающей среды (которые могут быть непрерывным записанным звуком или импульсными характеристиками) измеряются при помощи ненаправленного микрофона (W) и набора микрофонов, позволяющих измерить направление поступления звука и диффузность звука. В следующих параграфах и в рамках заявки, термин «диффузность» должен пониматься как мера ненаправленности звука. Таким образом, звук, поступающий на позицию прослушивания или записи с равной интенсивностью со всех направлений, максимально рассеян. Обычный способ определения диффузности состоит в использовании величин диффузности из интервала [0, , 1], где величина 1 описывает максимально рассеянный звук, а величина 0 описывает идеально направленный звук, то есть звук, поступающий только из одного ясно различимого направления. Один общеизвестный метод измерения направления поступления звука использует 3 микрофона «восьмерки» (XYZ), ориентированные по осям декартовой системы координат. Разработаны специальные микрофоны, так называемые «микрофоны звукового поля», которые прямо приводят ко всем желаемым откликам. Однако, как было сказано выше, W, X, Y и Z сигналы могут также быть вычислены из набора дискретных ненаправленных микрофонов.

При анализе DirAC записанный звуковой сигнал разделяется на частотные каналы, которые соответствуют частотной селективности слухового восприятия человека. Таким образом, сигнал, например, обработанный блоком фильтров или преобразованием Фурье для разделения сигнала на многочисленные частотные каналы, имеющие полосу пропускания, приспособленную к частотной селективности слуха человека. Затем сигналы диапазона частот анализируются, чтобы определить направление происхождения звука и величину диффузности для каждого частотного канала с предопределенным временным разрешением. Это временное разрешение не должно быть зафиксировано и может, конечно, быть приспособлено к окружающей среде звукозаписи. В DirAC один или более звуковых каналов записываются или передаются вместе с проанализированным направлением и данными диффузности.

При синтезировании или расшифровке звуковые каналы, в конечном итоге поступающие в громкоговорители, могут основываться на ненаправленном канале W (записанном с высоким качеством благодаря ненаправленной диаграмме направления используемого микрофона), или звук для каждого громкоговорителя может быть вычислен как взвешенная сумма W, X, Y и Z, то есть путем формирования сигнала, имеющего определенную характеристику направления для каждого громкоговорителя. Соответственно кодированию каждый звуковой канал разделяется на частотные каналы, которые далее произвольно разделяются на рассеянные и нерассеянные потоки, в зависимости от проанализированной диффузности. Если диффузность оказалась высокой, рассеянный поток может быть воспроизведен, используя метод, обеспечивающий рассеянное восприятие звука, такой как методы декорреляции, также используемые в стереофоническом кодировании вызова. Нерассеянный звук воспроизводится с использованием метода, направленного на получение точечного виртуального источника звука, расположенного в направлении, обозначенном данными направления, определенными при анализе, то есть генерацией сигнала DirAC. Таким образом, пространственное воспроизведение не привязано к одной определенной «идеальной» установке громкоговорителя, как в предшествующих прототипных методах (например, 5.1). Это особо касается случая, когда происхождение звука определено как параметры направления (то есть описано вектором) с использованием сведений о диаграмме направления на микрофонах, используемых при звукозаписи. Как уже упоминалось, происхождение звука в 3-мерном пространстве параметризуется в частотно-селективной манере. По существу, направленное впечатление может быть воспроизведено с высоким качеством на произвольных установках громкоговорителя, если известна конфигурация установки громкоговорителя. Поэтому DirAC не ограничен специальными конфигурациями громкоговорителя и обычно обеспечивает более гибкое пространственное воспроизведение звука.

Хотя было разработано большое количество методов для воспроизведения многоканальной звукозаписи и для записи соответствующих сигналов для последующего многоканального воспроизведения, ни один из предшествующих прототипных методов не позволяет влиять на уже записанный сигнал, таким образом, чтобы направление происхождения звуковых сигналов могло быть акцентировано во время воспроизведения, таким образом, чтобы, например, повысить внятность сигнала от одного индивидуального желаемого направления.

Согласно одному осуществлению данного изобретения, звуковой сигнал, имеющий, по крайней мере, один звуковой канал и связанные с ним параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи, может быть восстановлен, обеспечивая повышение восприимчивости сигнала, поступающего от определенного направления или от многочисленных определенных направлений.

Таким образом, при воспроизведении может быть выбрано желаемое направление происхождения звука относительно позиции звукозаписи. При дифференцировании восстановленной части восстановленного звукового сигнала, часть звукового канала изменяется таким образом, что интенсивность частей звукового канала, имеющего параметры направления, указывающие направление происхождения звука, расположенного близко к желаемому направлению происхождения, увеличивается относительно других частей звукового канала, имеющего параметры направления, указывающие направление происхождения, находящееся дальше от желаемого направления происхождения. Направления происхождения частей звукового канала или многоканального сигнала могут быть акцентированы, таким образом, чтобы обеспечить лучшее восприятие звуковых объектов, которые были расположены на выбранном направлении во время звукозаписи.

Согласно дальнейшему осуществлению данного изобретения, пользователь может выбрать во время восстановления, какое направление или какие направления должны быть акцентированы так, чтобы части звукового канала или части многократных звуковых каналов, связанные с выбранным направлением, были акцентированы, то есть их интенсивность или амплитуда увеличивались относительно остальных частей. Согласно осуществлению, акцент или ослабление звука, поступающего из определенного направления, могут быть сделаны с намного более отчетливым пространственным разрешением, чем в системах, не использующих параметры направления. Согласно дальнейшему осуществлению данного изобретения могут быть определены произвольные пространственные весовые функции, которые не могут быть получены при использовании обычных микрофонов. Кроме того, весовые функции могут быть временными или частотными, так что дальнейшие осуществления данного изобретения могут использоваться с высокой гибкостью. Кроме того, весовые функции очень легки для применения и модернизации, поскольку они должны только быть помещены в систему вместо заменяемых аппаратных средств (например, микрофоны).

Согласно дальнейшему осуществлению данного изобретения, звуковые сигналы, связанные с параметром диффузности (параметр диффузности, указывающий диффузность части звукового канала), восстанавливаются так, что интенсивность части звукового канала с высокой диффузностью уменьшается относительно другой части звукового канала, связанного с более низкой диффузностью.

Таким образом, при восстановлении звукового сигнала диффузность отдельных частей звукового сигнала может приниматься во внимание для дальнейшего усиления направленного восприятия восстановленного сигнала. Это может дополнительно усилить перераспределение источников звука относительно методов, использующих только части рассеянного звука для увеличения полной диффузности сигнала, вместо того, чтобы использовать информацию диффузности для лучшего перераспределения источников звука. Обратите внимание на то, что данное изобретение также позволяет обратно акцентировать части записанного звука рассеянного происхождения, например, сопровождающие сигналы.

Согласно дальнейшему осуществлению, по крайней мере, один звуковой канал микширован с повышением на множественные звуковые каналы. Множественные звуковые каналы могут соответствовать числу громкоговорителей, доступных для воспроизведения. Могут использоваться произвольные установки громкоговорителей для усиления перераспределения источников звука с гарантией того, что направление источника звука всегда воспроизводится насколько возможно хорошо на имеющемся оборудовании, независимо от числа доступных громкоговорителей.

Согласно другому осуществлению данного изобретения, воспроизведение может даже быть выполнено через монофонический громкоговоритель. Конечно, направление происхождения сигнала, в этом случае, будет физическим местоположением громкоговорителя. Однако, выбирая желаемое направление происхождения сигнала относительно позиции звукозаписи, слышимость сигнала, исходящего из выбранного направления, может быть значительно усилена, по сравнению с воспроизведением простого понижающего микширования.

Согласно дальнейшему осуществлению данного изобретения, может быть точно воспроизведено направление происхождения сигнала, когда один или более звуковых каналов смикшированы с повышением на число каналов, соответствующее громкоговорителям. Направление происхождения может быть восстановлено насколько возможно хорошо при использовании, например, метода амплитудного панорамирования. Для дальнейшего улучшения перцепционного качества могут быть введены дополнительные фазовые сдвиги, которые также зависят от выбранного направления.

Определенные осуществления данного изобретения могут дополнительно уменьшать стоимость капсул микрофона для записи звукового сигнала, серьезно не затрагивая качество звука, так как, по крайней мере, микрофон, используемый для определения оценки направления/рассеянности не обязательно должен иметь плоскую частотную характеристику.

Несколько осуществлений данного изобретения будут в дальнейшем описаны со ссылками на приложенные чертежи.

Фиг.1 показывает осуществление метода для восстановления звукового сигнала;

Фиг.2 показывает блок-схему устройства для восстановления звукового сигнала; и

Фиг.3 показывает блок-схему дальнейшего осуществления;

Фиг.4 показывает пример использования изобретенного метода или изобретенного устройства в сценарии организации телеконференций;

Фиг.5 показывает осуществление метода для усиления направленного восприятия звукового сигнала;

Фиг.6 показывает осуществление декодера для восстановления звукового сигнала; и

Фиг.7 показывает осуществление системы для усиления направленного восприятия звукового сигнала.

Фиг.1 показывает осуществление способа для восстановления звукового сигнала, имеющего, по крайней мере, один звуковой канал и связанные с ним параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи. На стадии выбора 10 желаемое направление происхождения относительно позиции звукозаписи выбирается для восстановленной части восстановленного звукового сигнала, где восстановленная часть соответствует части звукового канала. Таким образом, для части сигнала, подлежащей обработке, выбирается желаемое направление происхождения, из которого части сигнала будут ясно слышимы после восстановления. Выбор может быть сделан непосредственно вводом пользователя или автоматически, как детализировано ниже.

Часть может быть временной областью, частотной областью, или временной областью определенного частотного интервала звукового канала. На стадии модификации 12 часть звукового канала изменяется для получения восстановленной части восстановленного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, близкого к желаемому направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенного дальше от желаемого направления происхождения. Таким образом, такие части звукового канала акцентируются путем усиления их интенсивность или уровня, который может, например, быть осуществлен при умножении масштабного коэффициента на часть звукового канала. Согласно осуществлению части, происходящие из направления, расположенного близко к выбранному (желаемому) направлению, умножаются на крупномасштабные факторы, чтобы акцентировать эти части сигнала при восстановлении и, чтобы улучшить слышимость тех записанных звуковых объектов, которые интересуют слушателя. В целом, в контексте этой заявки, увеличение интенсивности сигнала или канала должно пониматься как любая мера, которая формирует лучше слышимый сигнал. Это может, например, быть увеличение амплитуды сигнала энергии, которую несет сигнал, или умножение сигнала на масштабный коэффициент, больше единицы. В качестве альтернативы, чтобы достигнуть эффекта, громкость конкурирующих сигналов может быть уменьшена.

Выбор желаемого направления может быть непосредственно осуществлен пользователем через пользовательский интерфейс на позиции прослушивания. Однако, согласно альтернативным осуществлениям, выбор может выполняться автоматически, например, при помощи анализа параметров направления, так чтобы частотные области, имеющие примерно то же самое происхождение, акцентировались, тогда как остальные части звукового канала заглушены. Таким образом, сигнал может быть автоматически сфокусирован на преобладающих источниках звука, не требуя дополнительного пользовательского ввода на конце прослушивания.

Согласно дальнейшим осуществлениям стадия выбора опущена, так как направление происхождения было установлено. Таким образом, увеличивается интенсивность части звукового канала, имеющего параметры направления, указывающие направление происхождения, находящееся близко к установленному направлению. Установленное направление может, например, быть аппаратным обеспечением, то есть направление может быть предопределено. Если, например, в сценарии организации телеконференций интерес представляет только центральный источник сообщений, это может быть осуществлено при использовании предопределенного установленного направления. Альтернативные осуществления могут считывать установленное направление с памяти, которая может также хранить многие альтернативные направления, которые будут использоваться как установленные направления. Одно из них может, например, быть считано при включении изобретенного устройства.

Согласно альтернативному осуществлению выбор желаемого направления может также быть выполнен на стороне кодирующего устройства, то есть при записи сигнала, так что дополнительные параметры передаются со звуковым сигналом, указывая желаемое направление для воспроизведения. Таким образом, пространственное восприятие восстановленного сигнала может уже быть выбрано в кодирующем устройстве без сведений о конкретной установке громкоговорителя, используемой для воспроизведения.

Так как метод восстановления звукового сигнала не зависит от конкретной установки громкоговорителя, предназначенной для воспроизведения восстановленного звукового сигнала, то его можно применять как к монофонической, так и к стерео и многоканальной конфигурации громкоговорителя. Таким образом, согласно дальнейшему осуществлению пространственное впечатление от воспроизведенного окружения в дальнейшем обрабатывается для усиления воспринимаемости сигнала.

При использовании для монофонического воспроизведения, эффект может интерпретироваться как запись сигнала с новым типом микрофона, способного формировать произвольные диаграммы направления. Однако этот эффект может быть полностью достигнут на приемном конце, то есть во время воспроизведения сигнала без каких-либо изменений в установке звукозаписи.

Фиг.2 показывает осуществление устройства (декодер) для восстановления звукового сигнала, то есть осуществление декодера 20 для восстановления звукового сигнала. Декодер 20 включает селектор направления 22 и модификатор звуковой части 24. Согласно осуществлению Фиг.2 многоканальный звуковой ввод 26, записанный несколькими микрофонами, анализируется анализатором направления 28, который получает параметры направления, указывающие направление происхождения части звуковых каналов, то есть направление происхождения проанализированной части сигнала. Согласно одному осуществлению данного изобретения выбирается направление, с которого большая часть энергии подается на микрофон. Позиция звукозаписи определяется для каждой конкретной части сигнала. Это может, например, быть также сделано при применении ранее описанных методов, использующих DirAC-микрофоны. Конечно, другой метод направленного анализа, основанный на записи звуковой информации, может использоваться для выполнения анализа. В результате анализатор направления 28 получает параметры направления 30, указывающие направление происхождения части звукового канала или многоканального сигнала 26. Кроме того, анализатор направления 28 может служить для получения параметра диффузности 32 для каждой части сигнала (например, для каждого частотного интервала или для каждого срока сигнала).

Параметр направления 30 и, по выбору, параметр диффузности 32 передается селектору направления 22, который осуществляет выбор желаемого направления происхождения относительно позиции звукозаписи для восстановленной части восстановленного звукового сигнала. Информация относительно желаемого направления передается к модификатору звуковой части 24. Модификатор звуковой части 24 получает, по крайней мере, один звуковой канал 34, имеющий часть, для которой были получены параметры направления. По крайней мере, один канал, измененный модификатором звуковой части, может, например, быть многоканальным сигналом понижающего микширования 26, генерированным при помощи обычных многоканальных алгоритмов понижающего микширования. Один чрезвычайно простой случай - прямая сумма сигналов многоканального звукового ввода 26. Однако, поскольку изобретенные осуществления не ограничены числом входных каналов, в альтернативном осуществлении, все каналы звукового ввода 26 могут быть одновременно обработаны звуковым декодером 20.

Модификатор звуковой части 24 изменяет звуковую часть для получения восстановленной части восстановленного звукового сигнала, где изменение включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к желаемому направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, находящееся дальше от желаемого направления происхождения. В примере фиг.2 модификация выполнена путем умножения масштабного коэффициента 36 (q) на часть звукового канала, которая будет изменена. Таким образом, если анализируется часть звукового канала, происходящая из направления, расположенного близко к выбранному желаемому направлению, крупномасштабный фактор 36 умножается на звуковую часть. Таким образом, на выходе 38 модификатор звуковой части выводит восстановленную часть восстановленного звукового сигнала, соответствующую части звукового канала, существующей на входе. Как, кроме того, обозначено пунктирными линиями на выходе 38 модификатора звуковой части 24, это может быть выполнено не только для выходного моносигнала, но также и для многоканальных выходных сигналов, для которых число выходных каналов не установлено или не предопределено.

Другими словами, осуществление звукового декодера 20 вводится из такого направленного анализа как, например, используемый в DirAC. Звуковые сигналы 26 от массива микрофонов могут быть разделены на диапазоны частот согласно частотному разрешению слуховой системы человека. Направление звука и, по выбору, диффузность звука анализируются в зависимости от времени в каждом частотном канале. Эти признаки получаются далее как, например, угловой азимут направления (azi) и повышение (ele), и как коэффициент диффузности Psi, который изменяется от ноля до единицы.

Затем намеченные или выбранные характеристики направления накладываются на полученные сигналы, используя процедуру взвешивания, которая зависит от углов направления (azi и/или ele) и, по выбору, от диффузности (Psi). Очевидно, что это взвешивание может быть определено по-разному для различных частотных диапазонов, и, в целом, меняется в течение долгого времени.

Фиг.3 показывает дальнейшее осуществление данного изобретения, основанного на синтезировании DirAC. В том смысле осуществление Фиг.3 может быть интерпретировано как улучшение воспроизведения DirAC, которое позволяет контролировать уровень звука в зависимости от анализируемого направления. Это позволяет акцентировать звук, поступающий из одного или многочисленных направлений, или подавить звук от одного или множественных направлений. При использовании для многоканального воспроизведения достигается постобработка воспроизведенного звукового образа. Если только один канал используется в качестве выхода, эффект эквивалентен использованию направленного микрофона с произвольной диаграммой направления во время записи сигнала. В осуществлении на фиг.3 показано дифференцирование параметров направления, а так же дифференцирование одного переданного звукового канала. Анализ выполнен на основе В-форматных каналов микрофона W, X, Y и Z, как, например, записанных при помощи микрофонов звукового поля.

Обработка выполняется по циклам. Поэтому непрерывные звуковые сигналы разделяются на циклы, которые масштабируются функцией окна, чтобы избежать неоднородности на границах цикла. Циклы сигнала, обработанного методом окна, подвергаются преобразованию Фурье в блоке преобразования Фурье 40, деля сигналы микрофона на N частотных диапазонов. Для простоты обработка одного произвольного частотного диапазона будет описана в следующих параграфах, поскольку остальные частотные диапазоны обрабатываются аналогично. Блок преобразования Фурье 40 получает коэффициенты, описывающие силу имеющейся частотной составляющей в каждом из В-форматных каналов микрофона W, X, Y, и Z в пределах анализируемого оконного цикла. Эти параметры частоты 42 вводятся в звуковое кодирующее устройство 44 для получения звукового канала и связанных параметров направления. В осуществлении, показанном на фиг.3, переданный звуковой канал выбран в качестве ненаправленного канала 46, имеющего информацию о сигнале со всех направлений. Основанный на коэффициентах 42 для ненаправленных и направленных частей В-форматных каналов микрофона, анализ направления и диффузности выполняется блоком направленного анализа 48.

Направление происхождения звука для анализируемой части звукового канала 46 передается на звуковой декодер 50 для восстановления звукового сигнала вместе с ненаправленным каналом 46. Когда присутствуют параметры диффузности 52, тракт сигнала расщепляется на нерассеянный тракт 54a и рассеянный тракт 54b. Нерассеянный тракт 54a масштабируется согласно параметру диффузности, таким образом, что, когда диффузность высока, большая часть энергии или амплитуды останется в нерассеянном тракте. И наоборот, когда разбросанность высока, большая часть энергии будет перемещена к рассеянному тракту 54b. В рассеянном тракте 54b сигнал декоррелируется или рассеивается при помощи декорреляторов 56a или 56b. Декорреляция может быть выполнена при использовании известных традиционных методов, таких как свертывание с сигналом белого шума, где сигнал белого шума может отличаться от одного частотного канала к другому частотному каналу. Пока декорреляция является энергосохраняющей, окончательный результат может быть регенерирован путем простого добавления сигналов нерассеянного тракта сигнала 54a и рассеянного тракта сигнала 54b на выходе, так как сигналы в трактах сигнала были уже масштабированы, что обозначено параметром диффузности . Рассеянный тракт сигнала 54b может быть масштабирован в зависимости от числа громкоговорителей с использованием соответствующего правила масштабирования. Например, сигналы в рассеянном тракте могут быть масштабированы при помощи , где N - число громкоговорителей.

Когда выполняется восстановление для многоканальной установки, прямой тракт сигнала 54a, а так же и рассеянный тракт сигнала 54b расщепляются на несколько подтрактов, соответствующих индивидуальным сигналам громкоговорителя (на позициях расщепления 58a и 58b). К этому концу расщепление на позициях расщепления 58a и 58b может интерпретироваться как эквивалентное повышающему микшированию, по крайней мере, одного звукового канала на множественные каналы для воспроизведения через систему громкоговорителей, имеющую множественные громкоговорители. Поэтому каждый из множественных каналов имеет канальную часть звукового канала 46. Направление происхождения индивидуальных звуковых частей восстанавливается блоком перенаправления 60, который дополнительно увеличивает или уменьшает интенсивность или амплитуду канальных частей, соответствующих громкоговорителям, используемым для воспроизведения. К этому концу блок перенаправления 60 обычно требует сведений об установке громкоговорителя, используемой для воспроизведения. Фактическое перераспределение (перенаправление) и дифференцирование связанных весовых коэффициентов может, например, быть осуществлено при помощи таких методов, как основанное на векторе амплитудное панорамирование. При приложении различных геометрических установок громкоговорителей к блоку перераспределения 60 могут использоваться произвольные конфигурации громкоговорителей воспроизведения для реализации изобретенной концепции без потери качества воспроизведения. После обработки выполняются множественные обратные преобразования Фурье на сигналах частотной области при помощи блоков обратных преобразований Фурье 62, чтобы получить сигнал временного интервала, который может быть воспроизведен индивидуальными громкоговорителями. До воспроизведения должны выполняться методики наложения и добавления при помощи сумматора 64, чтобы связать индивидуальные звуковые циклы для получения непрерывных сигналов временного интервала, готовых к воспроизведению громкоговорителями.

Согласно осуществлению изобретения, показанному на фиг.3, совершенствуется обработка сигнала DirAC, при этом вводится модификатор звуковой части 66, чтобы изменить часть фактически обработанного звукового канала, который позволяет увеличивать интенсивность части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к желаемому направлению. Это достигается применением дополнительного весового коэффициента к прямому тракту сигнала. Таким образом, если обработанная частотная часть исходит из желаемого направления, сигнал акцентируется путем приложения дополнительного коэффициента усиления к той конкретной части сигнала. Приложение коэффициента усиления может быть выполнено до точки расщепления 58a, поскольку эффект одинаково обогатит все части канала.

Приложение дополнительного весового коэффициента может, в альтернативном осуществлении, также быть выполнено в блоке перераспределения 60, который, в этом случае, применяет коэффициенты усиления перераспределения, увеличенные или уменьшенные при помощи дополнительного весового коэффициента.

Используя направленное повышение при восстановлении многоканального сигнала, воспроизведение может, например, быть выполнено в стиле визуализации DirAC, как показано на фиг.3. Звуковой канал, который будет воспроизведен, разделяется на частотные диапазоны, равные тем, которые используются для направленного анализа. Эти частотные диапазоны затем разделяются на потоки: рассеянный и нерассеянный поток. Рассеянный поток воспроизводится, например, путем приложения звука к каждому громкоговорителю после свертывания с шумовыми выбросами шириной в 30 миллисекунд. Шумовые выбросы различны для каждого громкоговорителя. Нерассеянный поток прилагается к направлению, полученному от направленного анализа, который является, конечно, зависимым от времени. Чтобы получить направленное восприятие в многоканальных системах громкоговорителя, используется простое попарное или тройное амплитудное панорамирование. Кроме того, каждый частотный канал умножается на коэффициент усиления или коэффициент масштабирования, который зависит от анализируемого направления. В общих чертах, функция может быть задана так, чтобы определять желаемую диаграмму направления для воспроизведения. Это может, например, быть только одно единственное направление, которое должно быть акцентировано. Однако произвольные диаграммы направления могут легко применяться с осуществлением фиг.3.

В следующем подходе дальнейшее осуществление данного изобретения описано как перечень стадий обработки. Перечень базируется на допущении, что звук записан с В-форматным микрофоном, а затем обработан для прослушивания при помощи многоканальных или монофонических установок громкоговорителей, использующих стиль визуализации DirAC или визуализацию подаваемых параметров направления, указывающих направление происхождения частей звукового канала. Обработка включает следующие стадии:

1. Разделение сигналов микрофона на частотные диапазоны и анализ направления и, по выбору, диффузности в каждом диапазоне в зависимости от частоты. В качестве примера, направление может быть параметризировано азимутным углом и углом повышения (azi, ele).

2. Определение функции F, которая описывает желаемую диаграмму направления. Функция может иметь произвольную форму. Это обычно зависит от направления. Это может, кроме того, также зависеть от диффузности, если доступна информация о диффузности. Функция может быть различной для различных частот, и она может также изменяться в зависимости от времени. В каждом частотном диапазоне получение направленного фактора q из функции F для каждого временного элемента, который используется для последующего взвешивания (масштабирования) звукового сигнала.

3. Умножение опорных звуковых величин на величины q факторов направления, соответствующих каждой части времени и частоты для формирования выходного сигнала. Это может быть сделано в представлении временной и/или частотной области. Кроме того, эта обработка может, например, быть осуществлена как часть DirAC визуализации для любого числа желаемых выходных каналов.

Как ранее описано, результат можно прослушать, используя многоканальные или монофонические системы громкоговорителей.

Фиг.4 показывает иллюстрацию того, как изобретенные методы и устройства могут быть использованы для значительного усиления восприимчивости участника в рамках сценария организации телеконференций. На стороне звукозаписи 100 показаны четыре источника сообщений 102a-102d, которые имеют четкую ориентацию относительно позиции звукозаписи 104. Таким образом, звуковой сигнал, исходящий от источника сообщений 102c, имеет фиксированное направление происхождения относительно позиции звукозаписи 104. При условии, что звуковой сигнал, записанный на позиции звукозаписи 104, имеет ответное сообщение от источника сообщений 102c, и возникают некоторые «фоновые» шумы, например, от дискуссии источников сообщений 102a и 102b, широкополосный сигнал, записываемый и передаваемый на позицию прослушивания 110, будет включать оба компонента сигнала.

В качестве примера сделан набросок установки для прослушивания, имеющей шесть громкоговорителей 112a-112f, которые окружают слушателя, находящегося на позиции прослушивания 114. Поэтому, в принципе, звук, происходящий из почти произвольных позиций вокруг слушателя 114, может быть воспроизведен установкой, изображенной на фиг.4. Традиционные многоканальные системы воспроизвели бы звук, используя эти шесть динамиков 112a-112f, чтобы восстановить насколько возможно точно пространственное восприятие, имевшее место на позиции звукозаписи 104 во время записи. Поэтому, когда звук воспроизводится с использованием традиционных методов, ответное сообщение абонента 102c в качестве «фона» переговоров абонентов 102a и 102b будет так же ясно слышимо, уменьшая ясность сигнала абонента 102c.

Согласно осуществлению данного изобретения, селектор направления может использоваться для выбора желаемого направления происхождения относительно позиции звукозаписи, которое используется для восстановленной версии восстановленного звукового сигнала, который должен быть воспроизведен громкоговорителями 112a-112f. Поэтому слушатель 114 может выбрать желаемое направление 116, соответствующее положению абонента 102c. Таким образом, модификатор звуковой части может изменить часть звукового канала для получения восстановленной части восстановленного звукового сигнала таким образом, чтобы акцентировать интенсивность частей звукового канала, исходящего из направления, расположенного близко к выбранному направлению 116. На приемном конце слушатель может решать, какое направление происхождения будет воспроизведено. После осуществления этого выбора акцентируются только те части сигнала, которые исходят из направления абонента 102c и, таким образом, переговаривающиеся абоненты 102a и 102b будут испытывать меньше помех. Кроме акцентирования сигнала из отобранного направления, направление может быть воспроизведено амплитудным панорамированием, как условно обозначено формами волн 120a и 120b. Поскольку абоненты 102c будут расположены ближе к громкоговорителю 112d, чем к громкоговорителю 112c, амплитудное панорамирование приведет к воспроизведению акцентированного сигнала через громкоговорители 112c и 112d, тогда как остальные громкоговорители будут почти бесшумными (в конечном счете, воспроизводя рассеянные части сигнала). Амплитудное панорамирование повысит уровень громкоговорителя 112d относительно громкоговорителя 112c, поскольку абонент 102c расположен ближе к громкоговорителю 112d.

Фиг.5 иллюстрирует блок-схему осуществления метода для улучшения направленного восприятия звукового сигнала. На первой стадии анализа 150, получается, по крайней мере, один звуковой канал и связанные параметры направления, указывающие направление происхождения части звукового канала относительно позиции звукозаписи.

На стадии выбора 152 желаемое направление происхождения относительно позиции звукозаписи выбирается для восстановленной части восстановленного звукового сигнала; восстановленная часть соответствует части звукового канала.

На стадии модификации 154 часть звукового канала изменяется для получения восстановленной части восстановленного звукового сигнала, где изменение включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенное близко к желаемому направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, находящееся дальше от желаемого направления происхождения.

Фиг.6 иллюстрирует осуществление звукового декодера для восстановления звукового сигнала, имеющего, по крайней мере, один звуковой канал 160 и связанные параметры направления 162, указывающие направление происхождения части звукового канала относительно позиции звукозаписи.

Звуковой декодер 158 включает селектор направления 164 для выбора желаемого направления происхождения относительно позиции звукозаписи для восстановленной части восстановленного звукового сигнала: восстановленная часть соответствует части звукового канала. Декодер 158 далее включает модификатор звуковой части 166 для изменения части звукового канала для получения восстановленной части восстановленного звукового сигнала, где модификация включает усиление интенсивности части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенного близко к желаемому направлению происхождения относительно другой части звукового канала, имеющего параметры направления, указывающие направление происхождения, расположенного дальше от желаемого направления происхождения.

Как обозначено на фиг.6, может быть получена единственная восстановленная часть 168, или могут быть одновременно получены многочисленные восстановленные части 170, когда используется декодер в многоканальной воспроизводящей установке. Осуществление системы для улучшения направленного восприятия звукового сигнала 180, как показано на фиг.7, основано на декодере 158 фиг.6. Поэтому, в дальнейшем, будут описаны только дополнительно введенные элементы. Система для улучшения направленного восприятия звукового сигнала 180 получает звуковой сигнал 182 в качестве ввода, который может быть как монофоническим сигналом, так и многоканальным сигналом, записанным множественными микрофонами. Звуковое кодирующее устройство 184 получает звуковой сигнал, имеющий, по крайней мере, один звуковой канал 160 и связанные параметры направления 162, указывающие направление происхождения части звукового канала относительно позиции звукозаписи. По крайней мере, один звуковой канал и связанные параметры направления, кроме того, обрабатываются, как уже было описано, для звукового декодера фиг.6 для получения перцепционно усиленного выходного сигнала 170.

Хотя изобретение было описано, главным образом, для многоканального звукового воспроизведения, различные сферы применения могут выиграть от использования изобретенных методов и устройств. В качестве примера, изобретенная концепция может использоваться, чтобы сфокусироваться (повышая напряжение или ослабляя) на конкретных абонентах, переговаривающихся в сценарии организации телеконференций. Это может, кроме того, использоваться, чтобы отклонить (или усилить) окружающие компоненты, а так же для усиления реверберации или дереверберации. Дальнейшие возможные сценарии применения включают подавление помех окружающих шумовых сигналов. Дальнейшим возможным использованием могло бы быть направленное улучшение сигналов слуховых аппаратов.

В зависимости от определенных требований к применению изобретенных методов, они могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может быть выполнена с использованием цифровых носителей данных, в частности дисков, DVD или компакт-дисков, хранящих электронно-считываемые управляющие сигналы, которые взаимодействуют с программируемой компьютерной системой таким образом, что реализуются изобретенные методы. В целом, данное изобретение - это компьютерный программный продукт с управляющей программой, хранящейся на машиночитаемом носителе: управляющая программа используется для реализации изобретенных методов, когда компьютерный программный продукт запущен на компьютере. Другими словами, изобретенные методы - это компьютерная программа, имеющая управляющую программу для реализации, по крайней мере, одного из изобретенных методов, когда компьютерная программа запущена на компьютере.

В то время как все вышеупомянутое было показано и описано со ссылкой на конкретные осуществления, квалифицированные специалисты, сведущие в этой области, должны понимать - что различные другие изменения формы и деталей могут быть произведены без изменения духа и сферы действия. Следует понимать, что различные изменения могут быть произведены для приспосабливания к различным осуществлениям, не отступая от более широких представлений, раскрытых здесь и содержащихся в требованиях, которые приведены ниже.