устройство для определения преобразованного пространственного звукового сигнала

Формула изобретения

1. Устройство (300) для определения объединенного преобразованного пространственного звукового сигнала, который имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент из первого и второго входных пространственных звуковых сигналов; первый входной пространственный звуковой сигнал имеет первое входное звуковое представление и первое направление поступления, второй пространственный входной сигнал имеет второе входное звуковое представление и второе направление поступления, включающее первое устройство (101), приспособленное для определения первого преобразованного сигнала; первый преобразованный сигнал имеет первый всенаправленный компонент и, по крайней мере, один первый направленный компонент (X; Y; Z) из первого входного пространственного звукового сигнала; первое устройство (101) содержит блок оценки для оценки первого волнового представления; первое волновое представление включает первую меру волнового поля и первую меру направления поступления волны, основанные на первом входном звуковом представлении и первом входном направлении поступления; и процессор для обработки первой меры волнового поля и первой меры направления поступления волны для получения первого всенаправленного компонента и, по крайней мере, одного первого направленного компонента; где первое устройство (101) приспособлено для обеспечения первого преобразованного сигнала, имеющего первый всенаправленный компонент и, по крайней мере, один первый направленный компонент; второе устройство (102) приспособлено для обеспечения второго преобразованного сигнала, основанного на втором входном пространственном звуковом сигнале, имеющем второй всенаправленный компонент и, по крайней мере, один второй направленный компонент; второе устройство (102) включает другой блок оценки, приспособленный для оценки второго волнового представления; второе волновое представление включает вторую меру волнового поля и вторую меру направления поступления волны, основанные на втором входном звуковом представлении и втором входном направлении поступления; и другой процессор, приспособленный для обработки второй меры волнового поля и второй меры направления поступления волны для получения второго всенаправленного компонента и, по крайней мере, одного второго направленного компонента; где второе устройство (101) приспособлено для обеспечения второго преобразованного сигнала, имеющего второй всенаправленный компонент и, по крайней мере, один второй направленный компонент; генератор звукового эффекта (301) приспособлен для визуализации первого всенаправленного компонента для получения первого визуализированного компонента, или для визуализации первого направленного компонента для получения первого визуализированного компонента; первый объединитель (311) приспособлен для объединения первого визуализированного компонента, первого всенаправленного компонента и второго всенаправленного компонента, или для объединения первого визуализированного компонента, первого направленного компонента и второго направленного компонента для получения первого объединенного компонента; и второй объединитель (312) приспособлен для объединения первого направленного компонента и второго направленного компонента или для объединения первого всенаправленного компонента и второго всенаправленного компонента для получения второго объединенного компонента.

2. Устройство (300) по п.1, где блок оценки или другой блок оценки приспособлен для оценки первой или второй меры волнового поля в переводе на амплитуду волнового поля и фазу волнового поля.

3. Устройство (300) по п.1, где первый или второй входной пространственный звуковой сигнал далее включает параметр диффузности , и где блок оценки или другой блок оценки приспособлен для оценки меры волнового поля, далее основывающейся на параметре диффузности .

4. Устройство (300) по п.1, где первое или второе входное направление поступления обращается к контрольной точке, и где блок оценки или другой блок оценки приспособлен для оценки первой или второй меры направления поступления волны со ссылкой на контрольную точку; контрольная точка соответствует местоположению записи входного пространственного звукового сигнала.

5. Устройство (300) по п.1, где первый или второй преобразованный пространственный звуковой сигнал включает первый (X), второй (Y) и третий (Z) направленные компоненты, и где процессор или другой процессор приспособлен для дальнейшей обработки первой или второй меры волнового поля и первой или второй меры направления поступления волны для получения первого (X), второго (Y) и третьего (Z) направленных компонентов для первого или второго преобразованного сигнала.

6. Устройство (300) по п.2, где блок оценки или другой блок оценки приспособлен для определения первой или второй меры волнового поля, основанной на фракции (k,n) первого или второго входного звукового представления P(k,n), где k обозначает временной индекс, и n обозначает частотный индекс.

7. Устройство (300) по п.6, где процессор или другой процессор приспособлен для получения комплексной меры первого направленного компонента X(k,n), и/или второго направленного компонента Y(k,n), и/или третьего направленного компонента Z(k,n), и/или первого или второго всенаправленного звукового компонента W(k,n) для первого или второго преобразованного сигнала посредством w(k, n)=Р(k, n)







,

где e_DOA,x(k,n) - компонент единичного вектора e_DOA(k,n) первого или второго входного направления поступления вдоль x-оси Декартовой системы координат, e_DOA,y (k,n) - компонент e_DOA(k,n) вдоль y-оси, и e_DOA,z (k,n) - компонент e_DOA(k,n) вдоль z-оси.

8. Устройство (300) по п.6, где блок оценки или другой блок оценки приспособлен для оценки фракции (k,n), основанной на параметре диффузности (k,n), согласно

.

9. Устройство (300) по п.6, где блок оценки или другой блок оценки приспособлен для оценки фракции (k,n), основанной на (k,n), согласно

10. Устройство (300) по п.1, где первый или второй входной пространственный звуковой сигнал соответствует DirAC кодированному звуковому сигналу, и где процессор или другой процессор приспособлен для получения первого или второго всенаправленного компонента (W') и, по крайней мере, одного первого или второго направленного компонента (X; Y; Z) в переводе на сигнал В-формата.

11. Устройство (300) по п.1, где генератор звукового эффекта (301) приспособлен для визуализации комбинации первого всенаправленного компонента и второго всенаправленного компонента или для визуализации комбинации первого направленного компонента и второго направленного компонента для получения первого визуализированного компонента.

12. Устройство (300) по п.1 далее включает первую стадию задержки и масштабирования (321) для задержки и/или масштабирования первого всенаправленного и/или первого направленного компонента и/или вторую стадию задержки и масштабирования (322) для задержки и/или масштабирования второго всенаправленного и/или второго направленного компонента.

13. Устройство (300) по п.1 включает множество устройств (100) для преобразования множества входных пространственных звуковых сигналов; устройство (300) далее включает множество генераторов звукового эффекта, где число генераторов звукового эффекта меньше, чем число устройств (100).

14. Устройство (300) по п.1, где генератор звукового эффекта (301) приспособлен для реверберации первого всенаправленного компонента или первого направленного компонента для получения первого визуализированного компонента.

15. Способ определения объединенного преобразованного пространственного звукового сигнала; объединенный преобразованный пространственный звуковой сигнал имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент из первого и второго входных пространственных звуковых сигналов; первый входной пространственный звуковой сигнал имеет первое входное звуковое представление и первое направление поступления, второй пространственный входной сигнал имеет второе входное звуковое представление и второе направление поступления; способ включает определение первого преобразованного пространственного звукового сигнала; первый преобразованный пространственный звуковой сигнал имеет первый всенаправленный компонент (W') и, по крайней мере, один первый направленный компонент (X; Y; Z) из первого входного пространственного звукового сигнала посредством использования подэтапов; оценку первого волнового представления; первое волновое представление включает первую меру волнового поля и первую меру направления поступления волны, основанные на первом входном звуковом представлении и первом входном направлении поступления; и обработку первой меры волнового поля и первой меры направления поступления волны для получения первого всенаправленного компонента (W') и, по крайней мере, одного первого направленного компонента (X; Y; Z); обеспечение первого преобразованного сигнала, имеющего первый всенаправленный компонент и, по крайней мере, один первый направленный компонент; определение второго преобразованного пространственного звукового сигнала; второй преобразованный пространственный звуковой сигнал имеет второй всенаправленный компонент (W') и, по крайней мере, один второй направленный компонент (X; Y; Z) из второго входного пространственного звукового сигнала посредством использования подэтапов: оценки второго волнового представления; второе волновое представление включает вторую меру волнового поля и вторую меру направления поступления волны, основанные на втором входном звуковом представлении и втором входном направлении поступления; и обработки второй меры волнового поля и второй меры направления поступления волны для получения второго всенаправленного компонента (W') и, по крайней мере, одного второго направленного компонента (X; Y; Z); обеспечения второго преобразованного сигнала, имеющего второй всенаправленный компонент и, по крайней мере, один второй направленный компонент; визуализация первого всенаправленного компонента для получения первого визуализированного компонента, или визуализация первого направленного компонента для получения первого визуализированного компонента; объединение первого визуализированного компонента, первого всенаправленного компонента и второго всенаправленного компонента, или объединение первого визуализированного компонента, первого направленного компонента и второго направленного компонента для получения первого объединенного компонента; и объединение первого направленного компонента и второго направленного компонента, или объединение первого всенаправленного компонента и второго всенаправленного компонента для получения второго объединенного компонента.

16. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу с программным кодом, способным выполнять осуществления способа по п.15, когда компьютерная программа выполняется компьютером или процессором.

Описание изобретения к патенту

Данное изобретение относится к сфере обработки звукового сигнала, главным образом, обработки пространственного звукового сигнала, и преобразования различных форматов пространственных звуковых сигналов.

Звуковое кодирование DirAC (DirAC=Направленное звуковое кодирование) является способом воспроизведения и обработки пространственного звукового сигнала. В обычных системах применяется DirAC для двухмерного и трехмерного высококачественного воспроизведения записанного звука, для организации телеконференций, для направленных микрофонов, и повышающего микширования от стерео до окружающего звучания, сравните,

В. Пулкки и К. Фоллер, «Направленное звуковое кодирование: Гребенка фильтров и схема на основе STFT (краткосрочное преобразование Фурье)», на 120-ом собрании AES (Общество инженеров-звукотехников), 20-23 мая 2006 г., Париж, Франция, май 2006 г.,

В. Пулкки и К. Фоллер, «Направленное звуковое кодирование при воспроизведении пространственного звукового сигнала и стерео повышающем микшировании», на 28-ой Международной Конференции AES (Общество инженеров-звукотехников), Питео, Швеция, июнь 2006 г.,

В. Пулкки, «Пространственное воспроизведение звука с направленным звуковым кодированием». Журнал AES (Общество инженеров-звукотехников), 55 (6): 503-516, июнь 2007 г.,

Юкка Ахонен, В. Пулкки и Тапио Локки, «Организация телеконференции и установка микрофона В-формата для направленного звукового кодирования», на 30-ой Международной Конференции AES (Общество инженеров-звукотехников).

Другими обычными случаями использования DirAC является, например, универсальный формат кодирования и шумоподавления. В DirAC некоторые свойства звука, зависящие от направления, анализируются в частотных диапазонах, зависящих от времени. Данные анализа передаются вместе со звуковыми данными и синтезируются для различных целей. Анализ обычно выполняется посредством использования сигналов В-формата, хотя, теоретически, DirAC не ограничивается этим форматом. В-формат, сравните, Майкл Герзон, «Психоакустика окружающего звука», в журнале Беспроводной Мир, том 80, страницы 483-486, декабрь 1974 г., был создан в ходе разработки техники воспроизведения и передачи окружающего звука (амбиофония); система разработана британскими исследователями в 70-ые годы, чтобы перенести окружающий звук концертных залов в жилые дома. В-формат состоит из четырех сигналов, а именно, w(t), x(t), y(t) и z(t). Первый соответствует давлению, измеренному всенаправленным микрофоном, тогда как последние три - показатели давления микрофонов, имеющих восьмиобразные конфигурации съемки сигнала, направленные по трем осям Декартовой системы координат. Сигналы x(t), y(t) и z(t) пропорциональны компонентам вектора скорости частицы, направленным на x, у и z, соответственно.

Поток DirAC состоит из 1-4 каналов звукового сигнала с направленными метаданными. При организации телеконференций и в некоторых других случаях, поток состоит только из одного звукового канала с метаданными, называемого моно потоком DirAC. Это очень компактный способ описания пространственного звукового сигнала, поскольку только один звуковой канал должен быть передан вместе с дополнительной информацией, что, например, дает хорошее пространственное разделение между абонентами. Однако в таких случаях некоторые типы звуковых сигналов, такие как сценарии реверберированных звуковых сигналов или сигналов окружающей среды, могут воспроизводиться с ограниченным качеством. Чтобы получить лучшее качество в этих случаях, должны быть переданы дополнительные звуковые каналы.

Преобразование от В-формата в DirAC описано в работе В. Пулкки, «Способ воспроизведения естественного или модифицированного пространственного впечатления при многоканальном прослушивании», Патент WO 2004/077884 А1, сентябрь 2004 г. Направленное звуковое кодирование - эффективный подход к анализу и воспроизведению пространственного звука. DirAC использует параметрическое представление звуковых областей, основанное на характеристиках, которые важны для восприятия пространственного звука, а именно, DOA (DOA=направление поступления (сигнала)) и диффузность звуковой области в частотных поддиапазонах. Фактически, DirAC предполагает, что межакустические различия времени (ITD) и межакустические различия уровня (ILD) воспринимаются правильно, когда DOA звуковой области воспроизводится правильно, в то время как межакустическая последовательность (IC) воспринимается правильно, если диффузность воспроизводится точно. Эти параметры, а именно, DOA и диффузность, представляют дополнительную информацию, которая сопровождает моно сигнал в том, что относится к моно потоку DirAC.

Фиг.7 показывает кодирующее устройство DirAC, которое из соответствующих сигналов микрофона вычисляет моно звуковой канал и дополнительную информацию, а именно, диффузность (k,n) и направление поступления e_DOA(k,n). Фиг.7 показывает кодирующее устройство DirAC 200, которое приспособлено для вычисления моно звукового канала и дополнительной информации из соответствующих сигналов микрофона. Другими словами, фиг.7 иллюстрирует кодирующее устройство DirAC 200 для определения диффузности и направления поступления от подходящих сигналов микрофона. Фиг.7 показывает кодирующее устройство DirAC 200, включающее P/U блок оценки 210, где P(k,n) представляет сигнал давления, и U(k,n) представляет вектор скорости частицы. P/U блок оценки получает сигналы микрофона как входную информацию, на которой основывается P/U оценка. Энергетическая стадия анализа 220 позволяет оценивать направление получения и параметр диффузности моно потока DirAC.

Параметры DirAC, например, моно звуковое представление W(k,n), параметр диффузности (k,n) и направление поступления (DOA) e_DOA(k,n), могут быть получены из частотно-временного представления сигналов микрофона. Поэтому, параметры зависят от времени и от частоты. На стороне воспроизведения эта информация учитывает точную пространственную визуализацию. Чтобы восстановить пространственный звук в желательном положении прослушивания, требуется установка с несколькими громкоговорителями. Однако его геометрия может быть произвольной. Фактически, каналы громкоговорителей могут определяться как функция параметров DirAC.

Имеются существенные различия между DirAC и параметрическим многоканальным звуковым кодированием, таким как MPEG (Экспертная группа по кинематографии) Окружающее, сравните, Ларе Виллемокс, Йорген Херре, Йероен Бреебаарт, Джерард Хото, Саша Диш, Хейко Пурнхаген, и Кристофер Кьерлинг, MPEG окружающий: будущий стандарт ISO (Международной Организации по Стандартизации) для пространственного звукового кодирования, на 28-ой Международной Конференции AES, Питео, Швеция, июнь 2006 г., хотя они совместно используют подобные структуры обработки. В то время как MPEG Окружающий базируется на временном/частотном анализе различных каналов громкоговорителя, DirAC в качестве входа использует каналы совпадающих микрофонов, которые эффективно описывают звуковую область в одной точке. Таким образом, DirAC также представляет эффективную технику записи пространственного звукового сигнала.

Другой системой, имеющей дело с пространственным звуковым сигналом, является SAOC (SAOC=Пространственное кодирование звукового объекта), сравните, Джонас Энгдегард, Барбара Реш, Корнелия Фальч, Оливер Хелльмут, Йоханнес Хилперт, Андреас Хоэлцер, Леонид Терентьев, Йероен Бреебаарт, Йероен Коппенс, Эрик Шуйерс, и Вернер Оомен, «Пространственный звуковой объект (SAOC), будущий стандарт MPEG параметрического объекта, основывающийся на звуковом кодировании», на 12-ом собрании AES, 17-20 мая 2008 г., Амстердам, Нидерланды, 2008 г., в настоящее время находится в процессе стандартизации ISO/MPEG. Он основывается на средстве визуализации MPEG Окружающий, и рассматривает различные источники звука как объекты. Это звуковое кодирование предлагает очень высокую эффективность, в переводе на скорость передачи битов, и дает беспрецедентную свободу взаимодействия на стороне воспроизведения. Этот подход обещает новые убедительные свойства и функциональные возможности в унаследованных системах, а так же в несколько других новаторских применениях.

Задача данного изобретения - обеспечить усовершенствованную концепцию пространственной обработки.

Это достигается посредством устройства для определения преобразованного пространственного звукового сигнала, согласно пункту 1, и соответствующего способа согласно пункту 15.

Данное изобретение основано на обнаружении того, что улучшенная пространственная обработка может быть достигнута, например, в ходе преобразования пространственного звукового сигнала, закодированного как моно поток DirAC, в сигнал В-формата. В осуществлениях преобразованный сигнал В-формата может обрабатываться или визуализироваться до добавления к некоторым другим звуковым сигналам, и кодироваться обратно в поток DirAC. Осуществления могут использовать различные приложения, например, смешивание различных типов DirAC и потоков В-формата, основанных на DirAC, и т.д. Осуществления могут вводить операцию, обратную WO 2004/077884 А1, а именно, преобразование из моно потока DirAC в В-формат.

Данное изобретение основывается на обнаружении того, что улучшенная обработка может быть достигнута, если звуковые сигналы преобразуются в направленные компоненты. Другими словами, данное изобретение показывает, что улучшенная пространственная обработка может быть достигнута, когда формат пространственного звукового сигнала соответствует направленным компонентам, таким как записанные, например, направленным микрофоном В-формата. Кроме того, данное изобретение показывает, что направленные или всенаправленные компоненты из различных источников могут обрабатываться совместно и, к тому же, с повышенной эффективностью. Другими словами, особенно при обработке пространственных звуковых сигналов из множественных источников звука, обработка может быть выполнена более эффективно, если сигналы множественных источников звука доступны в формате их всенаправленных и направленных компонентов, поскольку они могут обрабатываться совместно. В осуществлениях, поэтому, генераторы звукового эффекта или звуковые процессоры могут использоваться более эффективно, обрабатывая объединенные компоненты множественных источников.

В осуществлениях пространственные звуковые сигналы могут быть представлены как моно поток DirAC, обозначающий DirAC потоковую технику, где медиа данные при передаче сопровождаются только одним звуковым каналом. Этот формат может быть преобразован, например, в поток В-формата, имеющий множественные направленные компоненты. Осуществления могут обеспечить улучшенную пространственную обработку посредством преобразования пространственных звуковых сигналов в направленные компоненты.

Осуществления могут обеспечить преимущество перед моно DirAC декодированием, где только один звуковой канал используется для создания всех сигналов громкоговорителей, при этом возможна дополнительная пространственная обработка, основанная на направленных звуковых компонентах, которые определяются до создания сигналов громкоговорителей. Осуществления могут обеспечить то преимущество, что проблемы создания реверберирующихся звуков уменьшаются.

В осуществлениях, например, поток DirAC может использовать звуковой стерео сигнал вместо звукового моно сигнала, где стерео каналы - L (L=левый стерео канал) и R (R=правый стерео канал) и передаются, чтобы быть использованными в декодировании DirAC. Осуществления могут обеспечить лучшее качество реверберирующихся звуков и обеспечить прямую совместимость, например, со стерео системами громкоговорителя.

Осуществления могут иметь то преимущество, что могут сделать возможным DirAC декодирование с виртуальным микрофоном. Детали относительно декодирования DirAC с виртуальным микрофоном можно найти в работе В.Пулкки, «Пространственное звуковое воспроизведение с направленным звуковым кодированием», Журнал Общества инженеров-звукотехников, 55 (6): 503-516, июнь 2007 г. Эти осуществления получают звуковые сигналы для громкоговорителей, размещая виртуальные микрофоны, ориентируемые на положение громкоговорителей и имеющие точечные источники звука, положение которых определяется параметрами DirAC. Осуществления могут иметь то преимущество, что посредством преобразования может быть обеспечена удобная линейная комбинация звуковых сигналов.

Осуществления данного изобретения будут детализированы с использованием сопровождающих рисунков, где

Фиг.1А показывает осуществление устройства для определения преобразованного пространственного звукового сигнала;

Фиг.1B показывает давление и компоненты вектора скорости частицы в плоскости комплексного переменного для плоской волны;

Фиг.2 показывает другое осуществление для преобразования моно DirAC потока в сигнал В-формата;

Фиг.3 показывает осуществление для объединения множественных преобразованных пространственных звуковых сигналов;

Фиг.4A-4D показывают осуществления для объединения множественных основанных на DirAC пространственных звуковых сигналов посредством использования различных звуковых эффектов;

Фиг.5 изображает осуществление генератора звукового эффекта;

Фиг.6 показывает осуществление генератора звукового эффекта, применяющего множественные звуковые эффекты к направленным компонентам; и

Фиг.7 показывает современный технический уровень кодирующего устройства DirAC.

Фиг.1А показывает устройство 100 для определения преобразованного пространственного звукового сигнала; преобразованный пространственный звуковой сигнал имеет всенаправленный компонент и, по крайней мере, один направленный компонент (X; Y; Z) из входного пространственного звукового сигнала; входной пространственный звуковой сигнал имеет входное звуковое представление (W) и входное направление поступления ( ).

Устройство 100 включает блок оценки (эстиматор, оценочная функция) 110 для оценки волнового представления, включающего меру волнового поля и меру направления поступления волны, основанные на входном звуковом представлении (W) и входном направлении поступления ( ). Кроме того, устройство 100 включает процессор 120 для обработки меры волнового поля и меры направления поступления волны для получения всенаправленного компонента и, по крайней мере, одного направленного компонента. Блок оценки 110 может быть приспособлен для оценки волнового представления как представления плоской волны.

В осуществлениях процессор может быть приспособлен для обеспечения входного звукового представления (W) как всенаправленного звукового компонента (W'). Другими словами, всенаправленный звуковой компонент W' может быть равным входному звуковому представлению W. Поэтому, согласно пунктирам на фиг.1а, входное звуковое представление может обойти блок оценки 110, процессор 120, или оба. В других осуществлениях всенаправленный звуковой компонент W' может быть основан на интенсивности волны и направлении поступления волны, обрабатываемой процессором 120 вместе с входным звуковым представлением W. В осуществлениях множественные направленные звуковые компоненты (X; Y; Z) могут обрабатываться, как, например, первый (X), второй (Y) и/или третий (Z) направленные звуковые компоненты, соответствующие различным пространственным направлениям. В осуществлениях, например, три различных направленных звуковых компонента (X; Y; Z) могут быть получены в соответствии с различными направлениями Декартовой системы координат.

Блок оценки 110 может быть приспособлен для оценки меры волнового поля, исходя из амплитуды волнового поля и фазы волнового поля. Другими словами, в осуществлениях мера волнового поля может быть оценена как комплекснозначная величина. Амплитуда волнового поля может соответствовать величине звукового давления, а фаза волнового поля может соответствовать фазе звукового давления в некоторых осуществлениях.

В осуществлениях мера направления поступления волны может соответствовать любой направленной величине, выраженной, например, вектором, одним или несколькими углами и т.д., и это может быть получено из любой направленной меры, представляющей звуковой компонент как, например, вектор интенсивности, вектор скорости частицы, и т.д. Мера волнового поля может соответствовать любой физической величине, описывающей звуковой компонент, который может быть действительным или комплекснозначным, соответствовать сигналу давления, амплитуде или значению скорости частицы, громкости и т.д. Кроме того, меры могут рассматриваться во временной и/или частотной области.

Осуществления могут основываться на оценке представления плоской волны для каждого входного потока, которая может выполняться блоком оценки 110 на фиг.1А. Другими словами, мера волнового поля может быть смоделирована посредством использования представления плоской волны. Обычно существует несколько эквивалентных исчерпывающих (то есть, полных) описаний плоской волны или волн вообще. В дальнейшем будет введено математическое описание для вычисления параметров диффузности и направлений поступления или мер направления для различных компонентов. Хотя только несколько описаний имеют отношение непосредственно к физическим величинам, как например, давление, скорость частицы и т.д., потенциально существует бесконечное число различных способов описать волновые представления, одно из которых впоследствии должно быть представлено в качестве примера, однако, в любом случае, не предназначается для ограничения осуществлений данного изобретения. Любая комбинация может соответствовать мере волнового поля и направлению поступления волны.

Чтобы далее детализировать различные потенциальные описания, рассматриваются два действительных числа, а и b. Информация, содержащаяся в а и b, может быть передана посредством пересылки c и d, когда

,

где - известная 2×2 матрица. Пример рассматривает только линейные комбинации, как правило, любую комбинацию, то есть возможна также нелинейная комбинация.

В дальнейшем скаляры представлены строчными буквами а, b, c, в то время как вектор-столбцы представлены выделенными жирными строчными буквами а, b, c. Верхний индекс ()^T обозначает транспозицию матрицы, соответственно, и обозначают комплексное сопряжение. Нотация комплексного вектора отличается от временной. Например, давление p(t), которое является действительным числом, и из которого может быть получена возможная мера волнового поля, может быть выражено посредством комплексного вектора Р, который является комплексным числом, и из которого может быть получена другая возможная мера волнового поля,

,

где обозначает действительную часть, a =2 f - угловая частота. Кроме того, в дальнейшем заглавные буквы, используемые для физических величин, представляют комплексный вектор. Для дальнейшего вводного примера нотации, и чтобы избежать путаницы, пожалуйста, заметьте, что все величины с нижним индексом «PW» относятся к плоским волнам.

Для идеальной монохроматической плоской волны вектор скорости частицы U_PW может быть обозначен как

,

где единичный вектор e_d указывает на направление распространения волны, например, соответствующее мере направления. Можно доказать, что

где I_a обозначает активную интенсивность, ₀ обозначает плотность воздуха, c обозначает скорость звука, Е обозначает энергию звукового поля, и обозначает диффузность.

Интересно отметить, что, так как все компоненты e_d - действительные числа, все компоненты U_PW совпадают по фазе с P_PW . Фиг.1B иллюстрирует типичные U_PW и P_PW в плоскости комплексного переменного. Как только что было упомянуто, все компоненты U_PW делят ту же самую фазу, что и P _PW, а именно, . Их величины, с другой стороны, ограничены

.

Осуществления данного изобретения могут обеспечить способ преобразования моно потока DirAC в сигнал В-формата. Моно поток DirAC может быть представлен сигналом давления, захваченным, например, всенаправленным микрофоном, и дополнительной информацией. Дополнительная информация может включать зависящие от времени-частоты меры диффузности и направления поступления звука.

В осуществлениях входной пространственный звуковой сигнал может далее включать параметр диффузности , а блок оценки 110 может быть приспособлен для оценки меры волнового поля, далее основывающийся на параметре диффузности .

Входное направление поступления и мера направления поступления волны могут относиться к контрольной точке, соответствующей местоположению записанного входного пространственного звукового сигнала, то есть, другими словами, все направления могут относиться к той же самой контрольной точке. Контрольная точка может быть тем местом, где расположен микрофон, или где расположены множественные направленные микрофоны для записи звукового поля.

В осуществлениях преобразованный пространственный звуковой сигнал может включать первый (X), второй (Y) и третий (Z) направленный компонент. Процессор 120 может быть приспособлен к дальнейшей обработке меры волнового поля и меры направления поступления для получения первого (X) и/или второго (Y) и/или третьего (Z) направленного компонента и/или всенаправленных звуковых компонентов.

В дальнейшем будут введены нотации и модель данных.

Пусть p(t) и u(t)=[u_x (t), u_y(t), u_z(t)]^T - давление и вектор скорости частицы, соответственно, для определенной точки в пространстве, где [·]^Т обозначает транспозицию. p(t) может соответствовать звуковому представлению, и u(t)=[u _x(t), u_y(t), u_z(t)]^Т может соответствовать направленным компонентам. Эти сигналы могут быть преобразованы в частотно-временную область посредством подходящей гребенки фильтров или STFT (STFT=Краткосрочное преобразование Фурье), как предложено, например, в работе В.Пулкки и К.Фоллера, «Направленное звуковое кодирование: гребенка фильтров и основанная на STFT схема», на 120-ом собрании AES (Общество инженеров-звукотехников), 20-23 мая 2006 г., Париж, Франция, май 2006 г.

Пусть P(k,n) и U(k,n)=[U_x (k,n), U_y(k,n), U_z(k,n)]^Т обозначают преобразованные сигналы, где k и n - индексы для частоты (или частотного диапазона) и времени, соответственно. Вектор активной интенсивности I_a(k,n) может быть определен как

где (·)^* обозначает комплексное сопряжение, и Re{·} выделяет действительную часть. Вектор активной интенсивности может выражать чистый поток энергии, характеризующий звуковое поле, сравните, Ф.Дж. Фэхи, «Интенсивность звука», Эссекс: Научные публикации издательства Эльзевир, 1989 г.

Пусь c обозначает скорость звука в рассматриваемой среде, и Е - энергия звукового поля, определенная Ф.Дж. Фэхи

где вычисляет 2-норму. В дальнейшем будет детализирован контент моно потока DirAC.

Моно DirAC поток может состоять из моно сигнала p(t) или звукового представления и из дополнительной информации, например, мера направления поступления. Эта дополнительная информация может включать зависящее от частоты-времени направление поступления и зависящую от частоты-времени меру диффузности. Первое может быть обозначено e_DOA(k,n), что является единичным вектором, указывающим на направление, от которого поступает звук, то есть, может моделироваться направление поступления. Последнее, диффузность, может быть обозначено

(k,n).

В осуществлениях блок оценки 110 и/или процессор 120 может быть приспособлен для оценки/обработки входного DOA и/или меры волнового DOA, исходя из единичного вектора e_DOA(k,n). Направление поступления может быть получено как

e_DOA(k,n)=-e_I(k,n),

где единичный вектор e_I(k,n) указывает на направление, на которое указывает активная интенсивность, а именно

соответственно. Альтернативно, в осуществлениях DOA или мера DOA могут быть выражены, исходя из азимута и углов возвышения в сферической системе координат. Например, если (k,n) и (k,n) - азимут и углы возвышения, соответственно, то

где e_DOA,x(k,n) - компонент единичного вектора e_DOA(k,n) входного направления поступления вдоль х-оси Декартовой системы координат, e_DOA,y (k,n) - компонент e_DOA(k,n) вдоль y-оси, и e_DOA,z (k,n) - компонент e_DOA(k,n) вдоль z-оси.

В осуществлениях блок оценки 110 может быть приспособлен для оценки меры волнового поля, далее основывающейся на параметре диффузности , который дополнительно также может быть выражен (k,n) способом, зависимым от частоты-времени. Блок оценки 110 может быть приспособлен для оценки, основывающейся на параметре диффузности, исходя из

где <·>_t показывает временное среднее число.

На практике существуют различные стратегии получения P(k,n) и U(k,n). Одна возможность состоит в том, чтобы использовать микрофон В-формата, который поставляет 4 сигнала, а именно, w(t), x(t), y(t) и z(t). Первый, w(t), может соответствовать показанию давления всенаправленного микрофона. Последние три могут соответствовать показаниям давления микрофонов, имеющих восьмиобразные конфигурации съемки сигнала, направленные по трем осям Декартовой системы координат. Эти сигналы также пропорциональны скорости частицы. Поэтому в некоторых осуществлениях

где W(k,n), X(k,n), Y(k,n) и Z(k,n) - преобразованные сигналы В-формата, соответствующие всенаправленному компоненту W(k,n) и трем направленным компонентам X(k,n), Y(k,n), Z(k,n). Заметьте, что множитель в (6) происходит из условного обозначения, используемого в определении сигналов В-формата, сравните, Майкл Герзон, «Психоакустика окружающего звука», в журнале Беспроводной Мир, том 80, страницы 483-486, декабрь 1974 г.

Альтернативно, P(k,n) и U(k,n) могут быть оценены посредством массива всенаправленных микрофонов, как предложено в работе Дж. Меримаа, «Использование массива 3-D микрофонов», на 112-ом собрании AES (Общество инженеров-звукотехников), Документ 5501, Мюнхен, май 2002 г. Стадии обработки, описанные выше, также проиллюстрированы на фиг.7.

Фиг.7 показывает кодирующее устройство DirAC 200, приспособленное для вычисления моно звукового канала и дополнительной информации из соответствующих сигналов микрофона. Другими словами, фиг.7 иллюстрирует кодирующее устройство DirAC 200 для определения диффузности (k,n) и направления поступления e_DOA(k,n) из соответствующих сигналов микрофона. Фиг.7 показывает кодирующее устройство DirAC 200, включающее P/U блок оценки 210. Р/U блок оценки получает сигналы микрофона в качестве входной информации, на которой основывается P/U оценка. Так как вся информация доступна, P/U оценка является прямой согласно вышеупомянутым уравнениям. Стадия энергического анализа 220 позволяет оценить направление поступления и параметр диффузности объединенного потока.

В осуществлениях блок оценки 110 может быть приспособлен для определения меры волнового поля или амплитуды, основанной на фракции (k,n) входного звукового представления P(k,n). Фиг.2 показывает стадии обработки осуществления для вычисления сигналов В-формата из моно потока DirAC. Все величины зависят от индексов времени и частоты (k,n) и в дальнейшем частично опущены для простоты.

Другими словами, фиг.2 иллюстрирует другое осуществление. Согласно уравнению (6), W(k,n) равно давлению P(k,n). Поэтому, проблема синтезирования В-формата из моно потока DirAC приводит к оценке вектора скорости частицы U(k,n), поскольку его компоненты пропорциональны X(k,n), Y(k,n), и Z(k,n).

Осуществления могут подходить к оценке, основанной на предположении о том, что поле состоит из плоской волны, суммированной с диффузным полем. Поэтому давление и скорость частицы могут быть выражены как

где нижние индексы «PW» и «diff» обозначают плоскую волну и диффузное поле, соответственно.

Параметры DirAC несут информацию только относительно активной интенсивности. Поэтому вектор скорости частицы U(k,n) оценивается посредством , который является блоком оценки только скорости частицы плоской волны. Это может определяться как

где действительное число (k,n) - подходящий весовой коэффициент, который обычно зависит от частоты и может проявлять обратную пропорциональность диффузности (k,n). Фактически, для низкой диффузности, то есть, (k,n), близком к 0, можно предположить, что поле состоит из единственной плоской волны, так, что

подразумевая, что (k,n)=1.

Другими словами, блок оценки 110 может быть приспособлен для оценки меры волнового поля с высокой амплитудой для параметра низкой диффузности , и для оценки меры волнового поля с низкой амплитудой для параметра высокой диффузности . В осуществлениях параметр диффузности =[0..1]. Параметр диффузности может показывать отношение между энергией в направленном компоненте и энергией во всенаправленном компоненте. В осуществлениях параметр диффузности может быть мерой пространственной широты направленного компонента.

С учетом вышеприведенного уравнения и уравнения (6), всенаправленный и/или первый и/или второй и/или третий направленный компонент могут быть выражены как

где e_DOA,x(k,n) - компонент единичного вектора e_DOA(k,n) входного направления поступления вдоль x-оси Декартовой системы координат, e_DOA,y (k,n) - компонент e_DOA(k,n) вдоль y-оси, и e_DOA,z (k,n) - компонент e_DOA(k,n) вдоль z-оси. В осуществлении, показанном на фиг.2, мера направления поступления волны, оцененная блоком оценки 110, соответствует e_DOA,x(k,n), e _DOA,y(k,n) и e_DOA,z(k,n), и мера волнового поля соответствует (k,n)P(k,n). Первый направленный компонент в качестве выхода процессора 120 может соответствовать любому из X(k,n), Y(k,n) или Z(k,n) и второй направленный компонент - соответственно любому другому из X(k,n), Y(k,n) или Z(k,n).

В дальнейшем будут представлены два практических осуществления того, как определить множитель (k,n).

Первое осуществление, прежде всего, направлено на оценку давления плоской волны, а именно, P _PW(k,n), и затем, на получение из него вектора скорости частицы.

Устанавливая плотность воздуха ₀ равной 1, и отбрасывая функциональную зависимость (k,n), для простоты, можно записать

Задавая статистические свойства диффузных полей, аппроксимация может быть введена

где E_diff - энергия диффузного поля. Блок оценки может, таким образом, быть получен посредством

Чтобы вычислить мгновенные оценки, то есть, для каждого временного частотного элемента, могут быть удалены операторы математического ожидания, при этом получая

Эксплуатируя допущение о плоской волне, можно непосредственно получить оценку скорости частицы

из которой следует, что

Другими словами, блок оценки 110 может быть приспособлен для оценки фракции (k,n}, основанной на параметре диффузности (k,n), согласно

и меры волнового поля согласно

,

где процессор 120 может быть приспособлен для получения величины первого направленного компонента X(k,n) и/или второго направленного компонента Y(k,n) и/или третьего направленного компонента Z(k,n) и/или всенаправленного звукового компонента W(k,n) посредством

где мера направления поступления волны представлена единичным вектором [eDOA,x(k,n), eDOA,y(k,n), eDOA,z(k,n)] ^T, где x, y, и z показывают направления Декартовой системы координат.

Альтернативное решение в осуществлениях может быть дифференцировано посредством получения множителя (k,n) непосредственно из выражения диффузности (k,n). Как уже было упомянуто, скорость частицы U(k,n) может быть смоделирована как

Уравнение (18) может быть подставлено в (5), что приведет к

Чтобы получить мгновенные значения, операторы математического ожидания могут быть удалены, и решение для (k,n) даст в результате

Другими словами, в осуществлениях блок оценки 110 может быть приспособлен для оценки фракции (k,n), основанной на (k,n), согласно

.

В осуществлениях входной пространственный звуковой сигнал может соответствовать моно сигналу DirAC. Осуществления могут быть расширены для обработки других потоков. В случае, если поток или входной пространственный звуковой сигнал не несет всенаправленный канал, осуществления могут объединять доступные каналы, чтобы аппроксимировать их к всенаправленной конфигурации съемки сигнала. Например, в случае стерео потока DirAC в качестве входного пространственного звукового сигнала, сигнал давления P на фиг.2 может быть аппроксимирован посредством суммирования каналов L and R.

В дальнейшем будет рассмотрено осуществление с =1. Фиг.2 показывает, что если диффузность равна единице для обоих осуществлений, звук направляется исключительно на канал W, поскольку равно нулю, сигналы X, Y и Z, то есть, направленные компоненты, тоже являются нулем. Если =1 постоянно во времени, моно звуковой канал может, таким образом, направляться на W - канал без дальнейших вычислений. Физическая интерпретация этого состоит в том, что звуковой сигнал предоставляется слушателю как чисто реактивное поле, поскольку вектор скорости частицы имеет нулевую величину.

Другой случай, когда встречается =1, рассматривает ситуацию, где звуковой сигнал присутствует только в одном или любом подмножестве дипольных сигналов, а не в W сигнале. В анализе диффузности DirAC этот сценарий анализируется, чтобы иметь =1 посредством уравнения 5, так как вектор интенсивности постоянно имеет нулевую длину, поскольку давление P равно нулю в уравнении (1). Физическая интерпретация этого также состоит в том, что звуковой сигнал предоставляется слушателю как реактивный, поскольку этот временной сигнал давления постоянно равен нулю, в то время как вектор скорости частицы не является нулем.

Вследствие того, что В-формат по существу является независимым представлением установки громкоговорителя, осуществления могут использовать В-формат как общий язык, который используют различные звуковые устройства, что означает, что преобразование одного в другое может быть выполнено посредством осуществлений через промежуточное преобразование в В-формат. Например, осуществления могут соединять потоки DirAC из различных записанных акустических окруженией с различными синтезированными звуковыми окружениями в В-формате. Присоединение моно потоков DirAC к потокам В-формата может также быть обеспечено осуществлениями.

Осуществления могут обеспечить соединение многоканальных звуковых сигналов в любом окружающем формате с моно потоком DirAC. Далее, осуществления могут обеспечить соединение моно потока DirAC с любым потоком В-формата. Кроме того, осуществления могут обеспечить соединение моно потока DirAC с потоком В-формата.

Эти осуществления могут обеспечить преимущество, например, в создании реверберации или введении звуковых эффектов, что будет детализировано впоследствии. В производстве музыки ревербераторы могут использоваться как эффективные устройства, которые перцепционно помещают обработанный звуковой сигнал в виртуальное пространство. В виртуальной реальности может потребоваться синтез реверберации, когда виртуальные источники мысленно звучат в замкнутом пространстве, например, в комнатах или концертных залах.

Когда сигнал для реверберации доступен, такая виртуальная акустика может быть выполнена осуществлениями посредством применения сухого (необработанного эффектами) звука и реверберированного звука к различным потокам DirAC. Осуществления могут использовать различные подходы к тому как обрабатывать реверберированный сигнал в контексте DirAC, где осуществления могут производить реверберированный звук, являющийся максимально диффузным вокруг слушателя.

Фиг.3 иллюстрирует осуществление устройства 300 для определения объединенного преобразованного пространственного звукового сигнала; объединенный преобразованный пространственный звуковой сигнал имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент, где объединенный преобразованный пространственный звуковой сигнал определяется из первого и второго входного пространственного звукового сигнала, имеющего первое и второе входное звуковое представление и первое и второе направление поступления.

Устройство 300 включает первое осуществление устройства 101 для определения преобразованного пространственного звукового сигнала согласно вышеприведенному описанию для обеспечения первого преобразованного сигнала, имеющего первый всенаправленный компонент и, по крайней мере, один направленный компонент из первого устройства 101. Кроме того, устройство 300 включает другое осуществление устройства 102 для определения преобразованного пространственного звукового сигнала согласно вышеприведенному описанию для обеспечения второго преобразованного сигнала, имеющего второй всенаправленный компонент и, по крайней мере, один направленный компонент из второго устройства 102.

Обычно, осуществления не ограничиваются включением только двух устройств 100, вообще, устройство 300 может состоять из множества вышеописанных устройств, например, устройство 300 может быть приспособлено для объединения множества сигналов DirAC.

Согласно фиг.3, устройство 300 далее включает генератор звукового эффекта 301 для визуализации первого всенаправленного или первого направленного звукового компонента из первого устройства 101, чтобы получить первый визуализированный компонент.

Кроме того, устройство 300 включает первый объединитель 311 для объединения первого визуализированного компонента с первым и вторым всенаправленными компонентами, или для объединения первого визуализированного компонента с направленными компонентами из первого устройства 101 и второго устройства 102 для получения первого объединенного компонента. Устройство 300 далее включает второй объединитель 312 для объединения первого и второго всенаправленных компонентов или направленных компонентов из первого или второго устройства 101 и 102 для получения второго объединенного компонента.

Другими словами, генератор звукового эффекта 301 может визуализировать первый всенаправленный компонент, таким образом, первый объединитель 311 затем может объединять визуализированный первый всенаправленный компонент, первый всенаправленный компонент и второй всенаправленный компонент, чтобы получить первый объединенный компонент. Первый объединенный компонент может тогда соответствовать, например, объединенному всенаправленному компоненту. В этом осуществлении второй объединитель 312 может объединять направленный компонент из первого устройства 101 и направленный компонент из второго устройства, чтобы получить второй объединенный компонент, например, соответствующий первому объединенному направленному компоненту.

В других осуществлениях генератор звукового эффекта 301 может визуализировать направленные компоненты. В этих осуществлениях объединитель 311 может объединять направленный компонент из первого устройства 101, направленный компонент из второго устройства 102 и первый визуализированный компонент, чтобы получить первый объединенный компонент, в этом случае соответствующий объединенному направленному компоненту. В этом осуществлении второй объединитель 312 может объединять первый и второй всенаправленные компоненты из первого устройства 101 и второго устройства 102, чтобы получить второй объединенный компонент, то есть, объединенный всенаправленный компонент.

Другими словами, фиг.3 показывает осуществление устройства 300, приспособленного для определения объединенного преобразованного пространственного звукового сигнала; объединенный преобразованный пространственный звуковой сигнал имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент из первого и второго входного пространственного звукового сигнала; первый входной пространственный звуковой сигнал имеет первое входное звуковое представление и первое направление поступления, второй пространственный входной сигнал имеет второе входное звуковое представление и второе направление поступления.

Устройство 300 включает первое устройство 101, включающее устройство 100, приспособленное для определения преобразованного пространственного звукового сигнала; преобразованный пространственный звуковой сигнал имеет всенаправленный звуковой компонент W' и, по крайней мере, один направленный звуковой компонент X; Y; Z из входного пространственного звукового сигнала; входной пространственный звуковой сигнал имеет входное звуковое представление и входное направление поступления. Устройство 100 включает блок оценки 110, приспособленный для оценки волнового представления; волновое представление включает меру волнового поля и меру направления поступления волны, основанные на входном звуковом представлении и входном направлении поступления.

Кроме того, устройство 100 включает процессор 120, приспособленный для обработки меры волнового поля и меры направления поступления волны, чтобы получить всенаправленный компонент (W') и, по крайней мере, один направленный компонент (X; Y; Z). Первое устройство 101 приспособлено для обеспечения первого преобразованного сигнала, основанного на первом входном пространственном звуковом сигнале, имеющем первый всенаправленный компонент и, по крайней мере, один направленный компонент из первого устройства 101.

Кроме того, устройство 300 включает второе устройство 102, включающее другое устройство 100, приспособленное для обеспечения второго преобразованного сигнала, основанного на втором входном пространственном звуковом сигнале, имеющем второй всенаправленный компонент и, по крайней мере, один направленный компонент из второго устройства 102. Кроме того, устройство 300 включает генератор звукового эффекта 301, приспособленный для визуализации первого всенаправленного компонента для получения первого визуализированного компонента, или для визуализации направленного компонента из первого устройства 101 для получения первого визуализированного компонента.

Кроме того, устройство 300 включает первый объединитель 311, приспособленный для объединения первого визуализированного компонента, первого всенаправленного компонента и второго всенаправленного компонента, или для объединения первого визуализированного компонента, направленного компонента из первого устройства 101 и направленного компонента из второго устройства 102 для получения первого объединенного компонента. Устройство 300 включает второй объединитель 312, приспособленный для объединения направленного компонента из первого устройства 101 и направленного компонента из второго устройства 102, или для объединения первого всенаправленного компонента и второго всенаправленного компонента для получения второго объединенного компонента.

Другими словами, фиг.3 показывает осуществление устройства 300, приспособленного для определения объединенного преобразованного пространственного звукового сигнала; объединенный преобразованный пространственный звуковой сигнал имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент из первого и второго входного пространственного звукового сигнала; первый входной пространственный звуковой сигнал имеет первое входное звуковое представление и первое направление поступления, второй пространственный входной сигнал имеет второе входное звуковое представление и второе направление поступления. Устройство 300 включает первое устройство 101, приспособленное для определения первого преобразованного сигнала; первый преобразованный сигнал имеет первый всенаправленный компонент и, по крайней мере, один первый направленный компонент (X; Y; Z) из первого входного пространственного звукового сигнала. Первое устройство 101 может включать осуществление вышеописанного устройства 100.

Первое устройство 101 включает блок оценки, приспособленный для оценки первого волнового представления; первое волновое представление включает первую меру волнового поля и первую меру направления поступления, основанные на первом входном звуковом представлении и первом входном направлении поступления. Блок оценки может соответствовать осуществлению вышеописанного блока оценки 110.

Первое устройство 101 далее включает процессор, приспособленный для обработки первой меры волнового поля и первой меры направления поступления волны для получения первого всенаправленного компонента и, по крайней мере, одного первого направленного компонента. Процессор может соответствовать осуществлению вышеописанного процессора 120.

Первое устройство 101 далее может быть приспособлено для обеспечения первого преобразованного сигнала, имеющего первый всенаправленный компонент и, по крайней мере, один первый направленный компонент.

Кроме того, устройство 300 включает второе устройство 102, приспособленное для обеспечения второго преобразованного сигнала, основанного на втором входном пространственном звуковом сигнале, имеющем второй всенаправленный компонент и, по крайней мере, один второй направленный компонент. Второе устройство может включать осуществление вышеописанного устройства 100.

Второе устройство 102 далее включает другой блок оценки, приспособленный для оценки второго волнового представления; второе волновое представление включает вторую меру волнового поля и вторую меру направления поступления волны, основанные на втором входном звуковом представлении и втором входном направлении поступления. Другой блок оценки может соответствовать осуществлению вышеописанного блока оценки 110.

Второе устройство 102 далее включает другой процессор, приспособленный для обработки второй меры волнового поля и второй меры направления поступления воды для получения второго всенаправленного компонента и, по крайней мере, одного второго направленного компонента. Другой процессор может соответствовать осуществлению вышеописанного процессора 120.

Кроме того, второе устройство 101 приспособлено для обеспечения второго преобразованного сигнала, имеющего второй всенаправленный компонент и, по крайней мере, один второй направленный компонент.

Кроме того, устройство 300 включает генератор звукового эффекта 301, приспособленный для визуализации первого всенаправленного компонента для получения первого визуализированного компонента, или для визуализации первого направленного компонента для получения первого визуализированного компонента. Устройство 300 включает первый объединитель 311, приспособленный для объединения первого визуализированного компонента, первого всенаправленного компонента и второго всенаправленного компонента, или для объединения первого визуализированного компонента, первого направленного компонента и второго направленного компонента для получения первого объединенного компонента.

Кроме того, устройство 300 включает второй объединитель 312, приспособленный для объединения первого направленного компонента и второго направленного компонента, или для объединения первого всенаправленного компонента и второго всенаправленного компонента для получения второго объединенного компонента.

В осуществлениях может быть реализован способ определения объединенного преобразованного пространственного звукового сигнала; объединенный преобразованный пространственный звуковой сигнал имеет, по крайней мере, первый объединенный компонент и второй объединенный компонент из первого и второго входного пространственного звукового сигнала; первый входной пространственный звуковой сигнал имеет первое входное звуковое представление и первое направление поступления, второй пространственный входной сигнал имеет второе входное звуковое представление и второе направление поступления.

Способ может включать этапы определения первого преобразованного пространственного звукового сигнала; первый преобразованный пространственный звуковой сигнал имеет первый всенаправленный компонент (W') и, по крайней мере, один первый направленный компонент (X; Y; Z) из первого входного пространственного звукового сигнала, посредством использования подэтапов оценки первого волнового представления; первое волновое представление включает первую меру волнового поля и первую меру направления поступления волны, основанные на первом входном звуковом представлении и первом входном направлении поступления; и может включать обработку первой меры волнового поля и первой меры направления поступления волны для получения первого всенаправленного компонента (W') и, по крайней мере, одного первого направленного компонента (X; Y; Z).

Способ может далее включать этап обеспечения первого преобразованного сигнала, имеющего первый всенаправленный компонент и, по крайней мере, один первый направленный компонент.

Кроме того, способ может включать определение второго преобразованного пространственного звукового сигнала; второй преобразованный пространственный звуковой сигнала имеет второй всенаправленный компонент (W') и, по крайней мере, один второй направленный компонент (X; Y; Z) из второго входного пространственного звукового сигнала, посредством использования подэтапов оценки второго волнового представления; второе волновое представление включает вторую меру волнового поля и вторую меру направления поступления волны, основанные на втором входном звуковом представлении и втором входном направлении поступления; и может включать обработку второй меры волнового поля и второй меры направления поступления волны для получения второго всенаправленного компонента (W') и, по крайней мере, одного второго направленного компонента (X; Y; Z).

Кроме того, способ может включать обеспечение второго преобразованного сигнала, имеющего второй всенаправленный компонент и, по крайней мере, один второй направленный компонент.

Способ может далее включать визуализацию первого всенаправленного компонента для получения первого визуализированного компонента, или визуализацию первого направленного компонента для получения первого визуализированного компонента; и объединение первого визуализированного компонента, первого всенаправленного компонента и второго всенаправленного компонента, или объединение первого визуализированного компонента, первого направленного компонента, и второго направленного компонента для получения первого объединенного компонента.

Кроме того, способ может включать объединение первого направленного компонента и второго направленного компонента, или объединение первого всенаправленного компонента и второго всенаправленного компонента для получения второго объединенного компонента.

Согласно вышеописанным осуществлениям, каждое из устройств может производить множественные направленные компоненты, например, X, Y и Z компонент. В осуществлениях могут использоваться множественные генераторы звукового эффекта, обозначенные на фиг.3 пунктирными прямоугольниками 302, 303 и 304. Эти дополнительные генераторы звукового эффекта могут генерировать соответствующие визуализированные компоненты, основанные на всенаправленных и/или направленных входных сигналах. В одном осуществлении генератор звукового эффекта может визуализировать направленный компонент на основе всенаправленного компонента. Кроме того, устройство 300 может включать множественные объединители, то есть, объединители 311, 312, 313 и 314, для объединения всенаправленного объединенного компонента и множественных объединенных направленных компонентов, например, для трех пространственных измерений.

Одним из преимуществ структуры устройства 300 является то, что требуется максимум четыре генератора звукового эффекта для обычной визуализации неограниченного числа звуковых источников.

Как обозначено пунктирными объединителями 331, 332, 333 и 334 на фиг.3, генератор звукового эффекта может быть приспособлен для визуализации комбинации направленных или всенаправленных компонентов из устройств 101 и 102. В одном осуществлении генератор звукового эффекта 301 может быть приспособлен для визуализации комбинации всенаправленных компонентов первого устройства 101 и второго устройства 102, или для визуализации комбинации направленных компонентов первого устройства 101 и второго устройства 102 для получения первого визуализированного компонента. Как обозначено пунктирными каналами на фиг.3, комбинации множественных компонентов могут быть предоставлены различным генераторам звукового эффекта.

В одном осуществлении все всенаправленные компоненты всех звуковых источников, на фиг.3 предоставленные первым устройством 101 и вторым устройством 102, могут быть объединены для генерирования множественных визуализированных компонентов. В каждом из этих четырех каналов, показанных на фиг.3, каждый генератор звукового эффекта может генерировать визуализированный компонент, который будет добавлен к соответствующим направленным или всенаправленным компонентам из источников звука.

Кроме того, как показано на фиг.3, могут использоваться повторяющиеся стадии задержки и масштабирования 321 и 322. Другими словами, каждое устройство 101 или 102 может иметь в своем выходном канале одну стадию задержки и масштабирования 321 или 322 для задержки одного или более выходных компонентов. В некоторых осуществлениях стадии задержки и масштабирования могут задерживать и масштабировать только соответствующие всенаправленные компоненты. Обычно, стадии задержки и масштабирования могут использоваться для всенаправленных и направленных компонентов.

В осуществлениях устройство 300 может включать множество устройств 100, представляющих источники звука и, соответственно, множество генераторов звукового эффекта, где число генераторов звукового эффекта меньше, чем число устройств, соответствующих источникам звука. Как уже было упомянуто, в одном осуществлении может быть до четырех генераторов звукового эффекта, по существу с неограниченным числом источников звука. В осуществлениях генератор звукового эффекта может соответствовать ревербератору.

Фиг.4А показывает другое осуществление устройства 300 более подробно. Фиг.4А показывает два устройства 101 и 102, каждый производит всенаправленный звуковой компонент W и три направленных компонента X, Y, Z. Согласно осуществлению, показанному на фиг.4А, всенаправленные компоненты каждого из устройств 101 и 102 предоставляются двум стадиям задержки и масштабирования 321 и 322, которые производят три задержанных и масштабированных компонента, которые затем добавляются объединителями 331, 332, 333 и 334. Каждый из объединенных сигналов затем визуализируется отдельно одним из четырех генераторов звукового эффекта 301, 302, 303 и 304, которые выполнены как ревербераторы на фиг.4А. Как обозначено на фиг.4А каждый из генераторов звукового эффекта производит один компонент, соответствующий в сумме одному всенаправленному компоненту и трем направленным компонентам. Объединители 311, 312, 313 и 314 затем используются для объединения соответствующих визуализированных компонентов с оригинальными компонентами, произведенными устройствами 101 и 102, где на фиг.4а в общем может быть множество устройств 100.

Другими словами, в объединителе 311 визуализированная версия объединенных всенаправленных выходных сигналов всех устройств может быть объединена с оригинальными или невизуализированными всенаправленными выходными компонентами. Аналогичные комбинации могут быть выполнены другими объединителями относительно направленных компонентов. В осуществлении, показанном на фиг.4А, создаются визуализированные направленные компоненты, основанные на задержанных и масштабированных версиях всенаправленных компонентов.

В общем, осуществления могут эффективно применять звуковой эффект, например, реверберацию, к одному или нескольким потокам DirAC. Например, по крайней мере, два потока DirAC вводятся в осуществление устройства 300, как показано на фиг.4А. В осуществлениях эти потоки могут быть реальными потоками DirAC или синтезированными потоками, например, посредством добавления дополнительной информации, такой как направление и диффузность, к моно сигналу. Согласно вышеупомянутому обсуждению, устройства 101, 102 могут генерировать до четырех сигналов для каждого потока, а именно, W, X, Y и Z. В общем, осуществления устройств 101 или 102 могут обеспечить менее трех направленных компонентов, например, только X, или Х и Y, или любая другая их комбинация.

В некоторых осуществлениях всенаправленные компоненты W могут быть предоставлены генераторам звукового эффекта, например, ревербераторам, чтобы создать визуализированые компоненты. В некоторых осуществлениях для каждого входного потока DirAC сигналы могут копироваться для четырех ветвей, показанных на фиг.4А, которые могут независимо задерживаться, то есть, индивидуально в устройстве 101 или 102 четыре независимо задержанные, например, посредством задержек _W, _X, _Y, _Z, и масштабированные, например, посредством масштабных коэффициентов _W, _X, _Y, _Z, версии могут быть объединены до подачи генератору звукового эффекта.

Согласно Фиг.3 и 4А, ветви различных потоков, то есть, выходы устройств 101 и 102, могут объединяться, чтобы получить четыре объединенных сигнала. Объединенные сигналы затем могут независимо визуализироваться звуковыми генераторами, например, обычными моно ревербераторами. Результирующие визуализированные сигналы затем могут суммироваться с W, X, Y и Z сигналами, первоначально выходящими из различных устройств 101 и 102.

В осуществлениях могут быть получены обычные сигналы В-формата, которые затем могут, например, проигрываться декодером В-формата, как это делается, например, при воспроизведении и передаче окружающего звука (амбиофония). В других осуществлениях сигналы В-формата могут кодироваться, например, кодирующим устройством DirAC, как показано на фиг.7, так что результирующий поток DirAC затем может передаваться, далее обрабатываться или декодироваться обычным моно декодером DirAC. Стадия декодирования может соответствовать вычислительной обработке сигналов громкоговорителя для воспроизведения.

Фиг.4B показывает другое осуществление устройства 300. Фиг.4B показывает два устройства 101 и 102 с соответствующими четырьмя выходными компонентами. В осуществлении, показанном на фиг.4B, только всенаправленные компоненты W используются, чтобы быть сначала индивидуально задержанными и масштабированными на стадиях задержки и масштабирования 321 и 322, а затем быть объединенными объединителем 331. Затем объединенный сигнал подается генератору звукового эффекта 301, который снова выполнен как ревербератор на фиг.4B. Затем визуализированный выход ревербератора 301 объединяется с оригинальными всенаправленными компонентами из устройств 101 и 102 посредством объединителя 311. Другие объединители 312, 313 и 314 используются для объединения направленных компонентов X, Y, и Z из устройств 101 и 102 для получения соответствующих объединенных направленных компонентов.

По отношению к осуществлению, изображенному на фиг.4А, осуществление, изображенное на фиг.4B, соответствует установке масштабных коэффициентов на 0 для ветвей X, Y и Z. В этом осуществлении используется только один генератор звукового эффекта или ревербератор 301. В одном осуществлении генератор звукового эффекта 301 может быть приспособлен для реверберации только первого всенаправленного компонента для получения первого визуализированного компонента, то есть, только W может быть реверберирован.

В общем, поскольку устройства 101, 102 и потенциально N устройства, соответствующие N источниками звука, потенциально N стадии задержки и масштабирования 321, которые являются дополнительными, могут моделировать расстояния до источников звука, более короткая задержка может соответствовать восприятию виртуального источника звука, расположенного ближе к слушателю. В общем, стадия задержки и масштабирования 321 может использоваться для визуализации пространственного соотношения между различными источниками звука, представленными преобразованным сигналом, преобразованными пространственными звуковыми сигналами, соответственно. Пространственное впечатление окружающей среды затем может быть создано соответствующими генераторами звукового эффекта 301 или ревербераторами. Другими словами, в некоторых осуществлениях стадии задержки и масштабирования 321 могут использоваться, чтобы ввести специфические задержки и масштабирование источника относительно других источников звука. Комбинация должным образом связанных, то есть, задержанных и масштабированных, преобразованных сигналов затем может быть приспособлена к пространственной окружающей среде посредством генератора звукового эффекта 301.

Стадия задержки и масштабирования 321 может также рассматриваться как своего рода ревербератор. В осуществлениях задержка, введенная на стадии задержки и масштабирования 321, может быть короче, чем задержка, введенная генератором звукового эффекта 301. В некоторых осуществлениях общая временная основа, например, предоставленная тактовым генератором, может использоваться для стадии задержки и масштабирования 321 и генератора звукового эффекта 301. Тогда задержка может быть выражена в переводе на ряд выборочных периодов, и задержка, введенная стадией задержки и масштабирования 321, может соответствовать более низкому числу выборочных периодов, чем задержка, введенная генератором звукового эффекта 301.

Осуществления, как изображено на Фиг.3, 4А и 4B, могут использоваться для случаев, когда моно декодирование DirAC используется для N источников звука, которые затем совместно реверберируются. Поскольку можно предположить, что выход ревербератора является полностью диффузным, то есть, он также может интерпретироваться как всенаправленный сигнал W. Этот сигнал может объединяться с другими синтезированными сигналами В-формата, такими как сигналы В-формата, произошедшие из N источников звука, таким образом, показывающие прямой путь к слушателю. Когда результирующий сигнал В-формата в дальнейшем DirAC кодируется и декодируется, реверберированный звук может стать доступным при помощи осуществлений.

На фиг.4С показывано другое осуществление устройства 300. В осуществлении, показанном на фиг.4С, основанном на выходных всенаправленных сигналах устройств 101 и 102, создаются направленные реверберированные визуализированные компоненты. Поэтому основанные на всенаправленном выходе стадии задержки и масштабирования 321 и 322 индивидуально создают задержанные и масштабированные компоненты, которые объединяются объединителями 331, 332 и 333. К каждому из объединенных сигналов применяются различные ревербераторы 301, 302 и 303, которые обычно соответствуют различным генераторам звукового эффекта. Согласно вышепредставленному описанию соответствующие всенаправленные, направленные и визуализированные компоненты объединяются объединителями 311, 312, 313 и 314, чтобы получить объединенный всенаправленный компонент и объединенные направленные компоненты.

Другими словами, W-сигналы или всенаправленные сигналы для каждого потока подаются на три генератора звукового эффекта, например, ревербераторы, как показано на рисунках. В общем, также может быть только две ветви в зависимости от того, двухмерный или трехмерный звуковой сигнал должен быть генерирован. Как только получены сигналы В-формата, потоки могут декодироваться посредством декодера DirAC с виртуальным микрофоном. Последний подробно описан в работе В.Пулкки, «Воспроизведение пространственного звука с направленным звуковым кодированием», Журнал Общества Инженеров-звукотехников, 55(6): 503-516.

При помощи этого декодера сигналы громкоговорителя D_P(k,n) могут быть получены как линейная комбинация W, X, Y и Z сигналов, например, согласно

,

где _p и _p - азимут и высота р-нного громкоговорителя. Терм G(k,n) является коэффициентом усиления панорамирования, зависящим от направления поступления и конфигурации громкоговорителя.

Другими словами осуществление, показанное на фиг.4С, может предоставить громкоговорителям звуковые сигналы, соответствующие звуковым сигналам, которые становятся доступными при размещении виртуальных микрофонов, ориентированных на положение громкоговорителей и имеющих точечные источники звука, положение которых определяется DirAC параметрами. Виртуальные микрофоны могут иметь конфигурацию съемки сигнала в форме кардиоидов, диполей, или любой направленной конфигурации первого порядка.

Реверберированные звуки могут, например, эффективно использоваться как Х и Y в суммировании В-формата. Такие осуществления могут применяться к горизонтальным схемам расположения громкоговорителей, имеющим любое число громкоговорителей, не создавая потребность в большем количестве ревербераторов.

Как было обсуждено ранее, моно DirAC декодирование имеет ограничения в качестве реверберации, где в осуществлениях качество может быть улучшено посредством DirAC декодирования с виртуальным микрофоном, который пользуется преимуществом также дипольных сигналов в потоке В-формата.

Надлежащее формирование сигналов В-формата для реверберации звукового сигнала для DirAC декодирования с виртуальным микрофоном может быть выполнено в осуществлениях. Простая и эффективная концепция, которая может использоваться в осуществлениях, предназначена, чтобы провести соединение различных звуковых каналов с различными дипольными сигналами, например, с Х и Y каналами. Осуществления могут выполнить это посредством двух ревербераторов, производящих некогерентные моно звуковые каналы из того же самого входного канала, рассматривая их выход как дипольные звуковые каналы Х и Y В-формата, соответственно, как показано на фиг.4C для направленных компонентов. Поскольку сигналы не применяются к W, они будут проанализированы, чтобы быть полностью диффузными в последующем DirAC кодировании. Кроме того, улучшенное качество для реверберации может быть получено посредством DirAC декодирония с виртуальным микрофоном, поскольку дипольные каналы содержат звук, реверберированный по-другому. Осуществления могут, к тому же, генерировать «более широкое» и более «огибающее» восприятие реверберации, чем при моно DirAC декодировании. Осуществления могут, поэтому, использовать максимум два ревербератора в горизонтальной схеме расположения громкоговорителей, и три для 3-D схем расположения громкоговорителей для описанной реверберации, основанной на DirAC.

Осуществления могут не ограничиваться реверберацией сигналов, но могут применять любые другие звуковые эффекты, которые направлены, например, на полностью диффузное восприятие звука. Подобный вышеописанным осуществлениям, реверберированный сигнал В-формата может быть суммирован с другими синтезированными сигналами В-формата в осуществлениях, такими как произшедшие из N источников звука, таким образом представляя прямой путь к слушателю.

Еще одно осуществление показано на фиг.4D. Фиг.4D показывает осуществление, подобное показанному на фиг.4А, однако, без стадии задержки или масштабирования 321 или 322, то есть, реверберируются только индивидуальные сигналы в ветвях, в некоторых осуществлениях реверберируются только всенаправленные компоненты W. Осуществление, изображенное на фиг.4D, может также рассматриваться как аналогичное осуществлению, изображенному на фиг.4А с задержками и масштабированием или усилением до того, как ревербераторы устанавливаются на 0 и 1 соответственно, однако, в этом осуществлении, не предполагается, что ревербераторы 301, 302, 303 и 304 являются произвольными и независимыми. В осуществлении, изображенном на фиг.4D, предполагается, что четыре генератора звукового эффекта зависят друг от друга, имея специфическую структуру.

Каждый из генераторов звукового эффекта или ревербераторов может быть выполнен как линия задержки с отводами, что будет более подробно описано впоследствии с помощью фиг.5. Задержки и усиление или масштабирование могут быть выбраны должным образом так, что каждый из отводов моделирует одно отчетливое эхо, направление, задержка, и энергия которого могут быть установлены по желанию.

В таком осуществлении i-ное эхо может характеризоваться весовым коэффициентом, например, в ссылке на DirAC звук _i, задержку _i, и направление поступления _i, and _i, соответствующие высоте и азимуту, соответственно.

Параметры ревербераторов могут быть установлены следующим образом

_W= _X= _Y= _Z= _i

_W=p_i, для W ревербератора,

_X=p_i·cos( _i)·cos( _i), для X ревербератора,

_Y=p_i·sin( _i)·cos( _i), для Y ревербератора,

_Z=p_i·sin( _i), для Z ревербератора.

В некоторых осуществлениях физические параметры каждого эха могут быть выведены из вероятностных процессов или взяты из пространственной импульсной характеристики в помещении. Последняя может, например, быть измерена или смоделирована посредством инструмента для построения лучей.

В общем, осуществления могут, вместе с тем, обеспечить то преимущество, что число генераторов звукового эффекта не зависит от числа источников.

Фиг.5 изображает осуществление, использующее концептуальную схему моно звукового эффекта, например, используемую в генераторе звукового эффекта, который расширен в контексте DirAC. Например, ревербератор может быть реализован согласно этой схеме. Фиг.5 показывает осуществление ревербератора 500. Фиг.5 показывает в принципе структуру FIR-фильтра (FIR = Конечная Импульсная Характеристика (КИХ)). Другие осуществления могут также использовать IIR-фильтры (IIR = Бесконечная Импульсная Характеристика (БИХ)). Входной сигнал задерживается стадиями задержки K, маркированными цифрами 511 - 51 K. Задержанные копии K, для которых задержки обозначены _i- _K сигнала, затем усиливаются усилителями 521 - 52 K с коэффициентами усиления _i- _K до суммирования на стадии суммирования 530.

Фиг.6 показывает другое осуществление с расширением технологической цепочки фиг.5 в контексте DirAC. Выход блока обработки может быть сигналом В-формата. Фиг.6 показывает осуществление, где множественные стадии суммирования 560, 562 и 564 используются, давая в результате три выходных сигнала W, Х и Y. Чтобы создать различные комбинации, задержанные копии сигнала могут быть масштабированы по-другому прежде, чем быть добавленными в три различные стадии добавления 560, 562 и 564. Это выполняется дополнительными усилителями 531 - 53 K и 541 - 54 K. Другими словами, осуществление 600, показанное на фиг.6, выполняет реверберацию для различных компонентов сигнала В-формата, основанного на моно DirAC потоке. Три различные реверберированные копии сигнала генерируются посредством использования трех различных FIR-фильтров, установленных посредством различных фильтровых коэффициентов ₁- _K and _{1- K.}

Следующее осуществление может применяться к ревербератору или звуковому эффекту, который может быть смоделирован, как на фиг.5. Входной сигнал проходит через простую линию задержки с отводами, где его множественные копии суммируются, i-ная K ветвей задерживается и ослабляется посредством _i и _i, соответственно.

Коэффициенты и могут быть получены в зависимости от желательного звукового эффекта. В случае ревербератора эти факторы имитируют импульсную характеристику помещения, которая должна быть смоделирована. В любом случае, их определение не освещено, и, таким образом, предполагается, что они даны.

Осуществление изображено на фиг.6. Схема на фиг.5 расширена так, чтобы получить еще два слоя. В осуществлениях для каждой ветви может быть установлен угол поступления , полученный из стохастического процесса. Например, может быть реализацией однородного распределения в диапазоне [- , ], i-ная ветвь умножается на коэффициенты _i and _i, которые могут определяться как

Вместе с тем, в осуществлениях i-ное эхо может восприниматься как поступающее из _i. Расширение до 3D является прямым. В этом случае, еще один слой должен быть добавлен, и должен учитываться угол повышения. Как только сигнал В-формата генерирован, а именно, W, X, Y и, возможно, Z, может выполняться его объединение с другими сигналами В-формата. Тогда, он может посылаться непосредственно в виртуальный микрофон DirAC декодера, или после DirAC кодирования моно DirAC поток может посылаться в моно декодер DirAC.

Осуществления могут включать способ определения преобразованного пространственного звукового сигнала; преобразованный пространственный звуковой сигнал имеет первый направленный звуковой компонент и второй направленный звуковой компонент из входного пространственного звукового сигнала; входной пространственный звуковой сигнал имеет входное звуковое представление и входное направление поступления. Способ включает этапы оценки волнового представления, включающего меру волнового поля и меру направления поступления волны, основанные на входном звуковом представлении и входном направлении поступления. Кроме того, способ включает этап обработки меры волнового поля и меры направления поступления волны для получения первого направленного компонента и второго направленного компонента.

В осуществлениях способ определения преобразованного пространственного звукового сигнала может содержать этап получения моно DirAC потока, который должен быть преобразован в В-формат. Дополнительно W может быть получен из Р, если доступно. В противном случае может быть выполнен этап аппроксимации W как линейной комбинации доступных звуковых сигналов. Впоследствии, этап вычисления множителя как зависимого от частоты-времени весового коэффициента, обратно пропорционального диффузности, может быть выполнен, например, согласно или .

Способ может далее включать этап вычисления сигналов X, Y и Z из P, и e_DOA.

Для случаев, в которых =1, этап получения W из Р может быть заменен получением W из Р при X, У и Z, являющихся нулем, получением, по крайней мере, одного дипольного сигнала X, Y или Z из Р; W является нулем, соответственно. Осуществления данного изобретения могут выполнять обработку сигнала в области В-формата, давая то преимущество, что усовершенствованная обработка сигнала может быть выполнена прежде, чем будут генерированы сигналы громкоговорителя.

В зависимости от определенных требований выполнения изобретательных способов изобретательные способы могут быть осуществлены в аппаратных средствах или программном обеспечении. Выполнение может быть осуществлено с использованием цифрового носителя данных, в частности, флэш-память, диск, DVD или компакт-диск, хранящего электронносчитываемые управляющие сигналы, которые взаимодействуют с программируемой компьютерной системой так, что выполняются изобретательные способы. В общем, данное изобретение, поэтому, является компьютерной управляющей программой с управляющей программой, сохраненной на машиночитаемом носителе; управляющая программа является эффективной для выполнения изобретательных способов, когда компьютерная программа запущена на компьютере или процессоре. Другими словами, изобретательные способы, поэтому, являются компьютерной программой, имеющей управляющую программу для выполнения, по крайней мере, одного из изобретательных способов, когда компьютерная программа запущена на компьютере.