устройство, способ и компьютерная программа для обеспечения набора пространственных указателей на основе сигнала микрофона и устройство для обеспечения двухканального аудиосигнала и набора пространственных указателей

Формула изобретения

1. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) для обеспечения набора пространственных указателей (ICLD_LLs , ICC_LLs, ICLD_RRs, ICC_RRs, ICLD ₁, ICLD₂), связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала (X₁(t), Х₂(t)) микрофона, причем устройство содержит:

анализатор (130; 1212; 1312; 1410; 1510) сигнала, сконфигурированный для получения информации (E{SS*}, E{NN*}) энергии компонента и информации (a, ) направления на основе двухканального сигнала (X₁ (t), Х₂(t)) микрофона, так что информация (E{SS*}, E{NN*}) энергии компонента описывает оценки энергий компонента (S) прямого звука двухканального сигнала микрофона и компонента (N) рассеянного звука двухканального сигнала микрофона, и так что информация (a, ) направления описывает оценку направления, из которого возникает компонент (S) прямого звука двухканального сигнала микрофона; и

генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации, сконфигурированный для отображения информации (E{SS*}, E{NN*}) энергии компонента двухканального сигнала микрофона и информации (a, ) направления двухканального сигнала микрофона на информацию пространственных указателей, описывающую набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

2. Устройство (100; 200; 300; 1200; 1300; 1400; 1500; по п.1, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для непосредственного отображения информации (E{SS*}, E{NN*}) энергии компонента двухканального сигнала (X ₁(t), Х₂(t)) микрофона и информации (a, ) направления двухканального сигнала (X₁(t), Х₂(t)) микрофона на информацию пространственных указателей, описывающую набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

3. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.1, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для отображения информации (E{SS*}, E{NN*}) энергии компонента двухканального сигнала (X ₁(t), Х₂(t)) микрофона и информации (a, ) направления двухканального сигнала (X₁(t), Xs(t)) микрофона на информацию (ICLD_LL, ICC_LLs , ICLD_RRs, ICLD₁, ICLD₂) пространственных указателей, описывающую набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, фактически не используя аудиоканал повышающего микширования, как промежуточное число.

4. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.1, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для отображения информации (a, ) направления на набор коэффициентов усиления (g₁ , g₂, g₃, g₄, g₅), описывающих отображение зависящего от направления прямого звука на окружающий аудиоканал; и

в котором генератор дополнительной пространственной информации также сконфигурирован для получения оценок (P_L, P_R, P_C, P_Ls , P_Rs) интенсивностей каналов, описывающих оцененные интенсивности более чем двух окружающих каналов (L, R, С, L _s, R_s) на основе информации (E{SS*}, E{NN*}) энергии компонента и коэффициентов усиления (g₁, g ₂, g₃, g₄, g₅); и

в котором генератор дополнительной пространственной информации сконфигурирован для определения пространственных указателей (ICLD _LLs, ICC_LLs, ICLD_RRs, ICLD₁ , ICLD₂), связанных с аудиосигналом повышающего микширования на основе оценок (P_L, P_R, P_C , P_Ls, P_Rs) интенсивностей каналов.

5. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.4, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации также сконфигурирован для получения информации (P_LLs, P_RRs) корреляции каналов, описывающей корреляцию между различными каналами (L, L_s , R, R_s) сигнала повышающего микширования на основе информации (E{SS*}, E{NN*}) энергии компонента и коэффициентов усиления (g₁, g₂, g₄, g ₅); и

в котором генератор дополнительной пространственной информации также сконфигурирован для определения пространственных указателей (ICC_LLs, ICC_RRs), связанных с сигналом повышающего микширования, на основе одной или более оценок (P_L, P_Ls, P_R, P_Rs ) интенсивностей каналов и информации (P_LLs, P _RRs) корреляции каналов.

6. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.4, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для линейного объединения оценки (E{SS*}) интенсивности компонента

(S) прямого звука двухканального сигнала (X ₁(t), Х₂(t)) микрофона и оценки (E{NN*}) интенсивности компонента (N) рассеянного звука двухканального сигнала микрофона для получения оценок (P_L, P_R, P_C , P_Ls, P_Rs) интенсивностей каналов, и

в котором генератор дополнительной пространственной информации сконфигурирован для взвешивания оценки (E{SS*}) интенсивности компонента прямого звука в зависимости от коэффициентов усиления (g₁ , g₅) и в зависимости от информации (a, ) направления.

7. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.4, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для получения оцененного значения P_L спектра мощности левого переднего окружающего канала аудиосигнала повышающего микширования в соответствии с



для получения оцененного значения P_R спектра мощности правого переднего окружающего канала аудиосигнала повышающего микширования в соответствии с



для получения оцененного значения Р_С спектра мощности центрального окружающего канала аудиосигнала повышающего микширования в соответствии с



для получения оцененного значения P_Ls спектра мощности левого тылового окружающего канала аудиосигнала повышающего микширования в соответствии с



для получения оцененного значения P_Rs спектра мощности правого тылового окружающего канала в соответствии с



и в котором генератор спектральной дополнительной информации также сконфигурирован для вычисления множества различных разностей уровней между каналами (ICLD_LLs, ICLD _RRs, ICLD₁, ICLD₂), используя оцененные значения спектра мощности,

в котором g₁, g ₂, g₃, g₄, g₅ это коэффициенты усиления, описывающие отображение зависящего от направления прямого звука на окружающий аудиоканал,

в котором f(а) это зависящий от направления коэффициент коррекции амплитуды,

в котором E{SS*} является информацией энергии компонента, описывающей оценку энергии компонента (S) прямого звука двухканального сигнала (X ₁, Х₂) микрофона;

в котором E{NN*} является информацией энергии компонента, описывающей оценку энергии компонента (N) рассеянного звука двухканального сигнала (X₁, Х₂) микрофона; и

в котором h₁, h₂, h₃, h₄, h₅ являются коэффициентами распределения рассеянного звука, описывающими отображение рассеянного звука на окружающий аудиоканал.

8. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.4, в котором генератор (140; 1216; 1312; 1410; 1510) дополнительной пространственной информации сконфигурирован для получения оцененного значения P_LLs спектра взаимной корреляции между левым передним окружающим каналом и левым тыловым окружающим каналом аудиосигнала повышающего микширования согласно



и для получения оцененного значения P _RRs спектра взаимной корреляции между правым передним окружающим каналом и правым тыловым окружающим каналом в соответствии с



и для объединения оцененных значений спектра взаимной корреляции с оцененными значениями (P_L, P _Ls, P_R, P_Rs) спектра мощности окружающих каналов аудиосигнала повышающего микширования для получения указателей (ICC_LLs, ICC_RRs) когерентности между каналами,

в котором g₁, g₂, g₄, g ₅ это коэффициенты усиления, описывающие отображение зависящей от направления мощности прямого звука на окружающий аудиоканал,

в котором f(а) это зависящий от направления коэффициент коррекции амплитуды,

в котором E{SS*} является информацией энергии компонента, описывающей оценку энергии компонента (S) прямого звука двухканального сигнала (X₁, Х₂ ) микрофона;

в котором E{NN*} является информацией энергии компонента описывающей оценку энергии компонента (N) рассеянного звука двухканального сигнала (X₁, Х₂) микрофона.

9. Устройство (100; 200; 300; 1200; 1300; 1400; 1500) по п.1, в котором анализатор (130; 1212; 1312; 1410; 1510) сигнала сконфигурирован для решения системы уравнений, описывающей

(1) соотношение между оцененной энергией (E{X₁X₁*}) сигнала (X₁) первого канала микрофона двухканального сигнала микрофона, оцененной энергией (E{SS*}) компонента (S) прямого звука двухканального сигнала микрофона и оцененной энергией (E{NN*}) компонента (N) рассеянного звука двухканального сигнала микрофона,

(2) соотношение между оцененной энергией (Е{Х₂ Х₂*}) сигнала (Х₂) второго канала микрофона двухканального сигнала микрофона, оцененной энергией (E{SS*}) компонента (S) прямого звука двухканального сигнала микрофона и оцененной энергией (E{NN*}) компонента (N) рассеянного звука двухканального сигнала микрофона, и

(3) соотношение между оцененным значением (E{X₁X₂*}) взаимной корреляции сигнала (X₁) первого канала микрофона и сигнала (Х₂) второго канала микрофона, оцененной энергией (E{SS*}) компонента (S) прямого звука двухканального сигнала микрофона и оцененной энергией (E{NN*}) компонента (N) рассеянного звука двухканального сигнала микрофона,

принимая во внимание предположения, что энергия (E{NN*}) компонента (N) рассеянного звука идентична в сигнале (X₁) первого канала микрофона и сигнале (X₂) второго канала микрофона,

что отношение энергий (E{SS*}, a² E{SS*}) компонента (S) прямого звука в первом (X₁) сигнале микрофона и втором сигнале (Х₂) микрофона зависит от направления,

что нормализованный коэффициент (Ф) взаимной корреляции между компонентами (N₁, N₂) рассеянного звука в первом сигнале (X₁) микрофона и втором сигнале (Х₂) микрофона принимает постоянное значение меньше единицы, причем постоянное значение зависит от характеристик направленности микрофонов, обеспечивающих первый сигнал (X ₁) микрофона и второй сигнал (Х₂) микрофона.

10. Устройство (200) для обеспечения двухканального аудиосигнала ( , ) и набора пространственных указателей (ICLD_LLs , ICC_LLs, ICLD_RRs, ICC_RRs, ICLD ₁, ICLD₂), связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, причем устройство содержит:

сборку (210) микрофона, содержащую первый направленный микрофон (216) и второй направленный микрофон (218),

причем первый направленный микрофон и второй направленный микрофон разнесены не более чем на 30 см, и причем первый направленный микрофон и второй направленный микрофон ориентированы таким образом, что характеристика направленности второго направленного микрофона является повернутой версией характеристики направленности первого направленного микрофона; и

устройство (100) для обеспечения набора пространственных указателей (ICLD_LLs, ICC _LLs, ICLD_RRs, ICC_RRs, ICLD₁ , ICLD₂), связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала (X₁, Х₂) микрофона, по одному из пп.1-9,

причем устройство (100) для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, сконфигурировано для приема сигналов (X₁, X₂ ) микрофона первого и второго направленных микрофонов как двухканального сигнала микрофона и для обеспечения набора пространственных указателей на основе этого; и

средство (230; 340; 1214; 1314) обеспечения двухканального аудиосигнала, сконфигурированное для обеспечения сигналов (x₁, х₂) микрофона первого и второго направленных микрофонов или их обработанных версий, как двухканального аудиосигнала.

11. Устройство (300) для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей (ICLD_LLs, ICC_LLs, ICLD_RRs, ICC _RRs, ICLD₁, ICLD₂), связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала (X₁, Х₂) микрофона, причем устройство содержит:

устройство (100) для обеспечения набора пространственных указателей (ICLD_LLs, ICC _LLs, ICLD_RRs, ICC_RRs, ICLD₁ , ICLD₂), связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала (X₁, Х₂) микрофона, согласно одному из пп.1-9; и

средство (230; 340; 1214; 1314) обеспечения двухканального аудиосигнала, сконфигурированное для обеспечения обработанного двухканального аудиосигнала на основе двухканального сигнала (X₁, Х₂) микрофона,

причем средство обеспечения двухканального аудиосигнала сконфигурировано для масштабирования первого аудиосигнала (X₁) двухканального сигнала микрофона, используя один или более масштабирующих коэффициентов (H₁) первого сигнала микрофона, для получения первого обработанного аудиосигнала ( ) обработанного двухканального аудиосигнала,

причем средство обеспечения двухканального аудиосигнала также сконфигурировано для масштабирования второго аудиосигнала (Х₂) двухканального сигнала микрофона, используя один или более масштабирующих коэффициентов (Н₂) второго сигнала микрофона, для получения второго обработанного аудиосигнала ( ) обработанного двухканального аудиосигнала,

причем средство обеспечения двухканального аудиосигнала сконфигурировано для вычисления одного или более масштабирующих коэффициентов (H₁) первого сигнала микрофона и одного или более масштабирующих коэффициентов (Н₂) второго сигнала микрофона на основе информации (E{SS*}, E{NN*}) энергии компонента, обеспеченной анализатором сигнала устройства для обеспечения набора пространственных указателей, таким образом, что как пространственные указатели, так и масштабирующие коэффициенты (H₁, Н₂) сигнала микрофона определяют с помощью информации энергии компонента.

12. Способ (1600) обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, причем способ содержит, этапы на которых:

получают (1610) информацию энергии компонента и информацию направления на основе двухканального сигнала микрофона, таким образом, что информация энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и таким образом, что информация направления описывает оценку направления, из которого возникает компонент прямого звука двухканального сигнала микрофона; и

отображают (1620) информацию энергии компонента двухканального сигнала микрофона и информацию направления двухканального сигнала микрофона на информацию пространственных указателей, описывающую пространственные указатели, связанные с аудиосигналом повышающего микширования, имеющим более двух каналов.

13. Цифровой носитель, имеющий электронно-считываемые управляющие сигналы для выполнения способа по п.12, когда электронно-считываемые управляющие сигналы взаимодействуют с компьютером.

Описание изобретения к патенту

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Варианты осуществления согласно изобретению относятся к устройству для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Дополнительные варианты осуществления согласно изобретению относятся к соответствующему способу и к соответствующей компьютерной программе. Дополнительные варианты осуществления согласно изобретению относятся к устройству для обеспечения обработанного или необработанного двухканального аудиосигнала и набора пространственных указателей.

Другой вариант осуществления согласно изобретению относится к фронтальному концу микрофона для пространственных аудиокодеров.

Далее будет представлено введение в область параметрического представления аудиосигналов.

Параметрическое представление стереофонических и окружающих аудиосигналов разрабатывалось в течение нескольких предыдущих десятилетий и достигло зрелого состояния. «Интенсивное стерео» (R. Waal and R. Veldhuis, «Subband coding of stereophonic digital audio signals», Proc. IEEE ICASSP 1991, pp. 3601-3604, 1991.), (J. Herre, K. Brandenburg, and D. Lederer, «Intensity stereo coding», 96th AES Conv., Feb. 1994, Amsterdam (preprint 3799), 1994) используется в MP3 (ISO/IEC, Coding of moving pictures and associated audio for digital storage media at up to about 1.5 MbWs - Part 3: Audio. ISO/IEC 1 1172-3 International Standard, 1993, JTC1/SC29/WG11), MPEG-2 AAC (-, Generic coding of moving pictures and associated audio information - Part 7: Advanced Audio Coding. ISO/IEC 13818-7 International Standard, 1997, JTC1/SC29/WG11) и других аудиокодерах. «Интенсивное стерео» является оригинальной методикой параметрического кодирования стереозвука, представляя стереосигналы посредством сигнала понижающего микширования и информации разности уровней. «Бинауральное кодирование» (BCC) (C. Faller and F. Baumgarte, «Efficient representation of spatial audio using perceptual parametrization», in Proc. IEEE Workshop on Appl. OfSig. Proc. to Audio and Acoust., Oct. 2001, pp. 199-202), (-, «Binaural Cue Coding - Part II: Schemes and applications», IEEE Trans, on Speech and Audio Proc, vol. 11, no. 6, pp. 520-531, Nov. 2003) обеспечивает значительное улучшение качества звука посредством использования других наборов фильтров для параметрического стерео/окружающего кодирования, чем для аудиокодирования (F. Baumgarte and C. Faller, «Why Binaural Cue Coding is better than Intensity Stereo Coding», in Preprint 112th Conv. Aud. Eng. Soc. , May 2002), т.е. его можно рассматривать в качестве пред- и постпроцессора для обычного аудиокодера. Дополнительно, в нем используют дополнительные пространственные указатели для определения параметров, а не только разности уровней, т.е. также разность во времени и межканальную когерентность. «Параметрическое стерео» (PS) (E. Schuijers, J. Breebaart, H. Purnhagen, and J. Engdegard, «Low complexity parametric stereo coding», in Preprint 117th Conv. Aud. Eng. Soc, May 2004), которое стандартизировано в IEC/ISO MPEG, использует разности фаз в противоположность разностям во времени, что имеет преимущество в том, что свободный от артефактов синтез проще обеспечивать, чем синтез с задержкой во времени. Описанные концепции «параметрического стерео» также применяют для окружающего звука с помощью BCC. Аудиокодеры «MP3 Surround» (J. Herre, C. Faller, C. Ertel, J. Hilpert, A. Hoelzer, and C. Spenger, «MP3 Surround: Efficient and compatible coding of multi-channel audio», in Preprint 116th Conv. Aud. Eng. Soc, May 2004.), (C. Faller, «Coding of spatial audio compatible with different playback formats», in Preprint 117th Conv. Aud. Eng. Soc, October 2004.) и «MPEG Surround» (J. Herre, K. Kjorling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. R den, W. Oomen, K. Linzmeier, and K.S. Chong, «Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding», in Preprint 122th Conv. Aud. Eng. Soc, May 2007) вводят пространственный синтез, основанный на понижающем микшировании стерео, обеспечивая обратную совместимость стерео и более высокое качество звука. Параметрические многоканальные аудиокодеры, такие как BCC, «MP3 Surround» и «MPEG Surround», часто упоминаются, как пространственные аудиокодеры (SAC).

Недавно была предложена методика, названная «предоставление пространственной импульсной характеристики» (SIRR) (J. Merimaa and V. Pulkki, «Spatial impulse response rendering i: Analysis and synthesis», J. Aud. Eng. Soc, vol. 53, no. 12, 2005.), (V. Pulkki and J. Merimaa, «Spatial impulse response rendering ii: Reproduction of diffuse sound and listening tests», J. Aud. Eng. Soc, vol. 54, no. 1, 2006), в которой синтезируют импульсные характеристики в любом направлении (относительно позиции микрофона), основываясь на одном аудиоканале (W-сигнале B-формата (M.A. Gerzon, «Periphony: Width-Height Sound Reproduction», J Aud. Eng. Soc, vol. 21, no. 1, pp. 2-10, 1973.), (K. Farrar, «Soundfield microphone», Wireless World, pp. 48-50, Oct. 1979), плюс на пространственной информации, полученной из сигналов B-формата. Эта методика позже также применялась к аудиосигналам в противоположность импульсным характеристикам и называлась «направленным кодированием звука» (DirAC) (V. Pulkki and C. Faller, «Directional audio coding: Filterbank and STFTbased design», in Preprint 120th Conv. Aud. Eng. Soc, May 2006, p. preprint 6658). DirAC можно рассматривать как SAC, который применяют непосредственно к сигналам микрофона. Микрофоны различных конструкций были предложены для использования с DirAC (J. Ahonen, G.D. Galdo, M. Kallinger, F. Kuch, V. Pulkki, and R. Schultz-Amling, «Analysis and adjustment of planar microphone arrays for application in directional audio coding», in Preprint 124^th Conv. Aud. Eng. Soc, May. 2008), (J. Ahonen, M. Kallinger, F. K ch, V. Pulkki, and R. Schultz-Amling, «Directional analysis of sound field with linear microphone array and applications in sound reproduction», in Preprint 124th Conv. Aud Eng. Soc, May. 2008.). DirAC всегда основан на сигналах B-формата, и сигналы микрофонов различных конструкций обрабатывают для получения B-формата, который затем используется при анализе направления DirAC.

Ввиду вышеизложенного целью настоящего изобретения является создание эффективной в вычислительном отношении концепции для получения информации пространственных указателей, сохраняя усилие на преобразование звука достаточно малым.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Эту проблему решают с помощью устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.1, устройства для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов по п.10, устройства для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.11, способа обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона по п.12 и компьютерной программы по п.13.

В варианте осуществления согласно изобретению создают устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство содержит анализатор сигнала, конфигурированный для получения информации энергии компонента и информации направления на основе двухканального сигнала микрофона таким образом, что информация энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и таким образом, что информация направления описывает оценку направления, из которого приходит компонент прямого звука двухканального сигнала микрофона. Устройство также содержит генератор дополнительной пространственной информации, конфигурированный для сопоставления информации энергии компонента двухканального сигнала микрофона и информации направления двухканального сигнала микрофона с информацией пространственных указателей, которая описывает набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

Этот вариант осуществления основан на обнаружении, что пространственные указатели аудиосигнала повышающего микширования можно вычислять особенно эффективным способом, если оценки энергий компонента прямого звука и компонента рассеянного звука и информацию направления извлекают из двухканального сигнала и сопоставляют с пространственными указателями, потому что информацию энергии компонента и информацию направления можно обычно извлекать с умеренными вычислительными усилиями из аудиосигнала, имеющего только два канала, но, однако, она является очень хорошей основой для вычисления пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов. Другими словами, даже при том, что информация энергии компонента и информация направления основаны на двухканальном сигнале, эта информация хорошо подходит для прямого вычисления пространственных указателей, фактически не используя аудиоканалы повышающего микширования в качестве промежуточной величины.

В предпочтительном варианте осуществления генератор дополнительной пространственной информации конфигурируют для сопоставления информации направления с набором коэффициентов усиления, которые описывают сопоставление зависящего от направления прямого звука с окружающим аудиоканалом. Кроме того, генератор дополнительной пространственной информации конфигурируют для получения оценок интенсивностей каналов, которые описывают оцененные интенсивности более двух окружающих каналов на основе информации энергии компонента и коэффициентов усиления. В этом случае генератор дополнительной пространственной информации предпочтительно конфигурируют для определения пространственных указателей, связанных с аудиосигналом повышающего микширования, на основе оценок интенсивностей каналов. Этот вариант осуществления основан на обнаружении, что двухканальный сигнал микрофона предоставляет возможность извлечения информации направления, которую можно с хорошими результатами сопоставлять с набором коэффициентов усиления, которые описывают сопоставление зависящего от направления прямого звука с окружающим аудиоканалом, так что можно получать имеющие значение оценки интенсивностей каналов, которые описывают аудиосигнал повышающего микширования и формируют основу для вычисления информации пространственных указателей.

В предпочтительном варианте осуществления генератор дополнительной пространственной информации также конфигурируют для получения информации корреляции каналов, которая описывает корреляцию между различными каналами сигнала повышающего микширования на основе информации энергии компонента и коэффициентов усиления. В данном варианте осуществления генератор дополнительной пространственной информации предпочтительно конфигурируют для определения пространственных указателей, связанных с сигналом повышающего микширования, на основе одной или более оценок интенсивностей каналов и информации корреляции каналов. Было обнаружено, что информация энергии компонента и коэффициенты усиления составляют информацию, которая достаточна для вычисления информации корреляции каналов, так что информацию корреляции каналов можно предпочтительно вычислять, не используя дополнительных переменных (за исключением некоторых констант, отражающих распределение рассеянного звука с каналами сигнала повышающего микширования). Дополнительно было определено, что вполне можно определять пространственные указатели, описывающие межканальную корреляцию сигнала повышающего микширования, как только известны оценки интенсивностей каналов и информация корреляции каналов.

В другом предпочтительном варианте осуществления генератор дополнительной пространственной информации конфигурируют для линейного объединения оценки интенсивности компонента прямого звука двухканального сигнала микрофона и оценки интенсивности компонента рассеянного звука двухканального сигнала микрофона для получения оценок интенсивностей каналов. В данном варианте осуществления генератор дополнительной пространственной информации предпочтительно конфигурируют для взвешивания оценки интенсивности компонента прямого звука в зависимости от коэффициентов усиления и в зависимости от информации направления. Опционно генератор дополнительной пространственной информации можно дополнительно конфигурировать для взвешивания оценки интенсивности компонента рассеянного звука в зависимости от постоянных значений, которые отражают распределение компонента рассеянного звука на различные каналы аудиосигнала повышающего микширования. Было определено, что можно получать оценки интенсивностей каналов с помощью очень простой математической операции, а именно, линейного комбинирования из информации энергии компонента, причем коэффициенты усиления, которые можно эффективно получать из двухканального сигнала микрофона, составляют подходящие весовые коэффициенты.

В другом варианте осуществления согласно изобретению создают устройство для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов. Устройство содержит устройство микрофона, содержащее первый направленный микрофон и второй направленный микрофон, причем первый направленный микрофон и второй направленный микрофон предпочтительно удалены на не более 30 сантиметров (или даже на не более 5 сантиметров), причем первый направленный микрофон и второй направленный микрофон ориентированы таким образом, что характеристика (диаграмма) направленности второго направленного микрофона является повернутой версией характеристики направленности первого направленного микрофона. Устройство для обеспечения двухканального аудиосигнала также содержит устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как обсуждается выше. Устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, предпочтительно конфигурируют для приема сигналов микрофона первого и второго направленных микрофонов в качестве двухканального сигнала микрофона, и для обеспечения набора пространственных указателей на их основе. Устройство для обеспечения двухканального аудиосигнала также содержит средство обеспечения двухканального аудиосигнала, конфигурированное для обеспечения сигналов микрофона первого и второго направленных микрофонов или их обработанных версий, в качестве двухканального аудиосигнала. Согласно изобретению, данный вариант осуществления основан на обнаружении, что микрофоны, находящиеся на небольшом расстоянии, можно использовать для предоставления соответствующей информации пространственных указателей, если характеристики направленности микрофонов являются повернутыми друг по отношению к другу. Таким образом, было определено, что можно вычислять имеющие значения пространственные указатели, связанные с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе физического устройства, которое является сравнительно небольшой. В частности, было обнаружено, что информацию энергии компонента и информацию направления, которые предоставляют возможность эффективного вычисления информации пространственных указателей, можно извлекать с низкими усилиями, если эти два микрофона, обеспечивающие двухканальный сигнал микрофона, расположены друг от друга на сравнительно небольшом расстоянии (например, не более 30 сантиметров) и, следовательно, содержат очень похожую информацию рассеянного звука. Дополнительно, было обнаружено, что использование направленных микрофонов, имеющих характеристики направленности, повернутые по отношению друг к другу, предоставляет возможность вычисления информации энергии компонента и информации направления, потому что различные характеристики направленности обеспечивают разделение между направленным звуком и рассеянным звуком.

В другом варианте осуществления согласно изобретению создают устройство для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство для обеспечения обработанного двухканального аудиосигнала содержит устройство для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как обсуждается выше. Устройство для обеспечения обработанного двухканального сигнала и набора пространственных указателей также содержит средство обеспечения двухканального аудиосигнала, конфигурированное для обеспечения обработанного двухканального аудиосигнала на основе двухканального сигнала микрофона. Средство обеспечения двухканального аудиосигнала предпочтительно конфигурируют для масштабирования первого аудиосигнала двухканального сигнала микрофона, используя один или более коэффициентов масштабирования первого сигнала микрофона, для получения первого обработанного аудиосигнала обработанного двухканального аудиосигнала. Средство обеспечения двухканального аудиосигнала также предпочтительно конфигурируют для масштабирования второго аудиосигнала двухканального сигнала микрофона, используя один или более коэффициентов масштабирования второго сигнала микрофона, для получения второго обработанного аудиосигнала обработанного двухканального аудиосигнала. Средство обеспечения двухканального аудиосигнала предпочтительно конфигурируют для вычисления одного или более коэффициентов масштабирования первого сигнала микрофона и одного или более коэффициентов масштабирования второго сигнала микрофона на основе информации энергии компонента, предоставленной анализатором сигнала устройства, для обеспечения набора пространственных указателей, таким образом, что как пространственные указатели, так и коэффициенты масштабирования сигнала микрофона определяют с помощью информации энергии компонента. Этот вариант осуществления основан на идее, что эффективно использовать информацию энергии компонента, предоставленную анализатором сигнала, и для вычисления набора пространственных указателей, и для соответствующего масштабирования сигналов микрофона, причем соответствующее масштабирование сигналов микрофона может привести к такой адаптации сигналов микрофона и пространственных указателей, что объединенная информация, содержащая и обработанные сигналы микрофона, и пространственные указатели, будет соответствовать требуемому промышленному стандарту пространственного аудиокодирования (например, «MPEG surround»), таким образом обеспечивая возможность воспроизведения аудиоконтента на обычном декодере пространственного аудиокодирования (например, на обычном декодере «MPEG surround»).

В другом варианте осуществления изобретения создают способ обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона.

В еще одном варианте осуществления согласно изобретению создают компьютерную программу для выполнения данного способа.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления согласно изобретению будут далее описаны, обращаясь к прилагаемым фигурам, на которых:

фиг.1 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, согласно варианту осуществления изобретения;

фиг.2 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.3 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.4 показывает графическое представление характеристик направленности двух дипольных микрофонов, которые могут использоваться в вариантах осуществления изобретения;

фиг.5A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для дипольного стереомикрофона;

фиг.5B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для дипольного стереомикрофона;

фиг.6 показывает графическое представление характеристик направленности двух микрофонов с кардиоидной характеристикой направленности, которые могут использоваться в некоторых вариантах осуществления изобретения;

фиг.7A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.7B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.8 показывает графическое представление характеристик направленности двух микрофонов с суперкардиоидной характеристикой направленности, которые могут использоваться в некоторых вариантах осуществления изобретения;

фиг.9A показывает графическое представление соотношения амплитуд между левым и правым каналами в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.9B показывает графическое представление полной мощности в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.10A показывает графическое представление изменения усиления в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.10B показывает графическое представление полной мощности (сплошная линия: без изменения усиления, пунктирная линия: с изменением усиления) в качестве функции от направления прибытия звука для стереомикрофона с кардиоидной характеристикой направленности;

фиг.11A показывает графическое представление изменения усиления в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.11B показывает графическое представление полной мощности (сплошная линия: без изменения усиления, пунктирная линия: с изменением усиления) в качестве функции от направления прибытия звука для стереомикрофона с суперкардиоидной характеристикой направленности;

фиг.12 показывает блок-схему устройства для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, согласно другому варианту осуществления изобретения;

фиг.13 показывает блок-схему кодера, который преобразовывает сигнал стереомикрофона в совместимое с SAC понижающее микширование и дополнительную информацию, и также соответствующий (обычный) декодер SAC;

фиг.14 показывает блок-схему кодера, который преобразовывает сигнал стереомикрофона в совместимую с SAC пространственную дополнительную информацию и также блок-схему соответствующего декодера SAC с обработкой понижающего микширования;

фиг.15 показывает блок-схему «слепого» декодера SAC, в который можно непосредственно подавать сигналы стереомикрофона, причем понижающее микширование SAC и пространственную дополнительную информацию SAC получают с помощью обработки анализа сигнала стереомикрофона; и

фиг.16 показывает последовательность операций способа обеспечения набора пространственных указателей согласно варианту осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг.1 показывает блок-схему устройства 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство 100 конфигурируют для приема двухканального сигнала микрофона, который может, например, содержать сигнал 110 первого канала (также обозначают как x₁) и сигнал 112 второго канала (также обозначают как x₂). Устройство 100 дополнительно конфигурируют для предоставления информации 120 пространственных указателей.

Устройство 100 содержит анализатор 130 сигнала, который конфигурируют для приема сигнала 110 первого канала и сигнала 112 второго канала. Анализатор 130 сигнала конфигурируют для получения информации 132 энергии компонента и информации 134 направления на основе двухканальных сигналов микрофона, т.е. на основе сигнала 110 первого канала и сигнала 112 второго канала. Предпочтительно, анализатор 130 сигнала конфигурируют для получения информации 132 энергии компонента и информации 134 направления таким образом, что информация 132 энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и таким образом, что информация 134 направления описывает оценку направления, с которого приходит компонент прямого звука двухканального сигнала 110, 112 микрофона.

Устройство 100 также содержит генератор 140 дополнительной пространственной информации, который конфигурируют для приема информации 132 энергии компонента и информации 134 направления и обеспечения, на основе этого, информации 120 пространственных указателей. Предпочтительно, генератор 140 дополнительной пространственной информации конфигурируют для сопоставления информации 132 энергии компонента из двухканального сигнала 110, 112 микрофона и информации 134 направления двухканального сигнала 110, 112 микрофона с информацией 120 пространственных указателей. Соответственно, информацию 120 пространственных указателей получают таким образом, что информация 120 пространственных указателей описывает набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов.

Таким образом, устройство 120 предоставляет возможность в вычислительном отношении очень эффективного вычисления информации пространственных указателей, которая связана с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Анализатор 130 сигнала может извлекать большое количество информации из двухканального сигнала микрофона, а именно, информацию энергии компонента, которая описывает и оценку энергии компонента прямого звука, и оценку энергии компонента рассеянного звука, и информацию направления, которая описывает оценку направления, с которого приходит компонент прямого звука двухканального сигнала микрофона. Было обнаружено, что эта информация, которая может быть получена с помощью анализатора сигнала на основе двухканального сигнала 110, 112 микрофона, достаточна для получения информации пространственных указателей даже для аудиосигнала повышающего микширования, имеющего более двух каналов. Важно, что было обнаружено, что энергия 132 компонента и информация направления 134 достаточны для непосредственного определения информации 120 пространственных указателей, фактически не используя аудиоканалы повышающего микширования, как промежуточное значение.

Далее будут описаны некоторые расширения возможностей устройства 100, обращаясь к фиг.2 и 3.

Фиг.2 показывает блок-схему устройства 200 для обеспечения двухканального аудиосигнала и набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов. Устройство 200 содержит устройство 210 микрофона, конфигурированное для обеспечения двухканального сигнала микрофона, содержащего сигнал 212 первого канала и сигнал 214 второго канала. Устройство 200 дополнительно содержит устройство 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона, как описано в отношении фиг.1. Устройство 100 конфигурируют для приема в качестве его входных сигналов сигнала 212 первого канала и сигнала 214 второго канала, обеспеченных с помощью устройства 210 микрофона. Устройство 100 дополнительно конфигурируют для предоставления информации 220 пространственных указателей, которая может быть идентична информации 120 пространственных указателей. Устройство 200 дополнительно содержит средство 230 обеспечения двухканального аудиосигнала, которое конфигурируют для приема сигнала 212 первого канала и сигнала 214 второго канала, обеспеченных с помощью устройства 210 микрофона, и для обеспечения сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона, или их обработанных версий, как двухканального аудиосигнала 232.

Устройство 210 микрофона содержит первый направленный микрофон 216 и второй направленный микрофон 218. Первый направленный микрофон 216 и второй направленный микрофон 218 предпочтительно удалены на не более 30 сантиметров. Соответственно, сигналы, принимаемые первым направленным микрофоном 216 и вторым направленным микрофоном 218, сильно коррелированны, что, как было обнаружено, удобно для вычисления информации энергии компонента и информации направления с помощью анализатора 130 сигнала. Однако первый направленный микрофон 216 и второй направленный микрофон 218 ориентируют таким образом, что характеристика 219 направленности второго направленного микрофона 218 является повернутой версией характеристики 217 направленности первого направленного микрофона 216. Соответственно, сигнал 212 первого канала микрофона и сигнал 214 второго канала микрофона сильно коррелированны (из-за пространственной близости микрофонов 216, 218), но все же отличаются (из-за различных характеристик 217, 219 направленности направленных микрофонов 216, 218). В частности направленный сигнал, попадающий на устройство 210 микрофона из приблизительно постоянного направления, вызывает сильно коррелированные компоненты сигналов для сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона, имеющих постоянное во времени зависящее от направления соотношение амплитуд (или соотношение интенсивностей). Окружающий аудиосигнал, попадающий на устройство 210 микрофона от изменяющихся во времени направлений, приводит к тому, что компоненты сигнала 212 первого канала микрофона и сигнала 214 второго канала микрофона имеют существенную корреляцию, но изменяющиеся во времени соотношения амплитуд (или соотношения интенсивностей). Соответственно, устройство 210 микрофона обеспечивает двухканальный сигнал 212, 214 микрофона, который предоставляет возможность анализатору 130 сигнала из устройства 100 различать прямой звук и рассеянный звук даже при том, что микрофоны 216, 218 близко расположены. Таким образом, устройство 200 является средством обеспечения аудиосигнала, которое можно воплощать в пространственно компактной форме и которое, однако, может обеспечивать пространственные указатели, связанные с сигналом повышающего микширования, имеющим более двух каналов. Пространственные указатели 220 можно использовать в комбинации с обеспеченным двухканальным аудиосигналом 232 с помощью пространственного аудиодекодера для обеспечения выходного сигнала окружающего звука.

Фиг.3 показывает блок-схему устройства 300 для обеспечения обработанного двухканального аудиосигнала и набора пространственных указателей, связанных с сигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Устройство 300 конфигурируют для приема двухканального сигнала микрофона, содержащего сигнал 312 первого канала и сигнал 314 второго канала. Устройство 300 конфигурируют для предоставления информации пространственных указателей 316 на основе двухканального сигнала 312, 314 микрофона. Кроме того, устройство 300 конфигурируют для обеспечения обработанной версии двухканального сигнала микрофона, причем обработанная версия двухканального сигнала микрофона содержит сигнал 322 первого канала и сигнал 324 второго канала.

Устройство 300 содержит устройство 100 для обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала 312, 314. В устройстве 300 устройство 100 конфигурируют для приема в качестве его входных сигналов 110, 112 сигнала 312 первого канала и сигнала 314 второго канала. Дополнительно, информация 120 пространственных указателей, обеспеченная устройством 100, является выходной информацией 316 из устройства 300.

Кроме того, устройство 300 содержит средство 340 обеспечения двухканального аудиосигнала, которое конфигурируют для приема сигнала 312 первого канала и сигнала 314 второго канала. Средство 340 обеспечения двухканального аудиосигнала дополнительно конфигурируют также для приема информации 342 энергии компонента, которую обеспечивают с помощью анализатора 130 сигнала устройства 100. Средство 340 обеспечения двухканального аудиосигнала дополнительно конфигурируют для обеспечения сигнала 322 первого канала и сигнала 324 второго канала обработанного двухканального аудиосигнала.

Средство обеспечения двухканального аудиосигнала предпочтительно содержит блок 350 масштабирования, который конфигурируют для приема сигнала 312 первого канала двухканального сигнала микрофона и масштабирования сигнала 312 первого канала, или его отдельных временных/частотных элементов, для получения сигнала 322 первого канала обработанного двухканального аудиосигнала. Блок 350 масштабирования также конфигурируют для приема сигнала 314 второго канала двухканального сигнала микрофона и для масштабирования сигнала 314 второго канала, или его отдельных временных/частотных элементов, для получения сигнала 324 второго канала обработанного двухканального аудиосигнала.

Средство 340 обеспечения двухканального аудиосигнала также содержит блок 360 вычисления коэффициентов масштабирования, который конфигурируют для вычисления коэффициентов масштабирования, которые должны использоваться блоком 350 масштабирования, на основе информации 342 энергии компонента. Соответственно, информация 342 энергии компонента, которая описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и также компонента рассеянного звука двухканального сигнала микрофона, определяет масштабирование сигнала 312 первого канала и сигнала 314 второго канала двухканального сигнала микрофона, данное масштабирование применяют для получения сигнала 322 первого канала и сигнала 324 второго канала обработанного двухканального аудиосигнала из двухканального сигнала микрофона. Соответственно, та же самая информация энергии компонента используется для определения масштабирования сигнала 312 первого канала и сигнала 314 второго канала двухканального сигнала микрофона, а также информации 120 пространственных указателей. Было обнаружено, что двойное использование информации 342 энергии компонента является в вычислительном отношении очень эффективным решением и также обеспечивает хорошую согласованность между обработанным двухканальным аудиосигналом и информацией пространственных указателей. Соответственно, можно создавать обработанный двухканальный аудиосигнал и информацию пространственных указателей таким образом, чтобы они предоставляли возможность воспроизведения окружения аудиоконтента, представленного двухканальными сигналами 312, 314 микрофона, используя стандартный декодер окружения.

ПОДРОБНОСТИ РЕАЛИЗАЦИИ - СТЕРЕОМИКРОФОНЫ И ИХ ПРИГОДНОСТЬ ДЛЯ ЗАПИСИ ОКРУЖЕНИЯ

В данном разделе различные конфигурации двухканального микрофона обсуждают относительно их пригодности для генерации окружающего аудиосигнала посредством постобработки. В следующем разделе применяют результаты этого обсуждения к использованию пространственного аудиокодирования (SAC) с помощью стереомикрофонов.

Описанные конфигурации микрофона можно, например, использовать для получения двухканального сигнала 110, 112 микрофона, или двухканального сигнала 212, 214 микрофона, или двухканального сигнала 312, 314 микрофона. Описанные конфигурации микрофона можно использовать в устройстве 210 микрофона.

Так как локализация человеком источника в значительной степени зависит от прямого звука, из-за «закона первой волны» (J. Blauert, Spatial Hearing: The Psychophysics of Human Sound Localization, revised ed. Cambridge, Massachusetts, USA: The MIT Press, 1997) анализ в данном разделе выполняют для одного прямого звука, удаленного поля, приходящего под определенным углом в микрофон в свободном поле (отсутствие отражений). Без потери общности для простоты предполагают, что микрофоны являются совпадающими, т.е. два микрофонных капсуля (например, направленные микрофоны 216, 218) расположены в той же самой точке. Учитывая эти предположения, левый и правый сигналы микрофона можно записать следующим образом:

где n - дискретный индекс времени, s(n) соответствует звуковому давлению в местоположении микрофона, r₁( ) - характеристика направленности левого микрофона для звука, приходящего под углом , и r₂( ) является соответствующей характеристикой правого микрофона. Соотношение амплитуд сигналов между правым и левым микрофонами равно

Следует отметить, что соотношение амплитуд захватывает разность уровней и информацию о том, являются ли сигналы синфазными (a( )>0) или несовпадающими по фазе (a( )<0). Если используется сложное представление сигнала (например, сигналов микрофона, x₁(n), x₂ (n)), такое как сокращенное преобразование Фурье, то фаза a( ) дает информацию о разности фаз между сигналами и информацию о задержке. Эта информация полезна, когда микрофоны не являются совпадающими.

Фиг.4 показывает характеристики направленности двух совпадающих дипольных (в форме восьмерки) микрофонов, направленных по направлению ±45 градусов относительно прямой оси X. Части характеристик, отмеченные «+», захватывают звук с положительным знаком, а части, отмеченные «-», захватывают звук с отрицательным знаком. Соотношение амплитуд, как функцию от направления прибытия звука, показывают на фиг.5(A). Следует отметить, что соотношение амплитуд a( ) не является обратимой функцией, т.е. для каждого значения соотношения амплитуд существуют два направления прибытия, которые могут привести к этому соотношению амплитуд. Если звук прибывает только от передних направлений, т.е. в пределах ±90 градусов относительно положительного направления X на фиг.4, то соотношение амплитуд уникально указывает, откуда звук прибыл. Однако для каждого направления спереди существует направление сзади, которое приводит к тому же самому соотношению амплитуд, которое захватывает разность уровней и соотношение амплитуд. Фиг.5(B) показывает общую характеристику двух диполей в дБ (децибелах), т.е.

Следует отметить, что два дипольных микрофона захватывают звук с одинаковой общей характеристикой со всех направлений (0 дБ).

Из приведенного выше обсуждения можно заключить, что два дипольных микрофона с характеристиками, которые показаны на фиг.4, не очень хорошо подходят для генерации сигнала окружающего звука по следующим причинам:

только для диапазона углов 180 градусов соотношение амплитуд уникально определяет направление прибытия звука.

Тыловой и передний звук захватывают с одинаковой общей характеристикой. Нет отклонения звука от направлений за пределами диапазона, в котором соотношение амплитуд уникально.

Следующая рассматриваемая конфигурация микрофона состоит из двух кардиоидных микрофонов, направленных по направлению ±45 градусов, с характеристиками, которые показывают на фиг. 6. Результат аналогичного анализа, как выполненный ранее, показан на фиг.7. Фиг.7(A) показывает a( ) как функцию от направления прибытия звука. Следует отметить, что для направлений между -135 и 135 градусов a( ) уникально определяет направление прибытия звука в микрофонах. Фиг.7(B) показывает общую характеристику как функцию от направления прибытия. Следует отметить, что звук от передних направлений захватывают сильнее и звук захватывают тем слабее, чем больше он прибывает с тыла.

Из этого обсуждения можно заключить, что два кардиоидных микрофона с характеристиками, которые показаны на фиг.6, подходят для генерации окружающего звука по следующим причинам:

посредством измерения соотношения амплитуд a( ) можно уникально определять три четверти всех возможных направлений прибытия (270 градусов), т.е. звук, прибывающий от направлений между ±135 градусов.

Звук, прибывающий от направлений, которые нельзя уникально определить, т.е. с тыла между 135 и 225 градусов, ослаблен, что частично подавляет отрицательное влияние интерпретации этих звуков, как исходящих из передних направлений.

Особенно подходящая конфигурация микрофона вовлекает использование суперкардиоидных микрофонов или других микрофонов с отрицательным тыловым лепестком. Характеристики двух суперкардиоидных микрофонов, направленных приблизительно на ±60 градусов, показаны на фиг.8. Соотношение амплитуд, как функция от угла прибытия, показано на фиг.9(A). Следует отметить, что соотношение амплитуд уникально определяет направление прибытия звука. Это происходит потому, что выбраны такие направления микрофона, что оба микрофона имеют нулевую характеристику при 180 градусов. Другие нулевые характеристики находятся приблизительно при ±60 градусов.

Следует отметить, что эта конфигурация микрофона воспринимает звук синфазно (a( )>0) для передних направлений в диапазоне приблизительно ±60 градусов. Тыловой звук захватывают несинфазно (a( )<0), т.е. с другим знаком. Матричное окружающее кодирование (J.M. Eargle, «Multichannel stereo matrix systems: An overview», IEEE Trans, on Speech and Audio Proc, vol. 19, no. 7, pp. 552-559, July 1971.), (K. Gundry, «A new active matrix decoder for surround sound», in Proc. AES 19th Int. Conf, June 2001) дает аналогичные указатели соотношения амплитуд (C. Faller, «Matrix surround revisited» in Proc. 30th Int. Conv. Aud. Eng. Soc, March 2007) в матричных кодированных двухканальных сигналах. С этой точки зрения эта конфигурация микрофона является подходящей для генерации окружающего аудиосигнала посредством обработки захваченных сигналов.

Фиг.9(B) показывает общую характеристику конфигурации микрофона, как функцию от направления прибытия. В большом диапазоне направлений звук захватывают с аналогичной интенсивностью. По направлению к задней части общая характеристика убывает, пока она не достигнет нуля (минус бесконечность дБ) при 180 градусах.

Функция

дает направление прибытия звука, как функцию соотношения амплитуд между сигналами микрофона. Функцию (4) получают с помощью инвертирования функции, приведенной в (2) в пределах требуемого диапазона, в котором (2) является обратимой.

Для примера двух кардиоидных микрофонов, которые показаны на фиг.6, направление прибытия будет находиться в диапазоне ±135 градусов. Если звук прибывает вне этого диапазона, то его соотношение амплитуд будет интерпретироваться неправильно, и эта функция возвращает направление в диапазоне между ±135 градусов. Для примера двух суперкардиоидных микрофонов, которые показаны на фиг.8, определенное направление прибытия может быть любым значением кроме 180 градусов, так как оба микрофона имеют ноль при 180 градусах.

Как функцию от направления прибытия, усиление сигналов микрофона, возможно, необходимо изменять, чтобы захватывать звук с той же самой интенсивностью в пределах требуемого диапазона направлений. Изменение усиления сигналов микрофона можно выполнять до обработки сигналов микрофона в устройстве 100, например, в пределах устройства 210 микрофона. Изменение усиления как функция от направления прибытия

где G определяет верхний предел в дБ для изменения усиления. Такой верхний предел часто необходим для предотвращения масштабирования сигналов со слишком большим коэффициентом.

Сплошная линия на фиг.10(A) показывает изменение усиления в пределах требуемого направления диапазона прибытия ±135 для случая этих двух кардиоидных микрофонов. Пунктирная линия на фиг.10(A) указывает изменение усиления, которое применяют для звука с тыловых направлений, т.е. между 135 и 225 градусов, где (4) дает (неправильное) переднее направление. Например, для направления прибытия =180 градусов оцененным направлением прибытия (4) является =0 градусов. Поэтому изменение усиления - то же самое, как для =0 градусов, т.е. 0 дБ. Фиг.10(B) показывает общую характеристику этих двух кардиоидных микрофонов (сплошная линия) и общую характеристику, если применяют изменение усиления (пунктирная линия). Предел G в (4) выбран равным 10 дБ, но его не достигают, как обозначено данными на фиг.7(A).

Аналогичный анализ выполняют для случая пары суперкардиоидных микрофонов. Фиг.11(A) показывает изменение усиления для этого случая. Следует отметить, что около 180 градусов достигают предел G=10 дБ. Фиг.11(B) показывает общую характеристику (сплошная линия) и общую характеристику, если применяют изменение усиления (пунктирная линия). Из-за ограничения изменения усиления общая характеристика уменьшается к задней стороне (из-за нулей при 180 градусов потребовалось бы бесконечное изменение). После изменения усиления звук захватывают с полным уровнем (0 дБ) приблизительно в диапазоне 160 градусов, делая эту конфигурацию стереомикрофона в принципе очень подходящей для захвата сигналов, которые будут преобразовывать в сигналы окружающего звука.

Предыдущий анализ показывает, что в принципе можно использовать два микрофона для захвата сигналов, которые содержат достаточную информацию для генерации аудиосигналов окружающего звука. В последующем объясняют, как использовать пространственное аудиокодирование (SAC) для обеспечения этого.

ПОДРОБНОСТИ РЕАЛИЗАЦИИ - ИСПОЛЬЗОВАНИЯ СТЕРЕОМИКРОФОНОВ С ПРОСТРАНСТВЕННЫМИ АУДИОКОДЕРАМИ

В последующем будет описана изобретенная концепция, подробно обращаясь к фиг.12, на которой показан вариант осуществления устройства для обеспечения и обработанного сигнала микрофона, и информация пространственных указателей, которая описывает набор пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе входного двухканального аудиосигнала (обычно двухканального сигнала микрофона).

Устройство 1200 на фиг.12 иллюстрирует соответствующие функциональные возможности. Однако будут описаны три различные конфигурации использования стереомикрофона с пространственным аудиокодером (SAC) для создания многоканального окружающего сигнала. Эти три конфигурации, которые будут объяснены, обращаясь к фиг.13, 14 и 15, могут содержать идентичные функциональные возможности, причем блоки, которые воплощают указанные функциональные возможности, распределяют по-разному на стороне кодера и на стороне декодера.

Нужно также отметить, что в предыдущем разделе приведены два примера подходящих конфигураций стереомикрофона (а именно, устройство, содержащее два кардиоидных микрофона, и устройство, содержащее два суперкардиоидных микрофона). Однако можно, естественно, также использовать другие устройства микрофона, например, устройство, содержащее дипольные микрофоны, даже при том, что эффективность может быть несколько ухудшена.

ПОЛНОСТЬЮ ОБРАТНОСОВМЕСТИМАЯ С SAC СИСТЕМА

Первая возможность состоит в использовании кодера, генерирующего сигнал понижающего микширования и битовый поток, совместимые с SAC. Фиг.12 и 13 показывают SAC-совместимые кодеры 1200 и 1300. Учитывая два сигнала x₁(t), x ₂(t) микрофона и соответствующую информацию 1310 характеристики направленности, генерируют дополнительную информацию 1220, 1320 SAC, которая совместима с декодером 1370 SAC. Дополнительно, два сигнала x₁(t), x₂(t) микрофона обрабатывают для генерации сигнала 1322 понижающего микширования, совместимого с декодером 1370 SAC.

Следует отметить, что нет никакой необходимости генерировать окружающий аудиосигнал в кодере 1200, 1300, что приводит к низкой вычислительной сложности и низким требованиям к памяти.

ПОЛНОСТЬЮ ОБРАТНОСОВМЕСТИМАЯ С SAC СИСТЕМА - АНАЛИЗ СИГНАЛА МИКРОФОНА

Далее описан анализ сигнала микрофона, который можно выполнять с помощью анализатора 1212 сигнала или блока 1312 анализа.

Частотно-временные представления (например, сокращенное преобразование Фурье) сигналов х₁(n) и х₂(n) (или x ₁(t) и x₂(t)) микрофона представляет собой Х ₁(l, i) и X₂(k, i), где k и i являются индексами частоты и временем. Предполагается, что X₁(k, i) и X₂(k, i) можно моделировать как

где a(k, i) является коэффициентом усиления, S(k, i) - прямой звук, а N₁(k, i) и N ₂(k, i) представляют рассеянный звук. Следует отметить, что в последующем для простоты изложения часто игнорируются индексы времени и частоты k и i. Модель (6) сигнала аналогична модели сигнала, используемой для анализа стереосигнала в (-, «Multi-loudspeaker playback of stereo signals», J. of the Aud. Eng. Soc, vol. 54, no. 11, pp. 1051-1064, Nov. 2006), за исключением того, что N₁ и N₂, как предполагают, не являются независимыми.

Используемый позже нормализованный коэффициент кросс-корреляции между двумя сигналами микрофона определяют следующим образом:

где * обозначает комплексное сопряжение и E {.} - операция усреднения.

Для горизонтально рассеянного звука равен

как можно легко проверить, используя аналогичные предположения, как используется в («-, A highly directive 2-capsule based microphone system», in Preprint 123rd Conv. And. Eng. Soc, Oct. 2007), для вычисления нормализованного коэффициента кросс-корреляции.

Сигнал понижающего микширования SAC и дополнительную информацию вычисляют как функцию от a, E{SS*}, E{N₁N₁*} и E{N₂ N₂*}, где E {.} является операцией усреднения за короткий период. Эти значения получают далее.

Из (6) следует, что

Предполагают, что количество рассеянного звука в обоих сигналах микрофона является одинаковым, т.е. E{N ₁N₁*}=E{N₂N₂*}=E{NN*}, и что нормализованный коэффициент кросс-корреляции между N ₁ и N₂ - это _diff (8). Учитывая эти предположения, (9) можно записать следующим образом:

Оценка E{SS*} и a в (9) приводит к квадратному уравнению

с

Тогда E{NN*} является одним из двух решений (11), физически возможно только одно, т.е.

Другое решение (11) приводит к мощности рассеянного звука, которая больше, чем мощность сигнала микрофона, что физически невозможно.

Учитывая (13), просто вычислить a и E{SS*}:

Направление прихода прямого звука (k, i) вычисляют, используя (k, i) в (4).

Чтобы суммировать приведенное выше, информацию энергии прямого звука E{SS*}, информацию энергии рассеянного звука E{NN*} и информацию направления a получают с помощью анализатора 1212 сигнала или блока 1312 анализа. Используется знание характеристики направленности микрофонов. Знание характеристик направленности микрофонов, обеспечивающих двухканальный сигнал микрофона, предоставляет возможность вычислять оцененный коэффициент корреляции _diff (например, согласно уравнению (8)), что отражает факт, что рассеянные аудиосигналы проявляют другие характеристики взаимной корреляции, чем компоненты направленного звука. Знание характеристик микрофона можно или применять во время разработки анализатора 1212, 1312 сигнала, или использовать во время выполнения. В некоторых случаях анализатор 1212, 1312 сигнала можно конфигурировать для приема информации, описывающей характеристики направленности микрофонов, так что анализатор 1212, 1312 сигнала может динамически настраиваться к характеристикам микрофона.

Чтобы дополнительно суммировать приведенное выше, можно сказать, что анализатор 1212, 1312 сигнала конфигурируют для решения системы уравнений, описывающих:

(1) зависимость между оцененной энергией (или интенсивностью) сигнала первого канала микрофона двухканального сигнала микрофона, оцененной энергией (или интенсивностью) компонента прямого звука двухканального сигнала микрофона и оцененной энергией компонента рассеянного звука двухканального сигнала микрофона;

(2) зависимость между оцененной энергией (или интенсивностью) сигнала второго канала микрофона двухканального сигнала микрофона, оцененной энергией (или интенсивностью) компонента прямого звука двухканального сигнала микрофона и оцененной энергией компонента рассеянного звука двухканального сигнала микрофона, и;

(3) зависимость между оцененным значением кросс-корреляции сигнала первого канала микрофона и сигнала второго канала микрофона, оцененной энергией (или интенсивностью) компонента прямого звука двухканального сигнала микрофона и оцененной энергией (или интенсивностью) компонента рассеянного звука двухканального сигнала микрофона;

(см. уравнение (10).

Решая эту систему уравнений, анализатор сигнала может учитывать предположение, что энергия компонента рассеянного звука одинакова в сигнале первого канала микрофона и в сигнале второго канала микрофона. Кроме того, можно учитывать, что соотношение энергий компонента прямого звука в первом сигнале микрофона и во втором сигнале микрофона зависит от направления. Кроме того, можно учитывать, что нормализованный коэффициент кросс-корреляции между компонентами рассеянного звука в первом сигнале микрофона и во втором сигнале микрофона имеет постоянное значение, которое меньше 1, это постоянное значение зависит от характеристик направленности микрофонов, обеспечивающих первый сигнал микрофона и второй сигнал микрофона. Коэффициент взаимной корреляции, который приведен в уравнении (8), можно предварительно вычислять во время разработки или можно вычислять во время выполнения на основе информации, описывающей характеристики микрофона.

Соответственно, можно сначала вычислять автокорреляцию первого сигнала x₁ микрофона, автокорреляцию второго сигнала x₂ микрофона и кросс-корреляцию между первым сигналом x₁ микрофона и вторым сигналом x₂ микрофона и получать информацию энергии компонента и информацию направления из полученных значений автокорреляции и полученного значения кросс-корреляции, например, используя уравнения (12), (13) и (14).

Анализ сигнала микрофона, обсуждаемый раньше, можно, например, выполнять с помощью анализатора 1212 сигнала или блока 1312 анализа.

ПОЛНОСТЬЮ ОБРАТНОСОВМЕСТИМАЯ С SAC СИСТЕМА - ГЕНЕРАЦИЯ СИГНАЛА ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ SAC

В предпочтительном варианте осуществления изобретенное устройство содержит генератор 1214, 1314 сигнала понижающего микширования SAC, который конфигурируют для выполнения обработки понижающего микширования для обеспечения сигнала 1222, 1322 понижающего микширования SAC на основе двухканального сигнала x₁, x₂ микрофона. Таким образом, генератор 1214 сигнала понижающего микширования SAC и обработку 1314 понижающего микширования можно конфигурировать для обработки или изменения двухканального сигнала x₁, x₂ микрофона таким образом, что обработанная версия 1222, 1322 двухканального сигнала x₁, x₂ микрофона содержит характеристики сигнала понижающего микширования SAC, и ее можно применять в качестве входного сигнала на обычный декодер SAC. Однако нужно отметить, что генератор 1214 понижающего микширования SAC и обработку 1314 понижающего микширования нужно рассматривать в качестве дополнительных.

Сигналы (х₁ , х₂) микрофона иногда не подходят непосредственно в качестве сигнала понижающего микширования, так как прямой звук с боков и с задней стороны ослаблен относительно звука, прибывающего с передних направлений. Прямой звук, содержащийся в сигналах (x₁, x₂) микрофона, необходимо компенсировать усилением на g( ) дБ (5), т.е. в идеале сигнал понижающего микширования SAC должен быть

где h - усиление в дБ, управляющее количеством рассеянного звука при понижающем микшировании. (В данном случае предполагают, что матрица понижающего микширования используется SAC с теми же самыми весовыми коэффициентами для передних боковых и тыловых каналов. Если меньшие весовые коэффициенты используются для тыловых каналов, как дополнительно рекомендуется ITU (Международным союзом электросвязи) (Rec. ITU-R BS.775, Multi-Channel Stereophonic Sound System with or without Accompanying Picture. ITU, 1993 <http://www.itu.org>), то это нужно рассматривать дополнительно).

Фильтры Винера (S. Haykin, Adaptive Filter Theory (third edition). Prentice Hall, 1996) используются для оценки требуемого сигнала понижающего микширования

где фильтры Винера являются следующими

Следует отметить, что для краткости изложения индексы времени и частоты k и i снова опущены. Подставляя (6) и (15) в (17), получают

Коэффициенты фильтра Винера, например, которые приведены в уравнении (18), можно вычислять, например, с помощью вычислителя 1214a коэффициентов фильтра (или вычислителя коэффициентов масштабирования) генератора 1214 сигнала понижающего микширования SAC. Вообще говоря, коэффициенты фильтра Винера можно вычислять с помощью обработки 1314 понижающего микширования. Дополнительно, коэффициенты фильтра Винера можно применять к двухканальному сигналу x₁, x₂ микрофона с помощью фильтра 1214b (или блока масштабирования) для получения обработанного двухканального аудиосигнала или обработанного доканального сигнала 1222 микрофона, содержащего обработанный сигнал ₁ первого канала и обработанный второй сигнал ₂ микрофона. Вообще говоря, коэффициенты фильтра Винера можно применять посредством обработки 1314 понижающего микширования для получения сигнала 1322 понижающего микширования SAC из двухканального сигнала x₁, x₂ микрофона.

ПОЛНОСТЬЮ ОБРАТНОСОВМЕСТИМАЯ С SAC СИСТЕМА - ГЕНЕРАЦИЯ ПРОСТРАНСТВЕННОЙ ДОПОЛНИТЕЛЬНОЙ ИНФОРМАЦИИ

В последующем будет описано, как информацию 1220 пространственных указателей получают с помощью генератора 1216 пространственной дополнительной информации устройства 1200, и как дополнительную информацию 1320 SAC получают с помощью блока 1312 анализа устройства 1300. Нужно отметить, что и генератор 1216 дополнительной пространственной информации, и блок 1312 анализа можно конфигурировать для обеспечения одинаковой выходной информации таким образом, что информация 1220 пространственных указателей может быть эквивалентна дополнительной информации 1320 SAC.

Учитывая результаты анализа стереосигнала, т.е. параметры, соответственно, (4), E{SS*} и E{NN*}, совместимые с декодером SAC пространственные параметры 1220, 1320 генерируются генератором 1216 пространственной дополнительной информации или блоком 1312 анализа. Одним из способов сделать это является рассмотрение модели многоканального сигнала, например:

где предполагают, что мощность сигналов - равна E{NN*} и что - взаимно независимы. Если необходимо больше 5 каналов окружающего аудио, то используют модель и SAC с большим количеством каналов.

На первом этапе в качестве функции от направления прибытия прямого звука (k, i) применяют закон многоканального панорамирования амплитуды (V. Pulkki, «Virtual sound source positioning using Vector Base Amplitude Panning», J. Audio Eng. Soc, vol. 45, pp. 456-466, June 1997.), (D. Griesinger, «Stereo and surround panning in practice», in Preprint 112th Conv. Aud. Eng. Soc , May 2002) для определения коэффициентов усиления g₁-g₅. Это вычисление можно выполнять с помощью вычислителя 1216a коэффициентов усиления генератора 1216 пространственной дополнительной информации. Затем эвристическую процедуру используют для определения коэффициентов усиления рассеянного звука h₁-h₅. Постоянные значения h ₁=1:0, h₂=1:0, h₃=0, h₄ =1:0 и h₅=1:0, которые можно выбирать во время разработки, являются обоснованным выбором, т.е. окружающий звук одинаково распространяется вперед и назад, в то время как центральный канал генерируют, как необработанный сигнал.

Учитывая модель (19) окружающего сигнала, анализ пространственных указателей определенного используемого SAC применяют к модели сигнала для получения пространственных указателей. В последующем получают пространственные указатели, необходимые для «MPEG Surround», которые можно получать с помощью генератора 1216 пространственной дополнительной информации, как выходную информацию 1220, или которые можно получать, как дополнительную информацию 1320 SAC с помощью блока 1312 анализа.

Спектры мощности сигналов, определенных в (19), являются следующими

Эти спектры мощности можно вычислять с помощью вычислителя 1216b оценки интенсивности канала на основе информации, предоставленной анализатором 1212 сигнала и вычислителя 1216 коэффициентов усиления, например, учитывая постоянные значения для h₁-h₅. Альтернативно, эти спектры мощности можно вычислять с помощью блока 1312 анализа.

Взаимные спектры, необходимые в последующем, равны

Взаимные спектры можно также вычислять с помощью вычислителя 1216b оценки интенсивности канала. Альтернативно, взаимные спектры можно вычислять с помощью блока 1312 анализа.

Первый блок «два к одному» (TTO) «MPEG Surround» использует разность уровней между каналами (ICLD) и межканальную когерентность (ICC) между L и Ls, которые, основываясь на (19), равны

Соответственно, вычислитель 1216 пространственных указателей можно конфигурировать для вычисления пространственных указателей ICLD_LLs и ICC_LLs, как определено в уравнении (22), на основе оценок интенсивностей каналов и взаимных спектров, обеспеченных вычислителем 1216b оценки интенсивности канала. Альтернативно, блок 1312 анализа может вычислять пространственные указатели, как определено в уравнении (22).

Точно так же вычисляют ICLD и ICC второго блока TTO для R и R_s :

Соответственно, вычислитель 1216c пространственных указателей можно конфигурировать для вычисления пространственных указателей ICLD_RRs и ICC_RRs , как определено в уравнении (23), на основе оценок интенсивностей каналов и взаимных спектров, обеспеченных вычислителем 1216b оценки интенсивности канала. Альтернативно, блок 1312 анализа может вычислять пространственные указатели ICLD_RRs и ICC_RRs, как определено в уравнении (23).

Блок «три к двум» (TTT) «MPEG Surround» используется в «режиме энергии». Два параметра ICLD, используемые блоком TTT, равны

Соответственно, вычислитель 1216c пространственных указателей можно конфигурировать для вычисления указателей ICLD₁ и ICLD₂, как определено в уравнении (24), на основе оценок интенсивностей каналов, обеспеченных вычислителем 1216b оценки интенсивности канала. Альтернативно, блок 1312 анализа может вычислять пространственные указатели ICLD₁, ICLD₂, как определено в уравнении (24).

Следует отметить, что индексы i и k снова опускают для краткости изложения.

Естественно, необязательно, чтобы вычислитель 1216c пространственных указателей вычислял все указанные выше указатели ICLD_LLs, ICLD _RRs, ICLD₁, ICLD₂, ICC_LLs , ICC_RRs. Вместо этого достаточно, если вычислитель 1216c пространственных указателей (или блок 1312 анализа) вычисляет поднабор этих пространственных указателей, когда они требуются при фактическом применении. Аналогично, не требуется, чтобы оценщик 1216b интенсивности канала (или блок 1312 анализа) вычислял все оценки интенсивности канала P_L, P_R, P _C, P_Ls, P_Rs и взаимные спектры P _LLs, P_RRs, которые указаны выше. Вместо этого вполне достаточно, если вычислитель 1216b оценки интенсивности канала вычисляет те оценки интенсивности канала и взаимные спектры, которые требуются для последующего вычисления необходимых пространственных указателей с помощью вычислителя 1216 пространственных указателей.

СИСТЕМА, ИСПОЛЬЗУЮЩАЯ СИГНАЛЫ МИКРОФОНА В КАЧЕСТВЕ СИГНАЛА ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ

Ранее описанный сценарий использования кодера 1200, 1300, генерирующего совместимый с SAC сигнал 1222, 1322 понижающего микширования и пространственную дополнительную информацию 1220, 1320, имеет преимущество, что обычный декодер 1320 SAC можно использовать для генерации окружающего аудиосигнала.

Если обратная совместимость не играет роли, и если по некоторым причинам желательно использовать неизмененные сигналы x₁, x₂ микрофона в качестве сигналов понижающего микширования, то «обработка понижающего микширования» может быть перемещена из кодера 1300 в декодер 1370, как показано на фиг.14. Следует отметить, что в этом сценарии информацию, необходимую для обработки понижающего микширования, т.е. (18), необходимо передавать на декодер в дополнение к пространственной дополнительной информации (если не очень хорошо разработан эвристический алгоритм, который получает эту информацию из пространственной дополнительной информации).

Другими словами, на фиг.14 показывают блок-схему кодера пространственного аудиокодирования и декодера пространственного аудиокодирования. Кодер 1400 содержит блок 1410 анализа, который может быть идентичен блоку 1310 анализа и который может поэтому содержать функциональные возможности анализатора 1212 сигнала и генератора 1216 пространственной дополнительной информации. В варианте осуществления на фиг.14 сигнал, передаваемый от кодера 1400 на расширенный декодер 1470, содержит двухканальный сигнал x₁, x₂ микрофона (или его закодированное представление). Дополнительно, сигнал, передаваемый от кодера 1400 на расширенный декодер 1470, также содержит информацию 1413, которая может, например, содержать информацию энергии прямого звука E{SS*} и информацию энергии рассеянного звука E{NN*} (или их закодированную версию). Кроме того, информация, передаваемая от кодера 1400 на расширенный декодер 1470, содержит дополнительную информацию 1420 SAC, которая может быть идентична информации 1220 пространственных указателей или дополнительной информации 1320 SAC. В варианте осуществления на фиг.14 расширенный декодер 1470 содержит обработку 1472 понижающего микширования, которая может брать на себя функциональные возможности генератора 1214 сигнала понижающего микширования SAC или процессора 1314 понижающего микширования. Расширенный декодер 1470 может также содержать обычный декодер 1480 SAC, который может быть идентичен по функции декодеру 1370 SAC. Декодер 1480 SAC можно поэтому конфигурировать для приема дополнительной информации 1420 SAC, которую обеспечивают с помощью блока 1410 анализа кодера 1400, и информации 1474 понижающего микширования SAC, которую обеспечивают с помощью обработки 1472 понижающего микширования декодера на основе двухканального сигнала x₁, x ₂ микрофона, обеспеченного кодером 1400, и дополнительной информации 1413, обеспеченной кодером 1400. Информация 1474 понижающего микширования SAC может быть эквивалентна информации 1322 понижающего микширования SAC. Декодер 1480 SAC можно поэтому конфигурировать для обеспечения аудиосигнала окружающего звука, содержащего больше двух аудиоканалов, на основе сигнала 1474 понижающего микширования SAC и дополнительной информации 1420 SAC.

«Слепая» система

Третий описанный сценарий использования SAC со стереомикрофонами является измененным «слепым» декодером SAC, в который можно подавать непосредственно сигналы x₁, x₂ микрофона для генерации сигналов окружающего звука. Это соответствует перемещению не только блока 1314 «обработки понижающего микширования», но также и блока 1312 «анализа» из кодера 1300 в декодер 1370, как показано на фиг.15. В отличие от декодеров первых двух предложенных систем, «слепому» декодеру SAC нужна информация о конкретной конфигурации используемого микрофона.

Структурная схема такого измененного «слепого» декодера SAC показана на фиг.15. Как можно заметить, измененный «слепой» декодер 1500 SAC конфигурируют для приема сигналов x₁ , x₂ микрофона и, дополнительно, информации характеристики направленности, которая характеризует характеристику направленности устройства микрофона, создающего сигналы x₁, x ₂ микрофона. Как можно заметить на фиг.15, декодер содержит блок 1510 анализа, который эквивалентен блоку 1310 анализа и блоку 1410 анализа. Кроме того, «слепой» декодер 1500 SAC содержит обработку 1514 понижающего микширования, которая идентична обработке 1314, 1472 понижающего микширования. Кроме того, измененный «слепой» декодер 1500 SAC содержит синтез 1570 SAC, который может быть идентичен декодеру 1370, 1480 SAC. Соответственно, функциональные возможности «слепого» декодера 1500 SAC идентичны функциональным возможностям системы 1300, 1370 кодера/декодера и системы 1400, 1470 кодера/декодера, за исключением того, что все описанные выше компоненты 1510, 1514, 1540, 1570 расположены на стороне декодера. Поэтому «слепой» декодер 1500 SAC предпочтительно принимает необработанные сигналы x₁, x₂ микрофона вместо обработанных сигналов 1322 микрофона, которые принимает декодер 1370 SAC. Кроме того, «слепой» декодер 1500 SAC конфигурируют для получения дополнительной информации SAC в форме пространственных указателей SAC, самостоятельно вместо того, чтобы принимать их от кодера.

Относительно декодеров 1370, 1480, 1570 SAC нужно отметить, что этот блок отвечает за обеспечение выходного сигнала окружающего звука на основе аудиосигнала понижающего микширования и пространственных указателей 1320, 1420, 1520. Таким образом, декодер 1370, 1480, 1570 SAC содержит блок повышающего микширования, конфигурированный для синтеза выходного сигнала окружающего звука (который обычно содержит более двух аудиоканалов, а предпочтительно содержит 6 или более аудиоканалов (например, 5 окружающих каналов и 1 низкочастотный канал)) на основе сигнала понижающего микширования (например, необработанного или обработанного двухканального сигнала микрофона), используя информацию пространственных указателей, причем информация пространственных указателей обычно содержит один или более следующих параметров: межканальное различие уровней (ICLD), межканальная корреляция (ICC).

Способ

Фиг.16 показывает последовательность операций способа 1600 обеспечения набора пространственных указателей, связанных с аудиосигналом повышающего микширования, имеющим более двух каналов, на основе двухканального сигнала микрофона. Способ 1600 содержит первый этап 1610 получения информации энергии компонента и информации направления на основе двухканального сигнала микрофона, так что информация энергии компонента описывает оценки энергий компонента прямого звука двухканального сигнала микрофона и компонента рассеянного звука двухканального сигнала микрофона, и так что информация направления описывает оценку направления, из которого приходит компонент прямого звука двухканального сигнала микрофона. Способ 1600 также содержит этап 1620 сопоставления информации энергии компонента двухканального сигнала микрофона и информации направления двухканального сигнала микрофона с информацией пространственных указателей, которая описывает пространственные указатели, связанные с аудиосигналом повышающего микширования, имеющим более двух каналов. Естественно, способ 1600 может быть дополнен любой из особенностей и функциональных возможностей описанного изобретенного устройства.

Компьютерная реализация

Хотя некоторые аспекты описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют этапу способа или особенности этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или особенности соответствующего устройства.

Кодированный аудиосигнал согласно изобретению, например, сигнал 1322 понижающего микширования SAC в комбинации с дополнительной информацией 1320 SAC, или сигналы x₁, x₂ микрофона в комбинации с информацией 1413, и дополнительную информацию 1420 SAC или сигналы x₁, x₂ микрофона, можно сохранять на цифровом носителе хранения или можно передавать по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, например, Интернет.

В зависимости от определенных требований реализации варианты осуществления изобретения можно воплощать в аппаратных средствах или в программном обеспечении. Реализацию можно воплощать, используя цифровой носитель хранения, например, гибкий диск, DVD, диск Blue-Ray, CD, ПЗУ (ROM), программируемое ПЗУ (PROM), стираемое программируемое ПЗУ (EPROM), электрически стираемое программируемое ПЗУ (EEPROM) или флэш-память, имеющие хранящиеся на них электронно-считываемые управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ. Поэтому цифровой носитель хранения может быть считываемым компьютером.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронно-считываемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой, таким образом, что выполняется один из описанных способов.

В общем случае варианты осуществления настоящего изобретения можно воплощать, как компьютерный программный продукт с кодом программы, причем код программы предназначен для выполнения одного из способов, когда компьютерный программный продукт выполняют на компьютере. Код программы можно, например, сохранять на машинно-считываемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных способов, сохраненную на машинно-считываемом носителе.

Другими словами, вариантом осуществления изобретенного способа поэтому является компьютерная программа, имеющая код программы для выполнения одного из описанных способов, когда данную компьютерную программу выполняют на компьютере.

Дополнительным вариантом осуществления изобретенного способа поэтому является носитель данных (или цифровой носитель хранения, или считываемый компьютером носитель), содержащий записанную на нем компьютерную программу для выполнения одного из описанных способов.

Дополнительным вариантом осуществления изобретенного способа поэтому является поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из описанных способов. Поток данных или последовательность сигналов можно, например, конфигурировать для передачи через соединение передачи данных, например через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, конфигурированное или настроенное для выполнения одного из описанных способов.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных способов.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей описанных способов. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из описанных способов. В общем случае способы предпочтительно выполняют с помощью любого аппаратного устройства.

Описанные выше варианты осуществления являются просто иллюстративными для принципов настоящего изобретения. Подразумевается, что изменения и разновидности схемы и описанных подробностей будут очевидны специалистам. Поэтому оно ограничено только предметным охватом последующих пунктов формулы изобретения, а не конкретными подробностями, представленными посредством описания и объяснения вариантов осуществления.

Заключение

Обсуждалась пригодность стереомикрофонов для записи окружающего звука посредством использования пространственного аудиокодирования (SAC). Были представлены три системы, которые используют SAC для генерации многоканального окружающего аудиосигнала, основываясь на сигналах стереомикрофона. Одной из этих систем, а именно, системой указателей согласно фиг.12 и 13, является битовый поток и декодер, совместимый с существующими SAC, причем специализированный кодер генерирует совместимый стереосигнал понижающего микширования и дополнительную информацию непосредственно из стереосигнала микрофона. Вторая предложенная система, которая описана в отношении фиг.14, использует стереосигнал микрофона непосредственно в качестве сигнала понижающего микширования SAC, и третья система, которая описана в отношении фиг.15, - это «слепой» декодер SAC, преобразовывающий стереосигнал микрофона непосредственно в многоканальный окружающий аудиосигнал.

Описаны три различные конфигурации, как использовать стереомикрофон с пространственным аудиокодером (SAC) для генерации многоканальных окружающих аудиосигналов. В предыдущем разделе приведены два примера особенно подходящих конфигураций стереомикрофона.

Варианты осуществления согласно изобретению создают набор из двух передних концов микрофона на основе капсуля для использования с обычными SAC для непосредственного захвата кодированного окружающего звука. Особенности предложенных схем:

Конфигурациями микрофона могут быть обычные стереомикрофоны или оптимизированные конкретно для этой цели стереомикрофоны.

Когда нет необходимости генерации окружающего сигнала в кодере, генерируют совместимый с SAC сигнал понижающего микширования и дополнительную информацию.

Генерируют высококачественный стереосигнал понижающего микширования, используемый декодером SAC для генерации окружающего звука.

Если кодирование нежелательно, то измененный «слепой» декодер SAC можно использовать для непосредственного преобразования сигналов микрофона в окружающий аудиосигнал.

В настоящем описании обсуждается пригодность различных конфигураций стереомикрофона для захвата информации окружающего звука. Основываясь на результате этого обсуждения, были предложены три системы для использования SAC со стереомикрофонами и были представлены некоторые выводы.

Пригодность различных конфигураций стереомикрофона для захвата окружающей звуковой информации обсуждается в разделе, озаглавленном «Стереомикрофоны и их пригодность для записи окружающего звука». Три системы были описаны в разделе, озаглавленном «Использование стереомикрофонов с пространственными аудиокодерами».

Чтобы дополнительно суммировать, пространственные аудиокодеры, такие как «MPEG surround», обеспечивают низкую битовую скорость и обратносовместимое кодирование стерео многоканального окружающего аудио. Направленное аудиокодирование (DirAC) можно рассматривать в качестве пространственного аудиокодирования, разработанного вокруг определенных входных каскадов микрофона. DirAC основано на анализе пространственного звука B-формата и не имеет прямой обратной совместимости стерео. Настоящее изобретение создает набор из двух передних концов стереосовместимого микрофона на основе капсуля и соответствующих изменений пространственного аудиокодера, которые предоставляют возможность использовать пространственные аудиокодеры для непосредственного захвата и кодирования окружающего звука.