устройство для генерирования многоканального звукового сигнала

Формула изобретения

1. Устройство (100) для генерирования многоканального звукового сигнала (142), основанного на входном звуковом сигнале (102), включающее средство повышающего микширования главного сигнала (110), формируемое, чтобы обеспечить главный многоканальный звуковой сигнал (112), основанный на входном звуковом сигнале (102), где главный многоканальный звуковой сигнал (112) включает больше каналов, чем входной звуковой сигнал (102);

секционный (сегментный) селектор (120), формируемый, чтобы выбрать или не выбрать секцию (сегмент) входного звукового сигнала (102), основанного на анализе входного звукового сигнала (102), где выбранная секция входного звукового сигнала (102), обработанная выбранная секция входного звукового сигнала (102) или опорный сигнал, связанный с выбранной секцией входного звукового сигнала (102), предоставляется как секционный сигнал (122),

где секционный селектор (120) выбирает секцию входного звукового сигнала (102) посредством отделения точечного источника звука;

средство повышающего микширования секционного сигнала (130), формируемое, чтобы обеспечить секционный сигнал повышающего микширования (132), основанный на секционном сигнале (122),

где средство повышающего микширования секционного сигнала (130) генерирует секционный сигнал повышающего микширования, содержащий более одного точечного источника звука; и

объединитель (140), формируемый, чтобы совмещать главный многоканальный звуковой сигнал (112) и секционный сигнал повышающего микширования (132), чтобы получить многоканальный звуковой сигнал (142),

где средство повышающего микширования секционного сигнала (130) формируется, чтобы обеспечить секционный сигнал повышающего микширования (132), основанный на параметре положения, где положение многоканального звукового сигнала, который основывается на секционном сигнале, для каждого канала многоканального звукового сигнала основывается на параметре положения.

2. Устройство для генерирования многоканального звукового сигнала по п.1 включает анализатор (810), формируемый для выполнения анализа входного звукового сигнала (102), чтобы идентифицировать секцию входного звукового сигнала (102), который будет выбран.

3. Устройство для генерирования многоканального звукового сигнала по п.2, где анализатор (810) формируется, чтобы идентифицировать секцию входного звукового сигнала (102), основанного на параметре идентификации, содержащемся во входном звуковом сигнале (102), на сравнении входного звукового сигнала с опорным сигналом или частотном анализе входного звукового сигнала (102).

4. Устройство для генерирования многоканального звукового сигнала по п.2, где анализатор (810) обеспечивает параметр анализа, где средство повышающего микширования главного сигнала (110) обеспечивает главный многоканальный звуковой сигнал, основанный на параметре анализа, или средство повышающего микширования секционного сигнала (130) обеспечивает секционный сигнал повышающего микширования (132), основанный на параметре анализа.

5. Устройство для генерирования многоканального звукового сигнала по п.1 включает память секционного сигнала (920), формируемую, чтобы сохранить секционный сигнал или обработанный секционный сигнал, где средство повышающего микширования секционного сигнала (130) формируется, чтобы обеспечить множество секционных сигналов повышающего микширования (132), основанных на сохраненном секционном сигнале, сохраненном обработанном секционном сигнале, измененном сохраненном секционном сигнале или измененном сохраненном обработанном секционном сигнале.

6. Устройство для генерирования многоканального звукового сигнала по п.5, где средство повышающего микширования секционного сигнала (130) формируется, чтобы обеспечить определенное число секционных сигналов повышающего микширования (132), основанных на сохраненном секционном сигнале или сохраненном обработанном секционном сигнале, где определенное число секционных сигналов повышающего микширования (132) определяется параметром плотности.

7. Устройство для генерирования многоканального звукового сигнала по п.6 включает генератор случайных положений (930), формируемый, чтобы генерировать параметр случайного положения.

8. Устройство для генерирования многоканального звукового сигнала по п.1, где средство повышающего микширования секционного сигнала (130) формируется, чтобы обеспечить множество секционных сигналов повышающего микширования (132), основывающихся на параметре распространения, где каждый секционный сигнал повышающего микширования (132) множества секционных сигналов повышающего микширования (132) основывается на индивидуальном параметре положения, где множество параметров положения основывается на параметре распространения.

9. Устройство для генерирования многоканального звукового сигнала по п.1, где средство повышающего микширования главного сигнала (110) формируется, чтобы ослабить часть входного звукового сигнала (102), связанного с выбранной секцией входного звукового сигнала (102).

10. Устройство для генерирования многоканального звукового сигнала по п.1 включает контроллер, формируемый, чтобы дезактивировать секционный селектор (120), средство повышающего микширования секционного сигнала (130) или объединитель (140) так, чтобы многоканальный звуковой сигнал (142) был равен главному многоканальному звуковому сигналу (112) или был главным многоканальным звуковым сигналом (112), где контроллер управляется параметром управления, содержащимся во входном звуковом сигнале (102), или управляется пользовательским интерфейсом.

11. Способ (1000) генерирования многоканального звукового сигнала, основанного на входном звуковом сигнале, включающий обеспечение (1010) главного многоканального звукового сигнала, основанного на входном звуковом сигнале, где главный многоканальный звуковой сигнал (112) включает больше каналов, чем входной звуковой сигнал (102); выбор (1020) или не выбор секции входного звукового сигнала, основанного на анализе входного звукового сигнала, где выбранная секция входного звукового сигнала, обработанная выбранная секция входного звукового сигнала или опорный сигнал, связанный с выбранной секцией входного звукового сигнала, предоставляется как секционный сигнал, где выбор (1020) секции входного звукового сигнала (102) выполняется посредством отделения точечного источника звука; генерирование секционного сигнала повышающего микширования, содержащего более одного точечного источника звука, основанного на секционном сигнале; обеспечение (1030) секционного сигнала повышающего микширования; и совмещение (1040) главного многоканального звукового сигнала и секционного сигнала повышающего микширования, чтобы получить многоканальный звуковой сигнал, где секционный сигнал повышающего микширования (132) обеспечивается (1030), основываясь на параметре положения, где положение многоканального звукового сигнала, который основывается на секционном сигнале, для каждого канала многоканального звукового сигнала основывается на параметре положения.

12. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу с программным кодом, способным выполнять способ по п.11, когда компьютерная программа выполняется компьютером или процессором.

Описание изобретения к патенту

Осуществления согласно изобретению связаны с устройством и способом генерирования многоканального звукового сигнала, основанного на входном звуковом сигнале.

Некоторые осуществления согласно изобретению связаны с обработкой звукового сигнала, в частности, связаны с концепциями генерирования многоканальных сигналов, где не для каждого громкоговорителя передается собственный сигнал.

Когда сигнал с N звуковыми каналами воспроизводится звуковой системой, например, с M каналами воспроизведения (М>N), существуют следующие возможности:

1) Используется только часть доступных громкоговорителей

2) Генерируется сигнал, который использует полную доступную систему воспроизведения.

Вторая возможность - предпочтительное решение, далее по тексту также называемое повышающим микшированием.

В контексте повышающего микширования существует два различных вида способов генерирования многоканального сигнала. Например, существующий многоканальный сигнал складывается до меньшего числа каналов, чтобы восстановить оригинальный сигнал в приемнике (ресивере), основанный на дополнительных данных. Этот способ также называют управляемым повышающим микшированием.

Другая возможность - так называемый способ слепого повышающего микширования. Это касается многоканального расширения без предварительных сведений. Нет никаких дополнительных данных, которые управляют процессом. Нет также никакого оригинального звукового впечатления или опорного звукового впечатления, которое должно быть воспроизведено или достигнуто посредством слепого повышающего микширования.

Поэтому существуют различные подходы к реализации слепого повышающего микширования.

Один возможный подход известен как концепция прямого окружения. В этом случае, источники прямого звука предпочтительно воспроизводятся посредством трех передних каналов (например, для так называемой 5.1 системы домашнего кино) так, что источники прямого звука являются слышимыми для слушателя в тех же самых положениях, как в оригинальной версии с двумя каналами (например, когда входной сигнал - стерео сигнал).

Фиг.2 показывает схематическую иллюстрацию воспроизведения звукового сигнала 200 для системы с двумя каналами. Оригинальная двухканальная версия показана, например, с тремя источниками прямого звука S1, S2, S3, 240. Звуковой сигнал воспроизводится для слушателя 210 левым громкоговорителем 220 и правым громкоговорителем 230 и включает части сигнала трех источников прямого звука и часть окружения 250, обозначенную обведенной кружком областью. Это - например, стандартное двухканальное стерео воспроизведение (3 источника и окружение).

Фиг.3 показывает схематическую иллюстрацию воспроизведения звукового сигнала 300 слепого повышающего микширования согласно концепции прямого окружения. Пять громкоговорителей (центральный 310, передний левый 320, передний правый 330, задний левый 340, и задний правый 350) предназначены для воспроизведения многоканального звукового сигнала.

Источники прямого звука 240 воспроизводятся тремя громкоговорителями 310, 320, 330 впереди. Части окружения 250, содержащиеся в звуковой дорожке, воспроизводятся передними каналами и окружающими каналами, чтобы обогнуть слушателя 210.

Части окружения - части сигнала, которые не могут предназначаться одиночному источнику, но предназначаются комбинации всех звуковых компонентов, которые создают впечатление слышимой окружающей среды. Части окружения могут включать, например, отражение сигналов в помещении и реверберацию в помещении, а также звуки публики, например, аплодисменты, естественные звуки, например, шум дождя или искусственные звуковые эффекты, например, треск виниловой пластинки.

Следующая возможная концепция часто упоминается как концепция в диапазоне. Фиг.4 показывает схематическую иллюстрацию воспроизведения звукового сигнала 400 согласно концепции в диапазоне. Расположение громкоговорителей соответствует расположению громкоговорителей на фиг.3. Однако каждый тип звука, например источники прямых звуков и звуки, подобные окружению, располагаются вокруг слушателя.

Так как все выходные сигналы генерируются из того же самого входного сигнала, выходные сигналы должны быть в дальнейшем декоррелированы. Для этого могут использоваться многие известные способы, например, временная задержка или использование всечастотного фильтра. Упомянутые простые способы часто проявляют дополнительно к эффекту декорреляции тревожащие недостатки.

Например, один недостаток состоит в том, что почти все способы декорреляции искажают временную структуру входных сигналов, так что переходные структуры теряют свой переходный характер. Это приводит, например, к такому эффекту, что подобный аплодисментам сигнал окружения может достичь только эффекта огибания, но никакого погружения.

Особые типы сигнала, такие как аплодисменты или шум дождя, занимают исключительное положение среди сигналов окружения. Это - сигналы окружения, которые не обязательно создают впечатление в помещении. Они, скорее, создают ощущение огибания при помощи огромного числа временных и пространственных совмещений (оверлеев) одиночных частей, которые включают в собственных интересах черты прямого звука, например, одиночные хлопки или звук одиночных капель дождя. Посредством совмещения результирующий полный сигнал получает, главным образом, те же самые статистические свойства, известные из реверберации в помещении.

В частности, этими типами сигнала трудно управлять способом повышающего микширования (посредством управляемого повышающего микширования, а так же слепого повышающего микширования). Кроме того, они часто приводят к дефектному повышающему микшированию, например, часто может быть слышим эффект, подобный гребенчатому фильтру.

Известные способы слепого повышающего микширования, которые создают части сигнала для задних каналов, чтобы не появлялись эти артефакты, генерируют звуковое впечатление, которое ограничивается впечатлением, например, где хлопки аудитории перед слушателем, а окружающие каналы производят только впечатление помещения, в котором имеют место аплодисменты (огибающее окружение). Но особенно желательно в этом окружении быть частью аплодирующей аудитории или оставаться под дождем (окружение с погружением). Для этого все части (подобно концепции в диапазоне) должны быть распределены вокруг слушателя, но без определенных измерений это снова приведет к звуковому впечатлению с артефактами.

В работе А. Вагнера, А. Вальтера, Ф. Мельхиора, М. Штрауса «Генерирование атмосфер с высокой степенью погружения для воспроизведения синтеза волнового поля», представленной на 116^-ом Съезде AES, Берлин, 2004 г., описывается способ, как иммерсивное окружение (с погружением) может быть генерировано для синтеза волнового поля. Для этого слушатель окружается 360° декоррелированным огибающим звуковым полем, которое создает впечатление представленной акустической окружающей среды.

Чтобы достигнуть иммерсионного эффекта (эффекта погружения), добавляются так называемые фокусирующие источники. Фокусирующий источник - точечный источник звука, который воспринимается как одиночный источник и представляет характерные одиночные звуки огибающего звукового поля.

Согласно публикации, одиночные источники (звуковые частицы (материальные точки)) должны быть доступны для каждого окружения в больших количествах и могут быть или отдельно записанными звуками, или искусственными звуками, генерированными синтезатором.

Этот объектно-ориентированный подход имеет тот недостаток, что различные звуковые сигналы для каждого типа окружения уже должны быть доступными. С одной стороны, сигналы огибающего окружения, как некоррелированные одиночные дорожки, с другой стороны, одиночные источники звука, как отдельные звуковые файлы. Упомянутая альтернатива должна искусственно генерировать (например, посредством программного обеспечения синтезатора) их для каждого типа окружения (если известно), что включает риск того, что они не подойдут для воспроизведенного окружения. Дополнительно, для такого генерирования, например, необходима математическая модель звуков частицы (материальной точки) и продолжительное вычислительное время. В общем, усилия, направленные на синтез волнового поля, очень высоки.

В научной статье Джерарда Хото, Стивена Ван де Пара, Джероена Бреебарта «Многоканальное кодирование сигналов аплодисментов» описывается способ многоканального кодирования сигналов аплодисментов, который, в частности, включает способ декорреляции случайных окружений (например: аплодисменты, дождь, треск).

Здесь упоминается, что частотно-избирательное кодирующее устройство ухудшает качество сигналов, и, поэтому, предоставляется только кодирующее устройство, основанное на временном интервале.

В этой связи должна быть выполнена только декорреляция, что означает, по существу, что все сигналы звучат одинаково (или как на входе). Вводится способ декорреляции, при помощи которого воспроизведение опорного звука должно быть успешным.

В более ранней предварительно неопубликованной европейской заявке на патент с номером заявки EP 08018793 вводится способ, который разлагает подобный аплодисментам сигнал на звук переднего плана и звуковой фон. Ссылка также делается на работу А. Вагнера, А. Вальтера, Ф. Мельхиора, М. Штрауса «Генерирование атмосфер с высокой степенью погружения для воспроизведения синтеза волнового поля», представленную на 116^-ом Съезде AES, Берлин, 2004 г., Огибающее окружение отделяется от воспринимаемых одиночных звуков, из которых состоит окружение, и затем эти две части могут регулироваться отдельно друг от друга.

В упомянутой предварительно неопубликованной заявке на патент описывается способ, включающий одно осуществление (управляемый режим), пытающееся воспроизвести оригинальное окружение. В принципе, фоновые звуки (отличные от звуков переднего плана) только декоррелируются, а звуки переднего плана только помещаются в разное время в различные положения. Можно сказать, что это касается только способа декорреляции.

Полный сигнал разлагается на передний план и фон. Можно предположить, что только общее воспроизведение разделенных частей будет снова звучать хорошо, но обе, сами по себе, могут включать артефакты.

Следующие известные способы повышающего микширования описываются, например, в работе Роя Ирвана и Рональдуса Аарца «Многоканальный звуковой преобразователь», Номер международной публикации: WO 02/052896 A2, в работе Карлоса Авендано и Жана-Марка Джота «Разделение (сегрегация) потока для стерео сигналов», Публикация № US 2007/0041592 A1, в работе Дэвида Гризингера «Многоканальное кодирующее устройство с активной матрицей и декодер с максимальным боковым разделением (эшелонированием)», № патента US 005870480 A, и в работе Яна Петерсена «Многоканальная система воспроизведения звука для стереофонических сигналов», Номер международной публикации: WO 01/62045 A1, которые не проводят различия между различными входными сигналами.

Задача данного изобретения - предоставить устройство для генерирования многоканального звукового сигнала, который обеспечивает улучшенную гибкость и качество звука.

Это достигается при помощи устройства по п.1 и способа по п.12.

Осуществление изобретения обеспечивает устройство для генерирования многоканального звукового сигнала, основанного на входном звуковом сигнале. Устройство включает средство повышающего микширования главного сигнала, секционный (сегментный) селектор, средство повышающего микширования секционного (сегментного) сигнала и объединитель.

Средство повышающего микширования главного сигнала формируется, чтобы обеспечить главный многоканальный звуковой сигнал, основанный на входном звуковом сигнале.

Секционный (сегментный) селектор формируется, чтобы выбирать или не выбирать секцию (сегмент) входного звукового сигнала, основанного на анализе входного звукового сигнала. Выбранная секция входного звукового сигнала, обработанная выбранная секция входного звукового сигнала или опорный сигнал, связанный с выбранной секцией входного звукового сигнала, предоставляется как секционный сигнал.

Средство повышающего микширования секционного сигнала формируется, чтобы обеспечить секционный сигнал повышающего микширования, основанный на секционном сигнале, а объединитель формируется, чтобы совместить главный многоканальный звуковой сигнал и секционный канал повышающего микширования для получения многоканального звукового сигнала.

Осуществления согласно данному изобретению основываются на центральной идее о том, что главный многоканальный звуковой сигнал, генерированный средством повышающего микширования главного сигнала, модернизируется (апгрейдируется) дополнительным звуковым сигналом на основе секционного сигнала повышающего микширования. Этот дополнительный звуковой сигнал основывается на выборе секции входного звукового сигнала.

На многоканальный звуковой сигнал можно влиять очень гибким способом посредством секционного селектора и средства повышающего микширования секционного сигнала.

Благодаря повышенной гибкости и при использовании интеллектуального выбора секционного сигнала и подходящего принципа повышающего микширования секционного сигнала может быть улучшено качество звука.

Так как многоканальный звуковой сигнал - это, так или иначе, искусственный сигнал, потому что он генерируется на основе входного звукового сигнала с меньшим количеством каналов, чем многоканальный звуковой сигнал, и не обеспечивает оригинальное звуковое впечатление, качество звука многоканального звукового сигнала может быть улучшено, чтобы получить сигнал, который может генерировать звуковое впечатление, насколько возможно идентичное оригинальному звуковому впечатлению, посредством гибкого использования секционного селектора и средства повышающего микширования секционного сигнала.

Средство повышающего микширования главного сигнала уже может генерировать хорошее звучание главного многоканального звукового сигнала, который улучшается посредством совмещения с секционным сигналом повышающего микширования.

Возникновение артефактов, генерируемых, например, посредством разделения входного звукового сигнала на сигнал переднего плана и фоновый сигнал, может быть предотвращено.

В некоторых осуществлениях согласно изобретению выбранный секционный сигнал сохраняется и используется несколько раз для повышающего микширования и совмещения, чтобы получить улучшенный многоканальный звуковой сигнал. Таким образом, число секционных сигналов в многоканальном звуковом сигнале может быть различно. Например, секционный сигнал соответствует одиночной капле дождя, падающей на землю. Таким образом, плотность одиночных слышимых капель дождя в ливне может различаться.

В некоторых дальнейших осуществлениях согласно изобретению входной звуковой сигнал анализируется, чтобы идентифицировать секцию входного звукового сигнала. Например, специальный сигнал окружения, такой как аплодисменты или дождь, может быть идентифицирован, и в пределах этих сигналов одиночный хлопок или капля дождя могут быть выделены.

Осуществления согласно изобретению будут детализированы впоследствии со ссылкой на приложенные рисунки, в которых:

Фиг.1 - блок-схема устройства для генерирования многоканального звукового сигнала;

Фиг.2 - схематическая иллюстрация воспроизведения звукового сигнала системы с двумя каналами;

Фиг.3 - схематическая иллюстрация воспроизведения звукового сигнала слепого повышающего микширования согласно концепции прямого окружения;

Фиг.4 - схематическая иллюстрация воспроизведения звукового сигнала слепого повышающего микширования согласно концепции в диапазоне;

Фиг.5 - схематическая иллюстрация воспроизведения звукового сигнала подобного аплодисментам, включающего множество одиночных источников;

Фиг.6 - схематическая иллюстрация влияния параметра положений на воспроизведение звукового сигнала;

Фиг.7 - схематическая иллюстрация влияния параметра распределения на воспроизведение звукового сигнала;

Фиг.8 - блок-схема устройства для генерирования многоканального звукового сигнала;

Фиг.9 - блок-схема устройства для генерирования многоканального звукового сигнала; и

Фиг.10 - блок-схема способа генерирования многоканального звукового сигнала.

Для упрощения, большинство приведенных ниже осуществлений упоминает или показывает входной звуковой сигнал с двумя каналами (N=2) и генерированный многоканальный звуковой сигнал с пятью каналами (M=5). Это соответствует общему случаю, когда среды с двумя каналами (например, компакт-диски) должны быть воспроизведены системой с пятью каналами (часто называемые 5.1 система домашнего кино, где .1 обозначает целевой канал с уменьшенной полосой пропускания). Однако описанные концепции могут легко переноситься на любое число каналов или объектно-ориентированные воспроизведения человеком, сведущим в определенной области техники.

Фиг.1 показывает блок-схему устройства 100 для генерирования многоканального звукового сигнала 142, основанного на входном звуковом сигнале 102, согласно осуществлению изобретения. Устройство 100 включает средство повышающего микширования главного сигнала 110, секционный селектор 120, средство повышающего микширования секционного сигнала 130 и объединитель 140. Средство повышающего микширования главного сигнала 110 соединяется с объединителем 140, секционный селектор 120 соединяется со средством повышающего микширования секционного сигнала 130, и средство повышающего микширования секционного сигнала 130 также соединяется с объединителем 140.

Средство повышающего микширования главного сигнала 110 формируется, чтобы обеспечить главный многоканальный звуковой сигнал 112, основанный на входном звуковом сигнале 102.

Секционный селектор 120 формируется, чтобы выбрать или не выбрать секцию входного звукового сигнала 102, основанного на анализе входного звукового сигнала 102. Выбранная секция входного звукового сигнала 102, обработанная выбранная секция входного звукового сигнала 102 или опорный сигнал, связанный с выбранной секцией входного звукового сигнала 102 предоставляются как секционный сигнал 122.

Средство повышающего микширования секционного сигнала 130 формируется, чтобы обеспечить секционный сигнал повышающего микширования 132, основанный на секционном сигнале 122.

Объединитель 140 формируется, чтобы совместить главный многоканальный звуковой сигнал 112 и секционный сигнал повышающего микширования 132, чтобы получить многоканальный звуковой сигнал 142.

Например, представительная секция (сегмент) входного звукового сигнала для специального окружения, такого как аплодисменты или дождь, выбирается, основываясь на анализе входного звукового сигнала. Эта выбранная секция 122 может обрабатываться или заменяться опорным сигналом. Выбранная секция 122, обработанная выбранная секция или опорный сигнал затем микшируется с повышением и совмещается с главным многоканальным звуковым сигналом 112, чтобы получить улучшенный многоканальный звуковой сигнал 142.

Поэтому можно добавить, например, переходный сигнал на основе секционного сигнала повышающего микширования 132 к главному многоканальному звуковому сигналу 112.

Повышающее микширование секционного сигнала и совмещение могут быть выполнены так, чтобы многоканальный звуковой сигнал 142 мог генерировать иммерсивное (с погружением) окружение для слушателя и, следовательно, улучшенный многоканальный звуковой сигнал.

Средство повышающего микширования главного сигнала 110 может, в принципе, работать согласно любому способу повышающего микширования. Чтобы получить гомогенное подобное окружению звуковое впечатление на предельном расстоянии слышимости звука между передними громкоговорителями и окружающими громкоговорителями, все сигналы громкоговорителей и, особенно, передний звук относительно окружающего звука, должны декоррелироваться. Во время слепого повышающего микширования, например, доступно только N входных сигналов, из которых новые выходные сигналы с другими свойствами должны генерироваться посредством взвешивания отдельных частей сигналов. Таким образом, например, источники прямого звука могут быть акцентированы посредством ослабления части окружения или наоборот.

Обычно можно предположить, что общий эффект повышающего микширования генерирует огибающее звуковое впечатление для подобных аплодисментам сигналов.

Секционный (сегментный) селектор 120 также может быть назван сепаратором частиц (материальных точек), и, осуществляя выбор секции (сегмента) входного сигнала, может также быть описан посредством отделения (сепарации) частицы (материальной точки).

Секционный (сегментный) селектор 120 выбирает, например, посредством исключения, секцию (сегмент) входного сигнала (который также называется фрагментом частицы (материальной точки) или звука), которая типична или характерна для входного сигнала. Это может быть сделано по-разному.

Например, короткая секция формы волны (представление временной области) входного сигнала может быть исключена.

Альтернативой может быть выбор, дополнительно, обработка и повторное преобразование одиночных блоков или группы блоков из частотно-временной области во временную область.

Следующая альтернатива - маркировка блоков во временной области и/или частотной области, которые специально регулируются при последующей обработке и снова добавляются к полному сигналу прямо перед повторным преобразованием. Например, временная секция входного звукового сигнала может быть выбрана и разделена на множество частотных диапазонов, например, гребенкой фильтров. Один или несколько различных частотных диапазонов могут быть обработаны, а затем, в случае необходимости, повторно преобразованы и, например, совмещены с необработанной выбранной секцией (сегментом) входного звукового сигнала.

Обрабатывая выбранную секцию входного звукового сигнала, качество звуковой частицы (материальной точки) (выбранная секция) может быть улучшено. Например, хлопок слушателя из публики может быть выделен (изолирован) посредством обработки выбранной секции. Выделенный хлопок может быть изменен, чтобы генерировать, например, лучше звучащий хлопок или различные немного по-разному звучащие хлопки.

Дальнейшая альтернатива может заменять выбранную секцию опорным сигналом. Например, выбранная секция содержит хлопок слушателя из публики и заменяется опорным сигналом, содержащим идеальный хлопок.

Объединитель 140, например, добавляет одну или несколько отделенных частиц (материальных точек), содержащихся в одном или нескольких секционных сигналах повышающего микширования, к главному многоканальному звуковому сигналу (также называется стандартным повышающим микшированием). Главный многоканальный звуковой сигнал и секционный сигнал повышающего микширования могут, например, добавляться непосредственно или добавляться с адаптированными амплитудами и/или фазами.

Фиг.5 показывает схематическую иллюстрацию воспроизведения звукового сигнала 500, подобного аплодисментам, включающего множество одиночных источников. Это осуществление показывает двухканальную систему с левым громкоговорителем 220 и правым громкоговорителем 230 и множеством одиночных источников 510, которые соответствуют подлежащим отделению частицам (материальным точкам), распределенным между этими двумя громкоговорителями, где положение между этими двумя громкоговорителями зависит от части сигнала, воспроизведенного левым громкоговорителем и правым громкоговорителем.

Средство повышающего микширования секционного сигнала 130 может генерировать секционный сигнал повышающего микширования 132, который содержит, например, одну или более звуковых частиц (материальных точек). Этот процесс повышающего микширования может основываться на параметре положения, где параметр положения, например, указывает, в каком положении слушатель услышит конкретную частицу (материальную точку). Параметр положения может быть определен при помощи информации о положении, содержащейся во входном звуковом сигнале, или может генерироваться случайным образом, например, посредством генератора случайных положений.

Части сигнала частицы (материальной точки) в различных каналах многоканального звукового сигнала могут определяться способом амплитудного панорамирования, например, основанным на параметре положения частицы (материальной точки).

Фиг.6 показывает схематическую иллюстрацию 600 влияния параметра положения на воспроизведение звукового сигнала. Рисунок показывает пять громкоговорителей, соответствующих пятиканальному звуковому сигналу. В этом примере громкоговорители расположены по окружности 610 круга.

Когда сигнал звуковой частицы (материальной точки) посылается громкоговорителю, виртуальное положение, в котором слушатель услышит эту специальную звуковую частицу (материальную точку), зависит от части сигнала, посланного каждому громкоговорителю. Например, когда сигнал посылается только одному громкоговорителю, слушатель будет думать, что источник звука расположен в этом конкретном громкоговорителе. Этот случай показан для частицы (материальной точки) 630, расположенной на переднем левом громкоговорителе 320. Если сигнал разделяется между двумя громкоговорителями, виртуальное положение звуковой частицы (материальной точки) располагается между этими двумя громкоговорителями. Это показано частицами (материальными точками) 640 и 650. Сигнал, приблизительно одинаково распределенный между пятью громкоговорителями, появится приблизительно в середине массива громкоговорителей, обозначенного цифрой 660. Таким образом, виртуальное положение звуковой частицы (материальной точки) может быть расположено в любой точке (например, обозначенной цифрами 670 и 680) в пределах области, ограниченной линией 620 между каждыми двумя соседними громкоговорителями.

Секционный сигнал или частица (материальная точка) могут быть добавлены в случайные положения и/или случайные времена. Средство повышающего микширования секционного сигнала 130 может также называться средством повышающего микширования частицы (материальной точки).

Это дополнение может зависеть от вида окружения (аплодисменты, дождь или другое) в статических положениях, в данных трактах, или в совершенно случайных положениях, каждое, по возможности, со случайно установленным временем.

Некоторые осуществления согласно изобретению включают память секционного сигнала (или промежуточную память, или буферную память). Эта память может сохранять одиночные отделенные частицы (материальные точки) или секционные сигналы, обработанные секционные сигналы или опорные сигналы, которые могут использоваться несколько раз. Чтобы заменить или изменить звук извлеченных звуковых частиц (материальных точек), может использоваться фильтрование или шаги высококачественной обработки, как например, способ переходного формирования, описанный в работе М. Гудвина, К. Авендано «Алгоритмы частотной области для расширения звукового сигнала, основанного на переходной модификации», Журнал Общества Звукотехники 54 (2006) № 9, 827-840".

В некоторых осуществлениях согласно изобретению добавление секционного сигнала повышающего микширования к главному многоканальному звуковому сигналу, также называемое добавлением частиц (материальных точек) к стандартному повышающему микшированию, может управляться параметрами, такими как параметр плотности и/или параметр распространения.

Параметр плотности, например, показывает, сколько одиночных звуков или частиц (материальных точек) (в определенное время) добавляется к главному многоканальному звуковому сигналу (стандартное повышающее микширование). Эти частицы (материальные точки) могут соответствовать различным выбранным секциям входного звукового сигнала или одной конкретной отделенной частице (материальной точке), сохраненной в памяти и используемой несколько раз.

Параметр распространения, например, определяет, в какой области звука, вызванного многоканальным звуковым сигналом (звук повышающего микширования), частицы (материальные точки) должны добавляться к главному многоканальному звуковому сигналу (стандартное повышающее микширование).

Фиг.7 показывает схематическую иллюстрацию 700 влияния параметра распространения на воспроизведение звукового сигнала. На фиг.7 влияние параметра распространения обозначено пунктирной линией 710. Например, для некоторых звуковых впечатлений может быть желательно, чтобы частицы (материальные точки) добавлялись только перед слушателем 210, а для других звуковых впечатлений может быть лучше распространить частицы (материальные точки) по всей области или только в задней части.

Параметр распространения, например, может влиять на случайное генерирование параметра положения для каждого множества частиц (материальных точек). В примере, показанном на фиг.7, вероятность положения частицы (материальной точки) перед слушателем выше, чем позади слушателя.

Плотность и/или распространение окружения может изменяться параметрами, например, также независимыми от плотности и распространения входного звукового сигнала.

Фиг.7 показывает пример повышающего микширования сигналов, показанных на фиг.5, посредством применения описанной концепции.

В некоторых осуществлениях согласно изобретению отделенные частицы (материальные точки) воспроизводятся только одним одиночным громкоговорителем, чтобы избежать эхо-эффекта, например, если используется задержка между различными громкоговорителями.

Некоторые осуществления согласно изобретению включают анализатор, также обозначенный как блок классификации, формируемый, чтобы выполнять анализ входного звукового сигнала для идентификации секции входного звукового сигнала, которая будет выбрана. Анализатор может быть частью секционного селектора или независимым отдельным блоком.

Фиг.8 показывает блок-схему устройства 800 для генерирования многоканального звукового сигнала 142, основанного на входном звуковом сигнале 102 согласно осуществлению изобретения. В этом случае, анализатор 810 показывается как отдельный блок.

Анализатор 810 может формироваться, чтобы идентифицировать секцию, которая будет выбрана на основе параметра идентификации, содержащегося во входном звуковом сигнале, на сравнении входного звукового сигнала с опорным сигналом, частотном анализа входного звукового сигнала или на подобном способе. Например, таким образом, может быть идентифицирован подобный окружению сигнал во входном звуковом сигнале. Примером может быть датчик аплодисментов или датчик дождя.

Анализатор 810 или блок классификации решает, может ли входной звуковой сигнал или секция входного звукового сигнала обрабатываться описанным способом. В зависимости от результатов анализа или классификации могут быть изменены значения параметров следующих блоков, например, средства повышающего микширования главного сигнала, секционного селектора, средства повышающего микширования секционного сигнала или объединителя.

Например, анализатор сообщает секционному селектору посредством параметра (анализа), какая секция входного звукового сигнала должна быть выбрана, или заставляет средство повышающего микширования главного сигнала ослабить секцию, которая будет выбрана в главном многоканальном звуковом сигнале.

Объединитель 140 показывает в этом случае прямую связь между выходом средства повышающего микширования главного сигнала 110, и выходом средства повышающего микширования секционного сигнала 130, который может быть одной из возможностей объединить главный многоканальный звуковой сигнал и секционный сигнал повышающего микширования. Альтернативой может быть настройка амплитуды и/или фазы главного многоканального звукового сигнала и/или секционного сигнала повышающего микширования.

Некоторые осуществления согласно изобретению включают контроллер, формируемый, чтобы дезактивировать секционный селектор, средство повышающего микширования секционного сигнала или объединитель. Посредством переключения одного из этих трех блоков от активированного на дезактивированный режим может быть заблокировано совмещение главного многоканального звукового сигнала и секционного сигнала повышающего микширования. Поэтому, многоканальный звуковой сигнал в основном (например, кроме разности амплитуд и фаз) равен главному многоканальному звуковому сигналу.

Альтернативой может быть то, что контроллер формируется, чтобы непрерывно переключаться между полностью активированным и дезактивированным режимом секционного селектора, средства повышающего микширования секционного сигнала или объединителя. Это может обеспечить возможность непрерывного замирания между двумя различными атмосферами, чтобы получить более огибающее или иммерсивное (с погружением) звуковое впечатление.

Контроллер может управляться параметром управления, содержащимся во входном звуковом сигнале, или управляться пользовательским интерфейсом. Это может дать производителю (посредством параметра управления, содержащегося во входном звуковом сигнале) или слушателю (посредством пользовательского интерфейса) возможность настроить звуковое впечатление по своему вкусу или согласно инструкциям.

Контроллер может обеспечить возможность непрерывного замирания от огибающего (может быть стандартным или альтернативным) до иммерсивного (с погружением) звукового впечатления или от иммерсивного (с погружением) до огибающего звукового впечатления.

В некоторых осуществлениях согласно изобретению выбранные секции или частицы (материальные точки), которые появляются в окружающем сигнале, могут быть ослаблены в переднем сигнале. Это может генерировать очень дискретно ощутимый иммерсивный (с погружением) эффект. Тогда может стать невозможным временной сдвиг частиц (материальных точек) по сравнению с входным сигналом и повторное использование частицы (материальной точки). Может быть изменено только положение.

В некоторых дальнейших осуществлениях согласно изобретению по существу хорошо звучащее звуковое впечатление генерируется средством повышающего микширования главного сигнала (стандартное повышающее микширование), которое представляет только одну особенность и модернизируется отделенными частицами (материальными точками). Поэтому, возможно, что те же самые входные звуки появляются в декоррелированной огибающей части, а так же в иммерсивной (с погружением) прямой части. Это возможно, потому что, например, никакой сигнал не должен воспроизводиться, так как новый сигнал, в любом случае, генерируется посредством повышающего микширования.

В некоторых осуществлениях изобретения может быть изменена временная последовательность одиночных элементов звука переднего плана, и переход от огибающего к иммерсивному (с погружением) окружению становится возможным. Кроме того, может использоваться автоматическая классификация сигнала.

Временная плотность окружения, желательный тембр и пространственное распространение (в управляемом способе) может устанавливаться независимо от оригинального сигнала.

Некоторые осуществления изобретения относятся к средству повышающего микширования секционного сигнала, использующему правило повышающего микширования, отличающееся от правила повышающего микширования средства повышающего микширования главного сигнала.

Фиг.9 показывает блок-схему устройства 900 для генерирования многоканального звукового сигнала 142, основанного на входном звуковом сигнале 102 согласно осуществлению изобретения.

Устройство 900 соответствует устройству, показанному на фиг.8. Однако анализатор 810 (блок классификации) в этом примере является частью секционного селектора 120, и параметр анализа 902 предоставляется средству повышающего микширования главного сигнала 110, и/или средству повышающего микширования секционного сигнала 130.

Дополнительно показан, как альтернативно было упомянуто выше, контроллер 910, память секционного сигнала 920 и генератор случайных положений 930.

Память секционного сигнала 920 в этом примере связана с секционным селектором 120 и формируется, чтобы сохранять секционный сигнал 122, предоставленный секционным селектором 120, и формируется, чтобы предоставлять сохраненный секционный сигнал секционному селектору 120. Альтернативно, память секционного сигнала 920 может предоставлять сохраненный секционный сигнал непосредственно средству повышающего микширования секционного сигнала 130.

Генератор случайных положений 930, например, соединяется со средством повышающего микширования секционного сигнала 130 и формируется, чтобы предоставлять параметр случайного положения средству повышающего микширования секционного сигнала 130. Альтернативно, генератор случайных положений 930 может быть соединен с секционным селектором 120 и может обеспечивать параметр случайного положения, когда выбирается секционный сигнал 122.

Контроллер 910 в этом примере управляется параметром управления 912 и соединяется (показано номером ссылки 914) с секционным селектором 120, средством повышающего микширования секционного сигнала 130 и/или объединителем 140. Контроллер 910 может дезактивировать секционный селектор 120, средство повышающего микширования секционного сигнала 130 и/или объединитель 140.

В общем, описанное изобретение может обеспечить лучшее и более реалистическое звучание повышающего микширования подобного аплодисментам сигнала окружения или аналогичного сигнала окружения с меньшим количеством артефактов.

Фиг.10 показывает блок-схему способа 1000 генерирования многоканального звукового сигнала, основанного на входном звуковом сигнале согласно осуществлению изобретения. Способ 1000 включает обеспечение 1010 главного многоканального звукового сигнала, выбор 1020 или не выбор секции входного звукового сигнала, обеспечение 1030 секционного сигнала повышающего микширования и совмещение 1040 главного многоканального звукового сигнала и секционного сигнала повышающего микширования.

Предоставленный главный многоканальный звуковой сигнал основывается на входном звуковом сигнале.

Выбор 1020 секции входного звукового сигнала основывается на анализе входного звукового сигнала, где выбранная секция входного звукового сигнала, обработанная выбранная секция входного звукового сигнала или опорный сигнал, связанный с выбранной секцией входного звукового сигнала, предоставляется как секционный сигнал.

Предоставленный секционный сигнал повышающего микширования основывается на секционном сигнале.

Посредством совмещения 1040 главного многоканального звукового сигнала и секционного сигнала повышающего микширования получается многоканальный звуковой сигнал.

Некоторые осуществления согласно изобретению касаются способа, который предоставляет возможность повышающего микширования подобных аплодисментам звуковых источников без дополнительной информации (неуправляемое повышающее микширование) без обычных артефактов. Дополнительно, описанный способ может обеспечить возможность непрерывного замирания между двумя различными концепциями для получения или огибающего, или иммерсивного (с погружением) звукового впечатления.

Некоторые дальнейшие осуществления согласно изобретению касаются регулируемого эффекта повышающего микширования.

Некоторые осуществления согласно изобретению касаются способа, обеспечивающего возможность замирания между двумя различно ощущаемыми впечатлениями от окружения и/или атмосферы в повышающем микшировании, которое может быть названо огибающим окружением и иммерсивным (с погружением) окружением.

Некоторые осуществления согласно изобретению касаются средства повышающего микширования главного сигнала, которое основано на известном способе повышающего микширования. Это повышающее микширование может быть стандартной рабочей точкой, если повышающее микширование не расширяется совмещением секционного сигнала повышающего микширования. Это может иметь место, например, если контроллер дезактивирует секционный селектор, средство повышающего микширования секционного сигнала или объединитель.

В общем, описанная концепция может быть применена также к другим типам сигнала, вместо использовавшихся для примера подобных аплодисментам сигналов. Например, она может также применяться к звукам, производимым дождем, птичьей стаей, морским побережьем, несущимися галопом лошадями, дивизией марширующих солдат и так далее.

В данной заявке те же самые номера ссылок частично используются для объектов и функциональных узлов, имеющих те же самые или подобные функциональные свойства.

В частности указано, что, в зависимости от условий, изобретательная схема может также осуществляться в программном обеспечении. Выполнение может быть осуществлено на цифровом носителе данных, в частности, дискете или компакт-диске с электронно-считываемыми управляющими сигналами, способными взаимодействовать с программируемой компьютерной системой таким образом, чтобы выполнялся соответствующий способ. В общем, изобретение, таким образом, также заключается в компьютерном программном продукте с управляющей программой, хранящейся на машиночитаемом носителе для выполнения изобретательного способа, когда компьютерный программный продукт выполнен на компьютере. Другими словами, изобретение может, таким образом, также реализовываться как компьютерная программа с управляющей программой для выполнения способа, когда компьютерный программный продукт выполнен на компьютере.