способ и устройство для обработки аудиосигнала

Формула изобретения

1. Способ для обработки аудиосигнала, содержащий этапы, на которых:

получают сигнал, микшированный с понижением, информацию об объекте и информацию о микшировании;

формируют информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании;

обрабатывают сигнал, микшированный с понижением, с использованием информации об обработке микширования с понижением; и

формируют многоканальную информацию с использованием информации об объекте и информации о микшировании, при этом количество каналов сигнала, микшированного с понижением, равно количеству каналов обработанного сигнала, микшированного с понижением.

2. Способ по п.1, в котором информация об объекте включает в себя по меньшей мере одну из информации об уровне объекта и информации о корреляции объекта.

3. Способ по п.1, в котором информация об обработке микширования с понижением соответствует информации для управления панорамированием объекта, если количество каналов сигнала, микшированного с понижением, соответствует по меньшей мере двум.

4. Способ по п.1, в котором информация об обработке микширования с понижением соответствует информации для управления усилением объекта.

5. Способ по п.1, в котором этап, на котором обрабатывают сигнал, микшированный с понижением, выполняется с помощью модуля 2×2, если сигнал, микшированный с понижением, соответствует стереофоническому сигналу.

6. Способ по п.1, в котором один канал обработанного сигнала, микшированного с понижением, соответствует сочетанию одного канала сигнала, микшированного с понижением, умноженного на первый коэффициент усиления, и другого канала сигнала, микшированного с понижением, умноженного на второй коэффициент усиления, если сигнал, микшированный с понижением, соответствует стереофоническому сигналу.

7. Способ по п.1, дополнительно содержащий этап, на котором:

формируют выходной сигнал во временной области с использованием обработанного сигнала, микшированного с понижением.

8. Способ по п.7, в котором сигнал, микшированный с понижением, соответствует сигналу области поддиапазона, сформированному с помощью набора фильтров анализа поддиапазона.

9. Способ по п.1, в котором многоканальная информация включает в себя по меньшей мере одну из информации об уровне канала и информации о корреляции канала.

10. Способ по п.1, дополнительно содержащий этап, на котором:

формируют многоканальный сигнал с использованием обработанного сигнала, микшированного с понижением, и многоканальной информации.

11. Способ по п.1, в котором информация о микшировании формируется с использованием по меньшей мере одной из информации о положении объекта и информации о конфигурации воспроизведения.

12. Способ по п.1, в котором сигнал, микшированный с понижением, принимается как сигнал вещания.

13. Способ по п.1, в котором сигнал, микшированный с понижением, принимается на цифровом носителе.

14. Способ для обработки аудиосигнала, содержащий этапы, на которых:

принимают сигнал, микшированный с понижением, информацию об объекте и информацию о микшировании;

раскладывают сигнал, микшированный с понижением, на сигнал поддиапазона;

формируют информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; и

обрабатывают сигнал поддиапазона с использованием информации об обработке микширования с понижением;

формируют выходной сигнал с использованием обработанного сигнала поддиапазона,

где количество каналов сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

15. Машиночитаемый носитель с сохраненными на нем командами, которые при выполнении процессором побуждают процессор выполнять операции, содержащие:

прием сигнала, микшированного с понижением, информации об объекте и информации о микшировании;

формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании;

обработку сигнала, микшированного с понижением, с использованием информации об обработке микширования с понижением; и

формирование многоканальной информации с использованием информации об объекте и информации о микшировании,

причем количество каналов сигнала, микшированного с понижением, равно количеству каналов обработанного сигнала, микшированного с понижением.

16. Машиночитаемый носитель с сохраненными на нем командами, который при выполнении процессором побуждает процессор выполнять операции, содержащие:

прием сигнала, микшированного с понижением, информации об объекте и информации о микшировании;

разложение сигнала, микшированного с понижением, на сигнал поддиапазона;

формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; и

обработку сигнала поддиапазона с использованием информации об обработке микширования с понижением;

формирование выходного сигнала с использованием обработанного сигнала поддиапазона,

причем количество каналов сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

17. Устройство для обработки аудиосигнала, содержащее:

модуль формирования информации, принимающий информацию об объекте и информацию о микшировании и формирующий информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании, и формирующий многоканальную информацию с использованием информации об объекте и информации о микшировании; и

модуль обработки микширования с понижением, принимающий сигнал, микшированный с понижением, и информацию об обработке микширования с понижением и обрабатывающий сигнал, микшированный с понижением, с использованием информации об обработке микширования с понижением;

причем количество каналов сигнала, микшированного с понижением, равно количеству каналов обработанного сигнала, микшированного с понижением.

18. Устройство для обработки аудиосигнала, содержащее:

модуль формирования информации, принимающий сигнал, микшированный с понижением, информацию об объекте и информацию о микшировании, причем модуль формирования информации формирует информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; и

модуль обработки микширования с понижением, раскладывающий сигнал, микшированный с понижением, на сигнал поддиапазона, обрабатывающий сигнал поддиапазона с использованием информации об обработке микширования с понижением и формирующий выходной сигнал с использованием обработанного сигнала поддиапазона,

причем количество каналов сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

19. Способ для обработки аудиосигнала, содержащий этапы, на которых:

принимают сигнал, микшированный с понижением, с использованием сигнала множества объектов;

формируют информацию об объекте, представляющую связь между сигналами множества объектов, используя сигналы множества объектов и сигнал, микшированный с понижением, и

причем сигнал, микшированный с понижением, может быть обработанным сигналом, микшированным с понижением, чтобы количество каналов сигнала, микшированного с понижением, было равно количеству обработанных сигналов, микшированных с понижением.

Описание изобретения к патенту

Область техники

Настоящее изобретение относится к способу и устройству для обработки аудиосигнала, а конкретнее к способу и устройству для декодирования аудиосигнала, принятого на цифровом носителе, например сигнала вещания и так далее.

Предшествующий уровень техники

При микшировании с понижением нескольких аудиообъектов в монофонический или стереофонический сигнал могут извлекаться параметры из отдельных сигналов объектов. Эти параметры могут использоваться в декодере аудиосигнала, и изменение положения/панорамирование отдельных источников может управляться по выбору пользователя.

Раскрытие изобретения

Техническая проблема

Однако чтобы управлять отдельными сигналами объектов, изменение положения/панорамирование отдельных источников, включенных в сигнал, микшированный с понижением, должно выполняться соответствующим образом.

Однако для обратной совместимости по отношению к канально-ориентированному способу декодирования (например, MPEG Surround) параметр объекта должен гибко преобразовываться в многоканальный параметр, требуемый в процессе повышающего микширования.

Техническое решение

Соответственно, настоящее изобретение направлено на способ и устройство для обработки аудиосигнала, которые в значительной степени устраняют одну или несколько проблем вследствие ограничений и недостатков предшествующего уровня техники.

Цель настоящего изобретения - предоставить способ и устройство для обработки аудиосигнала, чтобы неограниченно управлять усилением и панорамированием объекта.

Другая цель настоящего изобретения - предоставить способ и устройство для обработки аудиосигнала, чтобы управлять усилением и панорамированием объекта на основе выбора пользователя.

Дополнительные преимущества, цели и признаки изобретения будут изложены частично в описании, которое следует ниже, и частично станут очевидны обычным специалистам в данной области техники после экспертизы нижеследующего описания, либо могут быть изучены при применении изобретения на практике. Цели и другие преимущества изобретения могут быть реализованы и достигнуты посредством конструкции, подробно показанной в описании и формуле изобретения, а также прилагаемых чертежах.

Полезные результаты

Настоящее изобретение обеспечивает следующие результаты или преимущества.

Во-первых, настоящее изобретение может предоставить способ и устройство для обработки аудиосигнала, чтобы неограниченно управлять усилением и панорамированием объекта.

Во-вторых, настоящее изобретение может предоставить способ и устройство для обработки аудиосигнала, чтобы управлять усилением и панорамированием объекта на основе выбора пользователя.

Описание чертежей

Прилагаемые чертежи, которые включаются для обеспечения дополнительного понимания изобретения и составляют часть этой заявки, иллюстрируют варианты осуществления изобретения и вместе с описанием служат для объяснения принципа изобретения. На чертежах:

Фиг.1 - типовая блок-схема для объяснения основной идеи воспроизведения сигнала, микшированного с понижением, на основе конфигурации воспроизведения и пользовательского управления.

Фиг.2 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему первой схеме.

Фиг.3 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему первой схеме.

Фиг.4 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему второй схеме.

Фиг.5 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему второй схеме.

Фиг.6 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему второй схеме.

Фиг.7 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему третьей схеме.

Фиг.8 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему третьей схеме.

Фиг.9 - типовая блок-схема для объяснения основной идеи модуля воспроизведения.

Фиг.10A-10C - типовые блок-схемы первого варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7.

Фиг.11 - типовая блок-схема второго варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7.

Фиг.12 - типовая блок-схема третьего варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7.

Фиг.13 - типовая блок-схема четвертого варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7.

Фиг.14 - типовая блок-схема структуры потока двоичных сигналов сжатого аудиосигнала согласно второму варианту осуществления настоящего изобретения.

Фиг.15 - типовая блок-схема устройства для обработки аудиосигнала согласно второму варианту осуществления настоящего изобретения.

Фиг.16 - типовая блок-схема структуры потока двоичных сигналов сжатого аудиосигнала согласно третьему варианту осуществления настоящего изобретения.

Фиг.17 - типовая блок-схема устройства для обработки аудиосигнала согласно четвертому варианту осуществления настоящего изобретения.

Фиг.18 - типовая блок-схема для объяснения схемы передачи для переменного типа объекта.

Фиг.19 - типовая блок-схема устройства для обработки аудиосигнала согласно пятому варианту осуществления настоящего изобретения.

Лучший вариант осуществления изобретения

Для достижения этих целей и других преимуществ и в соответствии с целью изобретения, которая реализуется и в общих чертах описывается в этом документе, предоставляется способ для обработки аудиосигнала, содержащий получение сигнала, микшированного с понижением, информации об объекте и информации о микшировании; формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; обработку сигнала, микшированного с понижением, с использованием информации об обработке микширования с понижением и формирование многоканальной информации с использованием информации об объекте и информации о микшировании, в которой количество каналов у сигнала, микшированного с понижением, равно количеству каналов у обработанного сигнала, микшированного с понижением.

Согласно настоящему изобретению информация об объекте включает в себя по меньшей мере одну из информации об уровне объекта и информации о корреляции объекта.

Согласно настоящему изобретению информация об обработке микширования с понижением соответствует информации для управления панорамированием объекта, если количество каналов у сигнала, микшированного с понижением, соответствует по меньшей мере двум.

Согласно настоящему изобретению информация об обработке микширования с понижением соответствует информации для управления усилением объекта.

Согласно настоящему изобретению обработка сигнала, микшированного с понижением, выполняется с помощью модуля 2×2, если сигнал, микшированный с понижением, соответствует стереофоническому сигналу.

Согласно настоящему изобретению один канал обработанного сигнала, микшированного с понижением, соответствует сочетанию одного канала сигнала, микшированного с понижением, умноженного на первый коэффициент усиления, и другого канала сигнала, микшированного с понижением, умноженного на второй коэффициент усиления, если сигнал, микшированный с понижением, соответствует стереофоническому сигналу.

Согласно настоящему изобретению дополнительно содержится формирование выходного сигнала во временной области, используя обработанный сигнал, микшированный с понижением.

Согласно настоящему изобретению сигнал, микшированный с понижением, соответствует сигналу области поддиапазона, сформированному с помощью набора фильтров анализа поддиапазона.

Согласно настоящему изобретению многоканальная информация включает в себя по меньшей мере одну из информации об уровне канала и информации о корреляции канала.

Согласно настоящему изобретению дополнительно содержится формирование многоканального сигнала, используя обработанный сигнал, микшированный с понижением, и многоканальную информацию.

Согласно настоящему изобретению информация о микшировании формируется с использованием по меньшей мере одной из информации о положении объекта и информации о конфигурации воспроизведения.

Согласно настоящему изобретению сигнал, микшированный с понижением, принимается как сигнал вещания.

Согласно настоящему изобретению сигнал, микшированный с понижением, принимается на цифровом носителе.

В другом аспекте настоящего изобретения предоставляется способ для обработки аудиосигнала, содержащий: получение сигнала, микшированного с понижением, информации об объекте и информации о микшировании; разложение сигнала, микшированного с понижением, на сигнал поддиапазона; формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании и обработку сигнала поддиапазона с использованием информации об обработке микширования с понижением; формирование выходного сигнала с использованием обработанного сигнала поддиапазона, где количество каналов у сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

В другом аспекте настоящего изобретения предоставляется машиночитаемый носитель с сохраненными на нем командами, которые при выполнении процессором заставляют процессор выполнять операции, содержащие: получение сигнала, микшированного с понижением, информации об объекте и информации о микшировании; формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; обработку сигнала, микшированного с понижением, с использованием информации об обработке микширования с понижением и формирование многоканальной информации с использованием информации об объекте и информации о микшировании, в которой количество каналов у сигнала, микшированного с понижением, равно количеству каналов у обработанного сигнала, микшированного с понижением.

В другом аспекте настоящего изобретения предоставляется машиночитаемый носитель с сохраненными на нем командами, которые при выполнении процессором заставляют процессор выполнять операции, содержащие: получение сигнала, микшированного с понижением, информации об объекте и информации о микшировании; разложение сигнала, микшированного с понижением, на сигнал поддиапазона; формирование информации об обработке микширования с понижением с использованием информации об объекте и информации о микшировании и обработку сигнала поддиапазона с использованием информации об обработке микширования с понижением; формирование выходного сигнала с использованием обработанного сигнала поддиапазона, где количество каналов у сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

В другом аспекте настоящего изобретения предоставляется устройство для обработки аудиосигнала, содержащее: модуль формирования информации, получающий информацию об объекте и информацию о микшировании и формирующий информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании, и формирующий многоканальную информацию с использованием информации об объекте и информации о микшировании; и модуль обработки микширования с понижением, получающий сигнал, микшированный с понижением, и информацию об обработке микширования с понижением, и обрабатывающий сигнал, микшированный с понижением, с использованием информации об обработке микширования с понижением; где количество каналов у сигнала, микшированного с понижением, равно количеству каналов у обработанного сигнала, микшированного с понижением.

В другом аспекте настоящего изобретения предоставляется устройство для обработки аудиосигнала, содержащее: модуль формирования информации, получающий сигнал, микшированный с понижением, информацию об объекте и информацию о микшировании, причем модуль формирования информации формирует информацию об обработке микширования с понижением с использованием информации об объекте и информации о микшировании; и модуль обработки микширования с понижением, раскладывающий сигнал, микшированный с понижением, на сигнал поддиапазона, обрабатывающий сигнал поддиапазона с использованием информации об обработке микширования с понижением и формирующий выходной сигнал с использованием обработанного сигнала поддиапазона, где количество каналов у сигнала, микшированного с понижением, равно количеству выходных сигналов, и выходной сигнал соответствует сигналу временной области.

В другом аспекте настоящего изобретения предоставляется способ для обработки аудиосигнала, содержащий: получение сигнала, микшированного с понижением, с использованием сигнала множества объектов; формирование информации об объекте, представляющей связь между сигналами множества объектов, используя сигналы множества объектов и сигнал, микшированный с понижением, и передачу сигнала, микшированного с понижением, и информации об объекте, где сигналу, микшированному с понижением, разрешается быть обработанным сигналом, микшированным с понижением, для того, чтобы количество каналов у сигнала, микшированного с понижением, было равно количеству обработанных сигналов, микшированных с понижением.

Следует понимать, что как вышеизложенное общее описание, так и нижеследующее подробное описание настоящего изобретения являются иллюстративными и пояснительными и предназначаются для предоставления дополнительного пояснения заявленного изобретения.

Варианты осуществления для изобретения

Сейчас будет сделана подробная ссылка на предпочтительные варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах. Где, возможно, будут использоваться одинаковые ссылочные позиции на чертежах, чтобы ссылаться на одинаковые или похожие части.

Перед описанием настоящего изобретения необходимо отметить, что большинство терминов, раскрытых в настоящем изобретении, соответствуют общим терминам, хорошо известным в данной области техники, но некоторые термины выбраны заявителем в соответствии с необходимостью и будут раскрыты ниже в последующем описании настоящего изобретения. Поэтому предпочтительно, чтобы термины, определенные заявителем, понимались на основе их значений в настоящем изобретении.

В частности, "параметр" в нижеследующем описании означает информацию, включающую в себя значения, параметры в узком смысле, коэффициенты, элементы и так далее. В дальнейшем термин "параметр" будет использоваться вместо термина "информация" как параметр объекта, параметр микширования, параметр обработки микширования с понижением и так далее, что не накладывает ограничение на настоящее изобретение.

В микшировании сигналов нескольких каналов или сигналов объекта может извлекаться параметр объекта и пространственный параметр. Декодер может формировать выходной сигнал, используя сигнал, микшированный с понижением, и параметр объекта (или пространственный параметр). Выходной сигнал может воспроизводиться декодером на основе конфигурации воспроизведения и пользовательского управления. Процесс воспроизведения объяснен ниже подробно со ссылкой на Фиг.1.

Фиг.1 - типовая схема для объяснения основной идеи воспроизведения сигнала, микшированного с понижением, на основе конфигурации воспроизведения и пользовательского управления. Согласно Фиг.1 декодер 100 может включать в себя модуль 110 формирования информации воспроизведения и модуль 120 воспроизведения, а также может включать в себя рендерер 110a и синтез 120a вместо модуля 110 формирования информации воспроизведения и модуля 120 воспроизведения.

Модуль 110 формирования информации воспроизведения может быть сконфигурирован для получения от кодера дополнительной информации, включающей параметр объекта или пространственный параметр, а также для получения конфигурации воспроизведения или пользовательского управления из настройки устройства или интерфейса пользователя. Параметр объекта может соответствовать параметру, извлеченному в микшировании с понижением по меньшей мере одного сигнала объекта, и пространственный параметр может соответствовать параметру, извлеченному в микшировании с понижением по меньшей мере одного сигнала канала. Кроме того, информация о типе и характерная информация для каждого объекта могут включаться в дополнительную информацию. Информация о типе и характерная информация могут описывать название инструмента, имя исполнителя и так далее. Конфигурация воспроизведения может включать в себя положение динамика и окружающую информацию (виртуальное положение динамика), и пользовательское управление может соответствовать управляющей информации, введенной пользователем, чтобы управлять положениями объектов и усилениями объектов, и также может соответствовать управляющей информации, чтобы управлять конфигурацией воспроизведения. Между тем, конфигурация воспроизведения и пользовательское управление могут представляться в виде информации о микшировании, что не накладывает ограничение на настоящее изобретение.

Модуль 110 формирования информации воспроизведения может быть сконфигурирован для формирования информации воспроизведения, используя информацию о микшировании (конфигурацию воспроизведения и пользовательское управление) и принятую дополнительную информацию. Модуль 120 воспроизведения может конфигурироваться для формирования многоканального параметра, используя информацию воспроизведения, если не передается микширование с понижением аудиосигнала (сокращенно "сигнал, микшированный с понижением"), и формирования многоканальных сигналов, используя информацию воспроизведения и сигнал, микшированный с понижением, если передается микширование с понижением аудиосигнала.

Рендерер 110a может быть сконфигурирован для формирования многоканальных сигналов, используя информацию о микшировании (конфигурацию воспроизведения и пользовательское управление) и принятую дополнительную информацию. Синтез 120a может быть сконфигурирован для синтеза многоканальных сигналов, используя многоканальные сигналы, сформированные рендерером 110a.

Как излагалось ранее, декодер может воспроизводить сигнал, микшированный с понижением, на основе конфигурации воспроизведения и пользовательского управления. Между тем, чтобы управлять отдельными сигналами объектов, декодер может получить параметр объекта в качестве дополнительной информации и управлять панорамированием объекта и усилением объекта на основе переданного параметра объекта.

1. Управление усилением и панорамированием сигналов объектов

Могут предоставляться изменяемые способы для управления отдельными сигналами объектов. Во-первых, если декодер получает параметр объекта и формирует отдельные сигналы объектов с использованием параметра объекта, то можно управлять отдельными сигналами объектов на основании информации о микшировании (конфигурации воспроизведения, уровня объекта и т.д.).

Во-вторых, если декодер формирует многоканальный параметр для ввода в многоканальный декодер, то многоканальный декодер может раскладывать сигнал, микшированный с понижением, принятый от кодера, используя многоканальный параметр. Вышеупомянутый второй способ может классифицироваться на три типа схем. В частности, могут предоставляться 1) использование традиционного многоканального декодера, 2) изменение многоканального декодера, 3) обработка микширования с понижением аудиосигналов перед введением в многоканальный декодер. Традиционный многоканальный декодер может соответствовать канально-ориентированному пространственному звуковому кодированию (например, декодеру MPEG Surround), что не накладывает ограничение на настоящее изобретение. Подробности трех типов схем будут объясняться ниже.

1.1 Использование многоканального декодера

Первая схема может использовать традиционный многоканальный декодер как есть, без изменения многоканального декодера. Сначала случай использования ADG (произвольное усиление сигнала, микшированного с понижением) для управления усилениями объектов и случай использования конфигурации 5-2-5 для управления панорамированием объекта объяснен ниже со ссылкой на Фиг.2. Далее, случай связи с модулем повторного микширования сцены объяснен ниже со ссылкой на Фиг.3.

Фиг.2 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему первой схеме. Согласно Фиг.2 устройство 200 для обработки аудиосигнала (в дальнейшем просто "декодер 200") может включать в себя модуль 210 формирования информации и многоканальный декодер 230. Модуль 210 формирования информации может получать дополнительную информацию, включающую параметр объекта, от кодера и информацию о микшировании из интерфейса пользователя и может формировать многоканальный параметр, включающий произвольное усиление сигнала, микшированного с понижением, или усиление изменения усиления (в дальнейшем просто "ADG"). ADG может описывать отношение первого коэффициента усиления, оцененного на основе информации о микшировании и информации об объекте, ко второму коэффициенту усиления, оцененному на основе информации об объекте. В частности, модуль 210 формирования информации может формировать ADG, только если сигнал, микшированный с понижением, соответствует монофоническому сигналу. Многоканальный декодер 230 может получать микширование с понижением аудиосигнала от кодера и многоканальный параметр от модуля 210 формирования информации и может формировать многоканальный выходной сигнал, используя сигнал, микшированный с понижением, и многоканальный параметр.

Многоканальный параметр может включать в себя разницу уровней каналов (в дальнейшем сокращенно "CLD"), межканальную корреляцию (в дальнейшем сокращенно "ICC"), коэффициент предсказания канала (в дальнейшем сокращенно "CPC").

Так как CLD, ICC и CPC описывают разницу интенсивности или корреляцию между двумя каналами, они предназначены для управления панорамированием и корреляцией объекта. Можно управлять положениями объекта и диффузностью (звучностью) объекта, используя CLD, ICC и т.д. Между тем, CLD описывает относительную разницу уровней вместо абсолютного уровня, и энергия двух разделенных каналов сохраняется. Поэтому нельзя управлять усилениями объектов путем манипулирования CLD и т.д. Другими словами, конкретный объект не может быть приглушен или увеличен по громкости с использованием CLD и т.д.

Кроме того, ADG описывает зависимое от времени и частоты усиление для управления поправочным коэффициентом с помощью пользователя. Если этот поправочный коэффициент применяется, можно управлять изменением сигнала, микшированного с понижением, перед многоканальным разложением. Поэтому, если параметр ADG принимается от модуля 210 формирования информации, многоканальный декодер 230 может управляться усилениями объектов с конкретным временем и частотой, используя параметр ADG.

Случай, когда принятый стереофонический сигнал, микшированный с понижением, выводится как стереоканал, может задаваться следующей формулой 1.

[формула 1]

где x[] - входные каналы, y[] - выходные каналы, g_x - усиления и w_xx - вес.

Необходимо контролировать перекрестную связь между левым каналом и правым каналом для панорамирования объекта. В частности, часть левого канала в сигнале, микшированном с понижением, может выводиться как правый канал выходного сигнала, часть правого канала в сигнале, микшированном с понижением, может выводиться как левый канал выходного сигнала. В формуле 1 w₁₂ и w₂₁ могут быть перекрестными компонентами.

Вышеупомянутый случай соответствует конфигурации 2-2-2, которая означает 2-канальный ввод, 2-канальную передачу и 2-канальный выход. Чтобы выполнить конфигурацию 2-2-2, может использоваться конфигурация 5-2-5 (2-канальный ввод, 5-канальная передача и 2-канальный выход) в традиционном канально-ориентированном пространственном звуковом кодировании (например, MPEG Surround). Сначала, чтобы вывести 2 канала для конфигурации 2-2-2, некоторый канал из 5 выходных каналов в конфигурации 5-2-5 может быть установлен в заблокированный канал (ложный канал). Чтобы получить перекрестную связь между 2 переданными каналами и 2 выходными каналами, могут регулироваться вышеупомянутые CLD и CPC. Коэффициент усиления g_x в формуле (1) получается с использованием вышеупомянутого ADG, и весовой коэффициент w ₁₁~w₂₂ в формуле (1) получается с использованием CLD и CPC.

В реализации конфигурации 2-2-2 с использованием конфигурации 5-2-5, чтобы уменьшить сложность, может применяться режим по умолчанию из традиционного пространственного аудиокодирования. Поскольку характеристика CLD по умолчанию предполагается для вывода 2 каналов, можно уменьшить объем вычислений, если применяется CLD по умолчанию. В частности, поскольку не нужно синтезировать ложный канал, можно значительно уменьшить объем вычислений. Поэтому применение режима по умолчанию является правильным. В частности, для декодирования используется только CLD по умолчанию из 3 CLD (соответствующих 0, 1 и 2 в стандарте MPEG Surround). С другой стороны, 4 CLD из левого канала, правого канала и центрального канала (соответствующие 3, 4, 5 и 6 в стандарте MPEG Surround) и 2 ADG (соответствующие 7 и 8 в стандарте MPEG Surround) формируются для управления объектом. В этом случае CLD, соответствующие 3 и 5, которые описывают разницу уровней каналов между левым каналом плюс правым каналом и центральным каналом ((l+r)/c), правильно установить в 150 дБ (почти бесконечным), чтобы приглушить центральный канал. И чтобы реализовать перекрестную связь, может выполняться основанное на энергии разложение или основанное на предсказании разложение, которое вызывается, если режим TTT ("bsTttModeLow" в стандарте MPEG Surround) соответствует основанному на энергии режиму (с вычитанием, задействована совместимость матриц) (3-й режим) или режиму предсказания (1-й режим или 2-й режим).

Фиг.3 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему первой схеме. Согласно Фиг.3 устройство 300 для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения (в дальнейшем просто декодер 300) может включать в себя модуль 310 формирования информации, модуль 320 воспроизведения сцены, многоканальный декодер 330 и модуль 350 повторного микширования сцены.

Модуль 310 формирования информации может быть сконфигурирован для получения дополнительной информации, включающей параметр объекта от кодера, если сигнал, микшированный с понижением, соответствует сигналу моноканала (то есть количество каналов микширования с понижением равно "1"), может получать информацию о микшировании из интерфейса пользователя и может формировать многоканальный параметр, используя дополнительную информацию и информацию о микшировании. Количество каналов микширования с понижением может оцениваться на основе информации флажка, включенной в дополнительную информацию, а также самого сигнала, микшированного с понижением, и выбора пользователя. Модуль 310 формирования информации может иметь такую же конфигурацию, как и упомянутый выше модуль 210 формирования информации. Многоканальный параметр вводится в многоканальный декодер 330, многоканальный декодер 330 может иметь такую же конфигурацию, как и упомянутый выше многоканальный декодер 230.

Модуль 320 воспроизведения сцены может быть сконфигурирован для получения дополнительной информации, включающей параметр объекта от кодера, если сигнал, микшированный с понижением, соответствует сигналу не моноканала (то есть количество каналов микширования с понижением больше "2"), может получать информацию о микшировании из интерфейса пользователя и может формировать параметр повторного микширования, используя дополнительную информацию и информацию о микшировании. Параметр повторного микширования соответствует параметру, чтобы повторно микшировать стереоканал и сформировать более чем 2-канальные результаты. Параметр повторного микширования вводится в модуль 350 повторного микширования сцены. Модуль 350 повторного микширования сцены может быть сконфигурирован для повторного микширования сигнала, микшированного с понижением, с использованием параметра повторного микширования, если сигнал, микшированный с понижением, является более чем 2-канальным сигналом.

Вкратце, два тракта могли бы рассматриваться в качестве отдельных реализаций для отдельных применений в декодере 300.

1.2 Изменение многоканального декодера

Вторая схема может изменять традиционный многоканальный декодер. Сначала ниже поясняется случай использования виртуального выхода для управления усилениями объектов и случай изменения настройки устройства для управления панорамированием объекта со ссылкой на Фиг.4. Далее поясняется случай выполнения функциональности TBT(2×2) в многоканальном декодере со ссылкой на Фиг.5.

Фиг.4 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему второй схеме. Согласно Фиг.4 устройство 400 для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему второй схеме (в дальнейшем просто "декодер 400"), может включать в себя модуль 410 формирования информации, внутренний многоканальный синтез 420 и выходной модуль 430 преобразования. Внутренний многоканальный синтез 420 и выходной модуль 430 преобразования могут включаться в модуль синтеза.

Модуль 410 формирования информации может быть сконфигурирован для получения дополнительной информации, включающей параметр объекта от кодера и параметр обработки микширования с понижением из интерфейса пользователя. И модуль 410 формирования информации может быть сконфигурирован для формирования многоканального параметра и информации о настройке устройства, используя дополнительную информацию и информацию о микшировании. Многоканальный параметр может иметь ту же конфигурацию, что и упомянутый выше многоканальный параметр. Поэтому подробности многоканального параметра в нижеследующем описании будут пропущены. Информация о настройке устройства может соответствовать параметризованной HRTF для бинауральной обработки, которая будет объясняться в описании "1.2.2 Использование информации о настройке устройства".

Внутренний многоканальный синтез 420 может быть сконфигурирован для получения многоканального параметра и информации о настройке устройства от модуля 410 формирования параметров и сигнала, микшированного с понижением, от кодера. Внутренний многоканальный синтез 420 может быть сконфигурирован для формирования временного многоканального выхода, включающего виртуальный выход, который будет объясняться в описании "1.2.1 Использование виртуального выхода".

1.2.1 Использование виртуального выхода

Поскольку многоканальный параметр (например, CLD) может управлять панорамированием объекта, сложно управлять усилением объекта, а также панорамированием объекта с помощью традиционного многоканального декодера.

Между тем, чтобы управлять усилением объекта, декодер 400 (в особенности внутренний многоканальный синтез 420) может преобразовать относительную энергию объекта в виртуальный канал (например, центральный канал). Относительная энергия объекта соответствует энергии, которую нужно уменьшить. Например, чтобы приглушить некоторый объект, декодер 400 может преобразовать более 99,9% энергии объекта в виртуальный канал. Затем декодер 400 (в особенности выходной модуль 430 преобразования) не выводит виртуальный канал, в который преобразуется остальная энергия объекта. В заключение, если больше 99,9% объекта преобразуется в виртуальный канал, который не выводится, нужный объект может быть практически приглушен.

1.2.2 Использование информации о настройке устройства

Декодер 400 может приспосабливать информацию о настройке устройства, чтобы управлять панорамированием объекта и усилением объекта. Например, декодер может быть сконфигурирован для формирования параметризованной HRTF для бинауральной обработки в стандарте MPEG Surround. Параметризованная HRTF может быть переменной в соответствии с настройкой устройства. Можно предположить, что сигналы объектов могут управляться в соответствии со следующей формулой 2.

[формула 2]

где obj_k - сигналы объектов, L_new и R_new - нужный стереофонический сигнал и a_k и b_k - коэффициенты для управления объектом.

Информация объекта о сигналах obj _k объектов может оцениваться из параметра объекта, включенного в переданную дополнительную информацию. Коэффициенты a_k , b_k, которые задаются в соответствии с усилением объекта и панорамированием объекта, могут оцениваться из информации о микшировании. Нужные усиление объекта и панорамирование объекта могут регулироваться с использованием коэффициентов a_k , b_k.

Коэффициенты a_k, b_k могут устанавливаться для соответствия параметру HRTF для бинауральной обработки, которая будет подробно объясняться ниже.

В стандарте MPEG Surround (конфигурация 5-1-5₁) (из документа ISO/IEC FDIS 23003-1:2006(E), Information Technology - MPEG Audio Technologies - Part1: MPEG Surround) бинауральная обработка происходит следующим образом.

[формула 3]

где y_B - выход, матрица H - матрица преобразования для бинауральной обработки.

[формула 4]

Элементы матрицы H задаются следующим образом:

[формула 5]

[формула 6]

[формула 7]

1.2.3 Выполнение функциональности TBT (2×2) в многоканальном декодере

Фиг.5 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему второй схеме. Фиг.5 - типовая блок-схема функциональности TBT в многоканальном декодере. Согласно Фиг.5 модуль 510 TBT может быть сконфигурирован для получения входных сигналов и управляющей информации TBT и для формирования выходных сигналов. Модуль 510 TBT может включаться в декодер 200 из Фиг.2 (или, в частности, в многоканальный декодер 230). Многоканальный декодер 230 может быть реализован в соответствии со стандартом MPEG Surround, что не накладывает ограничение на настоящее изобретение.

[формула 9]

где x - входные каналы, y - выходные каналы и w - вес.

Выход y₁ может соответствовать сочетанию входа x₁ из сигнала, микшированного с понижением, умноженного на первый коэффициент w₁₁ усиления, и входа x₂, умноженного на второй коэффициент w₁₂ усиления.

Управляющая информация TBT, введенная в модуль 510 TBT, включает в себя элементы, которые могут составлять вес w (w ₁₁, w₁₂, w₂₁, w₂₂).

В стандарте MPEG Surround модуль OTT (Один-в-Два) и модуль TTT (Два-в-Три) не являются подходящими для повторного микширования входного сигнала, хотя модуль OTT и модуль TTT могут раскладывать входной сигнал.

Чтобы повторно микшировать входной сигнал, может предоставляться модуль 510 TBT (2×2) (в дальнейшем сокращенно "модуль 510 TBT"). Модуль 510 TBT может быть сконфигурирован для получения стереофонического сигнала и вывода повторно микшированного стереофонического сигнала. Вес w может формироваться с использованием CLD и ICC.

Если элемент w₁₁~w₂₂ веса передается в качестве управляющей информации TBT, то декодер может управлять усилением объекта, а также панорамированием объекта, используя принятый элемент веса. В передаче элемента w веса может предоставляться изменяющаяся схема. Сначала управляющая информация TBT включает в себя перекрестный член наподобие w ₁₂ и w₂₁. Во-вторых, управляющая информация TBT не включает в себя перекрестный член наподобие w₁₂ и w₂₁. В-третьих, количество членов в управляющей информации TBT адаптивно меняется.

Сначала нужно принять перекрестный член наподобие w₁₂ и w_21, чтобы управлять панорамированием объекта, когда левый сигнал входного канала идет в правый сигнал выходного канала. В случае N входных каналов и M выходных каналов члены, количество которых равно N×M, могут передаваться в качестве управляющей информации TBT. Члены могут квантоваться на основе таблицы квантования параметров CLD, представленной в MPEG Surround, что не накладывает ограничение на настоящее изобретение.

Во-вторых, пока левый объект сдвигается в правое положение (т.е. когда левый объект перемещается в более левое положение или левое положение рядом с центральным положением, или когда регулируется только уровень объекта), не нужно использовать перекрестный член. В этом случае осуществляется передача корректным образом, без перекрестного члена. В случае N входных каналов и M выходных каналов может передаваться N членов.

В-третьих, количество управляющей информации TBT адаптивно меняется в соответствии с потребностью в перекрестном члене, чтобы уменьшить скорость передачи битов управляющей информации TBT. Информация флажка "cross_flag", указывающая, имеется ли перекрестный член, задается для передачи в качестве управляющей информации TBT. Значение информации флажка "cross_flag" показывается в следующей таблице 1.

Таблица 1 Значение cross_flag
cross_flag	Значение
0	Нет перекрестного члена (включает только неперекрестный член) (присутствуют только w11 и w22)
1	Включает в себя перекрестный член (присутствуют w 11, w12, w21 и w22)

Если "cross_flag" равен 0, то управляющая информация TBT не включает в себя перекрестный член, присутствует только неперекрестный член наподобие w ₁₁ и w₂₂. В противном случае ("cross_flag" равен 1) управляющая информация TBT включает в себя перекрестный член.

Кроме того, информация флажка "reverse_flag", указывающая, имеется ли перекрестный член или неперекрестный член, задается для передачи в качестве управляющей информации TBT. Значение информации флажка "reverse_flag" показывается в следующей таблице 2.

Таблица 2 Значение reverse_flag
reverse_flag	Значение
0	Нет перекрестного члена (включает только неперекрестный член) (присутствуют только w11 и w22)
1	Только перекрестный член (присутствуют только w12 и w21)

Если "reverse_flag" равен 0, то управляющая информация TBT не включает в себя перекрестный член, присутствует только неперекрестный член наподобие w₁₁ и w₂₂ . В противном случае ("reverse_flag" равен 1) управляющая информация TBT включает в себя только перекрестный член.

Более того, информация флажка "side_flag", указывающая, имеется ли перекрестный член и неперекрестный член, задается для передачи в качестве управляющей информации TBT. Значение информации флажка "side_flag" показывается в следующей таблице 3.

Таблица 3 Значение side_flag
side_flag	Значение
0	Нет перекрестного члена (включает только неперекрестный член) (присутствуют только w11 и w22)
1	Включает в себя перекрестный член (присутствуют w 11, w12, w21 и w22)
2	Противоположное (присутствуют только w12 и w21)

Поскольку таблица 3 соответствует сочетанию таблицы 1 и таблицы 2, подробности таблицы 3 будут пропущены.

1.2.4 Выполнение функциональности TBT (2×2) в многоканальном декодере путем изменения стереофонического декодера

Случай "1.2.2 Использование информации о настройке устройства" может выполняться без изменения стереофонического декодера. Ниже со ссылкой на Фиг.6 показано выполнение функциональности TBT путем изменения стереофонического декодера, применяемого в декодере MPEG Surround.

Фиг.6 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему второй схеме. В частности, устройство 630 для обработки аудиосигнала, показанное на Фиг.6, может соответствовать бинауральному декодеру, включенному в многоканальный декодер 230 из Фиг.2, или модулю синтеза из Фиг.4, что не накладывает ограничение на настоящее изобретение.

Устройство 630 для обработки аудиосигнала (в дальнейшем "бинауральный декодер 630") может включать в себя анализ 632 QMF, преобразование 634 параметров, пространственный синтез 636 и синтез 638 QMF. Элементы бинаурального декодера 630 могут иметь ту же конфигурацию, что и у бинаурального декодера MPEG Surround по стандарту MPEG Surround. Например, пространственный синтез 636 может быть сконфигурирован состоящим из 1 матрицы 2×2 (фильтр), в соответствии с формулой 10:

[формула 10]

причем y₀ являются входными каналами области QMF, а y_B являются бинауральными выходными каналами, k представляет индекс канала гибридной QMF, и i - индекс отвода в фильтре HRTF, и n - индекс интервала QMF. Бинауральный декодер 630 может быть сконфигурирован для выполнения вышеупомянутой функциональности, описанной в подпункте "1.2.2 Использование информации о настройке устройства". Однако элементы h_ij могут быть сформированы с использованием многоканального параметра и информации о микшировании вместо многоканального параметра и параметра HRTF. В этом случае бинауральный декодер 600 может выполнять функциональность модуля 510 TBT на Фиг.5. Подробности элементов бинаурального декодера 630 будут пропущены.

Бинауральный декодер 630 может работать в соответствии с информацией флажка "binaural_flag". В частности, бинауральный декодер 630 может обходиться, если информация флажка binaural_flag равна "0", в противном случае (binaural_flag равен "1") бинауральный декодер 630 может работать следующим образом.

Таблица 4 Значение binaural_flag
binaural_flag	Значение
0	Не бинауральный режим (бинауральный декодер отключен)
1	бинауральный режим (бинауральный декодер включен)

1.3 Обработка микширования с понижением аудиосигналов перед вводом в многоканальный декодер

Первая схема использования традиционного многоканального декодера объяснена в подпункте "1.1", вторая схема изменения многоканального декодера объяснена в подпункте "1.2". Третья схема обработки микширования с понижением аудиосигналов перед вводом в многоканальный декодер будет объясняться ниже.

Фиг.7 - типовая блок-схема устройства для обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, соответствующему третьей схеме. Фиг.8 - типовая блок-схема устройства для обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения, соответствующему третьей схеме. Согласно Фиг.7 устройство 700 для обработки аудиосигнала (в дальнейшем просто "декодер 700") может включать в себя модуль 710 формирования информации, модуль 720 обработки микширования с понижением и многоканальный декодер 730. Согласно Фиг.8 устройство 800 для обработки аудиосигнала (в дальнейшем просто "декодер 800") может включать в себя модуль 810 формирования информации и модуль 840 многоканального синтеза, имеющий многоканальный декодер 830. Декодер 800 может быть другой особенностью декодера 700. Другими словами, модуль 810 формирования информации имеет такую же конфигурацию, как и модуль 710 формирования информации, многоканальный декодер 830 имеет такую же конфигурацию, как и многоканальный декодер 730, и модуль 840 многоканального синтеза может иметь такую же конфигурацию, как модуль 720 обработки микширования с понижением и многоканальный модуль 730. Поэтому элементы декодера 700 будут объясняться подробно, а подробности элементов декодера 800 будут пропущены.

Модуль 710 формирования информации может быть сконфигурирован для получения дополнительной информации, включающей параметр объекта от кодера и информацию о микшировании из интерфейса пользователя, и для формирования многоканального параметра для вывода в многоканальный декодер 730. С этой точки зрения модуль 710 формирования информации имеет ту же конфигурацию, что и упомянутый выше модуль 210 формирования информации из Фиг.2. Параметр обработки микширования с понижением может соответствовать параметру для управления усилением объекта и панорамированием объекта. Например, можно изменить либо положение объекта, либо усиление объекта, если сигнал объекта находится в левом канале и правом канале. Также можно воспроизвести сигнал объекта, который должен находиться в противоположном положении, если сигнал объекта находится только в одном из левого канала и правого канала. Чтобы эти случаи выполнялись, модуль 720 обработки микширования с понижением может быть модулем TBT (матричная операция 2×2). Если модуль 710 формирования информации может быть сконфигурирован для формирования ADG, описанного со ссылкой на Фиг.2, чтобы управлять усилением объекта, то параметр обработки микширования с понижением может включать в себя параметр для управления панорамированием объекта, а не усилением объекта.

Кроме того, модуль 710 формирования информации может быть сконфигурирован для получения информации HRTF из базы данных HRTF и для формирования дополнительного многоканального параметра, включающего параметр HRTF, для ввода в многоканальный декодер 730. В этом случае модуль 710 формирования информации может формировать многоканальный параметр и дополнительный многоканальный параметр в той же области поддиапазона и передавать их синхронно друг с другом многоканальному декодеру 730. Дополнительный многоканальный параметр, включающий в себя параметр HRTF, будет объясняться подробно в подпункте "3. Обработка в бинауральном режиме".

Модуль 720 обработки микширования с понижением может быть сконфигурирован для получения микширования с понижением аудиосигнала от кодера и параметра обработки микширования с понижением от модуля 710 формирования информации и для разложения сигнала области поддиапазона с использованием набора фильтров анализа поддиапазона. Модуль 720 обработки микширования с понижением может быть сконфигурирован для формирования обработанного сигнала, микшированного с понижением, с использованием сигнала, микшированного с понижением, и параметра обработки микширования с понижением. В этой обработке можно предварительно обработать сигнал, микшированный с понижением, чтобы управлять панорамированием объекта и усилением объекта. Обработанный сигнал, микшированный с понижением, может вводиться в многоканальный декодер 730 для разложения.

Кроме того, обработанный сигнал, микшированный с понижением, с тем же успехом может выводиться и проигрываться через динамик. Чтобы напрямую вывести обработанный сигнал через динамики, модуль 720 обработки микширования с понижением может выполнить набор фильтров с синтезом, используя предложенный сигнал области поддиапазона, и вывести сигнал PCM временной области. Посредством выбора пользователя можно выбрать, выводить ли напрямую в виде сигнала PCM или вводить в многоканальный декодер.

Многоканальный декодер 730 может быть сконфигурирован для формирования многоканального выходного сигнала с использованием обработанного сигнала, микшированного с понижением, и многоканального параметра. Многоканальный декодер 730 может ввести задержку, когда обработанный сигнал, микшированный с понижением, и многоканальный параметр вводятся в многоканальный декодер 730. Обработанный сигнал, микшированный с понижением, может быть синтезирован в частотной области (например, области QMF, области гибридной QMF и т.д.), а многоканальный параметр может быть синтезирован во временной области. В стандарте MPEG Surround вводятся задержка и синхронизация для связи с HE-AAC. Поэтому многоканальный декодер 730 может ввести задержку в соответствии со стандартом MPEG Surround.

Конфигурация модуля 720 обработки микширования с понижением будет подробно объясняться со ссылкой на Фиг.9-Фиг.13.

1.3.1 Общий случай и специальные случаи модуля обработки микширования с понижением

Фиг.9 - типовая блок-схема для объяснения основной идеи модуля воспроизведения. Согласно Фиг.9 модуль 900 воспроизведения может быть сконфигурирован для формирования M выходных сигналов, используя N входных сигналов, конфигурацию воспроизведения и пользовательское управление. N входных сигналов могут соответствовать либо сигналам объектов, либо канальным сигналам. Кроме того, N входных сигналов могут соответствовать либо параметру объекта, либо многоканальному параметру. Конфигурация модуля 900 воспроизведения может быть реализована в одном из модуля 720 обработки микширования с понижением из Фиг.7, упомянутого выше модуля 120 воспроизведения из Фиг.1 и упомянутого выше рендерера 110a из Фиг.1, что не накладывает ограничение на настоящее изобретение.

Если модуль 900 воспроизведения может быть сконфигурирован для непосредственного формирования M канальных сигналов, используя N сигналов объектов без суммирования отдельных сигналов объектов, соответствующих определенному каналу, то конфигурация модуля 900 воспроизведения может представляться следующей формулой 11.

[формула 11]

Ci - i-й канальный сигнал, O_j - j-й входной сигнал, и R_ji - матрица, преобразующая j-й входной сигнал в i-й канал.

Если матрица R разделяется на составляющую E энергии и составляющую декорреляции, то формула 11 может быть представлена следующим образом.

[формула 12]

Можно управлять положениями объекта, используя составляющую E энергии, и можно управлять диффузностью объекта, используя составляющую D декорреляции.

Допуская, что вводится только i-й входной сигнал, который должен выводиться через j-й канал и k-й канал, формула 12 может представляться следующим образом.

[формула 13]

_{j_i} - часть усиления, преобразованная в j-й канал, _{k_i} - часть усиления, преобразованная в k-й канал, - уровень диффузности и D(o_i) - декоррелированный результат.

Допуская, что декорреляция пропускается, формула (13) может быть упрощена следующим образом.

[формула 14]

Если весовые значения для всех входов, преобразованных в определенный канал, оцениваются в соответствии с вышеизложенным способом, можно получить весовые значения для каждого канала с помощью следующего способа.

1) Суммирование весовых значений для всех входов, преобразованных в определенный канал. Например, если вводится вход 1 O₁ и вход 2 O₂, и выходной канал соответствует левому каналу L, центральному каналу C и правому каналу R, то итоговые весовые значения _L(tot), _C(tot), _R(tot) могут быть получены следующим образом:

[формула 15]

где _L1 - весовое значение для входа 1, преобразованного в левый канал L, _C1 - весовое значение для входа 1, преобразованного в центральный канал C, _C2 - весовое значение для входа 2, преобразованного в центральный канал C, и _R2 - весовое значение для входа 2, преобразованного в правый канал R.

В этом случае только вход 1 преобразуется в левый канал, только вход 2 преобразуется в правый канал, вход 1 и вход 2 преобразуются вместе в центральный канал.

2) Суммирование весовых значений для всех входов, преобразованных в определенный канал, затем деление суммы на наиболее преобладающую пару каналов и преобразование декоррелированного сигнала в другой канал для эффекта окружающего звука. В этом случае преобладающая пара каналов может соответствовать левому каналу и центральному каналу, если определенный вход располагается в точке между левым и центральным каналом.

3) Оценка весового значения наиболее преобладающего канала, отдавая ослабленный свернутый сигнал другому каналу, чье значение является относительной величиной оцененного весового значения.

4) Использование весовых значений для каждой пары каналов, должным образом объединяя декоррелированный сигнал, затем задание дополнительной информации для каждого канала.

1.3.2 Случай, когда модуль обработки микширования с понижением включает в себя участок микширования, соответствующий матрице 2×4

Фиг.10A-10C - типовые блок-схемы первого варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7. Как говорилось ранее, первый вариант осуществления модуля 720a микширования (в дальнейшем просто "модуль 720a обработки микширования с понижением") может быть реализацией модуля 900 воспроизведения.

Во-первых, предполагая, что , формула 12 упрощается следующим образом.

[формула 15]

Модуль обработки микширования с понижением в соответствии с формулой 15 иллюстрируется на Фиг.10А. Обращаясь к Фиг.10А, модуль 720a обработки микширования с понижением может быть сконфигурирован для обхода входного сигнала в случае монофонического входного сигнала (m) и для обработки входного сигнала в случае стереофонического входного сигнала (L, R). Модуль 720a обработки микширования с понижением может включать в себя участок 722a декорреляции и участок 724a микширования. Участок 722a декорреляции имеет декоррелятор aD и декоррелятор bD, которые могут быть сконфигурированы для декорреляции входного сигнала. Участок 722a декорреляции может соответствовать матрице 2×2. Участок 724a микширования может быть сконфигурирован для преобразования входного сигнала и декоррелированного сигнала в каждый канал. Участок 724a микширования может соответствовать матрице 2×4.

Во-вторых, предполагая, что и формула 12 упрощается следующим образом.

[формула 15-2]

Модуль обработки микширования с понижением в соответствии с формулой 15 иллюстрируется на Фиг.10B. Обращаясь к Фиг.10В, участок 722' декорреляции, включающий два декоррелятора D₁, D₂, может быть сконфигурирован для формирования декоррелированных сигналов D₁(a*O ₁+b*O₂), D₂(c*O₁+d*O ₂).

В-третьих, допуская, что , формула 12 упрощается следующим образом.

[формула 15-3]

Модуль обработки микширования с понижением в соответствии с формулой (15) иллюстрируется на Фиг.10C. Согласно Фиг.10C, участок 722'' декорреляции, включающий два декоррелятора D₁, D₂, может быть сконфигурирован для формирования декоррелированных сигналов D₁(O₁ ), D₂(O₂).

1.3.2 Случай, когда модуль обработки микширования с понижением включает в себя участок микширования, соответствующий матрице 2×3

Формула (15) может представляться следующим образом:

[формула 16]

Матрица R является матрицей 2×3, матрица O является матрицей 3×1, и C является матрицей 2×1.

Фиг.11 - типовая блок-схема второго варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7. Как говорилось ранее, второй вариант осуществления модуля 720b обработки микширования с понижением (в дальнейшем просто "модуль 720b обработки микширования с понижением") может быть реализацией модуля 900 воспроизведения, как и модуль 720а обработки микширования с понижением. Обращаясь к Фиг.11А, модуль 720b обработки микширования с понижением может быть сконфигурирован для пропуска входного сигнала в случае монофонического входного сигнала (m) и для обработки входного сигнала в случае стереофонического входного сигнала (L, R). Модуль 720b обработки микширования с понижением может включать в себя участок 722b декорреляции и участок 724b микширования. Участок 722b декорреляции имеет декоррелятор D, который может быть сконфигурирован для декорреляции входного сигнала O ₁, O₂ и вывода декоррелированного сигнала D(O ₁+O₂). Участок 722b декорреляции может соответствовать матрице 1×2. Участок 724b микширования может быть сконфигурирован для преобразования входного сигнала и декоррелированного сигнала в каждый канал. Участок 724b микширования может соответствовать матрице 2×3, которая может быть показана как матрица R в формуле (16).

Кроме того, участок 722b декорреляции может быть сконфигурирован для декорреляции разностного сигнала O₁-O₂ в качестве общего сигнала из двух входных сигналов O₁, O₂. Участок 724b микширования может быть сконфигурирован для преобразования входного сигнала и декоррелированного общего сигнала в каждый канал.

1.3.3 Случай, когда модуль обработки микширования с понижением включает в себя участок микширования с несколькими матрицами

Определенный сигнал объекта может быть слышимым как аналогичное ощущение без позиционирования в заданном положении, что может называться "пространственный звуковой сигнал". Например, аплодисменты или шумы концертного зала могут быть примером пространственного аудиосигнала. Пространственный звуковой сигнал нужно воспроизводить через все динамики. Если пространственный звуковой сигнал воспроизводится как один и тот же сигнал через все динамики, сложно ощутить "пространственность" сигнала из-за высокой внутренней корреляции (IC) сигнала. Поэтому имеется необходимость добавить коррелированный сигнал к сигналу каждого канального сигнала.

Фиг.12 - типовая блок-схема третьего варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7. Согласно фиг.12, третий вариант осуществления модуля 720с обработки микширования с понижением (в дальнейшем просто "модуль 720с обработки микширования с понижением") может быть сконфигурирован для формирования пространственного аудиосигнала с использованием входного сигнала O_i, который может включать в себя участок 722c декорреляции с N декорреляторами участок 724c микширования. Участок 722c декорреляции может иметь N декорреляторов D ₁, D₂, , D_N, которые могут быть сконфигурированы для декорреляции входного сигнала O_i. Участок 724c микширования может иметь N матриц R_j, R_k, , R_l, которые могут быть сконфигурированы для формирования выходных сигналов C_j, C_k, , C_l с использованием входного сигнала O _i и декоррелированного сигнала D_X(O_i ). Матрица R_j может быть представлена в виде следующей формулы.

[формула 17]

O_i - i-й входной сигнал, R_j - матрица, преобразующая i-й входной сигнал O _i в j-й канал, и C_{j_i} - j-й выходной сигнал. Значение _{j_i} является коэффициентом декорреляции.

Значение _{j_i} может оцениваться на основе ICC, включенной в многоканальный параметр. Кроме того, участок 724c микширования может формировать выходные сигналы на основе информации о пространственности, составляющей коэффициент _{j_i} декорреляции, принятый из интерфейса пользователя посредством модуля 710 формирования информации, что не накладывает ограничение на настоящее изобретение.

Количество (N) декорреляторов может быть равно количеству выходных каналов. С другой стороны, декоррелированный сигнал может добавляться к выходным каналам, выбранным пользователем. Например, можно поместить некоторый пространственный звуковой сигнал слева, справа и по центру и вывести в виде пространственного аудиосигнала через динамик левого канала.

1.3.4 Случай, когда модуль обработки микширования с понижением включает в себя дополнительный участок микширования

Фиг.13 - типовая блок-схема четвертого варианта осуществления модуля обработки микширования с понижением, проиллюстрированного на Фиг.7. Четвертый вариант осуществления модуля 720d обработки микширования с понижением (в дальнейшем просто "модуль 720d обработки микширования с понижением") может быть сконфигурирован для обхода, если входной сигнал соответствует монофоническому сигналу (m). Модуль 720d обработки микширования с понижением включает в себя дополнительный участок 722d микширования, который может быть сконфигурирован для микширования стереофонического сигнала в монофонический сигнал, если входной сигнал соответствует стереофоническому сигналу. Дополнительный монофонический канал (m) микширования с понижением используется в качестве входных данных в многоканальный декодер 730. Многоканальный декодер 730 может управлять панорамированием объекта (в особенности наводкой) с использованием монофонического входного сигнала. В этом случае модуль 710 формирования информации может формировать многоканальный параметр на основе конфигурации 5-1-5₁ по стандарту MPEG Surround.

Кроме того, если применяется усиление для монофонического сигнала, микшированного с понижением, например вышеупомянутое художественное усиление сигнала, микшированного с понижением, (ADG) из Фиг.2, то можно проще управлять панорамированием объекта и усилением объекта. ADG может формироваться с помощью модуля 710 формирования информации на основе информации о микшировании.

2. Микширование с повышением канальных сигналов и управление сигналами объектов

Фиг.14 - типовая блок-схема структуры потока двоичных сигналов сжатого аудиосигнала согласно второму варианту осуществления настоящего изобретения. Фиг.15 - типовая блок-схема устройства для обработки аудиосигнала согласно второму варианту осуществления настоящего изобретения. Обращаясь к части (а) Фиг.14, сигнал, микшированный с понижением, , многоканальный параметр и параметр объекта включаются в структуру потока двоичных сигналов. Многоканальный параметр является параметром для разложения сигнала, микшированного с понижением. С другой стороны, параметр объекта является параметром для управления панорамированием объекта и усилением объекта. Согласно части (b) Фиг.14, сигнал, микшированный с понижением, , параметр ' по умолчанию и параметр объекта включаются в структуру потока двоичных сигналов. Параметр ' по умолчанию может включать в себя предварительно установленную информацию для управления усилением объекта и панорамированием объекта. Предварительно установленная информация может соответствовать примеру, предложенному изготовителем кодера. Например, предварительно установленная информация может описывать, что сигнал гитары располагается в точке между левым и центром, и уровень гитары устанавливается в определенную громкость, и количество выходных каналов в это время устанавливается в определенный канал. В потоке двоичных сигналов может присутствовать параметр по умолчанию либо для каждого кадра, либо для заданного кадра. В потоке двоичных сигналов может присутствовать информация флажка, указывающая, отличается ли параметр по умолчанию для этого кадра от параметра по умолчанию у предыдущего кадра. Путем включения параметра по умолчанию в поток двоичных сигналов можно применить меньшую скорость передачи битов, чем дополнительная информация с параметром объекта, которая включается в поток двоичных сигналов. Кроме того, на Фиг.14 пропускается информация заголовка потока двоичных сигналов. Последовательность потока двоичных сигналов может быть перегруппирована.

Согласно Фиг.15, устройство 1000 для обработки аудиосигнала в соответствии со вторым вариантом осуществления настоящего изобретения (в дальнейшем просто "декодер 1000") может включать в себя демультиплексор 1005 потока двоичных сигналов, модуль 1010 формирования информации, модуль 1020 обработки микширования с понижением и многоканальный декодер 1030. Демультиплексор 1005 может быть сконфигурирован для разделения мультиплексированного аудиосигнала на сигнал, микшированный с понижением, , первый многоканальный параметр и параметр объекта. Модуль 1010 формирования информации может быть сконфигурирован для формирования второго многоканального параметра с использованием параметра объекта и параметра обработки микширования с понижением. Параметр обработки микширования с понижением содержит информацию о режиме, указывающую, применяется ли первая многоканальная информация к обработанному сигналу, микшированному с понижением. Информация о режиме может соответствовать информации для выбора пользователем. В соответствии с информацией о режиме модуль 1010 формирования информации решает, передавать ли первый многоканальный параметр или второй многоканальный параметр.

Модуль 1020 обработки микширования с понижением может быть сконфигурирован для определения схемы обработки в соответствии с информацией о режиме, включенной в информацию о микшировании. Кроме того, модуль 1020 обработки микширования с понижением может быть сконфигурирован для обработки сигнала, микшированного с понижением, в соответствии с определенной схемой обработки. Затем модуль 1020 обработки микширования с понижением передает обработанный сигнал, микшированный с понижением, многоканальному декодеру 1030.

Многоканальный декодер 1030 может быть сконфигурирован для получения либо первого многоканального параметра , либо второго многоканального параметра. Если параметр ' по умолчанию включается в поток двоичных сигналов, то многоканальный декодер 1030 может использовать параметр ' по умолчанию вместо многоканального параметра .

Тогда многоканальный декодер 1030 может быть сконфигурирован для формирования многоканального выходного сигнала с использованием обработанного сигнала, микшированного с понижением, и принятого многоканального параметра. Многоканальный декодер 1030 может иметь ту же конфигурацию, что и упомянутый выше многоканальный декодер 730, что не накладывает ограничение на настоящее изобретение.

3. Бинауральная обработка

Многоканальный декодер может работать в бинауральном режиме. Этот дает возможность многоканального ощущения через наушники посредством фильтрации с функцией моделирования восприятия звука (HRTF). Для стороны бинаурального декодирования сигнал, микшированный с понижением, и многоканальные параметры используются в сочетании с фильтрами HRTF, добавленными к декодеру.

Фиг.16 - типовая блок-схема устройства для обработки аудиосигнала согласно третьему варианту осуществления настоящего изобретения. Согласно Фиг.16 устройство для обработки аудиосигнала в соответствии с третьим вариантом осуществления (в дальнейшем просто "декодер 1100") может содержать модуль 1110 формирования информации, модуль 1120 обработки микширования с понижением и многоканальный декодер 1130 с участком 1130a согласования синхронизации.

Модуль 1110 формирования информации может иметь ту же конфигурацию, что и модуль 710 формирования информации из Фиг.7, с формированием динамической HRTF. Модуль 1120 обработки микширования с понижением может иметь ту же конфигурацию, что и модуль 720 обработки микширования с понижением из Фиг.7. Как и предшествующие элементы, многоканальный декодер 1130, за исключением участка 1130a согласования синхронизации, является таким же случаем упомянутых выше элементов. Поэтому подробности модуля 1110 формирования информации, модуля 1120 обработки микширования с понижением и многоканального декодера 1130 будут пропущены.

Динамическая HRTF описывает связь между сигналами объектов и сигналами виртуального динамика, соответствующими азимутальному углу и углу возвышения HRTF, что является зависящей от времени информацией в соответствии с пользовательским управлением в режиме реального времени.

Динамическая HRTF может соответствовать одному из коэффициентов самого фильтра HRTF, информации о параметризованном коэффициенте и индексной информации, если многоканальный декодер содержит весь набор фильтров HRTF.

Существует необходимость согласовать информацию о динамической HRTF с кадром сигнала, микшированного с понижением, независимо от вида динамической HRTF. Чтобы согласовать информацию HRTF с сигналом, микшированным с понижением, можно предоставить три типа схем, а именно:

1) Вставка разметочной информации в каждую информацию HRTF и потоковый сигнал, микшированный с понижением, затем согласование HRTF с потоковым сигналом, микшированным с понижением, на основе вставленной разметочной информации. В этой схеме характерно, что разметочная информация может включаться во вспомогательное поле в стандарте MPEG Surround. Разметочная информация может представляться в виде информации о времени, информации о счетчике, индексной информации и т.д.

2) Вставка информации HRTF в кадр потока двоичных сигналов. В этой схеме можно задать информацию о режиме, указывающую, соответствует ли текущий кадр режиму по умолчанию. Если применяется режим по умолчанию, который описывает информацию HRTF текущего кадра, идентичную информации HRTF предыдущего кадра, то можно уменьшить скорости передачи битов у информации HRTF.

2-1) Кроме того, можно определить информацию передачи, указывающую, передана ли уже информация HRTF текущего кадра. Если применяется информация передачи, которая описывает информацию HRTF текущего кадра, идентичную переданной информации HRTF кадра, то также можно уменьшить скорости передачи битов у информации HRTF.

3) Передача нескольких информаций HRTF заранее, затем передача идентифицирующей информации, указывающей, какая HRTF среди переданных информаций HRTF на каждый кадр.

Кроме того, если неожиданно меняется коэффициент HRTF, то может формироваться искажение. Чтобы уменьшить это искажение, нужно выполнить сглаживание коэффициента или воспроизведенного сигнала.

4. Воспроизведение

Фиг.17 - типовая блок-схема устройства для обработки аудиосигнала согласно четвертому варианту осуществления настоящего изобретения. Устройство 1200 для обработки аудиосигнала в соответствии с четвертым вариантом осуществления настоящего изобретения (в дальнейшем просто "процессор 1200") может содержать кодер 1210 на кодирующей стороне 1200A и модуль 1220 воспроизведения и модуль 1230 синтеза на декодирующей стороне 1200B. Кодер 1210 может быть сконфигурирован для получения многоканального сигнала объекта и формирования микширования с понижением аудиосигнала и дополнительной информации. Модуль 1220 воспроизведения может быть сконфигурирован для получения дополнительной информации от кодера 1210, конфигурации воспроизведения и пользовательского управления из настройки устройства или интерфейса пользователя и формирования информации воспроизведения с использованием дополнительной информации, конфигурации воспроизведения и пользовательского управления. Модуль 1230 синтеза может быть сконфигурирован для синтеза многоканального выходного сигнала с использованием информации воспроизведения и принятого сигнала, микшированного с понижением, от кодера 1210.

4.1 Применение режима эффектов

Режим эффектов является режимом для повторно микшированного или восстановленного сигнала. Например, могут присутствовать "живой" режим, "клубный" режим, режим "караоке" и т.д. Информация о режиме эффектов может соответствовать набору параметров микширования, сформированному изготовителем, другим пользователем и т.д. Если применяется информация о режиме эффектов, конечному пользователю не нужно в полной мере управлять панорамированием объекта и усилением объекта, так как пользователь может выбрать одну из заранее установленных информаций о режиме эффектов.

Могут выделяться два способа формирования информации о режиме эффектов. Во-первых, можно, чтобы информация о режиме эффектов формировалась кодером 1200A и передавалась к декодеру 1200B. Во-вторых, информация о режиме эффектов может формироваться автоматически на декодирующей стороне. Подробности двух способов будут описываться ниже.

4.1.1 Передача информации о режиме эффектов декодирующей стороне

Информация о режиме эффектов может формироваться изготовителем на кодере 1200A. В соответствии с этим способом декодер 1200B может быть сконфигурирован для получения дополнительной информации, включающей информацию о режиме эффектов, и вывода интерфейса пользователя, с помощью которого пользователь может выбрать одну из информаций о режиме эффектов. Декодер 1200B может быть сконфигурирован для формирования выходного канала на основе выбранной информации о режиме эффектов.

Кроме того, слушателю неприемлемо услышать сигнал, микшированный с понижением, как есть, если кодер 1200A микширует с понижением сигнал, чтобы поднять качество сигналов объектов. Однако, если информация о режиме эффектов применяется в декодере 1200B, можно воспроизвести сигнал, микшированный с понижением, с максимальным качеством.

4.1.2 Формирование информации о режиме эффектов на декодирующей стороне

Информация о режиме эффектов может формироваться на декодере 1200B. Декодер 1200B может быть сконфигурирован для поиска подходящих информаций о режиме эффектов для сигнала, микшированного с понижением. Тогда декодер 1200B может быть сконфигурирован для самостоятельного выбора одного из найденных режимов эффектов (режим автоматической регулировки) или предоставления пользователю возможности выбрать один из них (режим выбора пользователя). Далее, декодер 1200B может быть сконфигурирован для получения информации об объекте (количество объектов, названия инструментов и т.д.), включенной в дополнительную информацию, и управления объектом на основе выбранной информации о режиме эффектов и информации об объекте.

Кроме того, можно управлять похожими объектами в общей массе. Например, связанные с ритмом инструменты могут быть похожими объектами в случае "режима ощущения ритма". Управление в общей массе означает управление каждым объектом одновременно, а не управление объектам с использованием одинакового параметра.

Кроме того, можно управлять объектом на основе настройки декодера и окружения устройства (включая то, используются ли наушники или динамики). Например, если настройка громкости у устройства низкая, то может подчеркиваться объект, соответствующий основной мелодии, если настройка громкости у устройства высокая, то может подавляться объект, соответствующий основной мелодии.

4.2 Тип объекта входного сигнала на кодирующей стороне

Входной сигнал, введенный в кодер 1200A, может классифицироваться на три типа следующим образом.

1) Монофонический объект (объект монофонического канала)

Монофонический объект является наиболее общим типом объекта. Можно синтезировать внутренний сигнал, микшированный с понижением, путем простого суммирования объектов. Также можно синтезировать внутренний сигнал, микшированный с понижением, с использованием усиления объекта и панорамирования объекта, которые могут быть одним из пользовательского управления и предоставленной информации. В формировании внутреннего сигнала, микшированного с понижением, также можно сформировать информацию воспроизведения, используя по меньшей мере одно из характеристики объекта, ввода пользователя и предоставленной вместе с объектом информации.

Если присутствует внешний сигнал, микшированный с понижением, то можно извлечь и передать информацию, указывающую связь между внешним сигналом, микшированным с понижением, и объектом.

2) Стереофонический объект (объект стереофонического канала)

Можно синтезировать внутренний сигнал, микшированный с понижением, путем простого суммирования объектов, как в случае упомянутого выше монофонического объекта. Также можно синтезировать внутренний сигнал, микшированный с понижением, с использованием усиления объекта и панорамирования объекта, которые могут быть одним из пользовательского управления и предоставленной информации. Если сигнал, микшированный с понижением, соответствует монофоническому сигналу, то можно, чтобы кодер 1200A использовал объект, преобразованный в монофонический сигнал, для формирования сигнала, микшированного с понижением. В этом случае можно извлечь и передать информацию, ассоциированную с объектом (например, информацию о панорамировании в каждой частотно-временной области), при преобразовании в монофонический сигнал. Как и у предшествующего монофонического объекта, в формировании внутреннего сигнала, микшированного с понижением, также можно сформировать информацию воспроизведения, используя по меньшей мере одно из характеристики объекта, ввода пользователя и предоставленной вместе с объектом информации. Как и у предшествующего монофонического объекта, если присутствует внешний сигнал, микшированный с понижением, то можно извлечь и передать информацию, указывающую связь между внешним сигналом, микшированным с понижением, и объектом.

3) Многоканальный объект

В случае многоканального объекта можно выполнить упомянутый выше способ, описанный с монофоническим объектом и стереофоническим объектом. Кроме того, можно ввести многоканальный объект в качестве вида MPEG Surround. В этом случае можно сформировать основанное на объекте микширование с понижением (например, микширование с понижением SAOC), используя канал микширования с понижением объекта, и использовать многоканальную информацию (например, пространственную информацию в MPEG Surround) для формирования многоканальной информации и информации воспроизведения. Поэтому можно уменьшить объем вычислений, так как многоканальный объект, присутствующий в виде MPEG Surround, не нужно декодировать и кодировать с использованием объектно-ориентированного кодера (например, кодера SAOC). Если микширование с понижением объекта соответствует стереофоническому, и микширование с понижением (например, микширование с понижением SAOC) в этом случае соответствует монофоническому, то можно применить вышеупомянутый способ, описанный со стереофоническим объектом.

4) Схема передачи для переменного типа объекта

Как отмечено выше, переменный тип объекта (монофонический объект, стереофонический объект и многоканальный объект) может передаваться от кодера 1200A к декодеру 1200B. Схема передачи для переменного типа объекта может предоставляться следующим образом.

Согласно Фиг.18, когда сигнал, микшированный с понижением, включает в себя множественный объект, дополнительная информация включает в себя информацию для каждого объекта. Например, когда множественный объект состоит из N-го монофонического объекта (А), левого канала (N+1)-го объекта (В) и правого канала (N+1)-го объекта (С), дополнительная информация включает в себя информацию для 3 объектов (А, В, С).

Дополнительная информация может содержать информацию флажка о корреляции, указывающую, является ли объект частью стереофонического или многоканального объекта, например монофоническим объектом, одним каналом (L или R) стереофонического объекта, и так далее. Например, информация флажка о корреляции равна "0", если присутствует монофонический объект, информация флажка о корреляции равна "1", если присутствует один канал стереофонического объекта. Когда одна часть стереофонического объекта и другая часть стереофонического объекта передаются последовательно, информация флажка о корреляции для другой части стереофонического объекта может быть любым значением (например, "0", "1" или чем-нибудь еще). Кроме того, информация флажка о корреляции для другой части стереофонического объекта может не передаваться.

Кроме того, в случае многоканального объекта информация флажка о корреляции для одной части многоканального объекта может быть значением, описывающим количество многоканальных объектов. Например, в случае 5.1-канального объекта информация флажка о корреляции для левого канала из 5.1 канала может быть "5", информация флажка о корреляции для другого канала (R, Lr, Rr, C, LFE) из 5.1 канала может быть либо "0", либо не передаваться.

4.3 Атрибут объекта

Объект может обладать тремя видами атрибутов, а именно:

а) Единственный объект

Единственный объект может быть сконфигурирован в качестве источника. Можно применить один параметр к единственному объекту для управления панорамированием объекта и усилением объекта при формировании сигнала, микшированного с понижением, и воспроизведении. "Один параметр" может означать не только один параметр для всей временной/частотной области, но также и один параметр для каждого временного/частотного интервала.

b) Групповой объект

Единственный объект может быть сконфигурирован как более двух источников. Можно применить один параметр к групповому объекту для управления панорамированием объекта и усилением объекта, хотя групповой объект вводится по меньшей мере как два источника. Подробности группового объекта пояснены со ссылкой на Фиг.19 следующим образом. Согласно Фиг.19, кодер 1300 включает в себя группировочный модуль 1310 и модуль 1320 микширования с понижением. Группировочный модуль 1310 может быть сконфигурирован для группирования по меньшей мере двух объектов среди введенных входных данных нескольких объектов на основе группировочной информации. Группировочная информация может формироваться изготовителем кодирующей стороны. Модуль 1320 микширования с понижением может быть сконфигурирован для формирования сигнала, микшированного с понижением, с использованием сгруппированного объекта, сформированного группировочным модулем 1310. Модуль 1320 микширования может быть сконфигурирован для формирования дополнительной информации для сгруппированного объекта.

с) Комбинированный объект

Комбинированный объект является объектом, объединенным по меньшей мере с одним источником. Можно управлять панорамированием и усилением объекта в общей массе, но сохранять связь между объединенными объектами без изменений. Например, в случае барабана можно управлять барабаном, но сохранять связь между большим барабаном, тамтамом и цимбалами без изменений. Например, когда большой барабан находится в центральной точке, а цимбалы находятся в левой точке, можно расположить большой барабан в правой точке и расположить цимбалы в точке между центральной и правой, если барабан двигается в правом направлении.

Информация о связи между объединенными объектами может передаваться декодеру. С другой стороны, декодер может извлекать информацию о связи, используя комбинированный объект.

4.4 Иерархическое управление объектами

Можно управлять объектами иерархически. Например, после управления барабаном можно управлять каждым подэлементом барабана. Чтобы иерархически управлять объектами, ниже предоставляются три схемы:

а) UI (интерфейс пользователя)

Только представляющий элемент может отображаться без отображения всех объектов. Если представляющий элемент выбирается пользователем, отображаются все объекты.

b) Группирование объектов

После группирования объектов для представления представляющего элемента можно управлять представляющим элементом, чтобы управлять всеми объектам, сгруппированными в виде представляющего элемента. Информация, извлеченная в процессе группирования, может передаваться декодеру. Также информация о группировании может формироваться в декодере. Применение управляющей информации в общей массе может выполняться на основе заранее установленной управляющей информации для каждого элемента.

с) Конфигурация объекта

Можно использовать вышеупомянутый комбинированный объект. Информация об элементах комбинированного объекта может формироваться либо в кодере, либо в декодере. Информация об элементах от кодера может передаваться в качестве другого вида, отличного от информации о комбинированном объекте.

Специалистам в данной области техники будет очевидно, что в настоящем изобретении могут быть сделаны различные модификации и изменения без отклонения от сущности или объема изобретения. Таким образом, имеется в виду, что настоящее изобретение охватывает модификации и изменения этого изобретения в том случае, если они подпадают под объем прилагаемой формулы изобретения и ее эквивалентов.

Промышленная применимость

Соответственно, настоящее изобретение применимо для кодирования и декодирования аудиосигнала.