устройство, способ и компьютерная программа для выработки широкополосного сигнала с использованием управляемого расширения ширины полосы и слепого расширения ширины полосы
Классы МПК: | G10L21/02 усиление речи, например подавление шума, нейтрализация эхо-сигнала |
Автор(ы): | НАГЕЛЬ Фредерик (DE), НОЙЕНДОРФ Макс (DE), ШНЕЛЛЬ Маркус (DE), МУЛТРУС Маркус (DE) |
Патентообладатель(и): | ФРАУНХОФЕР-ГЕЗЕЛЛЬШАФТ ЦУР ФЕРДЕРУНГ ДЕР АНГЕВАНДТЕН ФОРШУНГ Е.Ф. (DE) |
Приоритеты: |
подача заявки:
2011-04-14 публикация патента:
10.09.2014 |
Изобретение относится к средствам для выработки широкополосного сигнала с использованием входного сигнала низкой полосы. Технический результат заключается в расширении полосы при низкой скорости передачи битов и сохранении высокого качества сигнала. Процессор выполняет операции управляемого расширения ширины полосы с использованием входного сигнала низкой полосы и первого набора параметров для выработки первого частотного содержимого, продолжающегося вплоть до первой частоты, и выполняет операции слепого расширения ширины полосы с использованием первого частотного содержимого и второго набора параметров для выработки второго частотного содержимого, продолжающегося вплоть до второй частоты, которая выше, чем первая частота. Извлекают первый набор параметров и входной сигнал низкой полосы из битового потока. Процессор содержит генератор параметров для выработки второго набора параметров из первого частотного содержимого, причем генератор параметров выполнен с возможностью получения параметров спектральной огибающей для второго набора параметров для второго частотного содержимого путем экстраполяции от нижних до более высоких частот информации об энергии сформированной спектральной огибающей первого частотного содержимого. 3 н. и 10 з.п. ф-лы, 7 ил.
Формула изобретения
1. Устройство для выработки широкополосного сигнала (13) с использованием входного сигнала низкой полосы (20) и первого набора (21) параметров, описывающего частотное содержимое выше максимальной частоты (25b) входного сигнала низкой полосы (20) и вплоть до первой частоты (25d), в котором параметры, описывающие частотное содержимое выше первой частоты (25d), не включены в первый набор (21) параметров, содержащее:
процессор (23) для выполнения операции управляемого расширения ширины полосы с использованием входного сигнала низкой полосы и первого набора параметров для выработки первого частотного содержимого (25 с), продолжающегося вплоть до первой частоты (25d), и для выполнения операции слепого расширения ширины полосы с использованием первого частотного содержимого (25c) и второго набора параметров для выработки второго частотного содержимого (25e), продолжающегося вплоть до второй частоты (25f), которая выше, чем первая частота (25d),
при этом процессор (23) выполнен с возможностью
извлечения (50) первого набора (21) параметров и входного сигнала низкой полосы (20) из битового потока;
выполнения (51, 52) управляемого расширения ширины полосы с использованием патчирования входного сигнала низкой полосы и первого набора параметров, содержащего формирование с использованием первого набора параметров для получения первого сформированного сигнала, в котором при патчировании вырабатывается первое частотное содержимое; и
выполнения (54, 55) слепого расширения ширины полосы с использованием патчирования первого сформированного сигнала и второго набора параметров, причем при патчировании первого сформированного сигнала вырабатывается второе частотное содержимое,
при этом процессор (23) содержит генератор (24) параметров для выработки второго набора параметров из первого частотного содержимого (25c), причем генератор (24) параметров выполнен с возможностью получения параметров спектральной огибающей для второго набора параметров для второго частотного содержимого путем экстраполяции от нижних до более высоких частот информации об энергии сформированной спектральной огибающей первого частотного содержимого.
2. Устройство по п.1, в котором процессор (23) содержит блок (10) патчирования для выработки патчированного сигнала, имеющего первое частотное содержимое, продолжающееся вплоть до первой частоты, и второе частотное содержимое, продолжающееся вплоть до второй частоты;
формирователь (11) для формирования входного сигнала низкой полосы перед выработкой патчированного сигнала, для формирования патчированного сигнала или для формирования объединенного сигнала с использованием операции формирования; и
блок (12) объединения для объединения входного сигнала низкой полосы и патчированного сигнала перед или вслед за операцией формирования для получения объединенного сигнала, причем объединенный сигнал представляет собой широкополосный сигнал или широкополосный сигнал получается из объединенного сигнала с помощью операции формирования,
причем формирователь (11) выполнен с возможностью выполнения операции формирования таким образом, что первое частотное содержимое широкополосного сигнала формируется с использованием первого набора параметров и что на второе частотное содержимое широкополосного сигнала оказывает влияние первое частотное содержимое и второй набор параметров, полученный из первого набора параметров с помощью генератора (24) параметров.
3. Устройство по п.1, в котором генератор (24) параметров выполнен с возможностью выполнения экстраполяции путем уменьшения энергии полосы второго частотного содержимого по отношению к энергии в соседней полосе нижних частот на предопределенное значение, причем энергия в полосе самых высоких частот первого частотного содержимого используется в качестве начального значения.
4. Устройство по п.1, в котором генератор (24) параметров выполнен с возможностью выполнения экстраполяции путем вычисления линии регрессии с использованием предопределенного участка первого частотного содержимого и путем экстраполяции линии регрессии по частоте во второе частотное содержимое для получения значений энергии для полос частот во втором частотном содержимом.
5. Устройство по п.4, в котором генератор (24) параметров выполнен с возможностью выполнения экстраполяции путем вычисления линии регрессии таким образом, что производная от линии регрессии меньше единицы.
6. Устройство по п.1, в котором первый набор параметров содержит последовательность параметров одного вида параметров, причем последовательность определяется по частоте в первом частотном содержимом, и
в котором генератор (24) параметров выполнен с возможностью экстраполяции последовательности во второе частотное содержимое для получения последовательности параметров того же самого вида для второго набора параметров.
7. Устройство по п.6, в котором первый набор параметров содержит в качестве видов параметров один или более элементов группы, содержащей шумовые параметры, параметры тональности и параметры отсутствующих гармоник.
8. Устройство по п.1, в котором процессор (23) выполнен с возможностью использования шумовых параметров и параметров тональности в первом наборе параметров для управляемого расширения ширины полосы и неиспользования параметров тональности или шумовых параметров в слепом расширении ширины полосы, при этом слепое расширение ширины полосы основано на патчировании результата управляемого расширения ширины полосы.
9. Устройство по п.1, в котором входной сигнал низкой полосы является кодированным, причем устройство дополнительно содержит декодер для декодирования кодированного входного сигнала низкой полосы.
10. Устройство по п.1, в котором процессор (23) выполнен с возможностью использования в качестве способа патчирования для управляемого расширения ширины полосы, патчирования смежных поддиапазонов в исходном диапазоне в банке фильтров в смежные поддиапазоны в целевом диапазоне банка фильтров, гармонического патчирования поддиапазонов в исходном диапазоне в целевой диапазон, ограничения, взятия абсолютных значений или использования фазового вокодера, модуляции сигнала с одной боковой полосой или интерполяции.
11. Устройство по п.1, в котором процессор (23) выполнен с возможностью использования в качестве способа патчирования для слепого расширения ширины полосы, вставки высокочастотного шума или ограничения.
12. Способ выработки широкополосного сигнала (13) с использованием входного сигнала низкой полосы (20) и первого набора (21) параметров, описывающего частотное содержимое выше максимальной частоты (25b) входного сигнала низкой полосы (20) и вплоть до первой частоты (25d), в котором параметры, описывающие частотное содержимое выше первой частоты (25d), не включены в первый набор (21) параметров, содержащий этапы, на которых:
выполняют операцию управляемого расширения ширины полосы с использованием входного сигнала низкой полосы и первого набора параметров для выработки первого частотного содержимого (25c), продолжающегося вплоть до первой частоты (25d), путем извлечения (50) первого набора (21) параметров и входного сигнала низкой полосы (20) из битового потока и путем выполнения (51, 52) управляемого расширения ширины полосы с использованием патчирования входного сигнала низкой полосы и первого набора параметров, содержащего формирование с использованием первого набора параметров для получения первого сформированного сигнала, причем при патчировании входного сигнала низкой полосы вырабатывается первое частотное содержимое; и
выполняют операцию слепого расширения ширины полосы с использованием первого частотного содержимого (25c) и второго набора параметров для выработки второго частотного содержимого (25e), продолжающегося вплоть до второй частоты (25f), которая выше, чем первая частота (25d), с использованием патчирования первого сформированного сигнала и использованием второго набора параметров, при этом при патчировании первого сформированного сигнала вырабатывается второе частотное содержимое,
в котором этап выполнения операции слепого расширения ширины полосы содержит подэтап выработки второго набора параметров из первого частотного содержимого (25c) путем получения параметров спектральной огибающей для второго набора параметров для второго частотного содержимого путем экстраполяции от нижних до более высоких частот информации энергии сформированной спектральной огибающей первого частотного содержимого.
13. Машиночитаемый носитель информации, содержащий сохраненную на нем компьютерную программу, содержащую код программы для выполнения, при ее запуске на компьютере, способа по п.12.
Описание изобретения к патенту
Настоящее изобретение относится к обработке аудиосигналов и, в частности, к устройству, способу и компьютерной программе для объединенного слепого и управляемого расширения ширины полосы.
Хранение или передача аудиосигналов часто подвергается жестким ограничениям по скорости передачи битов. В прошлом, когда была доступна только очень низкая скорость передачи битов, кодеры вынуждены были резко снижать полосу частот передаваемого аудио. В настоящее время современные аудиокодеки позволяют кодировать широкополосные сигналы с использованием способов расширения ширины полосы (BWE). Эти алгоритмы опираются на параметрическое представление высокочастотного (ВЧ) содержимого, которое вырабатывается из кодированной низкочастотной (НЧ) части декодированного сигнала посредством транспонирования в ВЧ-спектральную область (патчирования (patching)), и применение последующей обработки с управляемыми параметрами.
Последующая обработка включает в себя адаптацию уровней энергии для достижения распределения энергии первоначального сигнала (которое также известно как формирование огибающей), а также адаптацию воспринимаемой тональности в транспонированных ВЧ-диапазонах с помощью полосовой избирательной обратной фильтрации (понижения тональности), добавления искусственного уровня собственных шумов (понижения тональности) или добавления отдельных синусоид (повышения тональности).
BWE использует корреляцию между НЧ и ВЧ и направлено на выработку ВЧ-информации, которая максимально подобна исходному ВЧ-содержимому. Такое BWE расширяет частоту вплоть до определенной максимальной частоты Fmax. Таким образом, решение о наивысшей частоте зависит от компромисса между качеством и скоростью передачи битов.
В патенте США № 6680972 Bl раскрыта технология повышения эффективности кодирования источника с использованием репликации спектральной полосы. За уменьшением ширины полосы перед кодером или в кодере следует репликация спектральной полосы в декодере. Это достигается за счет использования способов транспонирования в сочетании с настройками спектральной огибающей. В данном случае получается пониженная скорость передачи битов при заданном качестве восприятия или повышенное качество восприятия при заданной скорости передачи битов.
Технология, которая относится к предшествующему уровню техники, включена в стандарт MPEG-4 (ISO/IEC 14496-3: 2005(E)). В частности, раздел 4.6.18 этого стандарта содержит инструмент репликации спектральной полосы (SBR). Этот инструмент расширяет аудиоширину полосы для декодированного аудиосигнала с ограниченной шириной полосы. Этот процесс основан на репликации последовательностей гармоник, ранее отброшенных, для того чтобы уменьшить скорость передачи данных из имеющегося в наличии сигнала с ограниченной шириной полосы и управляющих данных, полученных из кодера. Соотношение между тональными и шумоподобными составляющими поддерживается с помощью адаптивной обратной фильтрации, а также за счет добавления шумовых и синусоидальных составляющих. Управляющие данные, полученные из кодера, содержат данные по регулированию спектральной огибающей для настройки спектральной огибающей «патчированного» (исправленного) сигнала и, кроме того, обратной фильтрации данных для установления соотношения между тональными и шумоподобными составляющими, информацию о шуме, который будет добавляться в исправленный сигнал, и информацию об отсутствующих гармониках, которые должны добавляться в исправленный сигнал в рамках операции SBR для генерации широкополосного сигнала.
Эта стандартизованная процедура выполняет только управляемое расширение ширины полосы, поскольку максимальная частота, вплоть до которой вырабатывается широкополосный сигнал, также отображается с помощью параметрических данных, присоединенных к узкополосному сигналу с высоким разрешением. Следовательно, для повышения качества аудиосигнала за счет выработки сигнала с более высокой полосой частот требуются дополнительные параметрические данные, которые дополнительно повышают скорость передачи битов передаваемых данных. С другой стороны, когда необходимо уменьшить скорость передачи битов по причинам пропускной способности канала передачи, можно сократить параметрические данные для самых высоких или некоторых из самых высоких полос реплицируемого сигнала в кодере. Это автоматически приводит к снижению качества аудио, поскольку SBR-декодер будет только вырабатывать высокочастотную часть вплоть до частоты (то есть вплоть до определенной полосы, для которой параметрические данные включены в поступающие данные или битовый поток). Следовательно, уменьшение скорости передачи битов приводит к снижению качества аудио или повышение качества аудио приводит к увеличению скорости передачи битов.
Задача настоящего изобретения заключается в том, чтобы обеспечить усовершенствованную концепцию расширения ширины полосы, которая позволяет получить, с одной стороны, высокое качество, а с другой стороны, - низкую скорость передачи битов.
Эта задача решена с помощью устройства для генерации широкополосного сигнала по п. 1, способа генерации широкополосного сигнала по п. 14 или компьютерной программы по п. 15.
Настоящее изобретение основано на том факте, что для повышения качества аудио и/или уменьшения скорости передачи битов операция управляемого расширения ширины полосы объединяется с операцией слепого расширения ширины полосы. Операция слепого расширения ширины полосы представляет собой операцию расширения ширины полосы, для которой не были переданы параметры. Иными словами, операция слепого расширения ширины полосы приведет к спектральным составляющим сигнала, которые принадлежат частотам, превышающим максимальную частоту, для которой параметры расширения ширины полосы были переданы в битовом потоке.
Процессор для выполнения операции управляемого расширения ширины полосы с использованием сигнала низкой полосы и переданного параметра, установленного для выработки первого частотного содержимого, продолжающегося вплоть до первой частоты, дополнительно адаптирован для выполнения операции слепого расширения ширины полосы с использованием сигнала низкой полосы или первого частотного содержимого, и второго параметра, установленного для генерации второго частотного содержимого, продолжающегося вплоть до второй частоты, которая выше, чем первая частота. Второй параметр не передается из кодера расширения ширины полосы, а генерируется с помощью генератора параметров для генерации второго набора параметров из первого набора параметров или только из первого частотного содержимого на стороне декодера расширения ширины полосы. Иными словами, операцию слепого расширения ширины полосы можно выполнить аналогично операции управляемого расширения ширины полосы. Однако различие заключается в том, что любые параметрические данные, которые использует операция расширения ширины полосы, генерируются на стороне кодера и передаются из кодера в декодер. Однако для операции слепого расширения ширины полосы параметры не генерируются на стороне кодера и не передаются из кодера в декодер, а формируются исключительно и только на стороне декодера с использованием информации, доступной в декодере, но без использования какой-либо информации относительно соответствующего частотного содержимого исходного сигнала. Информация об исходном аудиосигнале, соответствующем частотным компонентам, выработанным с помощью операции слепого расширения ширины полосы, полностью недоступна в декодере, поскольку ни сигнал низкой полосы, ни переданные параметрические данные для первого частотного содержимого не включают в себя какую-либо информацию относительно второго частотного содержимого. Эта информация вырабатывается только на стороне декодера без использования каких-либо переданных параметрических данных, то есть "слепым" способом.
Преимуществом настоящего изобретения является то, что настоящее изобретение позволяет дополнительно повысить качество восприятия сигналов при расширенной ширине полосы за счет объединения управляемого расширения ширины полосы (gBWE) со слепым расширением ширины полосы (bBWE). Настоящее изобретение основано на использовании корреляции высокочастотного содержимого очень высокочастотного содержимого, где высокочастотное содержимое соответствует ширине полосы частот, которая охватывает переданные параметрические данные, используемые в вышеупомянутых современных схемах расширения ширины полосы.
Задача настоящего изобретения заключается в дальнейшем повышении качества восприятия сигналов BWE за счет объединения управляемого BWE (gBWE) со слепым BWE (bBWE). Это достигается за счет использования корреляции высокого и очень высокого частотного содержимого.
Современные схемы расширения ширины полосы, такие как репликация спектральной полосы (SBR) или гармоническое расширение ширины полосы (НВЕ), сначала выполняют операцию патчирования, чтобы выработать ВЧ-содержимое. Эта операция патчирования может представлять собой любой вид нелинейной обработки, такой как ограничение, взятие абсолютных значений или использование фазовых вокодеров; она может также включать модуляцию сигнала одной боковой полосы или интерполяцию. Выработанные патчи затем адаптируются до первоначального ВЧ-содержимого с помощью дополнительных параметров.
Помимо gBWE, существуют способы bBWE, которые просто направлены на расширение ширины полосы аудиосигналов. Это можно выполнить путем вставки ВЧ-шума, ограничения и т.д., но без какой-либо дополнительной информации.
Применение современных способов BWE позволяет получить ограниченные по полосе сигналы и не позволяет в полной мере использовать избыточность в пределах ВЧ-содержимого сигналов. Поэтому максимально возможная ширина полосы не достигается. Сигнал с жесткой низкочастотной фильтрацией может дополнительно восприниматься как тональный с основным тоном частоты среза низкочастотного фильтра, в частности, если сигнал является шумоподобным. Кроме того, такой низкочастотный фильтр может создавать временные искажения.
Настоящее изобретение позволяет устранить эти недостатки, поскольку операция слепого расширения ширины полосы применяется к очень высокочастотному содержимому, то есть второму частотному содержимому, продолжающемуся до второй частоты, которая выше, чем первая частота. Для того чтобы все же сохранить низкую скорость передачи, параметрические данные не передаются из кодера в декодер для этого второго частотного содержимого и поэтому устройство для выработки широкополосного сигнала не принимает их.
Предложенная концепция позволяет таким образом избежать тональность вследствие высокой крутизны спада фильтра на частоте среза сигнала. Более того, временные искажения уменьшаются благодаря этим характеристикам фильтра. Кроме того, настоящее изобретение позволяет получить расширение воспринимаемой ширины полосы сигнала без дополнительной или только небольшой дополнительной информации. Его можно использовать в качестве постпроцессора помимо любого базового способа расширения ширины полосы.
Поэтому идея изобретения подходит для всех аудиоприложений, в которых используется схема расширения ширины полосы с управляемыми параметрами, или является также полезной для любого аудио- или речевого кодера, у которого расширяются возможности за счет использования операции расширения ширины полосы на стороне декодера с целью повышения качества аудио.
Предпочтительные варианты осуществления настоящего изобретения обсуждены ниже со ссылкой на сопроводительные чертежи, на которых:
фиг. 1а-1с изображают различные приложения концепций управляемого и слепого расширения ширины полосы;
фиг. 2а изображает схему частотного содержимого широкополосного сигнала, выработанного из сигнала низкой полосы с использованием управляемого расширения ширины полосы для выработки первого частотного содержимого и операции слепого расширения ширины полосы для выработки второго частотного содержимого;
фиг. 2b изображает предпочтительный вариант осуществления устройства для выработки широкополосного сигнала;
фиг. 3 изображает другой предпочтительный вариант осуществления устройства или способа для выработки широкополосного сигнала;
фиг. 4 изображает блок-схему алгоритма для реализации предпочтительного варианта осуществления идеи изобретения.
На фиг. 2b изображено устройство для выработки широкополосного сигнала с использованием сигнала низкой полосы 20 и первого набора 21 параметров. Первый набор параметров описывает частотное содержимое выше максимальной частоты сигнала низкой полосы и вплоть до первой частоты. Параметры, описывающие частотное содержимое выше первой частоты, не включены в первый набор 21 параметров. Эти данные вводятся во входной интерфейс 22, который отделяет сигнал 20 низкой полосы от параметрических данных 21. Эти данные пересылаются в процессор 23 для выполнения операции управляемого расширения ширины полосы (BWE) с использованием сигнала 20 низкой полосы и первого набора 21 параметров для выработки первого частотного содержимого, продолжающегося вплоть до первой частоты. Кроме того, процессор 23 выполнен с возможностью выполнения операции слепого расширения ширины полосы с использованием сигнала низкой полосы или первого частотного содержимого и/или второго набора параметров для выработки второго частотного содержимого, продолжающегося вплоть до второй частоты, которая выше, чем первая частота. Процессор содержит с целью выработки второго набора параметров генератор 24 параметров для выработки второго набора параметров из первого набора 21 параметров или только из первого частотного содержимого. Когда второй набор параметров выработан из только первого частотного содержимого, то первый набор 21 параметров не вводится в генератор параметров. Однако, когда генератор 24 параметров использует первые параметрические данные 21 для того, чтобы выработать второй набор параметров, то ситуация является такой, как показано на фиг. 2b, то есть когда входной интерфейс 22 имеет соединение с генератором 24 параметров.
На фиг. 2а изображен график частоты для того, чтобы иллюстрировать частотную ситуацию. Сигнал низкой полосы имеет только низкую ширину полосы 25а. Низкая ширина полосы 25а продолжается от минимальной частоты, такой как, например, 25 Гц или подобной, до максимальной частоты 25b узкой полосы, которая может быть равна, например, 4 кГц. Первое частотное содержимое 25с, покрываемое переданными параметрическими данными и генерируемое с помощью концепции управляемого расширения ширины полосы, продолжается вплоть до первой частоты 25d. Первая частота 25d может быть равна, например, 12 кГц. Второе частотное содержимое 25е продолжается вплоть до второй частоты 25f, и для второго частотного содержимого 25е, продолжающегося между первой частотой 25d и второй частотой 25f, параметрические данные не были переданы или выработаны на стороне кодера. В качестве примера, вторая частота 25f может быть равна, например, 16 кГц.
Как показано на фиг. 2а, операция управляемого расширения ширины полосы выполняется для выработки первого частотного содержимого, и операция слепого расширения ширины полосы выполняется для выработки второго частотного содержимого, которое выше по частоте, чем первое частотное содержимое. Первое и второе частотное содержимое могут быть неперекрывающимися.
Первое частотное содержимое 25с и второе частотное содержимое 25d передаются вместе с входным сигналом 20 низкой полосы в блок 26 объединения, показанный на фиг. 2b, который вырабатывает широкополосный сигнал. В зависимости от применения блок 12 объединения может представлять собой синтезирующий банк фильтров или может представлять собой блок объединения во временной области. Конкретная реализация блока 26 объединения зависит от реализации процессора 23, то есть от того, являются ли узкополосный сигнал, первое частотное содержимое и второе частотное содержимое доступными в качестве сигналов во временной области, имеющих соответствующее частотное содержимое, доступными в качестве сигналов поддиапазона или трансформированных сигналов, то есть сигналов, доступных в частотном представлении.
На фиг. 1а изображена первая реализация для реализации процессора 23, применяющего операцию управляемого расширения ширины полосы и операцию слепого расширения ширины полосы. Сигнал 21 низкой полосы вводится в блок 10 патчирования для того, чтобы выработать патчированный сигнал на выходе блока 10 патчирования. В операции патчирования в основном используется низкочастотная часть и вырабатывается сигнал в более высокочастотной части. Операции патчирования предпочтительно содержат для управляемого расширения ширины полосы патчирование смежных поддиапазонов в исходном диапазоне в банке фильтров к смежным поддиапазонам в целевом диапазоне банка фильтров, гармоническое патчирование поддиапазонов в исходном диапазоне к целевому диапазону, ограничение, взятие абсолютных значений или использование фазового вокодера, модуляцию сигнала с одной боковой полосой и интерполяцию. Операции патчирования для слепого расширения ширины полосы содержат вставку шума во второе частотное содержимое или ограничение сигнала, содержащего первое частотное содержимое или низкую полосу, для выработки более высоких спектральных составляющих.
Патчированный сигнал вводится в формирователь 11 и на выходе формирователя 11 получается сформированный патчированный сигнал. Затем в блоке 12 объединения сигнал 21 низкой полосы и сформированный патчированный сигнал с выхода формирователя 11 объединяются для того, чтобы получить широкополосный сигнал 13 на выходе блока объединения.
На фиг. 1b изображена другая реализация, где изменен порядок блока 10 патчирования и формирователя 11. Формирователь 11 выполнен с возможностью формирования сигнала 21 низкой полосы с использованием первого набора параметров для обработки на основе управляемого расширения ширины полосы и второго набора параметров и/или информации относительно первого частотного содержимого для того, чтобы выработать сформированный сигнал низкой полосы. Этот сформированный сигнал низкой полосы на выходе формирователя 11 имеет то же самое частотное содержимое, что и исходный сигнал низкой полосы, но в данном случае патчированный с помощью блока 10 патчирования до высокочастотного диапазона, содержащего первое частотное содержимое 25а и второе частотное содержимое 25е, как изображено на фиг. 2а. Затем патчированный сигнал на выходе блока патчирования, который уже был сформирован благодаря тому факту, что формирование было выполнено перед патчированием, объединяется с сигналом 21 низкой полосы в блоке 12 объединения.
Поэтому различие между фиг. 1b и фиг. 1а состоит в том, что порядок между формирователем 11 и блоком 10 патчирования изменен на обратный.
В альтернативной реализации блок патчирования непосредственно применяется к сигналу низкой полосы, как показано на фиг. 1а. Однако сигнал 21 низкой полосы и патчированный, но еще несформированный сигнал затем объединяются для того, чтобы получить объединенный сигнал на выходе блока 12. Этот объединенный сигнал уже имеет частотное содержимое 25а, 25с, 25е (фиг. 2а), но первое частотное содержимое 25с и второе частотное содержимое 25е еще не сформированы. Это формирование высокочастотного содержимого объединенного сигнала затем выполняется с помощью формирователя 11, подсоединенного к блоку 12 объединения.
Во всех реализациях формирователя, показанного на фиг. 1а, 1b и 1с, формирователь использует первый набор параметров для выполнения управляемого расширения ширины полосы и второй набор параметров для выполнения слепого расширения ширины полосы, где второй набор параметров получен из первого набора параметров и/или первого частотного содержимого с помощью генератора 24 параметров, который изображен на фиг. 2b, но не изображен на фиг. 1а, 1b или 1с.
На фиг. 3 изображен другой предпочтительный вариант осуществления настоящего изобретения. Битовый поток 20 принимается из кодера, который не показан на фиг. 3. Битовый поток разделяется на низкополосный или низкочастотный (НЧ) входной сигнал 20 и первый набор 21 параметров, показанный "в дополнительной информации о полосе частот" (дополнительная информация (sideinfo)) на фиг. 3. Низкочастотный входной сигнал 20 подается в блок 30 расширения I ширины полосы для выполнения патчирования, изображенного с помощью блока патчирования на фиг. 1а, 1b или 1с. Затем патчированный сигнал, выработанный с помощью блока 30 расширения ширины полосы для выполнения операции управляемого расширения ширины полосы, подается в блок 11а формирования спектра для выполнения формирования спектра с использованием дополнительной информации 21 о ширине полосы, включенной в битовый поток. Выходной сигнал из блока 11а формирования спектра подается затем в блок 21 коррекции тональности для того, чтобы получить выходной сигнал управляемого расширения ширины полосы. Этот выходной сигнал, охватывающий первое частотное содержимое 25с, подается в блок 12 объединения, с одной стороны, и, с другой стороны, в блок 32 слепого расширения II ширины полосы. В этом предпочтительном варианте осуществления блок 32 расширения II ширины полосы выполняет патчирование с использованием первого частотного содержимого 25с, хотя блок 32 расширения II ширины полосы может также использовать сигнал низкой полосы. Однако благодаря лучшей корреляции между первым частотным содержимым и вторым частотным содержимым предпочтительно использовать первое частотное содержимое 25с для выполнения слепого расширения ширины полосы в блоке 32. Затем в блоке 11b выполняется формирование спектра с помощью второго частотного содержимого 25е, где информация для выполнения этого формирования спектра подается с помощью генератора 24 параметров или блока экстраполяции дополнительной информации "sideinfo", который вычисляет второй набор параметров из первого набора параметров. Затем спектрально сформированное второе частотное содержимое 25е объединяется с первым частотным содержимым 25с и сигналом 20 низкой полосы в блоке 12 объединения для того, чтобы получить широкополосный сигнал 13.
В предпочтительных вариантах осуществления настоящего изобретения операция слепого расширения ширины полосы применяется помимо операции управляемого расширения ширины полосы. На фиг. 3 это изображено с использованием переданного первого набора параметров в блоках 11а и 31 и с использованием второго набора параметров, не переданных из кодера в декодер с помощью блока 11b. Выходной сигнал после операции управляемого расширения ширины полосы используется для дальнейшего расширения ширины полосы сигнала без любой дополнительной вспомогательной информации, как показано с помощью подачи первого частотного содержимого 25с в блок 32 на фиг. 3. Так как тональность и спектральная форма уже адаптированы к сигналу и можно предположить, что высокочастотное содержимое для очень высоких частот не изменяется значительно, обработанный расширенный сигнал, полученный в блоке 31, патчируется для его дальнейшего расширения. Предпочтительно использовать верхнее частотное содержимое, то есть первое частотное содержимое, для части слепого расширения ширины полосы, но можно также использовать и произвольные части спектра.
Для слепого расширения ширины полосы дополнительная информация, которая была использована для управляемого расширения ширины полосы, может экстраполироваться, как изображено с помощью генератора 24 параметров или блока экстраполяции вспомогательной информации "sideinfo". Формирование спектра части слепого расширения ширины полосы, то есть применение параметров энергии или мощности в расчете на диапазон части слепого расширения ширины полосы, соответствует формированию спектра в блоке 11b. С этой целью необходимо вычислить энергетические параметры, то есть параметры, представляющие собой количественные показатели, зависящие от энергии в частотном диапазоне, для частотных диапазонов второго частотного содержимого 25е. Это можно выполнить путем определения линии регрессии для логарифма энергии с самой высокой частотой 1-4 кГц сигнала с управляемым расширением ширины полосы. Эта линия регрессии показана поз.29 на фиг. 2а. Предпочтительно, чтобы производная этой экстраполированной линии была меньше единицы.
Альтернативный вариант осуществления может представлять собой то, что энергия самого высокого диапазона первого частотного содержимого 14 на фиг. 2а измеряется и затем энергии для следующих полос 41, 42, 43 и 44 второго частотного содержимого 25е уменьшаются на произвольную величину, такую как 1,5 или 3 дБ.
Следовательно, второй набор параметров содержит, как минимум, значения энергии для полос 41-44 второго частотного содержимого. Эти значения энергии можно вычислить с использованием значений энергии, включенных в первый набор параметров, но можно также вычислить, как показано в контексте фиг. 2а, без первого набора параметров. Поэтому генератор 24 параметров только по выбору принимает первый набор параметров и принимает первое частотное содержимое для того, чтобы определить линию регрессии, или для того, чтобы определить энергию самого высокого диапазона 40 первого частотного содержимого. Однако, когда значения энергии для диапазона 41-44 вычисляются только из первого набора параметров, то первое частотное содержимое не требуется для вычисления второго набора параметров. В других вариантах осуществления значения энергии для второго частотного содержимого можно также вычислить с использованием комбинации первого частотного содержимого и значений энергии, включенных в первый набор параметров.
Дополнительные параметры, такие как уровень собственных шумов и обратная фильтрация, можно либо экстраполировать, либо ими можно пренебречь для слепого расширения ширины полосы. Если они не будут учитываться в слепом расширении ширины полосы, то параметры, используемые для управляемого расширения ширины полосы, то есть переданные параметры 21, применяются также для управления спектральной части, обработанной с помощью слепого расширения ширины полосы (BWE II) 32 на фиг. 3. Альтернативно, любую другую операцию формирования, которая отличается от спектрального формирования, использующего параметры энергии, можно опустить.
На фиг. 4 изображена предпочтительная реализация идеи изобретения в виде блок-схемы алгоритма последовательности операций. На этапе 50, который выполняется с помощью входного интерфейса 22 (фиг. 2b), сигнал низкой полосы и первый набор параметров извлекаются из переданного сигнала (битового потока). Сигнал 20 низкой полосы затем используется на этапе 51 для патчирования сигнала низкой полосы с целью получения первого патчированного сигнала, который имеет ширину полосы, продолжающуюся вплоть до первой частоты. Затем, на этапе 52, первый патчированный сигнал, выработанный на этапе 51, формируется с использованием первого набора параметров для получения первого сформированного сигнала, соответствующего сигналу, выводимому с помощью блока 31 коррекции тональности, который изображен как 25с на фиг. 3. Этап 53 изображает вычисление второго набора параметров с использованием первого набора параметров и/или первого сформированного сигнала. Этап 54 иллюстрирует патчирование первого сформированного сигнала для получения второго патчированного сигнала, который продолжается вплоть до второй частоты 25f, изображенной на фиг. 2а. Как показано на этапе 55, второй патчированный сигнал затем формируется для получения второго сформированного сигнала и на следующем этапе 56 первый сформированный сигнал низкой полосы и второй сформированный сигнал объединяются для окончательного получения широкополосного сигнала 13.
Как обсуждено ранее, второй набор параметров можно получить из первого набора параметров и/или из первого частотного содержимого различными способами, где для некоторых реализаций используется только первое частотное содержимое, а первый набор параметров не используется, где для других предложений используется только первый набор параметров, а первое частотное содержимое не используется и где для других реализаций используется комбинация первого набора параметров и первого частотного содержимого. Кроме того, следует отметить, что для параметров, которые отличаются от энергетических параметров настройки огибающей, эти параметры нельзя совсем использовать в операции слепого расширения ширины полосы или можно экстраполировать из первого набора параметров, где в очень простом способе экстраполяции используются те же самые параметры во втором частотном содержимом 25е, которые были выработаны кодером для первого частотного содержимого 25с. Когда, например, считается, что первое частотное содержимое состоит из двадцати полос, а второе частотное содержимое состоит из тридцати полос, то параметры для первых двадцати полос второго частотного содержимого будут идентичны параметрам для первых двадцати полос первого частотного содержимого, и оставшиеся десять параметров для последних десяти полос частот второго частотного содержимого будут получены путем экстраполяции или в этих последних десяти частотных диапазонах вовсе не будет использоваться коррекция тональности.
Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствует этапа способа или особенности этапу способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока, или элемента, или особенности соответствующего устройства.
Переданный сигнал согласно настоящему изобретению можно сохранить на цифровом носителе информации или можно передать по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как Интернет.
В зависимости от определенных требований к реализации варианты осуществления настоящего изобретения можно реализовать в виде аппаратных средств или в виде программного обеспечения. Реализация возможна с использованием цифрового носителя информации, например гибкого диска, DVD, CD, постоянного запоминающего устройства (ROM), программируемого ПЗУ (PROM), стираемого программируемого ПЗУ (EPROM), электрически стираемого программируемого ПЗУ (EEPROM) или флэш-памяти, имеющего записанные на нем сигналы управления, считываемые электронным способом, которые взаимодействуют или имеют возможность взаимодействия с программируемой компьютерной системой таким образом, чтобы можно было выполнить соответствующий способ.
Некоторые варианты осуществления согласно настоящему изобретению содержат постоянный носитель данных, имеющий сигналы управления, считываемые электронным способом, которые имеют возможность взаимодействия с программируемой компьютерной системой таким образом, чтобы можно было выполнить один из описанных здесь способов.
В общем варианты осуществления настоящего изобретения можно реализовать в виде компьютерного программного продукта с кодом программы, причем код программы предназначен для выполнения одного из способов при запуске компьютерного программного продукта на компьютере. Код программы можно, например, хранить на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из описанных здесь способов, сохраненную на машиночитаемом носителе.
Другими словами, вариант осуществления способа настоящего изобретения представляет собой таким образом компьютерную программу, имеющую код программы для выполнения одного из описанных здесь способов при запуске компьютерной программы на компьютере.
Другой вариант осуществления способа настоящего изобретения представляет собой таким образом носитель данных (или цифровой носитель информации, или считываемый компьютером носитель), содержащий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов.
Другой вариант осуществления способа, согласно настоящему изобретению, представляет собой таким образом поток данных или последовательность сигналов, представляющих собой компьютерную программу для выполнения одного из описанных здесь способов. Поток данных или последовательность сигналов можно выполнить, например, с возможностью передачи через подсоединение к информационным средствам связи, например через Интернет.
Другой вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, сконфигурированное или адаптированное для выполнения одного из описанных здесь способов.
Другой вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из описанных здесь способов.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая логическая матрица типа FPGA) можно использовать для выполнения некоторых или всех выполняемых функций описанных здесь способов. В некоторых вариантах осуществления программируемая логическая матрица типа FPGA взаимодействует с микропроцессором для того, чтобы выполнить один из описанных здесь способов. В общем способы предпочтительно выполняются с помощью любых устройств аппаратных средств.
Вышеописанные варианты осуществления иллюстрируют только принципы настоящего изобретения. Понятно, что модификация и изменение размещений и деталей, описанных здесь, будут ясны специалистам в данной области техники. Поэтому настоящее изобретение ограничено только объемом прилагаемой формулы изобретения и не ограничено специфическими подробностями, представленными здесь посредством описания и объяснения вариантов осуществления.
Класс G10L21/02 усиление речи, например подавление шума, нейтрализация эхо-сигнала