кодер, декодер и методы кодирования и декодирования сегментов данных, представляющих собой поток данных временной области

Формула изобретения

1. Устройство для декодирования сегментов данных, представляющих собой поток данных временной области, сегмент данных, закодированный во временной области или в частотной области, сегмент данных, закодированный в частотной области, имеющий последовательные блоки данных, представляющие собой последовательные и наложенные блоки выборок данных временной области, где два последовательных блока данных временной области, один из которых закодирован в частотной области, а другой закодирован во временной области, имеющем налагающуюся область временной области, характеризующееся тем, что включает декодер временной области для декодирования сегмента данных, закодированных во временной области, обеспечивающий получение выходных данных декодера временной области; процессор для обработки сегментов данных, закодированных в частотной области, и выходных данных декодера временной области для получения наложенных блоков данных временной области для налагающейся области временной области; и налагающий/добавляющий объединитель для соединения наложенных блоков данных временной области в налагающейся области временной области для получения декодированных сегментов данных потока данных временной области для налагающейся области временной области.

2. Устройство по п.1, характеризующееся тем, что процессор включает декодер частотной области для декодирования сегментов данных, закодированных в частотной области, для получения сегментов данных частотной области.

3. Устройство по п.1, характеризующееся тем, что процессор приспособлен для обработки сегмента данных, закодированных параллельно во временной области и в частотной области.

4. Устройство по п.2, характеризующееся тем, что процессор включает преобразователь временной области в частотную область для преобразования выходных данных декодера временной области для получения преобразованных сегментов данных частотной области.

5. Устройство по п.4, характеризующееся тем, что процессор включает объединитель частотной области для объединения сегментов данных частотной области и преобразованных сегментов данных частотной области для получения потока данных частотной области.

6. Устройство по п.5, характеризующееся тем, что процессор включает преобразователь частотной области во временную область для преобразования потока данных частотной области в наложенные блоки данных временной области.

7. Устройство по п.2, характеризующееся тем, что декодер частотной области далее включает стадию переквантизации сегментов данных частотной области.

8. Устройство по п.4, характеризующееся тем, что преобразователь временной области в частотную область включает косинусно-модулированный блок фильтров, расширенное наложенное преобразование, блок фильтров с малой задержкой, многофазный блок фильтров или модифицированное дискретное косинусное преобразование.

9. Устройство по п.5, характеризующееся тем, что объединитель частотной области включает сумматор.

10. Устройство по п.6, характеризующееся тем, что преобразователь частотной области во временную область включает косинусно-модулированный блок фильтров или измененное дискретное косинусное инверсионное преобразование.

11. Устройство по п.1, характеризующееся тем, что декодер временной области приспособлен для использования фильтра с предсказанием для декодирования сегмента данных, закодированных во временной области.

12. Устройство по п.1, характеризующееся тем, что процессор включает вычислитель для вычисления наложения блоков данных временной области, основанных на выходных данных декодера временной области.

13. Устройство по п.12, характеризующееся тем, что вычислитель приспособлен для воспроизведения свойства наложения преобразователя частотной области во временную область, основанного на выходных данных декодера временной области.

14. Устройство по п.13, характеризующееся тем, что вычислитель приспособлен для воспроизведения свойства наложения временной области преобразователя частотной области во временную область, основанного на выходных данных декодера временной области.

15. Устройство по п.6, характеризующееся тем, что преобразователь частотной области во временную область приспособлен для преобразования сегментов данных частотной области, произведенных декодером частотной области, в наложенные блоки данных временной области.

16. Устройство по п.15, характеризующееся тем, что налагающий/добавляющий объединитель приспособлен для соединения наложенных блоков данных временной области, произведенных преобразователем частотной области во временную область, и вычислителя для получения декодирования сегментов данных потока данных временной области.

17. Устройство по п.12, характеризующееся тем, что вычислитель включает стадию наложения временной области для наложения времени выходных данных декодера временной области для получения наложенных блоков данных временной области.

18. Устройство по п.12, характеризующееся тем, что вычислитель приспособлен для сегментации выхода декодера временной области в сегментах вычислителя, включающих 2N последовательные выборки, для применения весовых коэффициентов к 2N выборкам согласно функции окна анализа, для вычитания первых выборок N/2 в обратном порядке из вторых выборок N/2, для добавления последних выборок N/2 в обратном порядке к третьим выборкам N/2, для инвертирования вторых и третьих выборок N/2, для замены первых выборок N/2 на обращенную во времени и инвертированную версию вторых выборок N/2, для замены четвертых выборок N/2 на обращенную во времени версию третьих выборок N/2 и для применения весовых коэффициентов к 2/N выборкам согласно функции синтеза, реализуемой посредством организации окна.

19. Устройство по п.6, характеризующееся тем, что налагающий/добавляющий объединитель приспособлен для применения весовых коэффициентов согласно функции синтеза, реализуемой посредством организации окна, к наложенным блокам данных временной области, произведенным преобразователем частотной области во временную область.

20. Устройство по п.19, характеризующееся тем, что налагающий/добавляющий объединитель приспособлен для применения весовых коэффициентов согласно функции синтеза, реализуемой посредством организации окна, приспособленной к размеру наложенной области последовательных наложенных блоков данных временной области.

21. Устройство по п.20, характеризующееся тем, что вычислитель приспособлен для применения весовых коэффициентов к 2N выборкам согласно функции анализа, реализуемой посредством организации окна, приспособленной к размеру наложенной области последовательных наложенных блоков данных временной области, и в котором вычислитель приспособлен для применения весовых коэффициентов к 2N выборкам согласно функции синтеза, реализуемой посредством организации окна, приспособленной к размеру наложенной области.

22. Устройство по п.1, характеризующееся тем, что размер наложенной области двух последовательных блоков данных временной области, закодированных в частотной области, больше чем размер наложенной области двух последовательных блоков данных временной области, одна из которых закодирована в частотной области, а другая закодирована во временной области.

23. Устройство по п.1, характеризующееся тем, что наложение блоков данных определяется согласно спецификациям усовершенствованного аудиокодирования (спецификациям ААС).

24. Устройство по п.1, характеризующееся тем, что далее включающий обход для процессора и налагающего/добавляющего объединителя, обход приспособлен для обхода процессора и налагающего/добавляющего объединителя, когда не наложенные последовательные блоки данных временной области появляются в сегментах данных, закодированных во временной области.

25. Способ декодирования сегментов данных, представляющих собой поток данных временной области, сегмент данных, закодированных во временной области или в частотной области, сегмент данных, закодированных в частотной области, имеющий последовательные блоки данных, представляющих собой последовательные и наложенные блоки выборок данных временной области, где два последовательных блока данных временной области, один из которых закодирован в частотной области, а другой закодирован во временной области, имеющей налагающуюся область временной области, характеризующийся тем, что включает стадии декодирования сегмента данных, закодированных во временной области, чтобы получить выходные данные декодера временной области; обработки сегмента данных, закодированных в частотной области, и выходных данных декодера временной области для получения наложенных блоков данных временной области для налагающейся области временной области; и объединения наложенных блоков данных временной области в налагающейся области временной области для получения декодированных сегментов данных потока данных временной области для налагающейся области временной области.

26. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу с программным кодом, для реализации способа по п.25, когда программный код запущен на компьютере.

27. Устройство для генерирования закодированного потока данных, основанного на потоке данных временной области, поток данных временной области, имеющий выборки сигнала, характеризующееся тем, что включает сегментный процессор для производства сегментов данных из потока данных, два последовательных сегмента данных, имеющих первую или вторую область наложения, вторая область наложения меньше, чем первая область наложения; кодер временной области для кодирования оконных сегментов данных во временной области; кодер частотной области для применения весовых коэффициентов к выборкам потока данных временной области согласно первой или второй функции, реализуемой посредством организации окна, для получения оконных сегментов данных, первая и вторая функции, реализуемые посредством организации окна, приспособлены для первой и второй области наложения, кодер частотной области приспособлен для кодирования оконных сегментов данных в частотной области; анализатор данных временной области для определения переходного индикатора, связанного с сегментом данных; и контроллер для управления устройством генерирования закодированного потока данных, имеющих первый переходный индикатор, связанный с сегментом данных для указания уровня переходных процессов потока данных, выходные данные кодера временной области включены в закодированный поток данных и для сегментов данных, имеющих второй переходный индикатор, связанный с сегментом данных для указания уровня переходных процессов потока данных, выходные данные кодера частотной области включены в закодированный поток данных.

28. Устройство по п.27, характеризующееся тем, что анализатор данных временной области приспособлен для определения переходного индикатора из потока данных временной области, сегментов данных или из данных, непосредственно производимых сегментным процессором.

29. Устройство по п.27, характеризующееся тем, что анализатор данных временной области приспособлен для определения переходного показателя, переходный показатель основывается на уровне переходных процессов в потоке данных временной области или сегменте данных, и в котором переходный индикатор указывает, превышает ли уровень переходных процессов заранее установленный порог.

30. Устройство по п.27, характеризующееся тем, что сегментный процессор приспособлен для производства сегментов данных с первой и второй областями наложения, кодер временной области приспособлен для кодирования сегментов данных, кодер частотной области приспособлен для кодирования оконных сегментов данных, и контроллер приспособлен для управления кодером временной области и кодером частотной области, таким, какой используется для сегментов данных, имеющих первый переходный индикатор, выходные данные кодера временной области включены в закодированный поток данных и для оконных сегментов данных, имеющих второй переходный индикатор, выходные данные кодера частотной области включены в закодированный поток данных.

31. Устройство по п.27, характеризующееся тем, что контроллер приспособлен для управления сегментным процессором для производства сегментных данных либо для кодера временной области, либо для кодера частотной области.

32. Устройство по п.27, характеризующееся тем, что кодер частотной области приспособлен для применения весовых коэффициентов функций, реализуемых посредством организации окна, согласно спецификации ААС.

33. Устройство по п.27, характеризующееся тем, что кодер частотной области приспособлен для преобразования оконных сегментов данных в частотную область для получения сегмента данных частотной области.

34. Устройство по п.33, характеризующееся тем, что кодер частотной области приспособлен для квантования сегмента данных частотной области.

35. Устройство по п.34, характеризующееся тем, что кодер частотной области приспособлен для оценки сегмента данных частотной области согласно перцепционной модели.

36. Устройство по п.35, характеризующееся тем, что кодер частотной области приспособлен для использования косинусно-модулированного блока фильтров, расширенного наложенного преобразования, блока фильтров с малой задержкой или многофазного блока фильтров для получения сегментов данных частотной области.

37. Устройство по п.33, характеризующееся тем, что кодер частотной области приспособлен для использования модифицированного дискретного косинусного преобразования для получения сегментов данных частотной области.

38. Устройство по п.27, характеризующееся тем, что кодер временной области приспособлен для использования фильтра с предсказанием для кодирования сегментов данных.

39. Способ генерирования закодированного потока данных, основанного на потоке данных временной области, поток данных временной области, имеющий выборки сигнала, характеризующийся тем, что включает производство сегментов данных из потока данных, двух последовательных сегментов данных, имеющих первую или вторую область наложения, вторая область наложения меньше, чем первая область наложения; определение переходного индикатора, связанного с сегментами данных; кодирование сегмента данных во временной области и/или применение весовых коэффициентов к выборке потока данных временной области согласно первой или второй функции, реализуемой посредством организации окна, для получения оконного сегмента данных, первая и вторая функции, реализуемые посредством организации окна, приспособлены к первой и второй области наложения и кодирования оконного сегмента данных в частотной области; и управление, такое, какое используется для сегментов данных, имеющих первый переходный индикатор, выходные данные, закодированные во временной области, включены в закодированный поток данных, и для сегментов данных, имеющих второй переходный индикатор, выходные данные, закодированные в частотной области, включены в закодированный поток данных.

40. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу с программным кодом, для реализации способа по п.39, когда программный код запущен на компьютере.

Описание изобретения к патенту

Данное изобретение относится к сфере кодирования для случаев, когда различные характеристики данных, подлежащих кодированию, используются для кодирования скоростей, как, например, в видео- и звуковом кодировании.

Состояние стратегий кодирования позволяет использовать особенности потока данных, подлежащих кодированию. Например, в звуковом кодировании модели восприятия используются для того, чтобы сжать исходные данные таким образом, чтобы практически не ухудшить качество при воспроизведении. Современные воспринимающие аудиокодирующие схемы, такие как, MPEG-2/4 AAC (MPEG=Moving Pictures Expert Group, AAC=Advanced Audio Coding). Для сравнения, общее кодирование кинофильмов и связанная с этим звукозапись: перспективное звуковое кодирование, Международный Стандарт 13818-7, ISO/IEC JTC1/SC2 9/WG11. Экспертная группа по кинематографии, 1997, - могут использовать банки фильтров, такие как, Модифицированное дискретное косинусное преобразование (MDCT), для того чтобы представить звуковой сигнал в частотной области.

В частотной области может быть осуществлена квантизация частотных коэффициентов, согласно модели восприятия. Такие кодеры могут обеспечить превосходное качество звукового восприятия для общих типов звуковых сигналов, таких как, например, музыка. С другой стороны, современные речевые кодеры, такие как, например, ACELP (ACELP = Алгебраический код возбужденного линейного предсказания), используют опережающий подход и таким образом могут представить аудио/речевой сигнал во временной области. Такие речевые кодеры могут смоделировать особенности процесса производства речи человека, то есть речевой тракт человека, и, следовательно, достигают превосходного исполнения речевых сигналов при низких скоростях передачи битов. И наоборот, воспринимающие звуковые кодеры не достигают уровня исполнения, предлагаемого речевыми кодерами для речевых сигналов, закодированных при низких скоростях передачи битов, а использование речевых кодеров для отображения общих звуковых сигналов/музыки приводит к существенному ухудшению качества.

Традиционные концепции предусматривают слоистую комбинацию, в которой всегда все частичные кодеры являются активными, то есть кодеры временной области и частотной области, а конечный выходной сигнал вычисляется путем сложения вкладов частичных кодеров в течение данного обработанного выделенного интервала времени. Популярный пример слоистого кодирования - масштабируемое кодирование речи/звуков MPEG-4 речевым кодером в качестве базового слоя и повышающего слоя на основе блока фильтров, для сравнения, работа Бернхарда Грилла, Карлхайнца Бранденбурга «Двух- или трехэтапная скоростная биты-передающая масштабируемая кодирующая аудиосистема», сигнальный экземпляр, номер 4132, 99^-ое Соглашение AES (Улучшенный стандарт шифрования) (сентябрь 1995).

Традиционные кодеры частотной области могут использовать MDCT блоки фильтров. MDCT стал основным блоком фильтров для обычных воспринимающих звуковых кодеров благодаря их благоприятным свойствам. Например, это может обеспечить гладкий монтажный переход между блоками обработки. Даже если сигнал в каждом блоке обработки изменяется по-разному, например, благодаря квантизации спектральных коэффициентов, никакие артефакты блокирования не происходят из-за резких переходов от блока к блоку ввиду процессов наложения/добавления, реализуемых посредством организации окна. MDCT использует концепцию отмены наложения временнй области (TDAC).

MDCT является родственным Фурье-преобразованию, основанным на IV типе дискретных косинусных преобразований, с дополнительным свойством наложения. Оно разработано для исполнения в последовательных блоках большего набора данных, где последующие блоки накладываются так, что задняя половина одного блока совпадает с передней половиной следующего блока. Это наложение в дополнение к свойству уплотнения энергии DCT (дискретного косинусного преобразования) делает MDCT особенно привлекательным для использования сжатия сигнала, так как это помогает избежать упомянутых артефактов, возникающих в границах блока. Будучи наложенным преобразованием, MDCT немного отличается от других родственных Фурье-преобразований тем, что у них в полтора раза больше выходов, чем входов, а не одинаковое число. В частности, 2N действительные числа преобразованы в N реальные числа, где N - положительное целое число.

Обратный MDCT также известен как IMDCT. Поскольку имеются различные количества входов и выходов, на первый взгляд может показаться, что MDCT не должен быть обратимым. Однако идеальная обратимость достигается добавлением наложения IDMCT последующих наложенных блоков, что исправляет ошибки и восстанавливает оригинальные данные, то есть достигается TDAC (отмена наложения временной области).

К тому же число спектральных значений на выходе блока фильтров равно числу входных значений временной области на его входе, который также называется критической выборкой.

MDCT блок фильтров обеспечивает высокочастотную селективность и дает возможность получить высокую эффективность кодирования. Свойства наложения блоков и критической выборки могут быть получены при использовании техники отмены наложения временной области, для сравнения, Дж.Принсен, А.Брэдли «Проект анализа/синтеза блока фильтров, основанный на отмене наложения временной области», преобразование IEEE (Институт инженеров по электротехнике и радиоэлектронике). ASSP, ASSP-34 (5):1153-1161, 1986. Фиг.4 иллюстрирует эти эффекты MDCT. На фиг.4 наверху показан входной сигнал MDCT в переводе на импульс, отложенный по оси времени 400. Затем входной сигнал 400 преобразуется двумя последовательными окнами и блоками MDCT, где окна 410 показаны под входным сигналом 400 на фиг.4. Обратные преобразованные индивидуальные реализуемые посредством организации окна сигналы показаны на фиг.4 при помощи временных шкал 420 и 425.

После обратного MDCT первый блок производит компонент наложения с положительным знаком 420, второй блок производит компонент наложения с той же самой величиной и отрицательным знаком 425. Компоненты наложения отменяют друг друга после дополнения двух выходных сигналов 420 и 425, как показано в конечном выходе 430 на фиг.4 внизу.

В технической спецификации «Расширенный адаптивный многоскоростной широкополосный (AMR-WB+) кодер-декодер», 3GPP (общий протокол пакетной передачи) TS (техническая спецификация) 26.290V6.3.0, 2005-06, AMR-WB+(AMR-WB=Адаптивный многоскоростной широкополосный) определен кодер-декодер. Согласно разделу 5.2 алгоритм кодирования в ядре AMR-WB+ кодер-декодера основывается на гибридной модели ACELP/TCX (ТСХ = Преобразование кодированного возбуждения). Для каждого блока входного сигнала кодер решает, какой режим, кодирующий модель, лучше: в открытой петле или в замкнутой петле, то есть ACELP или ТСХ. Модель ACELP является прогнозирующим кодером временной области, который лучше всего подходит для речевых и переходных сигналов. Кодер AMR-WB+ используется в режимах ACELP. В качестве альтернативы, модель ТСХ является кодером, базирующимся на преобразовании, и больше подходит для типичных образцов музыки.

В частности, AMR-WB+ использует дискретное Фурье-преобразование (DFT) для кодирующего режима преобразования ТСХ. Чтобы обеспечить плавный переход между смежными блоками, используются окна и наложение. Эти окна и наложение необходимы как для переходов между различными режимами кодирования (TCX/ACELP), так и для последовательных структур ТСХ. Таким образом, DFT вместе с окнами и наложением представляет блок фильтров, который критически не выбран. Блок фильтров генерирует больше частотных значений, чем число новых входных образцов, для сравнения фиг.4 в 3GPP TS 26.290V6.3.0 (3GPP = Проект сотрудничества третьего поколения, TS = Техническая Спецификация). Каждая структура ТСХ использует наложение 1/8 длины структуры, которая равна числу новых входных образцов. Следовательно, соответствующая длина DFT составляет 9/8 длины структуры.

Принимая во внимание некритически выбранный DFT блок фильтров в ТСХ, то есть число спектральных величин на выходе фильтра блоков больше, чем число входных величин временной области на его входе, этот кодирующий режим частотной области отличается от звуковых кодер-декодеров, таких как ААС (ААС = усовершенствованное аудиокодирование или перспективное звуковое кодирование), который использует MDCT, критически выбранным наложенным преобразованием.

Система кодер-декодера Долби Е описана в работе Фидлера, Луи Д.; Тодда, Крейга К. «Проект удобной видеокодирующей аудиосистемы для дистрибутивного применения», работа номер 17-008, 17^-ая AES Международная Конференция: Высококачественное аудиокодирование (август 1999) и в работе Фидлера, Луи Д.; Дэвидсона, Гранта А., «Аудиокодирующие инструменты для цифрового телевизионного распределения», номер сигнального экземпляра 5104, 108^-ое Соглашение AES (январь 2000 г.). Система кодер-декодера Долби Е использует MDCT блок фильтров. В проекте этого кодирования специальный акцент был сделан на возможности выполнить редактирование в кодирующей области. Чтобы достигнуть этого, используются специальные свободные от неоднородности окна. В границах этих окон возможен гладкий монтажный переход или соединение различных частей сигнала. В вышеупомянутых документах, например, обрисовано в общих чертах, для сравнения раздел 3 работы «Проект удобной видеокодирующей аудиосистемы для дистрибутивного применения», то, что это не было бы возможно, если просто использовать обычные окна MDCT, которые вводят наложение временной области. Однако также описано, что удаление наложения происходит за счет увеличения числа коэффициентов преобразования, и указано на то, что у результирующего блока фильтров больше нет свойства осуществления критической выборки.

Задача настоящего изобретения - создание более эффективных концепций кодирования и декодирования сегментов данных.

Задача достигается при использовании устройства декодирования согласно пункту 1 формулы, способа декодирования (расшифровки) согласно пункту формулы 22, устройства, генерирующего закодированные потоки данных согласно пункту формулы 24, и способа, генерирующего закодированные потоки данных согласно пункту формулы 35.

Данное изобретение основано на заключении о том, что более эффективная концепция кодирования и декодирования может быть применена при использовании комбинированных кодеров временной и частотной областей и соответственно декодеров. Проблема временного наложения может быть эффективно решена путем преобразования данных временной области в частотную область в декодере и путем комбинирования полученных преобразованных данных частотной области с полученными декодированными данными частотной области. Служебные сигналы могут быть уменьшены подгонкой областей наложения окон, применяемых к сегментам данных для изменения области кодирования. Использование окон с меньшими областями наложения может быть выгодным при использовании кодирования временной области, соответственно при переключении с или на кодирование временной области.

Осуществления изобретения могут создать универсальную концепцию звукового кодирования и декодирования, которая улучшает работу обоих типов входных сигналов, таких как речевые сигналы и музыкальные сигналы. Осуществления могут иметь преимущество, комбинируя многократные кодирующие подходы, например, концепции кодирования временной области и частотной области. Осуществления могут эффективно объединять концепции кодирования, основанные на блоке фильтров и временной области, в единую схему. Осуществления могут привести к созданию объединенного кодер-декодера, который может, например, переключаться со звукового кодер-декодера, используемого для музыкального звукового содержания, на речевой кодер-декодер, используемый для речевого содержания. Осуществления могут часто использовать это переключение, особенно для смешанного содержания.

Осуществления данного изобретения могут иметь то преимущество, что никакие артефакты переключения не происходят. В осуществлениях количество дополнительно передаваемых данных или дополнительно закодированных выборок для процесса переключения может быть минимизировано для того, чтобы избежать снижения эффективности во время этой фазы функционирования. К тому же концепция переключаемой комбинации частичных кодеров отличается от концепции слоистой комбинации, в которой всегда все частичные кодеры активны.

Далее будут подробно описаны осуществления данного изобретения с использованием сопровождающих иллюстраций, в которых

на фиг.1а показано осуществление устройства для декодирования;

на фиг.1b показано другое осуществление устройства для декодирования;

на фиг.1с показано другое осуществление устройства для декодирования;

на фиг.1d показано другое осуществление устройства для декодирования;

на фиг.1е показано другое осуществление устройства для декодирования;

на фиг.1f показано другое осуществление устройства для декодирования;

на фиг.2а показано осуществление устройства для кодирования;

на фиг.2b показано другое осуществление устройства для кодирования;

на фиг.2с показано другое осуществление устройства для кодирования;

фиг.3а иллюстрирует области наложения при переключении с кодирования частотной области на кодирование временной области на срок действия одного окна;

фиг.3b иллюстрирует области наложения при переключении с кодирования частотной области на кодирование временной области на срок действия двух окон;

фиг.3c иллюстрирует многократные окна с различными областями наложения;

фиг.3d иллюстрирует использование окон с различными областями наложения в осуществлении; и

фиг.4 иллюстрирует отмену наложения временной области при использовании MDCT.

На фиг.1а показано устройство 100 для декодирования сегментов данных, представляющих поток данных временной области, сегмент данных, закодированный во временной области или в частотной области, сегмент данных, закодированный в частотной области, имеющий последовательные блоки данных, представляющие последовательный и наложенные блоки выборок данных временной области. Этот поток данных может, например, соответствовать звуковому потоку, где некоторые из блоков данных закодированы во временной области, а другие закодированы в частотной области. Блоки данных или сегменты, которые были закодированы в частотной области, могут представлять выборки данных временной области наложенных блоков данных.

Устройство 100 включает декодер временной области 110 для декодирования сегмента данных, закодированных во временной области. Кроме того, устройство 100 включает процессор 120 для обработки сегмента данных, закодированных в частотной области, и выходных данных декодера временной области 110 для получения наложенных блоков данных временной области. Более того, устройство 100 включает налагающий/добавляющий объединитель 130 для комбинирования наложенных блоков данных временной области для получения декодированных (расшифрованных) сегментов данных потока данных временной области.

На фиг.1b показано другое осуществление устройства 100. В осуществлениях изобретения процессор 120 может включать декодер частотной области 122 для декодирования сегментов данных, закодированных в частотной области, для получения сегментов данных частотной области. Кроме того, в осуществлениях процессор 120 может включать преобразователь временной области в частотную область 124 для преобразования выходных данных декодера временной области 110 для получения преобразованных сегментов данных частотной области.

Кроме того, в осуществлениях процессор 120 может включать объединитель частотной области 126 для комбинирования сегментов частотной области и преобразованных сегментов данных частотной области для получения потока данных частотной области. Процессор 120 может далее включать преобразователь частотной области во временную область 128 для преобразования потока данных частотной области в наложенные блоки данных временной области, которые затем могут быть объединены налагающим/добавляющим объединителем 130.

Осуществления изобретения могут использовать MDCT блок фильтров, такой как, например, используемый в MPEG-4 ААС, без всяких модификаций, особенно не отказываясь от свойства осуществления критической выборки. Осуществления могут обеспечить оптимальную эффективность кодировки. Осуществления могут достигнуть гладкого перехода к кодер-декодеру временной области, совместимого с установленными окнами MDCT, не вводя дополнительных артефактов переключения и только минимальное количество служебных сигналов.

Осуществления могут поддерживать наложение временной области в блоке фильтров и преднамеренно вводить соответствующее наложение временной области в части сигнала, закодированного кодер-декодером временной области. Таким образом, результирующие компоненты наложения временной области могут уравновесить друг друга так же, как они делают это для двух последовательных структур спектров MDCT.

На фиг.1с показано другое осуществление устройства 100. Согласно фиг.1с декодер частотной области 122 может включать стадию переквантизации 122а. Кроме того, преобразователь временной области в частотную область 124 может включать косинусно-модулированный блок фильтров, расширенное наложенное преобразование, блок фильтров с малой задержкой или многофазный блок фильтров. Осуществление, показанное на фиг.1с, свидетельствует о том, что преобразователь временной области в частотную область 124 может включать MDCT 124а.

Кроме того, фиг.1с показывает, что объединитель частотной области 126 может включать сумматор 126а. Как показано на фиг.1с, преобразователь частотной области во временную область 128 может включать косинусно-модулированный блок фильтров, соответственно обратный MDCT 128а. Поток данных, включающий закодированную временную область и закодированный сегмент данных частотной области, может быть генерирован кодером, который будет подробно описан ниже. Переключение с кодирования частотной области на кодирование временной области может быть достигнуто кодированием некоторых частей входного сигнала кодером частотной области и некоторых частей входного сигнала кодером временной области. Осуществление устройства 100, показанное на фиг.1с, иллюстрирует принципиальную структуру соответствующего устройства 100 для декодирования. В других осуществлениях переквантизация 122а и обратное модифицированное дискретное косинусное преобразование 128а может представлять декодер частотной области.

Как показано на фиг.1с для частей сигнала в случае использования декодера временной области 110, выход временной области декодера временной области 110 может быть преобразован переадресовкой MDCT 124a. Декодер временной области может использовать фильтр с предсказанием для декодирования закодированных данных временной области. Некоторое наложение на входе MDCT 124a и, следовательно, некоторые служебные сигналы могут быть введены здесь. Далее будут описаны осуществления, которые уменьшают или минимизируют эти служебные сигналы.

В принципе, осуществление, показанное на фиг.1с, также включает рабочий режим, когда оба кодера-декодера могут работать параллельно. В осуществлениях процессор 120 может быть приспособлен для обработки сегмента данных, закодированных параллельно во временной области и в частотной области. Таким образом, сигнал может быть частично закодирован в частотной области и частично во временной области подобно слоистому кодированию. Затем результирующие сигналы добавляются в частотную область, сравните с объединителем частотной области 126а. Однако осуществления могут выполнять такой режим работы, который должен переключаться исключительно между двумя кодерами-декодерами и должны иметь только предпочтительно минимальное число выборок, где оба кодера-декодера являются активными для получения наилучшей эффективности.

На фиг.1с показан выход декодера временной области 110, преобразованный MDCT 124a, за которым следует IMDCT 128а. В другом осуществлении эти два шага могут быть преимущественно объединены в один шаг для упрощения. На фиг.1d показано осуществление устройства 100, иллюстрирующее этот подход. Устройство 100 на фиг.1d показывает, что процессор 120 может включать вычислитель 129 для подсчета наложенных блоков данных временной области, основанных на выходных данных декодера временной области 110. Процессор 120 или вычислитель 129 может быть приспособлен для воспроизведения свойства: соответственно свойства наложения преобразователя частотной области во временную область 128, основанный на выходных данных декодера временной области 110, то есть процессор 120 или вычислитель 129 может воспроизводить характеристику наложения блоков данных временной области, подобных характеристике наложения, производимой преобразователем частотной области во временную область 128. Кроме того, процессор 120 или вычислитель 129 может быть приспособлен для воспроизведения наложения временной области, подобного наложению временной области, вводимого преобразователем частотной области во временную область 128, основанного на выходных данных декодера временной области 110.

Преобразователь частотной области во временную область 128 затем может быть приспособлен для преобразования сегментов данных частотной области, создаваемых декодером частотной области 122 для наложенных блоков данных временной области. Налагающий/добавляющий объединитель 130 может быть приспособлен для объединения блоков данных, создаваемых преобразователем частотной области во временную область 128 и вычислитель 129 для получения расшифрованных сегментов данных потока данных временной области.

Вычислитель 129 может включать стадию наложения временной области 129а, как показано на осуществлении фиг.1е. Стадия 129а наложения временной области может быть приспособлена к выходным данным наложения времени декодера временной области для получения наложенных блоков данных временной области.

Для кодирования данных временной области комбинация MDCT и IMDCT может сделать процесс в осуществлениях намного более простым как в структуре, так и в вычислительной сложности, так как только процесс наложения временной области (TDA) остается в осуществлениях. Этот эффективный процесс может быть основан на числе наблюдений. Реализуемый посредством организации окна MDCT входных сегментов выборок 2N может разлагаться на три шага.

Во-первых, входной сигнал множится окном анализа.

Во-вторых, результат затем свертывается с 2N выборок до N образцов. Для MDCT этот процесс подразумевает, что первая четверть выборок объединена, то есть вычтена, в порядке обращения во времени со второй четвертью выборок, и что четвертая четверть выборок объединена, то есть прибавлена, с третьей четвертью выборок в порядке обращения во времени. В результате получаем субдискретизированный сигнал временного наложения в измененной второй и третьей четверти сигнала, включая N выборки.

В-третьих, субдискретизированный сигнал затем преобразуется при помощи ортогонального DCT-подобного преобразующего отображения N входных в N выходные выборки, чтобы получить конечный выход MDCT.

Оконная IMDCT реконструкция входной последовательности спектральных выборок N может аналогично разделяться на три шага.

Во-первых, входная последовательность спектральных выборок N преобразуется при помощи ортогонального DCT-подобного инверсивного преобразующего отображения N входных в N выходные выборки.

Во-вторых, результаты разворачиваются от N до 2N выборок путем записи обратных DCT преобразованных величин во вторую и третью четверти 2N выборок выходного буфера, заполняя первую четверть обращенной во времени и инвертированной версией второй четверти, а четвертую четверть обращенной во времени версией третьей четверти соответственно.

В-третьих, результирующие 2N выборки множатся окном синтеза, чтобы получить реализуемый посредством организации окна IMDCT выход.

Таким образом, конкатенация оконного MDCT и реализуемого посредством организации окна IMDCT может быть эффективно проведена в осуществлениях последовательным выполнением первого и второго шагов оконного MDCT и второго и третьего шагов оконного IMDCT. Третий шаг MDCT и первый шаг IMDCT могут быть полностью пропущены в осуществлениях, потому что это - обратные относительно друг друга операции, и поэтому они уравновешиваются. Оставшиеся шаги могут быть выполнены только во временной области, и, таким образом, осуществления, использующие этот подход, могут иметь существенно более низкую вычислительную сложность.

Для одного блока MDCT и последующего IMDCT второй и третий шаг MDCT и второй и третий шаг IMDCT могут быть записаны, как умножение со следующей разреженной 2N×2N матрицей.

Другими словами, вычислитель 129 может быть приспособлен к сегментации выхода декодера временной области 110 в сегментах вычислителя, включающих 2N последовательные выборки, применяя весовые коэффициенты к 2N выборкам согласно функции окна анализа, вычитая первые N/2 выборки в обратном порядке из вторых выборок N/2, и последние N/2 выборки в обратном порядке к третьим N/2 выборкам, инвертируя вторые и третьи N/2 образцы, заменяя первые N/2 образцы обращенной во времени инвертированной версией вторых N/2 выборок, заменяя четвертые N/2 выборки обращенной во времени версией третьих N/2 выборок и применяя весовые коэффициенты к 2N выборкам согласно функции окна синтеза.

В других осуществлениях налагающий/добавляющий объединитель 130 может быть приспособлен для применения весовых коэффициентов, согласно функции окна синтеза, к наложенным блокам данных временной области, произведенных преобразователем частотной области во временную область 128. Кроме того, налагающий/добавляющий объединитель 130 может быть приспособлен для применения весовых коэффициентов, согласно функции окна синтеза, будучи приспособленным к размеру области наложения последовательных наложенных блоков данных временной области.

Вычислитель 129 может быть приспособлен для применения весовых коэффициентов к 2N выборкам, согласно функции окна анализа, будучи приспособленным к размеру области наложения последовательных наложенных блоков данных временной области, а вычислитель может быть далее приспособлен для применения весовых коэффициентов к 2N выборкам, согласно функции окна синтеза, будучи приспособленным к размеру области наложения.

В осуществлениях размер области наложения двух последовательных блоков данных временной области, закодированных в частотной области, может быть большим, чем размер области наложения двух последовательных блоков данных временной области, один из которых закодирован в частотной области, а другой - во временной области.

В осуществлениях размер сегментов данных может быть приспособлен к размеру областей наложения. Осуществления могут эффективно выполнять комбинированную MDCT/IMDCT обработку, то есть блок TDA, включающий работу окон анализа, сворачивание и разворачивание и работу окон синтеза. Кроме того, в осуществлениях некоторые из этих шагов могут быть частично или полностью объединены в ходе фактического выполнения.

Другое осуществление устройства 100, показанное на фиг.1f, свидетельствует о том, что устройство 100 может далее включать обход 140 для процессора 120 и налагающего/добавляющего объединителя 130, приспособленный для обхода процессора 120 и налагающего/добавляющего объединителя 130, в случае, когда неналагающиеся последовательные блоки данных временной области появляются в сегментах данных, закодированных во временной области. Если множественные сегменты данных закодированы во временной области, то есть нет необходимости в преобразовании частотной области для декодирования последовательных сегментов данных, они могут быть переданы без какого бы то ни было наложения. В этих случаях осуществления, как показано в фиг.1f, могут обойти процессор 120 и налагающий/добавляющий объединитель 130. В осуществлениях наложение блоков может быть определено согласно ААС-спецификациям.

На фиг.2а показано осуществление устройства 200 для генерирования закодированного потока данных, основанного на потоке данных временной области, имеющем выборки сигнала. Поток данных временной области может, например, соответствовать звуковому сигналу, включая речевые секции и секции музыки или обе одновременно. Устройство 200 включает сегментный процессор 210 для производства сегментов данных из потока данных, два последовательных сегмента данных, имеющие первую или вторую область наложения, вторая область наложения меньше первой области наложения. Устройство 200 далее включает кодер временной области 220 для кодирования сегмента данных во временной области и кодер частотной области 230 для применения весовых коэффициентов к выборкам потока данных временной области согласно первой или второй функции окна для получения оконного сегмента данных, первая и вторая функции окна приспособлены к первой и второй областям наложения и для кодирования оконного сегмента данных в частотной области.

Кроме того, устройство 200 включает анализатор данных временной области 240 для определения переходного индикатора, связанного с сегментом данных, и контроллер 250 для управления устройством для сегментов данных, имеющих первый переходный индикатор, выходные данные кодера временной области 220 включены в закодированный поток данных, и для сегментов данных, имеющих второй переходный индикатор, выходные данные кодера частотной области 230 включены в закодированный поток данных.

В осуществлениях анализатор данных временной области 240 может быть приспособлен для определения переходного индикатора из потока данных временной области или из сегментов данных, произведенных сегментным процессором 210. Эти осуществления обозначены на фиг.2b. На фиг.2b показано, что анализатор данных временной области 240 может быть соединен со входом сегментного процессора 210 для того, чтобы определить переходный индикатор из потока данных временной области. В другом осуществлении анализатор данных временной области 240 может быть соединен с выходом сегментного процессора 210 для того, чтобы определить переходный индикатор из сегментов данных. В осуществлениях анализатор данных временной области 240 может быть соединен непосредственно с сегментным процессором 210 для того, чтобы определить переходный индикатор из данных, производимых непосредственно сегментным процессором. Эти осуществления обозначены пунктирами на фиг.2b.

В осуществлениях анализатор данных временной области 240 может быть приспособлен для определения переходного показателя, переходный показатель, основывается на уровне переходных процессов в потоке данных временной области или сегментов данных, где переходный индикатор может указать, превышает ли уровень переходных процессов заранее установленный порог.

На фиг.2с показано другое осуществление устройства 200. В осуществлениях, показанных на фиг.2с, сегментный процессор 210 может быть приспособлен для производства сегментов данных с первой и второй областями наложения, кодер временной области 220 может быть приспособлен для кодирования всех сегментов данных, кодер частотной области 230 может быть приспособлен для кодирования всех оконных сегментов данных, и контроллер 250 может быть приспособлен для управления кодером временной области 220, и кодер временной области 220, и кодер частотной области 230 для сегментов данных, имеющих первый переходный индикатор, выходные данные кодера временной области 220, включены в закодированный поток данных, и для сегментов данных, имеющих второй переходный индикатор, выходные данные кодера частотной области 230 включены в закодированный поток данных. В других осуществлениях и выходные данные кодера временной области 220 и кодера частотной области 230 могут быть включены в закодированный поток данных. Переходный индикатор может указывать на то, является ли сегмент данных скорее связанным или коррелированным с речевым сигналом или с музыкальным сигналом. В осуществлениях кодер частотной области 230 может использоваться для большего количества подобных музыке сегментов данных, и кодер временной области 220 может использоваться для большего количества подобных речи сегментов данных. В осуществлениях может использоваться параллельное кодирование, например, для подобных речи звуковых сигналов, имеющих музыкальный фон.

В осуществлениях, показанных на фиг.2с, множественные возможности доступны для контроллера 250, позволяющие управлять множественными компонентами устройства 200. Различные возможности обозначены пунктирами на фиг.2с. Например, контроллер 250 может быть соединен с кодером временной области 220 и кодером частотной области 230, чтобы выбрать, какой кодер должен произвести закодированный выход, основанный на переходном индикаторе. В другом осуществлении контроллер 250 может управлять выключателем на выходах кодера временной области 220 и кодера частотной области 230.

В таком осуществлении и кодер временной области 220, и кодер частотной области 230 могут закодировать все сегменты данных, и контроллер 250 может быть приспособлен для того, чтобы выбрать при помощи указанного выключателя, который соединен с выходами кодеров, какой закодированный сегмент данных должен быть включен в закодированный поток данных, основанный на эффективности кодирования, может быть приспособлен для управления сегментным процессором 210 для производства сегментов данных либо для кодера временной области 220, либо для кодера частотной области 230. Контроллер 250 может также управлять сегментным процессором 210, чтобы установить области наложения для сегмента данных. В другом осуществлении контроллер 250 может быть приспособлен для переключения выключателя между сегментным процессором 210 и кодером временной области 220, соответственно кодером частотной области 230. Контроллер 250 может затем влиять на выключатель, таким образом, направлять сегменты данных к любому из кодеров, соответственно к обоим. Контроллер 250 может быть далее приспособлен для установки функций окна для кодера частотной области 230 наряду с областями наложения и стратегиями кодирования.

Кроме того, в осуществлениях кодер частотной области 230 может быть приспособлен для применения весовых коэффициентов функций окна согласно спецификациям ААС. Кодер частотной области 230 может быть приспособлен для преобразования оконного сегмента данных в частотную область для получения сегмента данных частотной области. Более того, кодер частотной области 230 может быть приспособлен для квантования сегментов данных частотной области, и, кроме того, кодер частотной области 230 может быть приспособлен для оценки сегментов данных частотной области согласно перцепционной модели.

Кодер частотной области 230 может быть приспособлен для использования косинусно-модулированного блока фильтров, расширенного наложенного преобразования, блока фильтров с малой задержкой или многофазного блока фильтров для получения сегментов данных частотной области.

Кодер частотной области 230 может быть приспособлен для использования MDCT для получения сегментов данных частотной области. Кодер временной области 220 может быть приспособлен для использования перцепционной модели для кодирования сегментов данных.

В осуществлениях, где MDCT в кодере частотной области 230 работает в так называемом длинном блочном режиме, то есть в нормальном режиме работы, который используется для кодирования непереходных входных сигналов, для сравнения ААС-спецификации, служебный сигнал, введенный процессом переключения, может быть высоким. Это может быть верно для случаев, где только одна структура, то есть показатель длины/структуры выборок N, должна быть закодирована с использованием кодера временной области 220 вместо кодера частотной области 230.

Тогда все входные величины для MDCT, вероятно, должны быть закодированы кодером временной области 220, то есть 2N выборки доступны на выходе декодера временной области 110. Таким образом, может быть введен служебный сигнал N дополнительных выборок. Фиг.3а-3d иллюстрируют некоторые вероятные области наложения сегментов, соответственно применимых, реализуемых посредством организации окна функций. 2N выборки, вероятно, должны быть закодированы кодером временной области 220, чтобы заменить один блок закодированных данных частотной области. Фиг.3а иллюстрирует пример, где закодированные блоки данных частотной области изображены сплошной линией, а закодированные данные временной области изображены пунктиром. Под реализуемыми посредством организации окна функциями изображены сегменты данных, которые могут быть закодированы в частотной области (сплошные квадратики) или во временной области (пунктирные квадратики). Это также относится к фиг.3b-3d.

Фиг.3а иллюстрирует случай, где данные закодированы в частотной области, прерванной одним сегментом данных, который закодирован во временной области, и сегмент данных после этого снова закодирован в частотной области. Чтобы получить данные временной области, которые необходимы для отмены наложения временной области, вызванного кодером частотной области 230, при переключении с частотной области на временную область, требуется половина величины сегмента наложения, то же самое требуется при обратном переключении с временной области на частотную область. При условии, что сегмент данных, закодированный во временной области, на фиг.3а имеет размер 2N, тогда в его начале и в конце он перекрывается закодированными данными частотной области на N/2 выборок.

В случае если больше чем одна последующая структура может быть закодирована с использованием кодера временной области 220, служебный сигнал для закодированной секции временной области остается в N выборках. Как показано на фиг.3b, где две последующие структуры закодированы во временной области, и области наложения в начале и конце закодированных секций временной области имеют то же самое наложение, как это было объяснено в отношении фиг.3а. На Фиг.3b показана структура наложения в случае двух структур (фреймов), закодированных кодером временной области 220. 3N выборки должны быть закодированы кодером временной области 220 в этом случае.

Этот служебный сигнал может быть уменьшен в осуществлениях при использовании переключения окна, например, согласно структуре, которая используется в ААС. Фиг.3c иллюстрирует типичную последовательность Длинное, Начальное, 8 Коротких и окно Остановки, как они используются в ААС. На фиг.3с видно, что размеры окна, размеры сегментов данных и, следовательно, размеры областей наложения изменяются различными окнами. Последовательность, изображенная на фиг.3с, является примером для упомянутой выше последовательности.

Осуществления не должны быть ограничены окнами размером с окна ААС, однако осуществления используют окна с различными областями наложения и также окна различной длительности. В осуществлениях переходы к и от коротких окон могут использовать уменьшенное наложение, как, например, описано в работе Бернда Эдлера «Кодирование аудиосигналов с наложенным преобразованием и адаптивными функциями окна», Frequenz, том 43, номер 9, стр.252-256, сентябрь 1989, и "Общее кодирование кинофильмов и связанная с ним звукозапись: Перспективное звуковое кодирование", Международный Стандарт 13818-7, ISO/IEC JTC1/SC29/WG11 Экспертная группа по кинематографии, 1997, может быть использована в осуществлениях, чтобы уменьшить служебный сигнал для перехода к и от закодированных областей временной области, как показано на фиг.3d. Фиг.3d иллюстрирует четыре сегмента данных, из которых первые два и последний закодированы в частотной области, и третий закодирован во временной области. При переключении с частотной области на временную область используются различные окна с уменьшенным размером наложения, тем самым уменьшается служебный сигнал.

В осуществлениях переход может основываться на окнах Start (старт) и Stop (стоп), идентичных тем, которые используются в ААС. Соответствующие окна для переходов к и от закодированных областей временной области являются окнами только с маленькими областями наложения. В результате, служебный сигнал, то есть число дополнительных величин, которые будут переданы благодаря процессу переключения, существенно уменьшается. Обычно, служебный сигнал может быть N_ov1/2 для каждого перехода с наложением окна N_ovl выборки. Таким образом, переход с обычным полностью наложенным окном, таким как ААС с N_ovl =1024, несет служебный сигнал 1024/2=512 выборок для левой стороны, то есть окно постепенного появления изображения, и 1024/2=512 выборок для правой стороны, то есть окно постепенного затемнения изображения, переход, заканчивающийся общим служебным сигналом 1024 (=N) выборок. Выбор уменьшенного окна наложения, такого как ААС Короткие блочные окна с N_ovl=128 только, приводит к полному служебному сигналу 128 выборок.

Осуществления могут использовать блок фильтров в кодере частотной области 230, как, например, широко используемый MDCT блок фильтров, однако другие осуществления могут также использоваться с кодерами-декодерами частотной области, основанными на другом косинусно-модулированном блоке фильтров. Он может включать производные MDCT, такие как расширенное наложенное преобразование или блоки или блоки фильтров с малой задержкой, так же как многофазные блоки фильтров, такие как, например, используемый в MPEG-1-Layer-1/2/3 звуковых кодерах-декодерах. В осуществлениях эффективное выполнение работы передних/задних блоков фильтров может учитывать определенный тип окна и сворачивание/разворачивание, используемое в блоке фильтров. Для каждого типа блока фильтров стадия анализа может быть эффективно осуществлена при помощи предварительной обработки и преобразования блоков, то есть DCT-подобный или DFT, для модуляции. В осуществлениях может быть выполнена соответствующая стадия синтеза при использовании соответствующего инверсионного преобразования и постобработки. Осуществления могут использовать только пред- и постобработку для закодированных частей сигнала временной области.

Осуществления данного изобретения позволяют обеспечить лучшую эффективность кодирования, поскольку переключения между кодером временной области 220 и кодером частотной области 230 могут производиться с введением очень низкого служебного сигнала. Только в секциях сигнала кодирования следующей временной области наложение может быть полностью опущено в осуществлениях. Осуществления устройства 100 позволяют согласованное декодирование закодированного потока данных.

Осуществления к тому же позволяют обеспечить то же самое качество, например, звукового сигнала при более низких скоростях кодирования, соответственно более высокое качество может быть достигнуто при той же самой скорости кодирования, поскольку соответствующие кодеры могут быть приспособлены к быстротечности звукового сигнала.

В зависимости от определенных требований методы изобретения могут реализовываться в аппаратных средствах или в программном обеспечении. Реализация может быть осуществлена с использованием цифрового носителя данных, в частности диска DVD или компакт-диска, имеющих электронно запоминающиеся сигналы управления, сохраняющиеся там, которые объединяются с программируемой компьютерной системой таким образом, чтобы реализовывались методы изобретения. В целом, данное изобретение, таким образом, является компьютерным программным продуктом, имеющим программный код, хранящийся в машиночитаемом носителе, программный код является действующим для реализации методов изобретения, когда компьютерный программный продукт запускается на компьютере. Другими словами, методы изобретения - это компьютерная программа, имеющая программный код для реализации, по крайней мере, одного метода изобретения, когда компьютерная программа запущена на компьютере.