способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования

Формула изобретения

Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, отличающийся тем, что в заявляемом способе на первом этапе кодирования для обнаружения и устранения временной избыточности в каждом домене размером n×n×n пикселов осуществляют дискретное косинусное преобразование по времени, затем определяют наличие движения в каждом фрагменте размером n×n пикселов по признаку наличия ненулевых спектральных коэффициентов, кроме первого фрагмента домена, на втором этапе кодирования в случае наличия движения в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного косинусного преобразования по двум пространственным координатам х и у, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, а в случае отсутствия движения вычисляют коэффициенты дискретного косинусного преобразования только для первого фрагмента домена и в канал связи передают спектральные коэффициенты первого фрагмента и количество фрагментов домена без движения, на последующих этапах кодирования при поступлении очередных пакетов, если движение имеется, то процесс кодирования повторяют, если же в конкретных доменах движения нет, то для них передают сигнал об использовании при декодировании предыдущего фрагмента и число фрагментов без движения, на этапе декодирования сжатый видеопоток подвергают декодированию, декватованию, и в случае наличия движения в доменах - обратному трехмерному дискретному косинусному преобразованию, в случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам по двум пространственным координатам х и у первого фрагмента и сигналам о количестве фрагментов без движения восстанавливают соответствующие фрагменты этих доменов при выполнении только обратного дискретного косинусного преобразования по времени, в результате по сжатому сигналу восстанавливают исходный видеопоток.

Описание изобретения к патенту

Предлагаемое техническое решение относится к области телевидения и цифровой обработки видеоинформации, а именно к способам кодирования и декодирования изображений, и предназначено для проектирования систем кодирования и декодирования на основе трехмерного дискретного косинусного преобразования (далее ДКП-3D) видеоданных.

Известен и широко применяется способ для сжатия и обработки видеопотока MPEG-4 со средней степенью сжатия, использующий ДКП на этапе сокращения пространственной избыточности [Ричардсон Я. Мир цифровой обработки. Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения. - М.: Техносфера, 2006. - 113 с.].

В известном способе сканирование видеофрагментов ДКП производится зигзагообразным методом с остановкой на первом нулевом коэффициенте, что не является оптимальным, т.к. не адаптировано к структуре спектров фрагментов исходных изображений. Это приводит к увеличению объема данных при заданной ошибке кодирования.

Известен и широко применяется способ Н.264 с высокой степенью сжатия, но более высокой сложности кодера и фиксированном размере блока (4×4) [Marpe D., Schwarz Н., Wiegand Т. Context-Based adaptive Binary arithmetic coding in the H.264/AVC Video Compression Standard/IЕЕЕ Transaction on Circuits and Systems for Video Technology, 2003].

Недостатком указанного способа является применение фиксированного размера видеофрагментов ДКП, в частности используются в процессе преобразования 4 пиксела исходного кадра по координате x и 4 пиксела по координате у. Другим недостатком известного способа является невозможность формализованного представления алгоритма обработки для создания высокопроизводительных видеосистем на кристалле.

Известен способ адаптации к сюжету порогов квантования в ходе кодирования на основе ДКП-3D [Zaharia R., Aggoun A., McCormick M. Adaptive 3D-DCT compression algorithm for continuous parallax 3D integral imaging. Journal of Signal processing: Image Communication. 17, pp.231-242, 2002].

Недостатком этого способа является применение фиксированного размера видеофрагментов ДКП и отсутствие учета наличия в изображении фрагментов с различной подвижностью объектов.

Наиболее близким к заявляемому по своей технической сути является способ сжатия видеоданных, в котором применяется трехмерное косинусное преобразование [Bozinovic N., Konrad J. Scan order and quantization for 3D-DCT coding in Proc. Of SPIE Vis. Comm. And Im. Proc. Vol.5150. pp.1204-1215, 2003]. В данном способе применяется обработка видеопоследовательности кадров на основе ДКП-3D. При этом выполнение операции преобразования начинается с пространственных координат x и y, a полученные спектральные коэффициенты ДКП-2D подвергаются одномерному ДКП-1D по временной координате t для сокращения временной избыточности.

Основным недостатком способа-прототипа является применение фиксированных размеров объемного видеофрагмента ДКП-3D по трем координатам x, y и t, при этом сканирование элементов выполняется зигзагообразно, что делает данный способ кодирования менее эффективным с точки зрения достигаемого сжатия видеоданных при заданной ошибке передачи и с точки зрения возможности адаптации операций кодирования к статистике исходных изображений.

Технический результат заявляемого способа заключается в повышении производительности обработки видеоинформации и увеличении степени сжатия видеоданных с применением ДКП-3D при заданной ошибке передачи за счет использования на первом этапе кодирования ДКП по временной координате t, разделения фрагментов на два класса по признаку наличия или отсутствия сигналов подвижных объектов и лишь затем кодирования ДКП по пространственным координатам x и у, а также за счет использования буфера для хранения информации о доменах, в которых отсутствуют сигналы изображения подвижных объектов.

Это достигается тем, что способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования, представленной в виде последовательности телевизионных кадров, разбиваемой на пакеты по n кадров, отличается тем, что в заявляемом способе на первом этапе кодирования для обнаружения и устранения временной избыточности в каждом домене размером n×n×n пикселов осуществляют дискретное косинусное преобразование по времени, затем определяют наличие движения в каждом фрагменте размером n×n пикселов по признаку наличия ненулевых спектральных коэффициентов, кроме первого фрагмента домена, на втором этапе кодирования в случае наличия движения в каждом фрагменте домена для устранения пространственной избыточности вычисляют коэффициенты дискретного косинусного преобразования по двум пространственным координатам x и y, полученные коэффициенты квантуют, их совокупность кодируют для устранения статистической избыточности и передают в канал связи, а в случае отсутствия движения вычисляют коэффициенты дискретного косинусного преобразования только для первого фрагмента домена и в канал связи передают спектральные коэффициенты первого фрагмента и количество фрагментов домена без движения, на последующих этапах кодирования при поступлении очередных пакетов, если движение имеется, то процесс кодирования повторяют, если же в конкретных доменах движения нет, то для них передают сигнал об использовании при декодировании предыдущего фрагмента и число фрагментов без движения, на этапе декодирования сжатый видеопоток подвергают декодированию, декватованию и, в случае наличия движения в доменах, - обратному трехмерному дискретному косинусному преобразованию, в случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам по двум пространственным координатам x и y первого фрагмента и сигналам о количестве фрагментов без движения восстанавливают соответствующие фрагменты этих доменов при выполнении только обратного дискретного косинусного преобразования по времени, в результате по сжатому сигналу восстанавливают исходный видеопоток.

Представленные чертежи поясняют суть предлагаемого технического решения.

На фиг.1 изображена структурная схема кодирования (а) и декодирования (б) видеоинформации на основе трехмерного дискретного косинусного преобразования (ДКП-3D).

На фиг.2 показано сравнение зависимости сложности, выражаемой в операциях в секунду, кодера (а) и декодера (б) от формата кадра для предлагаемого способа и для стандарта Н.264.

Предлагаемый способ может быть реализован следующим образом.

Система кодирования и декодирования видеоинформации на основе ДКП-3D содержит устройство 10 кодирования, включающее последовательно соединенные блок 11 ДКП-1D по времени (t), коммутатор 12, блок 13 ДКП-2D по пространственным координатам x и y, блок 14 квантования, блок 15 кодирования, блок 16 анализа движения, соединенный двунаправленной шиной с коммутатором 12, один из выходов блока 16 анализа движения соединен с входом блока 13 ДКП-2D, другой - с выходом блока 15 кодирования, а также устройство 20 декодирования, содержащее последовательно соединенные блок 21 декодирования, блок 22 деквантования, блок 23 ДКП-2D, коммутатор 24, блок 25 ДКП-1D, также блок 26 управления и буфер 27 фрагментов без движения, при этом вход блока 26 управления подключен к блоку 24 декодирования, а выходы - к входам буфера 27 фрагментов без движения и коммутатора 24 соответственно.

Система кодирования и декодирования видеоинформации на основе ДКП-3D работает следующим образом.

Исходный видеопоток в виде последовательности кадров преобразуется в домены размером n×n×n, которые поступают на вход устройства 10 кодирования (см. фиг.1а). Процесс кодирования включает три этапа: спектральное преобразование, квантование и кодирование. На этапе сжатия исходные домены подвергаются преобразованию в блоке 11 ДКП-1D по времени для устранения временной избыточности, однако в случае отсутствия движения с помощью коммутатора 12 и блока 16 анализа движения в сжатый файл записывается соответствующая информация, не выполняя ДКП-1D по времени. Далее выполняется преобразование в блоке 13 ДКП-2D над доменами с движением и над первым фрагментом доменов без движения для устранения пространственной избыточности. Следующим этапом является квантование и формирование совокупности ненулевых спектральных коэффициентов ДКП-3D. Полученная совокупность кодируется соответствующим образом для устранения статистической избыточности и передачи по каналу сжатого видеопотока.

На этапе декодирования (см. фиг.1б) сжатый видеопоток подвергается декодированию блоком 21, декватованию блоком 22 и, в случае наличия движения в доменах, - обратному трехмерному дискретному косинусному преобразованию блоком 23, а в случае отсутствия движения в конкретных доменах по переданным в предыдущих доменах спектральным коэффициентам по двум пространственным координатам x и y первого фрагмента и сигналам о количестве фрагментов без движения блоком 26 управления и блоком 27 буфера фрагментов без движения восстанавливаются соответствующие фрагменты этих доменов. Данное восстановление осуществляется при выполнении только обратного дискретного косинусного преобразования по времени блоком 25, в результате чего по сжатому сигналу восстанавливается исходный видеопоток.

Заявляемый способ прошел апробацию на модели и показал возможность создания высокопроизводительной видеосистемы на кристалле на основе ДКП-3D. Следует отметить, что важнейшая задача сжатия видеоданных - декорреляция видеосигнала как многомерной функции - решается с помощью оптимального разложения по всем своим аргументам. Другими словами, для устранения временной корреляции нет существенных формальных оснований использовать средства, отличающиеся от применяемых для пространственной декорреляции. Кроме того, известно, что для большинства практически значимых классов изображений асимптотически оптимальным по критерию минимума требуемого для передачи количества информации при заданном уровне качества изображения является косинусное преобразование.

В предлагаемом способе используется единый механизм декорреляции видеосигнала - трехмерное косинусное преобразование, причем на первом этапе производится анализ межкадровой корреляции, что позволяет сократить количество вычислений за счет исключения операций кодирования в доменах, в которых отсутствуют изображения подвижных объектов.

Особенностями реализации предлагаемого способа являются:

- кодирование динамических сюжетов осуществляется применением ДКП по времени блоками 11, 12 и 16 (см. фиг.1) без вычисления оценок движения, что существенно упрощает архитектуру кодера и декодера, что особенно актуально при создании видеосистем на кристалле;

- структура кодера и декодера позволяет реализовать способ с помощью СБИС класса «видеосистема на кристалле» с предельно гибкой и наращиваемой архитектурой, с возможностью его параметрической адаптации к интервалам корреляции видеоинформации по различным аргументам без перестройки структуры видеокодека;

- наилучшее приближение к предельной скорости (временные затраты в 10 раз меньше, чем у принятых стандартов кодирования) передачи информации при заданных ограничениях на качество передачи и сложность кодека (фиг.2а, б);

- универсальность метода по отношению к большому количеству классов изображений, открывающая возможность оперативного регулирования «глубины вычислений» по временной оси для создания телевизионных систем (см. фиг.1), адаптируемых к динамике изменения видеосюжета и возможным изменениям требований ко времени реакции системы;

- однородность вычислений, позволяющая в дальнейшем оптимизировать вычислительный процесс, аппаратные затраты и технологические аспекты реализации кодека;

- четкий физический смысл формализованных описаний, позволяющий однозначно интерпретировать цели и результаты и адекватно соотносить их с другими моделями, например с психологической моделью зрения человека, моделями зрения животных или кибернетических систем.