устройство для декорреляции цифровых видеоизображений с использованием целочисленных ортогональных декоррелирующих матриц в системах компрессии видеоизображений

Формула изобретения

Устройство для декорреляции цифровых видеоизображений с использованием целочисленных ортогональных декоррелирующих матриц в системах компрессии видеоданных, содержащее первый блок буфера памяти для хранения исходного цифрового видеоизображения; второй блок буфера памяти для хранения строки исходного цифрового видеоизображения, третий блок буфера памяти для хранения декоррелирующих матриц и их характеристик; мультиплексор данных, на один из входов которого поступает результат декоррелирующего преобразования, отличающееся тем, что в устройство введены блок перепрограммируемой памяти для записи и долговременного хранения декоррелирующих матриц и их характеристик, связанный с третьим блоком буфера памяти; процессорный блок для декоррелирующего преобразования текущего цифрового видеоизображения последовательно по строкам, преобразования по столбцам результата преобразования видеоизображения по строкам; четвертый блок буфера памяти для хранения результатов декоррелирующего преобразования исходного видеоизображения и выдачи результатов декорреляции в выходной поток декоррелированных видеоизображений, при этом второй блок буфера памяти выполнен с обеспечением возможности хранения строк исходного цифрового видеоизображения, разбитых на подобласти, а третий блок буфера памяти обеспечивает избирательный доступ к отдельным видам декоррелирующих матриц.

Описание изобретения к патенту

Изобретение относится к вычислительной технике, а именно к области выполнения прямого и обратного декоррелирующего преобразования цифровых видеоизображений в системах их компрессии и декомпрессии.

Известны технические решения устройств [1, 2], выполняющих двухмерное вейвлет-преобразование и использующих для хранения промежуточных данных блоки памяти с объемом N×M, где N - ширина кадра, а М- высота. Недостаток известных технических решений заключается в невозможности проводить декорреляцию видеоизображений, размеры которых отличны от натуральной степени числа два.

Наиболее близким техническим решением предлагаемого изобретения является устройство для выполнения компрессии видеоданных с использованием вейвлет-преобразования, приведенное в [3], включающее первый блок буфера памяти для хранения исходного цифрового видеоизображения; второй блок буфера памяти для хранения строки исходного цифрового видеоизображения, третий блок буфера памяти для хранения декоррелирующих матриц и их характеристик; мультиплексор данных, на один из входов которого поступает результат декоррелирующего преобразования.

Недостатками известного устройства являются невозможность применения метода к форматам видеоизображения произвольных размерностей, обязательное требование равенства сторон исходного видеоизображения натуральным степеням числа два (дихотомический принцип реализации метода), так как, если данное условие не выполняется, преобразование реализуется не полностью, либо совсем не может быть реализовано. Ограничения на размеры преобразуемых видеоизображений состоит еще в том, что для преобразования по строкам, столбцам и различным итерациям используется один и тот же вейвлет Ле Галла. Неортогональность вейвлета Ле Галла создает затруднения при комбинации метода с различными матричными конструкциями.

Технический результат, на достижение которого направлено изобретение, заключается в возможности декорреляции цифровых видеоизображений произвольных размеров, а не только размеров, равных натуральной степени числа два.

Технический результат достигается тем, что в устройстве для декорреляции цифровых видеоизображений с использованием целочисленных ортогональных декоррелирующих матриц в системах компрессии видеоизображений, содержащем первый блок буфера памяти для хранения исходного цифрового видеоизображения; второй блок буфера памяти для хранения строки исходного цифрового видеоизображения, третий блок буфера памяти для хранения декоррелирующих матриц и их характеристик; мультиплексор данных, на один из входов которого поступает результат декоррелирующего преобразования, согласно изобретению, в устройство введены блок перепрограммируемой памяти для записи и долговременного хранения декоррелирующих матриц и их характеристик, связанный с третьим блоком буфера памяти; процессорный блок для декоррелирующего преобразования текущего цифрового видеоизображения последовательно по строкам, преобразования по столбцам результата преобразования видеоизображения по строкам; четвертый блок буфера памяти для хранения результатов декоррелирующего преобразования исходного видеоизображения и выдачи результатов декорреляции в выходной поток декоррелированных видеоизображений, при этом второй блок буфера памяти выполнен с обеспечением возможности хранения строк исходного цифрового видеоизображения, разбитых на подобласти, а третий блок буфера памяти обеспечивает избирательный доступ к отдельным видам декоррелирующих матриц.

Функциональная схема устройства, иллюстрирующая предлагаемое решение представлена на чертеже.

Позиции на чертеже:

1 - первый блок буфера памяти для хранения исходного цифрового видеоизображения (БП1);

2 - второй блок буфера памяти для хранения строки исходного цифрового видеоизображения (БП2);

3 - третий блок буфера памяти для хранения выбранных декоррелирующих матриц и их характеристик (БПЗ);

4 - мультиплексор данных (МП);

5 - блок перепрограммируемой памяти (БПП) для записи и долговременного хранения декоррелирующих матриц и их характеристик;

6 - процессорный блок (ПрБ) для преобразования декоррелируемого видеоизображения последовательно по строкам и преобразования по столбцам результата преобразования видеоизображения по строкам;

7 - четвертый блок буфера памяти (БП4) для хранения результатов декоррелирующего преобразования исходного видеоизображения.

Предлагаемое устройство содержит первый блок 1 буфера памяти (БП1) объемом M×N ячеек для хранения исходного цифрового видеоизображения, подвергаемого декорреляции; второй блок буфера памяти 2 (БП2) для хранения строки, размером N ячеек исходного видеоизображения; блок 5 перепрограммируемой памяти (БПП) (флеш-памяти) для записи, чтения и долговременного хранения множества декоррелирующих матриц и их характеристик; третий блок 3 буфера памяти (БП3) для оперативного хранения и использования выбранных декоррелирующих матриц и их характеристик, мультиплексор 4 (МП) потока данных для процессора при декорреляции по строкам и по столбцам; процессорный блок 6 (ПрБ) декоррелирующего преобразования текущего видеоизображения по строкам и по столбцам; блок 7 БП4 объемом M×N ячеек, для хранения и передачи в выходной поток результатов декоррелирующего преобразования исходного видеоизображения.

Предлагаемое устройство работает следующим образом. Прямое декоррелирующее преобразование исходного цифрового видеоизображения с использованием целочисленных ортогональных декоррелирующих матриц реализуется в два этапа.

На первом этапе осуществляется анализ размеров исходного видеоизображения, целью которого является выбор двух, в общем случае различных (в частных случаях - одинаковых) матриц по размерам и структуре целочисленных ортогональных декоррелирующих матриц, осуществляющих преобразования, как по строкам (размерность декоррелирующей матрицы должна быть делителем величины длины строки исходного видеоизображения), так и по столбцам (размерность декоррелирующей матрицы должна быть делителем высоты столбца исходного видеоизображения).

Преобразование каждой строки исходного цифрового видеоизображения не зависит от преобразования остальных его строк и осуществляется следующим образом:

Выделяется линейный массив памяти а_(i), размером N пикселей, в который записывается преобразуемая i-я строка исходного цифрового видеоизображения . Этот массив разбивается на подобласти, где N - длина строки исходного видеоизображения, а n - размерность матрицы W. Номер каждой q-й подобласти строки (а_(i)) обозначается через , а номер каждой р-й ячейки подобласти строки (а_(i) )_q обозначается через .

Выделяется линейный массив памяти b длиной в N ячеек. Массив b разбивается на n подобластей (n - размерность целочисленной ортогональной декоррелирующей матрицы W). Каждая подобласть имеет размер K=N/n ячеек. Адрес каждой ячейки внутри р-й подобласти массива b (b_р) обозначается через . Произвольная ячейка памяти одномерного массива b длиной в N ячеек обозначается как b_p,q, где рядковый номер соответствующей подобласти массива b, a q - номер ячейки внутри р-й подобласти массива b.

Преобразование осуществляется по формуле

где (а_(i))_(q) - q-я подобласть массива (а_(i)),

W _(p) - р-я строка матрицы W;

(а_(i) )_(q),W_(p)) - скалярное произведение (а _(i))_(q) на W_(p), которое имеет вид

- скалярный квадрат р-й строки матрицы W:

Деление в формуле (1) осуществляется с округлением до ближайшего целого. Множество скалярных квадратов в знаменателе формулы (1) вычисляется один раз и хранится в долговременной памяти вместе с матрицей W.

Выделяется двумерный массив памяти С, размером M×N ячеек. Ячейки каждой i-й строки массива С (с_(i)) заполняются следующим образом: для каждой i-й строки исходного видеоизображения по формуле (1) вычисляются значения массива b. Каждой ячейке i-й строки c_(i) двумерного массива С присваивается соответствующее значение соответствующей ячейки массива b: c_(i)=b. После того как будет заполнена (М-1)- я строка массива С, преобразование по срокам завершается.

Прямое декоррелирующее преобразование по столбцам матрицы-результата прямого декоррелирующего преобразования исходного цифрового видеоизображения по строкам осуществляется следующим образом.

Обозначим ячейки j-го столбца полученного в результате преобразования по строкам двумерного массива С через с^(j), где . Высота такого столбца равна М ячеек. Преобразование каждого отдельного столбца не зависит от преобразования остальных столбцов. Преобразование осуществляется с помощью ортогональной целочисленной декоррелирующей матрицы G, размером m×m, где m является делителем высоты столбца М. Матрица G и вектор скалярных квадратов ее строк g хранятся в блоке хранения декоррелирующих матриц и их характеристик.

Выделяется одномерный массив памяти d, размером М ячеек. В данный массив заносится содержимое j-гo столбца с^(j) двумерного массива С. Линейный массив d разбивается на S=M/m подобластей. Порядковый номер каждой подобласти обозначим через , а номер ячейки памяти каждой подобласти через .

Выделяется одномерный массив памяти D, размером М ячеек. Массив D разбивается на m подобластей (m - размерность целочисленной ортогональной декоррелирующей матрицы G). Размер каждой подобласти равен S=M/m ячеек. Координаты каждой ячейки в массиве D обозначим как D_l,k, где - порядковый номер соответствующей подобласти массива D, a - номер ячейки внутри l-й подобласти массива D.

Преобразование по столбцам осуществляется по формуле

где (d^(k),G_(l) ) - скалярное произведение двух векторов: d^(k) - k-й ячейки массива d, величиной в m ячеек, и G_(l) - l-я строка декоррелирующей по столбцам ортогональной целочисленной матрицы G, применяемой для преобразования по столбцам преобразованного по строкам исходного видеоизображения.

Скалярное произведение вычисляется по формуле

- скалярный квадрат l-й строки целочисленной ортогональной декоррелирующей матрицы G, применяемой для преобразования декоррелированного по строкам исходного видеоизображения по столбцам.

Скалярный квадрат строки декоррелирующей по столбцам матрицы G вычисляется следующим образом:

Деление в формулах (1) и (4) производится с округлением до ближайшего целого, скалярные квадраты l-х строк матрицы G вычисляются только один раз, а затем хранятся в блоке долговременной памяти вместе с матрицей G.

Для каждого j-го столбца с^(j) матрицы С по формуле 4 формируется одномерная область памяти d, размерностью М, где М - высота столбца исходного видеоизображения; j-й столбец матрицы С поэлементно замещается на соответствующий одномерный массив памяти D. Эта операция повторяется для каждого ; после того как все N столбцов матрицы С обработаны, двумерная декорреляция завершена. Ее результатом является двумерная матрица С, размером M×N.

Видеоизображение и его характеристики (размеры строк и столбцов, номера (которые могут совпадать) двух декоррелирующих матриц, из которых одна предназначена для преобразования по строкам, а другая - по столбцам, два вектора скалярных квадратов строк для каждой из этих матриц) поступают из входного потока видеоизображений в блок БП1. Характеристики видеоизображения, поступившего в блок 1 БП1, направляются в блок 5 памяти (флеш-памяти) для записи, чтения и долговременного хранения множества декоррелирующих матриц и их характеристик (БПП), а сам видеокадр построчно (строка за строкой) поступает во второй блок 2 буфера памяти БП2.

На основании номеров двух декоррелирующих матриц, поступивших в блок 5 БПП, из блока 5 БПП по соответствующим адресам извлекаются две ортогональные целочисленные декоррелирующие матрицы и их характеристики (размеры, векторы скалярных квадратов строк), одна - для преобразования по строкам, а вторая - для преобразования по столбцам. Выбранная из блока 5 БПП долговременной памяти информация передается в блок 3 буфера памяти БП3, для оперативного хранения и использования выбранных декоррелирующих целочисленных ортогональных матриц и соответствующих им характеристик.

Из блока 3 буфера памяти БП3 выбранные матрицы и их характеристики поступают через мультиплексор 4 МП в процессорный блок 6 ПрБ.

Из блока 2 памяти БП2 через мультиплексор 4 МП в процессорный блок 6 ПрБ поступает очередная строка обрабатываемого видеоизображения, при этом на процессорный блок 6 ПрБ приходит сообщение, что преобразование ведется по строкам. На втором этапе осуществляется двумерное декоррелирующее преобразование матрицы исходного видеоизображения с помощью двух выбранных целочисленных ортогональных декоррелирующих матиц (которые могут быть и одинаковыми по размеру и по структуре).

Преобразование по строкам исходного цифрового видеоизображения, размером М строк на N столбцов, осуществляется с помощью целочисленной ортогональной декоррелирующей матрицы W, размером n×n, где n является делителем N. Данная матрица хранится в блоке 5 БПП долговременной памяти декоррелирующих матриц. Там же хранится вектор скалярных квадратов ее строк w.

Если декорреляция видеоизображения произведена по строкам, то из процессорного блока 6 ПрБ через блок 7 буфера памяти БП4 преобразованное по строкам исходное видеоизображение, его характеристики, а также указание на то, что преобразование должно вестись по столбцам, через мультиплексор 4 МП, поступает в процессорный блок 6 ПрБ для последующего преобразования по столбцам. В процессорном блоке строка исходного видеоизображения преобразуется по уравнению (1), а столбец преобразованного по строкам исходного видеоизображения преобразуется по столбцам по уравнению 4.

Результат преобразования с выхода процессорного блока 6 (ПрБ) через блок 7 буфера памяти БП4 направляется в выходной поток декоррелированных видеоизображений.

Как следует из вышеизложенного, для решения задачи декорреляции цифровых видеоизображений произвольных размеров можно использовать множество ортогональных декоррелирующих матриц, что позволяет предложенному устройству работать с видеоизображениями, размеры которых определяются не только степенями числа два, но и с видеоизображениями, размеры которых заданы произвольными числами натурального ряда.

Источники информации

1. Патент US 4943855.

2. Патент US 5014134.

3. Патент RU 2342704.