способ интерполяции двухградационного изображения

Формула изобретения

1. Способ интерполяции двухградационного изображения для восстановления уменьшенного двухградационного изображения, полученного из исходного двухградационного изображения уменьшением посредством нисходящей дискретизации, в соответствии с которым делят двухградационное изображение на блоки изображения, преобразуют в соответствии с заданным коэффициентом преобразования полученные блоки изображения в элементы изображения, определяют расположение исходного интерполируемого элемента изображения, отличающийся тем, что этот способ содержит шаги: (а) рассчитывают величину интерполяции на основе значений элементов изображения (элементов изображения объекта), окружающих интерполируемый элемент изображения; (b) рассчитывают контекст С_р оценки состояния элементов изображения (опорных элементов изображения) вокруг элементов изображения объекта; (с) получают пороговое значение, соответствующее рассчитанному контексту; (d) сравнивают величину интерполяции с пороговым значением, полученным на шаге (с), а также устанавливают значение элемента изображения интерполируемого элемента изображения равным 1, если величина интерполяции превышает пороговое значение, и устанавливают значение элемента изображения интерполируемого элемента изображения равным 0, если величина интерполяции меньше или равна пороговому значению, и восстанавливают исходное двухградационное изображение.

2. Способ интерполяции по п.1, отличающийся тем, что на шаге (а) расчет выполняют способом билинейной интерполяции.

3. Способ интерполяции по п.1, отличающийся тем, что расчет на шаге (b) выполняют посредством использования следующего уравнения:

где Р представляет положение интерполируемого элемента изображения, R представляет опорный элемент изображения, a k является индексом опорных элементов изображения.

4. Способ интерполяции по п.1, отличающийся тем, что пороговое значение, полученное на шаге (с), является одним из некоторого количества предложенных пороговых значений, это количество равно количеству величин интерполяции, полученных из рассмотрения всех возможных перестановок элементов изображения объекта.

5. Способ интерполяции по п.4, отличающийся тем, что предложенные пороговые значения получают посредством шагов, на которых (а1) определяют массивы h[c][t] и THRc[t], где с является индексом величин интерполяции, a t является индексом предлагаемых пороговых значений; (а2) инициализируют массив h[c][t] нулевыми значениями и принимают исходное двухградационное изображение и уменьшенное изображение; (а3) определяют расположение интерполируемого элемента изображения, интерполяцию которого необходимо выполнить, в соответствии с растровой разверткой, а также вычисляют контекст опорных элементов изображения; (а4) инициализируют индекс t пороговых значений; (а5) рассчитывают величину интерполяции INP[P] интерполируемого элемента изображения; (а6) сравнивают текущее предлагаемое пороговое значение THRc[t] с рассчитанной величиной интерполяции INPI[P] и устанавливают значение элемента изображения интерполируемого элемента изображения равным 1, если величина интерполяции INP[P] превышает предлагаемое пороговое значение THRc[t], и устанавливают значение элемента изображения интерполируемого элемента изображения равным 0, если величина интерполяции INP[P] меньше или равна предлагаемой пороговой величине THRc[t]; (a7) сравнивают значение элемента изображения интерполируемого элемента изображения со значением исходного элемента изображения и увеличивают значение в массиве h[c][t] и индекс пороговых значений на 1, если имеется совпадение, причем совпадение имеет место, если значение элемента изображения интерполируемого элемента изображения равно значению исходного элемента изображения; (а8) проверяют, выполнено ли на шаге (а6) сравнение для всех предлагаемых пороговых значений, и возвращаются к шагу (а6), если сравнение не было выполнено для всех предлагаемых пороговых значений; (а9) проверяют, была ли выполнена интерполяция для всех элементов изображения двухградационного изображения, если сравнение на шаге (а6) было выполнено для всех предлагаемых пороговых значений, и возвращаются на шаг (а3), если интерполяция не была выполнена для всех элементов изображения двухградационного изображения; а также (а10) устанавливают предлагаемое пороговое значение, обеспечивающее наиболее высокую частоту совпадений, в качестве порогового значения соответствующей величины интерполяции, если интерполяция выполнена для всех элементов изображения двухградационного изображения.

Описание изобретения к патенту

Настоящее изобретение относится к способу интерполяции двухградационного изображения, а более конкретно к усовершенствованному способу интерполяции, в котором переменное пороговое значение, используемое для определения величины генерируемого посредством интерполяции элемента изображения, определяется на основании контекста (оценки состояния соседних элементов изображения).

Описание связанной области техники

Недавно в MPEG-4 была добавлена функция для обработки информации о форме. Информация о форме, которая относится к информации об объекте изображения, называется двухградационным изображением. Для кодирования такого двухградационного изображения, в соответствии с MPEG-4 применяется использующий контекст арифметический кодер (САЕ). Для кодирования формы с дефектами к каждому макроблоку двухградационной формы применяется способ нисходящей дискретизации и способ восходящей дискретизации. Изображение формы делится на блоки формы с размером ММ.

Нисходящая дискретизация относится к способу уменьшения блока двухградационного изображения в соответствии с заданным коэффициентом преобразования. Уменьшенный блок изображения передается совместно с коэффициентом преобразования. Здесь коэффициент преобразования определяется так, чтобы ошибка между исходным блоком двухградационного изображения и восстановленным позже блоком двухградационного изображения попадала в заранее определенный диапазон.

Полученный нисходящей дискретизацией уменьшенный блок изображения кодируется посредством САЕ и затем передается.

Для восстановления уменьшенного блока изображения используется способ восходящей дискретизации. Восходящая дискретизация используется для восстановления посредством интерполяции из уменьшенного блока изображения блока с размерами исходного блока двухградационного изображения.

Во время такого процесса восходящей дискретизации эффективный способ интерполяции не должен приводить к образованию избыточных блоков и к эффектам избыточного сглаживания в восстановленном двухградационном изображении.

Краткое описание изобретения

В соответствии с указанным выше требованием, технической задачей настоящего изобретения является предоставление усовершенствованного способа интерполяции, в котором для интерполяции используется контекст (оценка состояния опорных элементов изображения, примыкающих к элементу изображения (интерполируемому элементу изображения), генерируемому посредством интерполяции), благодаря чему уменьшается количество блоков и эффект сглаживания.

Для достижения указанной выше задачи предоставляется способ интерполяции двухградационного изображения для восстановления уменьшенного двухградационного изображения, полученного уменьшением исходного двухградационного изображения нисходящей дискретизацией, в исходное двухградационное изображение, этот способ состоит из шагов: (а) расчета величины интерполяции на основании величин элементов изображения (величин элементов изображения объекта) уменьшенного изображения вокруг интерполируемого элемента изображения; (b) расчета контекста С_p (оценки состояния элементов изображения (опорных элементов изображения), окружающих элементы изображения объекта; (с) получения порогового значения, соответствующего вычисленному контексту и (d) сравнения величины интерполяции с пороговым значением шага (с), и установки величины элемента изображения интерполируемого элемента изображения равной "1", если величина интерполяции превышает пороговое значение, и равной "0", если величина интерполяции меньше или равна пороговому значению.

Краткое описание чертежей

Указанные выше цели и преимущества настоящего изобретения станут более очевидными после детального описания предпочтительных исполнений, представленных ниже со ссылкой на прилагаемые чертежи, на которых:

фиг.1А является диаграммой, иллюстрирующей способы кодирования и декодирования двухградационного изображения в соответствии с MPEG-4;

фиг.1В является диаграммой, иллюстрирующей шаг нисходящей дискретизации, показанный на фиг.1А;

фиг.1С является диаграммой, иллюстрирующей шаг восходящей дискретизации, показанный на фиг.1А;

фиг. с 2А по 2D, являются диаграммами, иллюстрирующими способ интерполяции в соответствии с настоящим изобретением;

фиг. 3 является последовательностью операций, иллюстрирующих способ получения порогового значения в соответствии с настоящим изобретением; а

фиг. с 4А по 4С иллюстрируют результаты выполнения способа интерполяции в соответствии с настоящим изобретением в сравнении с результатами выполнения ранее известного способа.

Описание предпочтительного исполнения

Способы кодирования и декодирования фиг.1А двухградационного изображения с информацией об объекте в соответствии с MPEG-4 содержат шаг 100 нисходящей дискретизации, шаг кодирования 102, шаг обратного кодирования 104 и шаг восходящей дискретизации 106.

На шаге нисходящей дискретизации 100, МN блок двухградационного изображения преобразуется в (MCR)((NCR) блок двухградационного изображения. Здесь CR является коэффициентом преобразования, указывающим отношение размера уменьшенного блока изображения, полученного нисходящей дискретизацией к размеру исходного блока двухградационного изображения.

На шаге кодирования 102 кодируется уменьшенное изображение. Для кодирования двухградационного изображения, включающего объекты в соответствии с MPEG-4 применяется использующий контекст арифметический кодер (САЕ). САЕ представляет собой кодер, который делит двухградационное изображение на блоки и обрабатывает все блоки одним и тем же способом. САЕ принят в качестве способа кодирования в проверочной модели MPEG-4 благодаря его простоте и относительно высокой эффективности кодирования.

Уменьшенное изображение, закодированное на шаге кодирования 102 передается по трассе передачи. На шаге обратного кодирования 104, закодированное уменьшенное изображение восстанавливается в уменьшенное изображение. На шаге восходящей дискретизации 106, выполняется интерполяция уменьшенного изображения для получения исходного двухградационного изображения.

На фиг. 1В показаны детали шага 100 нисходящей дискретизации, проиллюстрированной на фиг.1А. Двухградационное изображение 200 делится на совокупность макроблоков, как показано на фиг. 1B. Обозначенные символом "0" элементы изображения макроблока 201 преобразуются в один элемент изображения, обозначенный символом "X". Здесь размер макроблока определяется с учетом коэффициента преобразования. Коэффициент преобразования в соответствии с MPEG-4 может равняться 1, 1/2 или 1/4. Такое преобразование, выполненное для всех макроблоков, приводит к уменьшению изображения пропорционально коэффициенту преобразования. На фиг.1В четыре элемента изображения (обозначенные символом "0") макроблока преобразуются в элемент изображения, то есть, коэффициент преобразования равен 1/2.

Если на шаге нисходящей дискретизации половина или более этих элементов изображения каждой группы из четырех элементов изображения в макроблоке равна "1", то величина преобразованного элемента изображения становится равной "1". Здесь элементы изображения, имеющие величину, равную "1", представляют часть изображения, содержащего объект, а элементы изображения, имеющие величину "0", представляют часть изображения без объекта. Граница между элементами изображения величиной "1" и элементами изображения величиной "0" является границей информации об объекте.

На фиг. 1С детально проиллюстрирован шаг 106 восходящей дискретизации, проиллюстрированный на фиг.1А. На шаге восходящей дискретизации каждый элемент изображения исходного изображения восстанавливается посредством интерполяции путем использования четырех элементов изображения уменьшенного изображения.

Обратимся к фиг.1С, далее детально будет описан ранее известный способ интерполяции.

На фиг. 1С элементы изображения А, В, С и D представляют элементы изображения объекта, которые участвуют в процессе интерполяции, а элементы изображения P1, P2, Р3 и Р4 представляют интерполируемые элементы изображения, получаемые в результате интерполяции. Здесь элементы изображения объекта А, В, С и D окружают интерполируемые элементы изображения Р1, P2, Р3 и Р4. Кроме этого, элементы изображения объекта принадлежат к уменьшенному изображению, в то время как интерполируемые элементы изображения принадлежат к восстановленному двухградационному изображению.

Вначале вычисляется величина интерполяции INP[P] приведенным ниже способом линейной интерполяции, путем использования элементов изображения А, В, С и D:

IMP[P1]=rA+s(B+C+D),

IMP[P2]=rB+s(A+C+D),

IMP[P3]=r+s(A+B+D),

IMP[P4]=rD+s(A+B+C),

где r и s являются весами и r больше s. То есть, для каждого интерполируемого элемента изображения, больший вес используется для элемента изображения, ближайшего к каждому из интерполируемых элементов изображения.

Затем сравнивается величина интерполяции INP[P] и пороговое значение THR. Здесь пороговое значение THR устанавливается равным величине, равной половине наибольшей возможной величины интерполяции. Если величина интерполяции INP[P] больше порогового значения THR, то величина элемента изображения интерполируемого элемента изображения становится равной "1". В противном случае величина элемента изображения интерполируемого элемента изображения становится равной "0".

Здесь используется только одна пороговая величина THR, но может использоваться и некоторая совокупность величин интерполяции INP. Так, если величина интерполяции INP[P] и пороговое значение THR близки друг к другу, то неизвестно, правильно ли найдена величина элемента изображения интерполируемого элемента изображения. Соответственно возникают различные явления в виде образования блоков или сглаживания в восстановленном двухградационном изображении.

Для уменьшения эффекта образования блоков или сглаживания, пороговое значение, которое сравнивается с величиной интерполяции INP[P], определяется адаптивно, в соответствии с контекстом (оценкой состояния элементов изображения (опорных элементов изображения), которые окружают интерполируемый элемент изображения), тем самым устраняется неоднозначность при определении величины элемента изображения интерполируемого элемента изображения. Кроме этого, предлагаемые пороговые значения определяются посредством способа исследования.

Теперь будет описан способ интерполяции в соответствии с предпочтительным исполнением настоящего изобретения со ссылкой на фиг. с 2A по 2D. На фиг. с 2А по 2D, элементы изображения А, В, С, D, С0, С1, С2, С3 и С4, обозначенные как "0", представляют элементы изображения уменьшенного изображения, а элементы изображения Р1, Р2, Р3 и Р4, обозначенные как "X", представляют интерполируемые элементы изображения восстановленного двухградационного изображения.

Вначале рассчитывается величина интерполяции генерируемых интерполяцией элементов изображения. Здесь величина интерполяции рассчитывается способом билинейной интерполяции. Однако в качестве альтернативы величина интерполяции может рассчитываться посредством усреднения элементов изображения объекта или другими способами.

Величина интерполяции рассчитывается способом билинейной интерполяции посредством следующего уравнения (1):

INP[P]=A(1-h)(1-v)+B(1-h)v+

+Ch(1-v)+Dhv..., (1)

где h и v в каждом из членов представляют горизонтальные и вертикальные расстояния между элементами изображения объекта и интерполируемыми элементами изображения, включенными в соответствующий член. Величина интерполяции INP[P] определяется как величина между 0 и 1.

Количество комбинаций элементов изображения объекта равно 16, а количество величин интерполяции INP[P] равно 16. Однако, если не учитываются повторяющиеся величины, то фактическое количество величин интерполяции равно 12, каждая из которых находится между 0 и 1. Соответственно, целое t находится в диапазоне 0-11, а количество предлагаемых пороговых величин THRc[t] равно 12, включая 0, 0.0625, 0.1875, 0.25, 0.375, 0.4375, 0.5625, 0.625, 0.75, 0.8125, 0.9375 и 1.

Затем из следующего уравнения (2) находится контекст (оценка состояния опорных элементов изображения):



где Р представляет положение интерполируемого элемента изображения, R представляет опорный элемент изображения, a k является индексом опорных элементов изображения, а также весом. Здесь индекс k изменяется в зависимости от расположения интерполируемого элемента изображения. В настоящем изобретении в качестве опорных элементов изображения используется пять элементов изображения, окружающих элементы изображения объекта.

На фиг. с 2А по 2D показаны положения индексов опорных элементов изображения, используемых для интерполяции интерполируемых элементов изображения с P1 no P4 соответственно.

Необходимые пороговые значения THRc[t] определяются предложенным способом, описанным ниже.

После этого сравниваются величина интерполяции INP[P] и пороговое значение THRc интерполируемого элемента изображения.

Если величина интерполяции INP[P] превышает пороговое значение THRc, то величина элемента изображения интерполируемого элемента изображения становится равной "1". В противном случае, величина элемента изображения интерполируемого элемента изображения становится равной "0".

Далее будет описан способ определения порогового значения THRc на основании контекста опорного элемента изображения. Пороговое значение THRc получается посредством способа исследования. Исследование выполняется на шаге сравнения исходного двухградационного изображения с восстановленным двухградационным изображением.

Для более детального рассмотрения, обратимся к фиг.3, вначале определяются массивы h[c][t] и THRc[t] (шаг 310).

Здесь в массиве d[c][t] хранится количество совпадений, где совпадение представляет собой имя, присваиваемое, когда величина восстановленного элемента изображения равна величине исходного элемента изображения. Эти совпадения определяются посредством использования в каждом из контекстов всех возможных величин пороговых значений. Здесь с является индексом величин интерполяции, а t является индексом предлагаемых пороговых величин. В случае, показанном на фиг. 2, так как количество величин интерполяции и количество предлагаемых пороговых величин равны 12, то размерность массива становится h[11][11].

Кроме этого, в массиве THRc[t] хранятся предлагаемые пороговые величины. Здесь t является индексом предлагаемых пороговых величин.

Затем устанавливается нулевое значение массива h[c][t] (шаг 320).

После того как будет установлено нулевое значение массива h[c][t], вводится исходное двухградационное изображение и уменьшенное изображение (шаг 330).

Затем определяется расположение исходного элемента изображения. Интерполяция выполняется с верхнего левого к нижнему правому посредством растровой развертки (шаг 340).

После определения расположения интерполируемого элемента изображения, посредством приведенного выше уравнения (2) рассчитывается контекст (шаг 350).

Инициализируется пороговый индекс t (шаг 355).

Затем рассчитывается величина интерполяции INP[P] интерполируемого элемента изображения (шаг 360).

Текущее пороговое значение из THRc[t] сравнивается с рассчитанной величиной интерполяции INP[P] (шаг 370). Если величина интерполяции INP[P] превышает предложенное пороговое значение THRc[t], то величина элемента изображения Р интерполируемого элемента изображения устанавливается равной "1" (шаг 372). В противном случае, величина элемента изображения Р интерполируемого элемента изображения устанавливается равной "0" (шаг 374).

Величина элемента изображения Р интерполируемого элемента изображения сравнивается с величиной исходного элемента изображения (шаг 380). Если величина элемента изображения Р равна величине исходного элемента изображения, то соответствующее значение в массиве h[c][t] увеличивается на "1". Эта величина представляет количество совпадений (шаг 385). В противном случае шаг 385 не выполняется.

Проверяется, выполнено ли на шаге 380 сравнение для всех предложенных пороговых значений текущей величины интерполяции (шаг 390).

Если удовлетворяется условие шага 390, то определяется, была ли выполнена интерполяция для всех элементов изображения двухградационного изображения (шаг 400).

Если условие шага 390 не выполняется, то процесс возвращается на шаг 370.

Если интерполяция была выполнена для всех элементов изображения двухградационного изображения, то предложенная величина, предоставляющая наиболее высокую частоту совпадений устанавливается в качестве пороговой величины соответствующей величине интерполяции (шаг 400).

Если условие шага 390 не выполняется, то процесс возвращается к шагу 350.

В соответствии со способом интерполяции настоящего изобретения, неоднозначность интерполяции, выполняемой путем использования только величины интерполяции, полученной билинейной интерполяцией может быть исключена путем использования контекста, благодаря этому уменьшается ошибка воспроизведения в восстановленном двухградационном изображении.

На фиг. с 4А по 4 С показаны результаты выполнения способа интерполяции в соответствии с настоящим изобретением, в сравнении с результатами выполнения известного способа интерполяции. Более подробно, на фиг.4А показано исходное двухградационное изображение, содержащее MPEG-4 logo, на фиг.4В показан результат выполнения ранее известной интерполяции, описанной со ссылкой на фиг. 1С, а на фиг.4С представлен результат выполнения интерполяции в соответствии с настоящим изобретением. Как видно из фиг. с 4В по 4С, сильно ослабляются эффекты образования блоков и эффекты сглаживания по сравнению с известным способом.

Как указывалось выше, в способе интерполяции настоящего изобретения устраняется неоднозначность при сравнении величины интерполяции и пороговой величины благодаря использованию контекста (оценки состояния опорных элементов изображения, окружающих интерполируемый элемент изображения), тем самым ослабляется явление образования блоков и сглаживания в восстановленном двухградационном изображении.