устройство, способ и программа для прогнозирующего кодирования изображений, устройство, способ и программа для прогнозирующего декодирования изображений и система и способ кодирования/декодирования

Формула изобретения

1. Устройство прогнозирующего кодирования изображений, содержащее:

- модуль разделения на области для разделения входного изображения на множество блоков;

- модуль формирования сигналов прогнозирования для формирования сигнала прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков;

- модуль формирования остаточных сигналов для формирования остаточного сигнала между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования;

- модуль кодирования сигналов для формирования сжатого сигнала посредством кодирования остаточного сигнала; и

- модуль хранения для распаковки сжатого сигнала и сохранения распакованного сигнала в качестве восстановленного сигнала пикселов,

- при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы подразделять рассматриваемый блок на множество небольших областей, причем, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и

- модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

2. Устройство прогнозирующего кодирования изображений по п.1, в котором первая сторона неквадратной небольшой области контактирует с уже восстановленным пикселом, вторая сторона не контактирует с уже восстановленным пикселом и модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

3. Устройство прогнозирующего кодирования изображений по п.1, в котором модуль кодирования сигналов сконфигурирован, чтобы кодировать связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области, и выводить сигнал, полученный посредством кодирования, вместе со сжатым сигналом.

4. Способ прогнозирующего кодирования изображений, который исполняется посредством устройства прогнозирующего кодирования изображений, содержащий этапы, на которых:

- разделяют входное изображение на множество блоков;

- формируют сигнал прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков;

- формируют остаточный сигнал между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования;

- формируют сжатый сигнал посредством кодирования остаточного сигнала; и

- распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов, и

- при этом на этапе формирования сигнала прогнозирования рассматриваемый блок подразделяют на множество небольших областей, причем, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и

- на этапе формирования сигнала прогнозирования сигнал прогнозирования неквадратной небольшой области формируют с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

5. Способ прогнозирующего кодирования изображений по п.4, в котором первая сторона неквадратной небольшой области контактирует с уже восстановленным пикселом, вторая сторона не контактирует с уже восстановленным пикселом и на этапе формирования сигнала прогнозирования сигнал прогнозирования неквадратной небольшой области формируют с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

6. Способ прогнозирующего кодирования изображений по п.4, в котором на этапе формирования сжатого сигнала кодируют связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области, и выводят сигнал, полученный посредством кодирования, вместе со сжатым сигналом.

7. Устройство прогнозирующего декодирования изображений, содержащее:

- модуль ввода для разделения изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и для ввода данных сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании;

- модуль распаковки для извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала;

- модуль формирования сигналов прогнозирования для извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации;

- модуль распаковки изображений для распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и

- модуль хранения для сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов,

- при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

8. Устройство прогнозирующего декодирования изображений по п.7, в котором первая сторона неквадратной небольшой области контактирует с уже восстановленным пикселом, а вторая сторона не контактирует с уже восстановленным пикселом.

9. Устройство прогнозирующего декодирования изображений по п.7, в котором модуль формирования сигналов прогнозирования сконфигурирован, чтобы указывать форму небольшой области на основе связанной с формированием сигналов прогнозирования информации и формировать сигнал прогнозирования небольшой области согласно указанной форме небольшой области на основе связанной с формированием сигналов прогнозирования информации.

10. Устройство прогнозирующего декодирования изображений по п.7, в котором модуль распаковки сконфигурирован, чтобы распаковывать остаточный сигнал небольшой области в восстановленный остаточный сигнал посредством указания формы небольшой области на основе связанной с формированием сигналов прогнозирования информации и выполнения деквантования и обратного частотного преобразования согласно указанной форме небольшой области.

11. Способ прогнозирующего декодирования изображений, который исполняется посредством устройства прогнозирующего декодирования изображений, содержащий этапы, на которых:

- разделяют изображение на множество блоков, дополнительно разделяют блок на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и вводят данные сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании;

- извлекают остаточный сигнал небольшой области из данных сжатых изображений и распаковывают восстановленный остаточный сигнал;

- извлекают связанную с формированием сигналов прогнозирования информацию из данных сжатых изображений и формируют сигнал прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации;

- распаковывают сигнал пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и

сохраняют распакованный сигнал пикселов как восстановленный сигнал пикселов,

- при этом на этапе формирования сигнала прогнозирования небольшой области сигнал прогнозирования неквадратной небольшой области формируют с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

12. Способ прогнозирующего декодирования изображений по п.11, в котором первая сторона неквадратной небольшой области контактирует с уже восстановленным пикселом, а вторая сторона не контактирует с уже восстановленным пикселом.

13. Способ прогнозирующего декодирования изображений по п.11, в котором на этапе формирования сигнала прогнозирования небольшой области форму небольшой области указывают на основе связанной с формированием сигналов прогнозирования информации и сигнал прогнозирования небольшой области формируют согласно указанной форме небольшой области на основе связанной с формированием сигналов прогнозирования информации.

14. Способ прогнозирующего декодирования изображений по п.11, в котором на этапе распаковки восстановленного остаточного сигнала остаточный сигнал небольшой области распаковывают в восстановленный остаточный сигнал посредством указания формы небольшой области на основе связанной с формированием сигналов прогнозирования информации и выполнения деквантования и обратного частотного преобразования согласно указанной форме небольшой области.

15. Система кодирования/декодирования, содержащая устройство прогнозирующего кодирования изображений и устройство прогнозирующего декодирования изображений,

- при этом устройство прогнозирующего кодирования изображений включает в себя:

- модуль разделения на области для разделения входного изображения на множество блоков;

- модуль формирования сигналов прогнозирования для формирования сигнала прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков;

- модуль формирования остаточных сигналов для формирования остаточного сигнала между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования;

- модуль кодирования сигналов для формирования сжатого сигнала посредством кодирования остаточного сигнала; и

- модуль хранения для распаковки сжатого сигнала и сохранения распакованного сигнала в качестве восстановленного сигнала пикселов,

- при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы подразделять рассматриваемый блок на множество небольших областей, причем, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и

- модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной, и

- модуль кодирования сигналов сконфигурирован, чтобы кодировать связанную с формированием сигналов прогнозирования информацию, которая указывает способ формирования сигнала прогнозирования небольшой области, и выводить сигнал, полученный посредством кодирования, вместе со сжатым сигналом, и

- при этом устройство прогнозирующего декодирования изображений включает в себя:

- модуль ввода для разделения изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и для ввода данных сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании;

- модуль распаковки для извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала;

- модуль формирования сигналов прогнозирования для извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации;

- модуль распаковки изображений для распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и

- модуль хранения для сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов,

- при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

16. Способ кодирования/декодирования, который исполняется в системе кодирования/декодирования, включающей в себя устройство прогнозирующего кодирования изображений и устройство прогнозирующего декодирования изображений,

- причем способ кодирования/декодирования содержит этапы способа прогнозирующего кодирования изображений, исполняемого посредством устройства прогнозирующего кодирования изображений, и этапы способа прогнозирующего декодирования изображений, исполняемого посредством устройства прогнозирующего декодирования изображений,

- при этом этапы способа прогнозирующего кодирования изображений включают в себя этапы, на которых:

- разделяют входное изображение на множество блоков;

- формируют сигнал прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков;

- формируют остаточный сигнал между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования;

- формируют сжатый сигнал посредством кодирования остаточного сигнала; и

- распаковывают сжатый сигнал и сохраняют распакованный сигнал в качестве восстановленного сигнала пикселов, и

- при этом на этапе формирования сигнала прогнозирования рассматриваемый блок подразделяют на множество небольших областей, причем, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и

- на этапе формирования сигнала прогнозирования сигнал прогнозирования неквадратной небольшой области формируют с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной, и

- на этапе формирования сжатого сигнала кодируют связанную с формированием сигналов прогнозирования информацию, которая указывает способ формирования сигнала прогнозирования небольшой области, и выводят сигнал, полученный посредством кодирования, вместе со сжатым сигналом, и

- при этом этапы способа прогнозирующего декодирования изображений включают в себя этапы, на которых:

- разделяют изображение на множество блоков, дополнительно разделяют блок на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и вводят данные сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании;

- извлекают остаточный сигнал небольшой области из данных сжатых изображений и распаковывают восстановленный остаточный сигнал;

- извлекают связанную с формированием сигналов прогнозирования информацию из данных сжатых изображений и формируют сигнал прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации;

- распаковывают сигнал пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и

- сохраняют распакованный сигнал пикселов как восстановленный сигнал пикселов,

- при этом на этапе формирования сигнала прогнозирования небольшой области сигнал прогнозирования неквадратной небольшой области формируют с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству, способу и программе прогнозирующего кодирования изображений, устройству, способу и программе прогнозирующего декодирования изображений и системе и способу кодирования/декодирования, а более конкретно к прогнозирующему кодированию/декодированию изображений, сопровождаемому внутренним прогнозированием.

Уровень техники

Чтобы эффективно выполнять передачу и накопление данных неподвижных изображений или данных движущихся изображений, используется технология кодирования со сжатием. В случае движущихся изображений широко используются такие способы, как MPEG1-4 или H.261-H.264.

Эти способы кодирования выполняют процесс кодирования/декодирования после разделения изображения, которое должно кодироваться, на множество блоков. В MPEG4 или H.264, чтобы дополнительно повышать эффективность кодирования относительно внутреннего прогнозирующего кодирования, сигнал прогнозирования формируется с использованием сигнала уже восстановленных изображений (который получается посредством распаковки данных сжатых изображений), который является смежным с рассматриваемым блоком в идентичном кадре, и кодируется остаточный сигнал, полученный посредством вычитания сигнала прогнозирования из сигнала изображений рассматриваемого блока. При взаимном прогнозирующем кодировании сигнал прогнозирования формируется посредством выполнения коррекции движения в отношении сигнала уже восстановленных изображений, который является смежным с рассматриваемым блоком, в другом кадре из рассматриваемого блока, и остаточный сигнал, полученный посредством вычитания сигнала прогнозирования из сигнала изображений рассматриваемого блока, кодируется.

В частности, внутреннее прогнозирующее кодирование H.264 задействует способ формирования сигнала прогнозирования посредством экстраполяции значения уже восстановленного пиксела, который является смежным с рассматриваемым блоком, который должен кодироваться, в предварительно определенном направлении. Фиг.15 является принципиальной схемой, иллюстрирующей способ внутреннего прогнозирования, используемый в H.264. На фиг.15(A) блок 1302 представляет рассматриваемый блок, группа пикселов, которая состоит из пикселов A-M (смежных пикселов 1301), которые являются смежными с границей рассматриваемого блока, представляет смежную область, которая соответствует сигналу уже восстановленных изображений в предыдущем процессе. В этом случае из смежных пикселов 1301 уже восстановленные пикселы A-D, которые присутствуют чуть выше рассматриваемого блока 1302, идут вниз, чтобы формировать сигнал прогнозирования. Кроме того, на фиг.15(B) из смежных пикселов 1303 уже восстановленные пикселы I-L, которые присутствуют в левой стороне рассматриваемого блока 1304, идут вправо, чтобы формировать сигнал прогнозирования. Конкретный способ формирования сигнала прогнозирования, например, описывается в патентном документе 1. Как описано выше, получаются разности между сигналом пикселов рассматриваемого блока и 9 сигналами прогнозирования, сформированными посредством способов, как проиллюстрировано на фиг.15(A)-15(I), и способ, имеющий наименьшее значение разности, определяется в качестве оптимального способа прогнозирования. Эти способы экстраполяции могут обобщаться, как проиллюстрировано на фиг.16. Стрелки на фиг.16 указывают направления, в которых идут уже восстановленные пикселы, и номера, описанные для соответствующих направлений, представляют идентификационные номера (которые также называются "режимами прогнозирования"). В этом случае относительно способа формирования сигнала прогнозирования посредством среднего смежных уже восстановленных пикселов предоставляется идентификационный номер "2", как проиллюстрировано на фиг.15(C), и он указывается как "DC" на фиг.16. Т.е. фиг.16 иллюстрирует всего 9 способов, которые включают в себя способ с идентификационным номером "2", который не имеет направления, в котором идут уже восстановленные пикселы (способ формирования сигнала прогнозирования посредством среднего смежных уже восстановленных пикселов), и 8 способов, которые имеют направления, в которых идут уже восстановленные пикселы, как указано посредством стрелок.

Список библиографических ссылок

Патентные документы

Патентный документ 1. Патент США № 6765964

Сущность изобретения

Техническая проблема

В способе формирования сигналов внутреннего прогнозирования в предшествующем уровне техники, тем не менее, квадратные блоки становятся предметом прогноза, и тем самым точность прогнозирования ухудшается относительно пикселов, которые находятся на значительном расстоянии от границы, на которой существуют уже восстановленные пикселы. Например, рассматривается случай, когда сигнал изображений изменяется постепенно в вертикальном направлении, как показано на фиг.15(A). В этом случае относительно пиксела, который присутствует в верхней стороне (например, пиксела, который присутствует в правой стороне смежного пиксела I) рассматриваемого блока 1302, ошибка становится небольшой, даже если пиксел аппроксимирует смежные пикселы A-D, тогда как относительно пиксела, который присутствует внизу (например, пиксела, который присутствует в правой стороне смежного пиксела L) рассматриваемого блока 1302, пиксел находится на значительном расстоянии от смежных пикселов A-D, и тем самым ошибка становится больше, если пиксел аппроксимирует смежные пикселы A-D. Как результат, увеличивается объем кода, и тем самым ухудшается эффективность сжатия. Относительно способов прогнозирования, отличных от способа прогнозирования, как проиллюстрировано на фиг.15(A), показана идентичная тенденция.

Настоящее изобретение осуществлено, чтобы разрешать вышеописанные проблемы, и цель настоящего изобретения заключается в том, чтобы повысить эффективность кодирования посредством повышения точности прогнозирования пикселов, которые находятся на значительном расстоянии от границы рассматриваемого блока.

Решение проблемы

Чтобы разрешать вышеописанные проблемы, устройство прогнозирующего кодирования изображений согласно варианту осуществления настоящего изобретения включает в себя: модуль разделения на области для разделения входного изображения на множество блоков; модуль формирования сигналов прогнозирования для формирования сигнала прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков; модуль формирования остаточных сигналов для формирования остаточного сигнала между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования; модуль кодирования сигналов для формирования сжатого сигнала посредством кодирования остаточного сигнала и модуль хранения для распаковки сжатого сигнала и сохранения распакованного сигнала в качестве восстановленного сигнала пикселов, при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы подразделять рассматриваемый блок на множество небольших областей; по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны.

В устройстве прогнозирующего кодирования изображений согласно варианту осуществления изобретения модуль формирования сигналов прогнозирования может быть сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Кроме того, в устройстве прогнозирующего кодирования изображений согласно варианту осуществления изобретения первая сторона неквадратной небольшой области может контактировать с уже восстановленным пикселом, вторая сторона может не контактировать с уже восстановленным пикселом и модуль формирования сигналов прогнозирования может быть сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Кроме того, в устройстве прогнозирующего кодирования изображений согласно варианту осуществления изобретения модуль кодирования сигналов может быть сконфигурирован, чтобы кодировать связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области, и выводить сигнал, полученный посредством кодирования, вместе со сжатым сигналом.

Чтобы разрешать вышеописанные проблемы, устройство прогнозирующего декодирования изображений согласно варианту осуществления настоящего изобретения включает в себя: модуль ввода для разделения изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и для ввода данных сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании; модуль распаковки для извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала; модуль формирования сигналов прогнозирования для извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации; модуль распаковки изображений для распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и модуль хранения для сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов, при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

В устройстве прогнозирующего декодирования изображений согласно варианту осуществления изобретения первая сторона неквадратной небольшой области может контактировать с уже восстановленным пикселом, а вторая сторона может не контактировать с уже восстановленным пикселом.

В устройстве прогнозирующего декодирования изображений согласно варианту осуществления изобретения модуль формирования сигналов прогнозирования может быть сконфигурирован, чтобы указывать форму небольшой области на основе связанной с формированием сигналов прогнозирования информации и формировать сигнал прогнозирования небольшой области согласно указанной форме небольшой области на основе связанной с формированием сигналов прогнозирования информации.

В устройстве прогнозирующего декодирования изображений согласно варианту осуществления изобретения модуль распаковки может быть сконфигурирован, чтобы распаковывать остаточный сигнал небольшой области в восстановленный остаточный сигнал посредством указания формы небольшой области на основе связанной с формированием сигналов прогнозирования информации и выполнения деквантования и обратного частотного преобразования согласно указанной форме небольшой области.

Изобретение, связанное с устройством прогнозирующего кодирования изображений, как описано выше, может пониматься как изобретение, связанное со способом прогнозирующего кодирования изображений, и изобретение, связанное с программой прогнозирующего кодирования изображений, и может описываться следующим образом.

Способ прогнозирующего кодирования изображений согласно варианту осуществления изобретения является способом прогнозирующего кодирования изображений, который исполняется посредством устройства прогнозирующего кодирования изображений, который включает в себя этапы: разделения входного изображения на множество блоков; формирования сигнала прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков; формирования остаточного сигнала между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования; формирования сжатого сигнала посредством кодирования остаточного сигнала; и распаковки сжатого сигнала и сохранения распакованного сигнала в качестве восстановленного сигнала пикселов, и в котором на этапе формирования сигнала прогнозирования рассматриваемый блок подразделяется на множество небольших областей; по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны.

На этапе формирования сигнала прогнозирования сигнал прогнозирования неквадратной небольшой области может быть сформирован с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Кроме того, первая сторона неквадратной небольшой области может контактировать с уже восстановленным пикселом, вторая сторона может не контактировать с уже восстановленным пикселом, и на этапе формирования сигнала прогнозирования сигнал прогнозирования неквадратной небольшой области может быть сформирован с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Кроме того, на этапе формирования сжатого сигнала связанная с формированием сигналов прогнозирования информация, указывающая способ формирования сигнала прогнозирования небольшой области, может быть кодирована, и сигнал, полученный посредством кодирования, может быть выведен вместе со сжатым сигналом.

Программа прогнозирующего кодирования изображений согласно варианту осуществления настоящего изобретения инструктирует компьютеру функционировать в качестве: модуля разделения на области для разделения входного изображения на множество блоков; модуля формирования сигналов прогнозирования для формирования сигнала прогнозирования относительно сигнала пикселов, который включен в рассматриваемый блок, который должен обрабатываться, из множества блоков; модуля формирования остаточных сигналов для формирования остаточного сигнала между сигналом пикселов рассматриваемого блока и сформированным сигналом прогнозирования; модуля кодирования сигналов для формирования сжатого сигнала посредством кодирования остаточного сигнала; и модуля хранения для распаковки сжатого сигнала и сохранения распакованного сигнала в качестве восстановленного сигнала пикселов, при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы подразделять рассматриваемый блок на множество небольших областей, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны.

Изобретение, связанное с устройством прогнозирующего декодирования изображений, как описано выше, может пониматься как изобретение, связанное со способом прогнозирующего декодирования изображений, и изобретение, связанное с программой прогнозирующего декодирования изображений, и может описываться следующим образом.

Способ прогнозирующего декодирования изображений согласно варианту осуществления изобретения является способом прогнозирующего декодирования изображений, который исполняется посредством устройства прогнозирующего декодирования изображений, который включает в себя этапы: разделения изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и ввода данных сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании; извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала; извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации; распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов, в котором на этапе формирования сигнала прогнозирования небольшой области сигнал прогнозирования неквадратной небольшой области формируется с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Первая сторона неквадратной небольшой области может контактировать с уже восстановленным пикселом, а вторая сторона может не контактировать с уже восстановленным пикселом.

На этапе формирования сигнала прогнозирования небольшой области форма небольшой области может указываться на основе связанной с формированием сигналов прогнозирования информации и сигнал прогнозирования небольшой области может быть сформирован согласно указанной форме небольшой области на основе связанной с формированием сигналов прогнозирования информации.

На этапе распаковки восстановленного остаточного сигнала остаточный сигнал небольшой области может быть распакован в восстановленный остаточный сигнал посредством указания формы небольшой области на основе связанной с формированием сигналов прогнозирования информации и выполнения деквантования и обратного частотного преобразования согласно указанной форме небольшой области.

Программа прогнозирующего декодирования изображений согласно варианту осуществления настоящего изобретения инструктирует компьютеру функционировать в качестве: модуля ввода для разделения изображения на множество блоков, дополнительного разделения блока на множество небольших областей, при этом, по меньшей мере, одна из небольших областей является неквадратной и длина первой стороны неквадратной небольшой области превышает длину второй стороны, которая отличается от первой стороны, и для ввода данных сжатых изображений, которые включают в себя остаточный сигнал, сформированный посредством прогнозирующего кодирования сигнала пикселов, включенного в небольшую область, и связанную с формированием сигналов прогнозирования информацию, указывающую способ формирования сигнала прогнозирования небольшой области при прогнозирующем кодировании; модуля распаковки для извлечения остаточного сигнала небольшой области из данных сжатых изображений и распаковки восстановленного остаточного сигнала; модуля формирования сигналов прогнозирования для извлечения связанной с формированием сигналов прогнозирования информации из данных сжатых изображений и формирования сигнала прогнозирования небольшой области на основе связанной с формированием сигналов прогнозирования информации; модуля распаковки изображений для распаковки сигнала пикселов небольшой области посредством добавления восстановленного остаточного сигнала к сигналу прогнозирования небольшой области; и модуля хранения для сохранения распакованного сигнала пикселов как восстановленного сигнала пикселов, при этом модуль формирования сигналов прогнозирования сконфигурирован, чтобы формировать сигнал прогнозирования неквадратной небольшой области с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной.

Дополнительно, настоящее изобретение относится к системе кодирования/декодирования и способу кодирования/декодирования и может описываться следующим образом.

Система кодирования/декодирования согласно варианту осуществления изобретения может быть сконфигурирована, чтобы включать в себя вышеописанное устройство прогнозирующего кодирования изображений и вышеописанное устройство прогнозирующего декодирования изображений.

Способ кодирования/декодирования согласно варианту осуществления изобретения может быть способом кодирования/декодирования, который исполняется посредством системы кодирования/декодирования, включающей в себя устройство прогнозирующего кодирования изображений и устройство прогнозирующего декодирования изображений, который включает в себя этапы вышеописанного способа прогнозирующего кодирования изображений, который исполняется посредством устройства прогнозирующего кодирования изображений, и этапы вышеописанного способа прогнозирующего декодирования изображений, который исполняется посредством устройства прогнозирующего декодирования изображений.

Полезные эффекты изобретения

Согласно настоящему изобретению, поскольку предотвращается возникновение пикселов небольшой области, которая находится на значительном расстоянии от сигнала уже восстановленных пикселов, а пикселы небольшой области, которая находится близко к сигналу уже восстановленных пикселов, прогнозируются, может быть сформирован сигнал прогнозирования, имеющий более высокую точность, и остаточный сигнал прогнозирования небольшой области может поддерживаться на низком уровне, чтобы повышать эффективность кодирования.

Другими словами, когда рассматриваемый блок разделяется на небольшие области, первая сторона блока, которая контактирует с уже восстановленным пикселом, задается длинней второй стороны, которая не контактирует с уже восстановленным пикселом, и сигнал прогнозирования небольшой области формируется с использованием сигнала уже восстановленного пиксела, который контактирует с первой стороной. Соответственно, пиксел небольшой области находится близко к сигналу уже восстановленных пикселов, и тем самым может быть сформирован сигнал прогнозирования с небольшой ошибкой.

Кроме того, поскольку формы разделения небольших областей и способ квантования/способ частотного преобразования остаточного сигнала небольшой области определяются посредством связанной с формированием сигналов прогнозирования информации, которая указывает способ формирования сигнала прогнозирования, необязательно отправлять информацию указания для идентификации форм разделения небольших областей и способа квантования/способа частотного преобразования в приемную сторону. На приемной стороне формы разделения небольших областей и способ квантования/способ частотного преобразования указываются посредством связанной с формированием сигналов прогнозирования информации, и тем самым процесс декодирования/восстановления может выполняться с оптимальным деквантованием/обратным частотным преобразованием, которые совпадают с таковыми на передающей стороне. Как результат, необязательно добавлять вспомогательную информацию за исключением связанной с формированием сигналов прогнозирования информации, и тем самым объем кода дополнительно может сокращаться.

Краткое описание чертежей

Фиг.1 является блок-схемой, иллюстрирующей конфигурацию устройства прогнозирующего кодирования изображений согласно варианту осуществления изобретения.

Фиг.2 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего кодирования изображений согласно варианту осуществления изобретения.

Фиг.3 является принципиальной схемой, иллюстрирующей первый способ разделения небольшой области и способ формирования сигнала прогнозирования небольшой области.

Фиг.4 является принципиальной схемой, иллюстрирующей второй способ разделения небольшой области и способ формирования сигнала прогнозирования небольшой области.

Фиг.5 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего кодирования изображений в случае, если присутствует множество форм разделения.

Фиг.6 является принципиальной схемой, иллюстрирующей способ разделения небольшой области и способ формирования сигнала прогнозирования небольшой области в случае, если присутствует множество форм разделения.

Фиг.7 является принципиальной схемой, иллюстрирующей третий способ разделения небольшой области и способ формирования сигнала прогнозирования небольшой области.

Фиг.8 является блок-схемой, иллюстрирующей конфигурацию устройства прогнозирующего декодирования изображений согласно варианту осуществления изобретения.

Фиг.9 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего декодирования изображений согласно варианту осуществления изобретения.

Фиг.10 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего декодирования изображений в случае, если присутствует множество форм разделения.

Фиг.11 является схемой аппаратной конфигурации компьютера для исполнения программы, записанной на носителе записи.

Фиг.12 является видом в перспективе компьютера по фиг.11.

Фиг.13 является таблицей, представляющей соответствующую взаимосвязь между режимом прогнозирования и способом разделения рассматриваемого блока.

Фиг.14 является схемой, иллюстрирующей конфигурацию системы кодирования/декодирования согласно варианту осуществления изобретения.

Фиг.15 является принципиальной схемой, иллюстрирующей способ формирования сигнала прогнозирования рассматриваемого блока в предшествующем уровне техники.

Фиг.16 является принципиальной схемой, иллюстрирующей случай, когда множество способов для формирования сигнала прогнозирования рассматриваемого блока в предшествующем уровне техники обобщается в один способ.

Описание вариантов осуществления

Далее предпочтительные варианты осуществления настоящего изобретения описываются со ссылкой на фиг.1-14.

Описание устройства прогнозирующего кодирования изображений

Фиг.1 является блок-схемой, иллюстрирующей конфигурацию устройства 100 прогнозирующего кодирования изображений согласно варианту осуществления изобретения. Как проиллюстрировано на фиг.1, устройство 100 прогнозирующего кодирования изображений включает в себя терминал 101 ввода, делитель 102 на блоки, формирователь 103 сигналов прогнозирования, запоминающее устройство 104 кадров, модуль 105 вычитания, преобразователь 106, квантователь 107, деквантователь 108, обратный преобразователь 109, сумматор 110, энтропийный кодер 111 и терминал 112 вывода.

В дальнейшем в этом документе описывается работа устройства 100 прогнозирующего кодирования изображений, сконфигурированного так, как указано выше. Сигнал движущихся изображений, который состоит из множества листов изображения, вводится в терминал 101 ввода. Изображение, которое должно кодироваться, разделяется на множество областей через делитель 102 на блоки. В этом варианте осуществления в качестве примера изображение разделяется на блоки пикселов 8×8, а также может быть разделено на другие размеры или формы блоков. Затем сигналы прогнозирования формируются относительно областей, которые должны кодироваться (в дальнейшем называемых "рассматриваемыми блоками"). В этом варианте осуществления два способа прогнозирования, т.е. "взаимное прогнозирование" и "внутреннее прогнозирование", могут использоваться.

При их взаимном прогнозировании восстановленное изображение, которое ранее было кодировано и затем распаковано, рассматривается в качестве опорного изображения, и информация движения, которая предоставляет сигнал прогнозирования, имеющий наименьшую ошибку относительно рассматриваемого блока, получается из опорного изображения. Этот процесс называется обнаружением движения. Кроме того, согласно обстоятельствам рассматриваемый блок может подразделяться и способ взаимного прогнозирования может быть определен относительно подразделенных небольших областей. В этом случае из различных способов разделения способ разделения, имеющий наилучшую эффективность и соответствующую информацию движения, определяется относительно всего рассматриваемого блока. В варианте осуществления изобретения вышеописанный процесс выполняется посредством формирователя 103 сигналов прогнозирования и рассматриваемый блок и опорное изображение вводятся в формирователь 103 сигналов прогнозирования через линию L102 и линию L104 соответственно. В качестве опорных изображений используются множество изображений, которые кодированы и затем распакованы ранее. В частности, этот способ является идентичным любому из MPEG-2, 4 и H.264 в предшествующем уровне техники. Информация движения и способ разделения небольших областей, которые определены так, как описано выше, отправляются в энтропийный кодер 111 через линию L112, чтобы кодироваться, и затем выводятся из терминала 112 вывода. Формирователь 103 сигналов прогнозирования получает сигнал опорных изображений из запоминающего устройства 104 кадров на основе способа разделения небольших областей и информации движения, которая соответствует соответствующим небольшим областям, и формирует сигнал прогнозирования. Сигнал взаимного прогнозирования, сформированный так, как указано выше, отправляется в модуль 105 вычитания через линию L103.

С другой стороны, при внутреннем прогнозировании сигнал внутреннего прогнозирования формируется с использованием значения уже восстановленного пиксела, который является пространственно смежным с рассматриваемым блоком. В частности, формирователь 103 сигналов прогнозирования получает сигнал уже восстановленного пиксела, который присутствует в идентичном кадре, из запоминающего устройства 104 кадров, определяет способ внутреннего прогнозирования, который формирует сигнал прогнозирования с помощью предварительно определенного способа, и формирует сигнал внутреннего прогнозирования на основе способа прогнозирования. С другой стороны, информация, касающаяся способа прогнозирования, отправляется в энтропийный кодер 11 через линию L112, чтобы кодироваться, и затем выводится из терминала 112 вывода. Сигнал внутреннего прогнозирования, сформированный так, как указано выше, отправляется в модуль 105 вычитания. Подробности формирования сигналов внутреннего прогнозирования в формирователе 103 сигналов прогнозирования описываются ниже.

Либо сигналы взаимного прогнозирования, либо сигналы внутреннего прогнозирования, полученные так, как описано выше, которые имеют наименьшую ошибку, выбираются и отправляются в модуль 105 вычитания. Тем не менее, ранее отсутствовало изображение относительно первого листа изображения, все рассматриваемые блоки обрабатываются посредством внутреннего прогнозирования. В этом случае способ формирования сигнала внутреннего прогнозирования, которое описывается в дальнейшем, может применяться к кодированию/декодированию неподвижного изображения, к примеру фотографии и т.п.

Модуль 105 вычитания вычитает сигнал прогнозирования (через линию L103) из сигнала рассматриваемого блока (через линию L102), чтобы формировать остаточный сигнал. Этот остаточный сигнал подвергается дискретному косинусному преобразованию посредством преобразователя 106, и его коэффициенты квантуются посредством квантователя 107. Наконец, квантованные коэффициенты преобразования кодируются посредством энтропийного кодера 111 и выводятся из терминала 112 вывода вместе с информацией, касающейся способа прогнозирования.

Чтобы выполнять внутреннее прогнозирование или взаимное прогнозирование следующего рассматриваемого блока, сжатый сигнал рассматриваемого блока обратно обрабатывается так, что он распакуется. Т.е. квантованные коэффициенты преобразования деквантуются посредством деквантователя 108 и затем подвергаются обратному дискретному косинусному преобразованию посредством обратного преобразователя 109, чтобы распаковывать остаточный сигнал. Распакованный остаточный сигнал и сигнал прогнозирования, отправляемый из линии L103, суммируются посредством сумматора 110, и сигнал рассматриваемого блока восстанавливается и сохраняется в запоминающем устройстве 104 кадров. В этом варианте осуществления, несмотря на то что используются преобразователь 106 и обратный преобразователь 109, вместо этих преобразователей может использоваться другой процесс преобразования. Согласно обстоятельствам могут опускаться преобразователь 106 и обратный преобразователь 109.

Описание способа прогнозирующего кодирования изображений

Фиг.2 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего кодирования изображений согласно варианту осуществления изобретения. В частности, как описано выше, фиг.2 иллюстрирует процесс для формирования сигнала внутреннего прогнозирования для каждого блока, разделенного на блоки изображения. Формирователь 103 сигналов прогнозирования на фиг.1 формирует сигнал прогнозирования изображения с помощью следующего способа.

На этапе 202 по фиг.2 делитель 102 на блоки подразделяет рассматриваемый блок, имеющий N×N пикселов, на множество небольших областей. В этом варианте осуществления, несмотря на то что число N равно 8 (N=8), оно может быть равно 16 (N=16) или другому целому числу. Небольшая область показывается как имеющая неквадратную форму. В этом варианте осуществления рассматриваемый блок разделяется на M (здесь, например, четыре) прямоугольников, каждый из которых состоит из N(горизонтальных)×N/4(вертикальных) пикселов, или M (здесь, например, четыре) прямоугольников, каждый из которых состоит из N/4(горизонтальных)×N(вертикальных) пикселов. Этот способ разделения проиллюстрирован на фиг.3(A) и 3(C). На фиг.3(A) одна сетка представляет один пиксел. Группами пикселов 302-305, окруженными посредством пунктирных линий, являются пикселы рассматриваемого блока, а заштрихованной группой пикселов 301 является группа уже восстановленных пикселов, которая является смежной с рассматриваемым блоком. Сигнал пикселов группы уже восстановленных пикселов является сигналом пикселов, который кодирован и затем распакован ранее, и сохраняется в запоминающем устройстве 104 кадров. На фиг.3(A) рассматриваемый блок разделяется на четыре небольших области 302-305, каждая из которых является горизонтально длинной и состоит из 8(горизонтальных×2(вертикальных) пикселов. На фиг.3(C) рассматриваемый блок разделяется на четыре небольших области 307-310, каждая из которых является вертикально длинной и состоит из 2(горизонтальных)×8(вертикальных) пикселов. В качестве других способов разделения, например, рассматриваемый блок может быть разделен на две небольшие области, каждая из которых является горизонтально длинной и состоит из N×N/2 пикселов, или две небольших области, каждая из которых является вертикально длинной и состоит из N/2×N пикселов.

Затем счетчик k для идентификации небольших областей, которые должны обрабатываться, первоначально задается равным "0" (этап 203).

Затем процессы на этапах 204-209, которые должны описываться ниже, выполняются относительно соответствующих небольших областей. Сначала формирователь 103 сигналов прогнозирования формирует множество вариантов сигналов прогнозирования относительно небольшой области 302 (нулевой небольшой области (k=0)) по фиг.3(A) (этап 204). В этом варианте осуществления сигнал прогнозирования формируется посредством экстраполяции уже восстановленного пиксела, который контактирует с рассматриваемой небольшой областью. В частности, в группе уже восстановленных пикселов 301 используется уже восстановленный пиксел, который контактирует с верхней и левой сторонами небольшой области 302. В качестве способов прогнозирования используется 9 способов, включающих в себя способ экстраполяции среднего значения DC уже восстановленных пикселов, проиллюстрированный на фиг.3(B), и способ продвижения и экстраполяции уже восстановленных пикселов в направлениях, описанных как 0-8. Несмотря на то что конкретный способ вычисления является идентичным способу, проиллюстрированному на фиг.15, формируется только 8×2 значений. На следующем этапе 205 формирователь 103 сигналов прогнозирования определяет небольшую область 302, имеющую наименьшую ошибку из 9 вариантов сигналов прогнозирования, полученных посредством 9 способов, как описано выше, в качестве сигнала прогнозирования и определяет способ формирования определенного сигнала прогнозирования в качестве режима прогнозирования (в дальнейшем называемого "связанной с формированием сигналов прогнозирования информацией"). На следующем этапе 206 модуль 105 вычитания получает разность между сигналом пикселов небольшой области 302 и сигналом прогнозирования небольшой области 302. Преобразователь 106 частотно преобразует полученный остаточный сигнал, и квантователь 107 квантует преобразованный остаточный сигнал. Энтропийный кодер 111 выполняет энтропийное кодирование квантованного сигнала с помощью кода переменной длины или арифметического кода. Затем на следующем этапе 207 энтропийно кодированный остаточный сигнал и связанная с формированием сигналов прогнозирования информация, полученная на этапе 205, выводятся из терминала 112 вывода.

Кодированный сигнал небольшой области 302 используется для того, чтобы прогнозировать небольшую область 303, которая должна обрабатываться следующей. Вследствие этого остаточный сигнал небольшой области 302 деквантуется посредством деквантователя 108, обратно преобразуется по частоте посредством обратного преобразователя 109 и затем добавляется к сигналу прогнозирования, полученному так, как указано выше, посредством сумматора 110, чтобы формировать восстановленный сигнал небольшой области 302 (этап 208). Затем, чтобы формировать сигнал прогнозирования следующей небольшой области 303, восстановленный сигнал небольшой области 302 временно сохраняется в запоминающем устройстве 104 кадров (этап 209), и затем счетчик k прирастает на "1" (этап 210).

Процессы на вышеописанных этапах 204-210 выполняются относительно следующей небольшой области 303 (т.е. первой небольшой области (k=1)). Из уже восстановленных пикселов небольшой области 302, которая присутствует чуть выше небольшой области 303, и пикселов, которые принадлежат группе пикселов 301 на фиг.3(A), пиксел, который находится просто на левой стороне небольшой области 303, используется в качестве уже восстановленного пиксела, который используется в это время. Идентичным образом оптимальный способ формирования сигнала прогнозирования определяется из 9 режимов, проиллюстрированных на фиг.3(B). После этого процессы на этапах 204-210 выполняются по порядку относительно второй и третьей небольших областей (k=2, 3) (т.е. процессы выполняются до тех пор, пока k не становится "4" (k=4), т.е. равно M, и определяется то, что k не удовлетворяет условию k<M на этапе 211).

После этого процессы на вышеописанных этапах 202-211 исполняются относительно соответствующих рассматриваемых блоков, и когда определяется то, что обработка всех рассматриваемых блоков завершена, на этапе 212 процесс по фиг.2 заканчивается.

С другой стороны, в случае небольшой области, которая является вертикально длинной, как проиллюстрировано на фиг.3(C), прогнозирующее кодирование первоначально выполняется относительно небольшой области 307 идентичным образом. В это время, когда сигнал прогнозирования формируется, имеется уже восстановленный пиксел, который контактирует с левой стороной и верхней стороной небольшой области 307 группы уже восстановленных пикселов 306. После этого прогнозирующее кодирование выполняется в порядке небольших областей 308, 309 и 310, и сигналы прогнозирования формируются с использованием уже восстановленных пикселов небольших областей 307, 308 и 309 в соответствующих случаях.

В настоящем изобретении, поскольку разделение небольших областей выполняется так, что небольшая область имеет продолговатую форму, которая контактирует с уже восстановленным пикселом, корреляция между сформированным сигналом прогнозирования и сигналом пикселов, который должен кодироваться, становится выше, и тем самым разность между сигналом прогнозирования и рассматриваемым сигналом может поддерживаться на низком уровне, чтобы уменьшать объем кодирования.

Фиг.4 иллюстрирует способ разделения небольших областей и второй способ формирования сигналов прогнозирования небольших областей согласно варианту осуществления изобретения. Несмотря на то что способ разделения небольших областей на фиг.4 является идентичным способу на фиг.3, способ формирования сигналов прогнозирования ограничивается согласно соответствующим способам разделения. На фиг.4(A) рассматриваемый блок разделяется на небольшие области 402-405, каждая из которых является горизонтально длинной. Сигналы прогнозирования для небольших областей 402-405, как проиллюстрировано на фиг.4(B), формируются посредством способа экстраполяции в убывающем направлении от сигнала уже восстановленных пикселов, который присутствует в верхней стороне небольших областей. Помимо этого среднее значение пикселов, которые присутствуют в верхней стороне небольших областей, может использоваться (на фиг.4(B) среднее значение записывается как "DC(Ver)"). С другой стороны, в случае вертикально длинной формы разделения, как проиллюстрировано на фиг.4(C), сигналы прогнозирования для небольших областей 407-410, как проиллюстрировано на фиг.4(D), формируются посредством способа экстраполяции в направлении вправо от сигнала уже восстановленных пикселов, который присутствует в направлении влево небольших областей. Помимо этого среднее значение пикселов, которые присутствуют в направлении влево от небольших областей, может использоваться (на фиг.4(D) среднее значение записывается как "DC(Hor)"). Т.е. в случае разделения в горизонтальном направлении пикселы экстраполируются в вертикальном направлении, в то время как в случае разделения в вертикальном направлении пикселы экстраполируются в горизонтальном направлении. Другими словами, сигналы прогнозирования формируются с использованием уже восстановленных пикселов, которые контактируют с границей длинной стороны небольшой области.

Посредством формирования разделения небольшой области и сигналов прогнозирования в вышеописанных формах рассматриваемая небольшая область постоянно контактирует с уже восстановленными пикселами, и тем самым сигналы прогнозирования, имеющие высокую корреляцию с сигналами рассматриваемой небольшой области, формируются. Соответственно, разность может поддерживаться на низком уровне и объем кода может уменьшаться.

Пример переключения и кодирования множества форм в качестве форм небольших областей

Как описано выше, фиг.2, 3 и 4 иллюстрирует вариант осуществления в случае, если формы небольших областей постоянно являются идентичными для всего изображения. Тем не менее, неважно, что формы небольших областей постоянно являются идентичными для всего изображения. В дальнейшем в этом документе в качестве формы небольшой области описывается вариант осуществления переключения между множеством форм согласно свойству сигналов и кодирования. Фиг.5 является блок-схемой последовательности операций, иллюстрирующей способ прогнозирующего кодирования изображений в случае, если присутствует множество форм разделения.

Сначала на этапе 502 по фиг.5 счетчик p для идентификации способов разделения первоначально задается равным "0". На следующем этапе 503 рассматриваемый блок, имеющий N×N пикселов, подразделяется на множество небольших областей согласно способу разделения p-й небольшой области (первоначально способу разделения нулевой небольшой области). В этом варианте осуществления Q типов (здесь, например, три типа) способов разделения используются. Фиг.6 иллюстрирует три типа способов разделения и способ формирования сигнала прогнозирования, используемого для каждого способа разделения. Фиг.6(A) показывает способ разделения рассматриваемого блока на четыре квадратных небольших области 602-605, который соответствует p=0. Фиг.6(C) показывает способ разделения рассматриваемого блока на четыре горизонтально длинных небольших области 607-610, который соответствует p=1. Фиг.6(E) показывает способ разделения рассматриваемого блока на четыре вертикально длинных небольших области 612-615, который соответствует p=2. В этом случае вместо способов фиг.6(C) и 6(E) рассматриваемый блок может быть разделен на две горизонтально длинных небольших области или две вертикально длинных небольших области. В этом варианте осуществления относительно способа разделения по фиг.6(A) сигнал прогнозирования формируется в способе прогнозирования (DC-режим, режимы 3 и 4), как проиллюстрировано на фиг.6(B). Относительно способа разделения по фиг.6(C) сигнал прогнозирования формируется в способе прогнозирования (режимы 0, 5 и 7), как проиллюстрировано на фиг.6(D). Относительно способа разделения по фиг.6(E) сигнал прогнозирования формируется в способе прогнозирования (режимы 1, 6 и 8), как проиллюстрировано на фиг.6(F).

На следующем этапе 504 сигнал прогнозирования соответствующих небольших областей 602-605 формируется с использованием способа прогнозирования (способа экстраполяции), который выделяется способу разделения p-й (p=0) небольшой области. Способ экстраполяции в случае p=0 соответствует DC-режиму, режимам 3 и 4, как указано на фиг.6(B). В этом варианте осуществления, поскольку общепринятый способ используется относительно всех небольших областей, первый сигнал прогнозирования для четырех небольших областей формируется в первом режиме (DC-режиме), второй сигнал прогнозирования для четырех небольших областей формируется во втором режиме (режиме 3) и третий сигнал прогнозирования для четырех небольших областей формируется в третьем режиме (режиме 4). Относительно 3 сигналов прогнозирования, сформированных так, как описано выше, получаются разности между сигналами прогнозирования и сигналом пикселов рассматриваемого блока. Способ прогнозирования (способ экстраполяции), который предоставляет наименьшую из трех полученных разностей, определяется, и сумма абсолютных значений разностей (SAD) (т.е. сумма абсолютных значений разностей четырех небольших областей) в случае вышеописанного способа прогнозирования рассматривается в качестве "SAD величины ошибки". В этом случае, несмотря на то что необходимо последовательно формировать сигналы прогнозирования соответствующих небольших областей с использованием восстановленного сигнала предыдущей небольшой области, на этапе 504 восстановленный сигнал небольшой области аппроксимируется в простом способе. Т.е. разность между небольшой областью и сигналом прогнозирования деквантуется после квантования, и сигнал прогнозирования добавляется к остаточному сигналу, который включает в себя ошибку квантования, чтобы аппроксимировать восстановленный сигнал небольшой области. Сигнал прогнозирования следующей небольшой области формируется с использованием восстановленного сигнала, аппроксимированного так, как указано выше.

На следующем этапе 505 SAD величины ошибки сравнивается с величиной ошибки посредством другого способа разделения, и если SAD величины ошибки становится меньшей, чем величина ошибки посредством другого способа разделения, минимальное значение SAD и оптимальный способ прогнозирования обновляются (этап 506).

После этого процессы на этапах 503-506 повторяются Q раз, что является числом типов способов разделения. Т.е. после выполнения процессов в случае p=0, 1 и 2 определяется оптимальный способ формирования сигналов прогнозирования (этапы 507 и 508).

В соответствии с оптимальным способом формирования сигналов прогнозирования, определенным так, как описано выше, рассматриваемый блок подразделяется на M (в этом варианте осуществления M=4) неквадратных небольших областей, которые контактируют друг с другом (этап 509).

Затем счетчик k для идентификации небольшой области, которая должна обрабатываться, первоначально задается равным "0" (этап 510).

Затем процессы на следующих этапах 511-514 выполняются относительно соответствующих небольших областей. Сначала на этапе 511 формирователь 103 сигналов прогнозирования формирует сигнал прогнозирования в соответствии с оптимальным способом формирования сигналов прогнозирования относительно k-й небольшой области (рассматриваемой небольшой области) из разделенных небольших областей. Затем модуль 105 вычитания получает разность между сигналом пикселов рассматриваемой небольшой области и сигналом прогнозирования рассматриваемой небольшой области, преобразователь 106 частотно преобразует полученный остаточный сигнал и квантователь 107 квантует преобразованный остаточный сигнал так, что он совпадает с формой разделения рассматриваемой небольшой области. Затем энтропийный кодер 111 выполняет энтропийное кодирование квантованного сигнала. Т.е. в качестве частотного преобразования так, что оно совпадает с формой разделения рассматриваемой небольшой области, например, выполняется частотное преобразование 4×4 в случае, если рассматриваемая небольшая область разделяется как 4×4 пикселов, выполняется частотное преобразование 8×2 в случае, если рассматриваемая небольшая область разделяется как 8×2 пикселов, и выполняется частотное преобразование 2×8 в случае, если рассматриваемая небольшая область разделяется как 2×8 пикселов. С другой стороны, квантование выполняется посредством весовых коэффициентов наклона согласно форме разделения.

На следующем этапе 512 остаточный сигнал, получаемый посредством кодирования и связанной с формированием сигналов прогнозирования информации, которая указывает оптимальный способ прогнозирования, выводится из терминала 112 вывода.

Кодированный сигнал рассматриваемой небольшой области, как описано выше, используется для прогноза следующей небольшой области. Вследствие этого остаточный сигнал рассматриваемой небольшой области деквантуется посредством деквантователя 108, обратно преобразуется по частоте посредством обратного преобразователя 109 и затем добавляется к сигналу прогнозирования, полученному так, как указано выше, посредством сумматора 110, чтобы формировать восстановленный сигнал рассматриваемой небольшой области (этап 513). Затем, чтобы формировать сигнал прогнозирования следующей небольшой области, восстановленный сигнал рассматриваемой небольшой области временно сохраняется в запоминающем устройстве 104 кадров (этап 514). После этого счетчик k прирастает на "1" (этап 515).

Процессы на вышеописанных этапах 511-515 выполняются относительно следующей рассматриваемой небольшой области (т.е. первой небольшой области (k=1)). После этого процессы на этапах 511-515 выполняются по порядку относительно второй и третьей небольших областей (k=2, 3) (т.е. процессы выполняются до тех пор, пока k не становится "4" (k=4), т.е. равно M, и определяется то, что k не удовлетворяет условию k<M, на этапе 516).

После этого процессы на вышеописанных этапах 502-516 исполняются относительно соответствующих рассматриваемых блоков, и когда определяется то, что обработка всех рассматриваемых блоков завершена на этапе 517, процесс по фиг.5 заканчивается.

В этом варианте осуществления связанная с формированием сигналов прогнозирования информация выводится в качестве управляющей информации вместе с остаточным сигналом, полученным посредством кодирования. Тем не менее, следует отметить, что информация о способе разделения или форме рассматриваемого блока и информация для обозначения способа частотного преобразования или способа квантования не выводится. Это обусловлено тем, что способ разделения рассматриваемого блока определяется на основе связанной с формированием сигналов прогнозирования информации и, соответственно, способ частотного преобразования или способ квантования может быть автоматически определен. Например, если режим прогнозирования является одним из режима 0, режима 5 и режима 7 на фиг.6(C) и 6(D), может быть определено то, что небольшая область в рассматриваемом блоке является горизонтально длинной, и тем самым способ частотного преобразования или способ квантования определяется относительно горизонтально длинной небольшой области. Соответственно, необязательно отправлять вспомогательную информацию за исключением связанной с формированием сигналов прогнозирования информации.

Кроме того, в этом варианте осуществления оптимальный способ разделения и способ формирования сигналов прогнозирования согласно сигналу изображений могут использоваться, и тем самым эффективность кодирования может быть дополнительно повышена. Например, относительно четного сигнала, амплитуда которого не изменяется значительно, рассматриваемый блок разделяется так, что небольшая область становится квадратной, и прогноз выполняется посредством среднего значения соседних уже восстановленных пикселов. Кроме того, в случае если сигнал изменяется в вертикальном направлении, рассматриваемый блок разделяется на горизонтально длинные небольшие области, как проиллюстрировано на фиг.6(C), и соседние уже восстановленные пикселы экстраполируются в вертикальном направлении. В случае если сигнал изменяется в горизонтальном направлении, рассматриваемый блок разделяется на вертикально длинные небольшие области, как проиллюстрировано на фиг.6(E), и соседние уже восстановленные пикселы экстраполируются в горизонтальном направлении. Соответственно, пикселы рассматриваемой небольшой области постоянно аппроксимируют уже восстановленные пикселы, и тем самым сигнал прогнозирования, имеющий высокую корреляцию относительно сигнала рассматриваемой небольшой области, может быть сформирован. Соответственно, объем кодирования может быть сокращен посредством поддержания разности на низком уровне.

В дополнение к квадратной небольшой области может задействоваться способ разделения на блоки, как проиллюстрировано на фиг.7. Несмотря на то что группа 701 пикселов на фиг.7 соответствует уже восстановленным пикселам, рассматриваемый блок разделяется на небольшие области так, что небольшие области имеют форму (форму перевернутого L) согласно группе 701 пикселов. Если так, в небольшой области 702 длина сторон 702a и 702b, которые не контактируют с уже восстановленными пикселами, соответствует одному пикселу и тем самым значительно сокращается, и сторона, которая контактирует с уже восстановленными пикселами, может удлиняться. В этом случае прогнозное значение пиксела, который является смежным с уже восстановленными пикселами, формируется с использованием уже восстановленных пикселов и тем самым сигнал, имеющий очень высокую корреляцию, может быть сформирован. Идентичным образом в небольшой области 703 сигнал прогнозирования, имеющий высокую корреляцию с уже восстановленными пикселами, может быть сформирован на основе восстановленного сигнала небольшой области 702. В это время в примере по фиг.7 квадратная небольшая область 705 присутствует и квадратная небольшая область и неквадратная небольшая область сосуществуют.

Описание устройства прогнозирующего декодирования изображений

Далее описывается устройство/способ прогнозирующего декодирования изображений согласно варианту осуществления изобретения. Фиг.8 является блок-схемой, иллюстрирующей конфигурацию устройства 800 прогнозирующего декодирования изображений согласно варианту осуществления изобретения. Как проиллюстрировано на фиг.8, устройство 800 прогнозирующего декодирования изображений включает в себя входной терминал 801, анализатор 802 данных, деквантователь 803, обратный преобразователь 804, сумматор 805, формирователь 808 сигналов прогнозирования, запоминающее устройство 807 кадров и выходной терминал 806. Из них анализатор 802 данных, деквантователь 803 и обратный преобразователь 804 соответствуют "модулю декодирования", описанному в формуле изобретения. Тем не менее, другой модуль декодирования, помимо того, как описано выше, может использоваться и обратный преобразователь 804 может опускаться.

В дальнейшем в этом документе описывается работа устройства прогнозирующего декодирования изображений, сконфигурированного так, как указано выше. Сжатые данные, кодированные со сжатием посредством вышеописанного способа в устройстве прогнозирующего кодирования изображений, вводятся из входного терминала 801. Эти сжатые данные включают в себя остаточный сигнал, полученный посредством прогнозирующего кодирования рассматриваемого блока, который получается посредством разделения изображения на множество блоков, и информации, связанной с формированием сигнала прогнозирования. Из них в качестве информации, связанной с формированием сигнала прогнозирования, как проиллюстрировано на фиг.16, включается информация любого из 9 режимов, включающих в себя DC-режим, который является способом формирования сигнала прогнозирования посредством среднего значения соседних уже восстановленных пикселов, и режимы 0, 1, 3, 4, 5, 6, 7 и 8, которые являются способами формирования сигнала прогнозирования посредством продвижения и экстраполяции уже восстановленных пикселов в предварительно определенных направлениях.

Анализатор 802 данных извлекает квантованные коэффициенты преобразования (коэффициенты преобразования, полученные посредством квантования остаточного сигнала рассматриваемого блока), информацию, связанную с формированием сигнала прогнозирования, и параметры квантования из входных сжатых данных. Квантованные коэффициенты преобразования и параметры квантования выводятся в деквантователь 803 через линию L802. Деквантователь 803 обратно квантует квантованные коэффициенты преобразования на основе параметров квантования, и обратный преобразователь 804 выполняет обратное дискретное косинусное преобразование результата. Остаточный сигнал, распакованный так, как указано выше, отправляется в сумматор 805 через линию L804. Вышеописанные процессы выполняются для каждой небольшой области, включенной в рассматриваемый блок, и подробности этого описываются ниже.

С другой стороны, информация, связанная с формированием сигнала прогнозирования, отправляется в формирователь 808 сигналов прогнозирования через линию L802b. Формирователь 808 сигналов прогнозирования получает опорный сигнал из запоминающего устройства 807 кадров на основе информации, связанной с формированием сигнала прогнозирования, и формирует сигнал прогнозирования в способе, который должен описываться ниже. Сигнал прогнозирования отправляется в сумматор 805 через линию L808, и сумматор 805 добавляет сигнал прогнозирования к распакованному остаточному сигналу, чтобы восстанавливать сигнал рассматриваемого блока, и выводит восстановленный сигнал рассматриваемого блока наружу через линию L805 и сохраняет восстановленный сигнал рассматриваемого блока в запоминающем устройстве 807 кадров одновременно.

Описание способа прогнозирующего декодирования изображений

Далее с использованием фиг.9 описывается процесс на основе способа прогнозирующего декодирования изображений согласно варианту осуществления изобретения. На этапе 902 по фиг.9 сжатые данные вводятся, и на следующем этапе 903 анализатор 802 данных выполняет энтропийное декодирование сжатых данных, чтобы извлекать квантованные коэффициенты преобразования (коэффициенты преобразования, полученные посредством квантования остаточного сигнала рассматриваемого блока), параметры квантования и связанную с формированием сигналов прогнозирования информацию. Здесь рассматриваемые блоки, которые должны быть декодированы, разделяются идентичным способом, и, как указано в любой из фиг.3(A), 3(C) и 7, рассматриваемый блок разделяется на множество небольших областей, которые контактируют друг с другом. Небольшая область имеет продолговатую форму так, чтобы существенно контактировать с уже восстановленными пикселами. Следующие процессы декодирования/восстановления (этапы 904-908) последовательно выполняются в единицах небольших областей. Несмотря на то что описание опускается на фиг.9, чтобы последовательно выполнять процессы декодирования/восстановления (этапы 904-908) в единицах небольших областей, порядок обработки определяется относительно соответствующих небольших областей, которые должны обрабатываться, текущая небольшая область, которая должна обрабатываться, определяется в качестве k-й небольшой области, и счетчик k последовательно прирастает на единицу.

На этапе 904 формирователь 808 сигналов прогнозирования формирует сигнал прогнозирования относительно текущей небольшой области, которая должна обрабатываться (k-йнебольшой области, называемой "рассматриваемой небольшой областью") на основе связанной с формированием сигналов прогнозирования информации. В частности, задействуется способ формирования сигнала прогнозирования посредством среднего значения соответствующих уже восстановленных пикселов с использованием уже восстановленных пикселов, которые являются смежными с рассматриваемой небольшой областью, или способ формирования сигнала прогнозирования посредством продвижения и экстраполяции уже восстановленных пикселов в предварительно определенных направлениях. Другими словами, сигнал прогнозирования формируется посредством способа, который указывается посредством связанной с формированием сигналов прогнозирования информации из 9 режимов, проиллюстрированных на фиг.3(B) или 3(D), как описано выше. Кроме того, сигнал прогнозирования может быть сформирован посредством, главным образом, использования уже восстановленных пикселов, которые контактируют с длинной стороной небольшой области. В это время в случае разделения рассматриваемого блока в горизонтальном направлении, как проиллюстрировано на фиг.4(A), пикселы экстраполируются в вертикальном направлении или в направлении, близком к вертикальному направлению, как проиллюстрировано на фиг.4(B), в то время как в случае разделения рассматриваемого блока в вертикальном направлении, как проиллюстрировано на фиг.4(C), пикселы экстраполируются в горизонтальном направлении или в направлении, близком к горизонтальному направлению, как проиллюстрировано на фиг.4(D).

На следующем этапе 905 квантованные коэффициенты преобразования рассматриваемой небольшой области (k-й небольшой области) и параметры квантования выводятся в деквантователь 803 и деквантователь 803 выполняет деквантование квантованных коэффициентов преобразования на основе параметров квантования. На следующем этапе 906 обратный преобразователь 804 выполняет обратное дискретное косинусное преобразование относительно результата деквантования так, что оно совпадает с формой рассматриваемой небольшой области (k-й небольшой области), чтобы формировать восстановленный (распакованный) остаточный сигнал. Восстановленный остаточный сигнал отправляется в сумматор 805 через линию L804.

На следующем этапе 907 сумматор 805 добавляет восстановленный остаточный сигнал к сигналу прогнозирования рассматриваемой небольшой области (k-й небольшой области), чтобы формировать восстановленный сигнал пикселов. Восстановленный сигнал пикселов временно сохраняется в запоминающем устройстве кадров, чтобы восстанавливать сигнал пикселов следующей небольшой области (этап 908).

Процессы декодирования/восстановления на вышеописанных этапах 904-908 последовательно исполняются относительно всех небольших областей рассматриваемого блока. Если процессы декодирования/восстановления на этапах 904-908 завершены относительно всех небольших областей рассматриваемого блока, положительное решение принимается на этапе 909, и на этапе 910 определяется то, завершены или нет процессы относительно всех рассматриваемых блоков. Если процессы не завершены относительно всех рассматриваемых блоков, обработка возвращается к этапу 903 и процессы выполняются относительно рассматриваемого блока, для которого процесс еще не завершен. Если процессы завершены относительно всех рассматриваемых блоков, положительное решение принимается на этапе 91 и процессы по фиг.9 заканчиваются.

Здесь в случае если небольшая область, которая должна быть декодирована, контактирует со смежным блоком, для которого процессы декодирования/восстановления завершены, предпочтительно, чтобы уже восстановленные пикселы соответствующего смежного блока использовались, в то время как в случае если небольшая область, которая должна быть декодирована, контактирует с другой небольшой областью, для которой процессы декодирования/восстановления завершены в идентичном блоке, предпочтительно, чтобы сигнал прогнозирования формировался с использованием уже восстановленных пикселов, соответствующих другой небольшой области. В любом случае, поскольку сформированный сигнал прогнозирования используется для восстановления рассматриваемого пиксела, который находится в окружении уже восстановленного пиксела, аппроксимированная точность соответствующего сигнала прогнозирования становится высокой по сравнению с предшествующим уровнем техники и эффективность кодирования повышается.

Способ прогнозирующего декодирования изображений в случае, если присутствует множество форм разделения

Фиг.10 иллюстрирует процесс на основе способа прогнозирующего декодирования изображений в случае, если присутствует множество форм разделения. Т.е. рассматриваемые блоки, которые должны быть декодированы, не разделяются идентичным способом, а разделяются любым из способов на фиг.6(A), 6(C) и 6(E). Кроме того, следует отметить, что способ формирования сигнала прогнозирования определяется, как показано на фиг.6(B), 6(D) и 6(F), посредством способа разделения.

На этапе 1002 по фиг.10 сжатые данные вводятся, и на следующем этапе 1003 анализатор 802 данных выполняет энтропийное декодирование сжатых данных, чтобы извлекать квантованные коэффициенты преобразования (коэффициенты преобразования, полученные посредством квантования остаточного сигнала рассматриваемого блока), параметры квантования и связанную с формированием сигналов прогнозирования информацию.

Следующие процессы декодирования/восстановления (этапы 1004-1008) последовательно выполняются в вышеописанных единицах небольших областей. Несмотря на то что описание опускается на фиг.10, чтобы последовательно выполнять процессы декодирования/восстановления (этапы 1004-1008) в единицах небольших областей, порядок обработки определяется относительно соответствующих небольших областей, которые должны обрабатываться, текущая небольшая область, которая должна обрабатываться, определяется в качестве k-й небольшой области и счетчик k последовательно прирастает на единицу.

На этапе 1004 формирователь 808 сигналов прогнозирования указывает способ разделения рассматриваемого блока на основе связанной с формированием сигналов прогнозирования информации. Посредством указания способа разделения рассматриваемого блока определяется форма небольшой области, и форма сформированного сигнала прогнозирования определяется. Здесь, как проиллюстрировано на фиг.13, разделение на блоки, как проиллюстрировано на фиг.6(A), определяется в случае, если режимом прогнозирования является любой из режима 2 (DC-режима), режима 3 и режима 4, посредством связанной с формированием сигналов прогнозирования информации, разделение на блоки, как проиллюстрировано на фиг.6(C), определяется в случае, если режимом прогнозирования является любой из режима 0, режима 5 и режима 7, и разделение на блоки, как проиллюстрировано на фиг.6(E), определяется в случае, если режимом прогнозирования является любой из режима 1, режима 6 и режима 8. Кроме того, формирователь 808 сигналов прогнозирования формирует сигнал прогнозирования рассматриваемой небольшой области так, что он совпадает с формой текущей небольшой области (k-й небольшой области, также называемой "рассматриваемой небольшой областью"), которая должна обрабатываться, в соответствии с определенным режимом прогнозирования.

На следующем этапе 1005 квантованные коэффициенты преобразования рассматриваемой небольшой области (k-й небольшой области) и параметры квантования выводятся в деквантователь 803 и деквантователь 803 выполняет деквантование квантованных коэффициентов преобразования на основе параметров квантования. На следующем этапе 1006 обратный преобразователь 804 выполняет обратное дискретное косинусное преобразование относительно результата деквантования так, что оно совпадает с формой рассматриваемой небольшой области (k-й небольшой области), чтобы формировать восстановленный (распакованный) остаточный сигнал. Восстановленный остаточный сигнал отправляется в сумматор 805 через линию L804. Здесь весовые коэффициенты деквантования выбираются так, что они совпадают с формой небольшой области, и деквантование выполняется посредством выбранных весовых коэффициентов. Кроме того, относительно обратного преобразования (обратного дискретного косинусного преобразования) из частотной области в область пикселов выполняется обратное преобразование 4×4 в случае небольшой области, которая получается посредством разделения рассматриваемого блока на небольшие области 4×4, выполняется обратное преобразование 8×2 в случае небольшой области, которая получается посредством разделения рассматриваемого блока на небольшие области 8×2, и выполняется обратное преобразование 2×8 в случае небольшой области, которая получается посредством разделения рассматриваемого блока на небольшие области 2×8. В любом случае способ обратного преобразования уникально определяется на основе связанной с формированием сигналов прогнозирования информации без вспомогательной информации.

На следующем этапе 1007 сумматор 805 добавляет восстановленный остаточный сигнал к сигналу прогнозирования рассматриваемой небольшой области (k-й небольшой области), чтобы формировать восстановленный сигнал пикселов. Восстановленный сигнал пикселов временно сохраняется в запоминающем устройстве кадров, чтобы восстанавливать сигнал пикселов следующей небольшой области (этап 1008).

Процессы декодирования/восстановления на вышеописанных этапах 1004-1008 последовательно исполняются относительно всех небольших областей рассматриваемого блока. Если процессы декодирования/восстановления на этапах 1004-1008 завершены относительно всех небольших областей рассматриваемого блока, положительное решение принимается на этапе 1009, и на этапе 1010 определяется то, завершены или нет процессы относительно всех рассматриваемых блоков. Если процессы не завершены относительно всех рассматриваемых блоков, обработка возвращается к этапу 1003 и процессы выполняются относительно рассматриваемого блока, для которого процесс еще не завершен. Если процессы завершены относительно всех рассматриваемых блоков, положительное решение принимается на этапе 1010 и процессы по фиг.10 заканчиваются.

Как описано выше, эффективность кодирования может быть повышена при помощи множества способов разделения и способа формирования сигналов прогнозирования согласно сигналу изображений. Кроме того, несмотря на переключение и использование множества способов разделения, множества способов деквантования и множества способов обратного преобразования способ разделения, способ деквантования и способ обратного преобразования уникально определяются с использованием связанной с формированием сигналов прогнозирования информации без вспомогательной информации, и тем самым полный объем кода может поддерживаться на низком уровне.

Описание программы прогнозирующего кодирования изображений и программы прогнозирующего декодирования изображений

Изобретение, связанное с устройством прогнозирующего кодирования изображений, может пониматься как изобретение, связанное с программой прогнозирующего кодирования изображений для инструктирования компьютеру функционировать в качестве устройства прогнозирующего кодирования изображений. Кроме того, изобретение, связанное с устройством прогнозирующего декодирования изображений, может пониматься как изобретение, связанное с программой прогнозирующего декодирования изображений для инструктирования компьютеру функционировать в качестве устройства прогнозирующего декодирования изображений. Кроме того, программа прогнозирующего кодирования изображений и программа прогнозирующего декодирования изображений могут сохраняться и предоставляться из носителя записи. Здесь примеры носителя записи включают в себя такой носитель записи, как гибкий диск, CD-ROM, DVD, ROM и т.п. или полупроводниковое запоминающее устройство и т.п.

Фиг.11 является схемой аппаратной конфигурации компьютера для исполнения программы, записанной на носителе записи, и фиг.12 является видом в перспективе компьютера для исполнения программы, сохраненной на носителе записи. В качестве компьютера включаются DVD-проигрыватель, телевизионная приставка, сотовый телефон и т.п., которые снабжены CPU и выполняют информационные процессы или управление посредством программного обеспечения.

Как проиллюстрировано на фиг.11, компьютер 30 содержит устройство 12 считывания, к примеру устройство накопителя на гибких дисках, устройство накопителя на CD-ROM, устройство накопителя на DVD и т.п., оперативное запоминающее устройство (RAM) 14, в котором постоянно размещена операционная система, запоминающее устройство 16, сохраняющее программу, сохраненную на носителе записи 10, дисплей 18, мышь 20 и клавиатуру 22, которые являются устройствами ввода, устройство 24 связи для выполнения передачи/приема данных и т.п. и CPU 26, управляющее исполнением программ. Если носитель записи 10 вставляется в устройство 12 считывания, компьютер 30 может осуществлять доступ к программе прогнозирующего кодирования изображений и программе прогнозирующего декодирования изображений, которые сохраняются на носителе записи 10, через устройство 12 считывания и может функционировать в качестве устройства прогнозирующего кодирования изображений и устройства прогнозирующего декодирования изображений согласно варианту осуществления изобретения посредством соответствующей программы прогнозирующего кодирования изображений и программы прогнозирующего декодирования изображений.

Как проиллюстрировано на фиг.12, программа прогнозирующего кодирования изображений или программа прогнозирующего декодирования изображений может предоставляться через сеть в качестве компьютерного сигнала 40 данных, переносимого на несущей. В этом случае компьютер 30 может сохранять программу прогнозирующего кодирования изображений или программу прогнозирующего декодирования изображений, которые принимаются через устройство 24 связи, в запоминающем устройстве 16 и исполнять соответствующую программу прогнозирующего кодирования изображений и программу прогнозирующего декодирования изображений.

В этом случае настоящее изобретение может пониматься как изобретение, связанное с системой кодирования/декодирования, которая включает в себя вышеописанное устройство 100 прогнозирующего кодирования изображений (см. фиг.1) и вышеописанное устройство 800 прогнозирующего декодирования изображений (см. фиг.8). Как проиллюстрировано на фиг.14, система 1 кодирования/декодирования сконфигурирована, чтобы включать в себя устройство 100 прогнозирующего кодирования изображений и устройство 800 прогнозирующего декодирования изображений. Тем не менее, устройство 100 прогнозирующего кодирования изображений и устройство 800 прогнозирующего декодирования изображений могут соединяться посредством определенного средства связи, и потоки битов передаются из устройства 100 прогнозирующего кодирования изображений в устройство 800 прогнозирующего декодирования изображений.

Кроме того, настоящее изобретение может пониматься как изобретение, связанное со способом кодирования/декодирования, который исполняется посредством системы кодирования/декодирования. Например, способ кодирования/декодирования включает в себя: этапы вышеописанного способа прогнозирующего кодирования изображений, как проиллюстрировано на фиг.2, который исполняется посредством устройства 100 прогнозирующего кодирования изображений; и этапы вышеописанного способа прогнозирующего декодирования изображений, как проиллюстрировано на фиг.9, который исполняется посредством устройства 800 прогнозирующего декодирования изображений. Кроме того, в качестве аспекта в случае, если присутствует множество форм разделения, способ кодирования/декодирования включает в себя: этапы вышеописанного способа прогнозирующего кодирования изображений, как проиллюстрировано на фиг.5, который выполняется посредством устройства 100 прогнозирующего кодирования изображений; и этапы вышеописанного способа прогнозирующего декодирования изображений, как проиллюстрировано на фиг.10, который исполняется посредством устройства 800 прогнозирующего декодирования изображений.

Как описано выше, согласно вариантам осуществления изобретения, в случае формирования сигнала внутреннего прогнозирования посредством способа экстраполяции, который используется в предшествующем уровне техники, предотвращается ухудшение точности прогнозирования пикселов, которые находятся на значительном расстоянии от границы рассматриваемого блока, и тем самым сигнал изображений, имеющий сложную схему, может быть эффективно прогнозирован.

Перечень условных обозначений

1 - система кодирования/декодирования; 100 - устройство прогнозирующего кодирования изображений; 101 - терминал ввода; 102 - делитель на блоки; 103 - формирователь сигналов прогнозирования; 104 - запоминающее устройство кадров; 105 - модуль вычитания; 106 - преобразователь; 107 - квантователь; 108 - деквантователь; 109 - обратный преобразователь; 110 - сумматор; 111 - энтропийный кодер; 112 - терминал вывода; 800 - устройство прогнозирующего декодирования изображений; 801 - входной терминал; 802 - анализатор данных; 803 - деквантователь; 804 - обратный преобразователь; 805 - сумматор; 806 - выходной терминал; 807 - запоминающее устройство кадров; 808 - формирователь сигналов прогнозирования; 10 - носитель записи; 12 - устройство считывания; 14 - оперативное запоминающее устройство; 16 - запоминающее устройство; 18 - дисплей; 20 - мышь; 22 - клавиатура; 24 - устройство связи; 30 - компьютер; и 40 - компьютерный сигнал данных.