способ кодирования многовидового изображения, способ декодирования многовидового изображения, устройство кодирования многовидового изображения, устройство декодирования многовидового изображения, компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения и компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения

Формула изобретения

1. Способ кодирования многовидового изображения, в котором входное изображение объекта, который фотографируют с помощью первой камеры, разделяют на множество целевых областей кодирования, и с использованием уже закодированного изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, выполняют кодирование с предсказанием для каждой из целевых областей кодирования, причем способ кодирования многовидового изображения содержит:

этап установки области выборки, на котором устанавливают область, которая является смежной для целевой области кодирования и уже декодирована во входном изображении, в качестве области выборки,

этап создания изображения предсказания, на котором создают изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области кодирования и области выборки,

этап оценки параметра коррекции, на котором, на основании изображения предсказания для области выборки и на основании декодированного изображения, которое уже декодировано для области выборки, оценивают параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

этап коррекции изображения предсказания, на котором, с использованием параметров коррекции, корректируют изображение предсказания для целевой области кодирования таким образом, чтобы создать первое скорректированное изображение предсказания,

этап кодирования изображения, на котором, с использованием первого скорректированного изображения предсказания, кодируют сигналы изображения целевой области кодирования таким образом, чтобы создать закодированные данные, и

этап декодирования изображения, на котором декодируют закодированные данные таким образом, чтобы создать декодированное изображение для целевой области кодирования.

2. Способ кодирования многовидового изображения по п.1, содержащий:

этап коррекции изображения предсказания для области выборки, на котором, с использованием параметров коррекции, корректируют изображение предсказания для области выборки таким образом, чтобы создать второе скорректированное изображение предсказания, и

этап оценки параметра коррекции, на котором, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивают параметры коррекции,

причем на этапе коррекции изображения предсказания, сравнивают значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, корректируют изображение предсказания для целевой области кодирования с использованием параметров коррекции таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, устанавливают изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

3. Способ кодирования многовидового изображения по п.1, содержащий:

этап классификации пикселей выборки, на котором пиксели, принадлежащие области выборки, формируют в кластеры с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и

этап модификации области выборки, на котором устанавливают модифицированную область выборки с помощью модификации области выборки, включающей только пиксели, которые принадлежат кластеру, имеющему наибольшее число элементов в кластерах, полученных с помощью кластеризации,

причем на этапе оценки параметра коррекции, параметры коррекции оценивают с использованием только пикселей, которые принадлежат модифицированной области выборки.

4. Способ декодирования многовидового изображения, в котором целевое изображение декодирования декодируют из закодированных данных, которые получают с помощью кодирования изображения объекта, который фотографируют с помощью первой камеры, с использованием изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, с помощью разделения целевого изображения декодирования на множество целевых областей декодирования и с помощью выполнения декодирования для каждой из целевых областей декодирования с использованием уже декодированного изображения объекта, который фотографируют с помощью второй камеры, причем способ декодирования многовидового изображения содержит:

этап установки области выборки, на котором в качестве области выборки устанавливают область, которая является смежной для целевой области декодирования и уже декодирована в целевом изображении декодирования,

этап создания изображения предсказания, на котором создают изображение предсказания из уже декодированного изображения, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области декодирования и области выборки,

этап оценки параметра коррекции, на котором, на основании изображения предсказания для области выборки и декодированного изображения, которое уже декодировано для области выборки, оценивают параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

этап коррекции изображения предсказания, на котором, с использованием параметров коррекции, корректируют изображение предсказания для целевой области декодирования таким образом, чтобы создать первое скорректированное изображение предсказания, и

этап декодирования изображения, на котором, с использованием первого скорректированного изображения предсказания, из закодированных данных декодируют сигналы изображения целевой области декодирования.

5. Способ декодирования многовидового изображения по п.4, содержащий

этап коррекции изображения предсказания для области выборки, на котором, с использованием параметров коррекции, корректируют изображение предсказания для области выборки таким образом, чтобы создать второе скорректированное изображение предсказания, и

этап оценки параметра коррекции, на котором, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивают параметры коррекции,

причем на этапе коррекции изображения предсказания, сравнивают значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, корректируют изображение предсказания для целевой области декодирования с использованием параметров коррекции таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, устанавливают изображение предсказания для целевой области декодирования в качестве первого изображения предсказания.

6. Способ декодирования многовидового изображения по п.4, содержащий:

этап классификации пикселей выборки, на котором пиксели, принадлежащие области выборки, формируют в кластеры с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и

этап модификации области выборки, на котором с помощью повторной установки пикселей, которые принадлежат кластеру, имеющему наибольшее число элементов среди кластеров, полученных с помощью кластеризации, устанавливают модифицированную область выборки в качестве области выборки,

причем на этапе оценки параметра коррекции оценивают параметры коррекции с использованием только пикселей, которые принадлежат модифицированной области выборки.

7. Устройство кодирования многовидового изображения, которое разделяет входное изображение объекта, который фотографируют с помощью первой камеры, на множество целевых областей кодирования, и, с использованием уже закодированного изображения того же объекта, который фотографируют с помощью второй камеры, которая отделена от первой камеры, выполняет кодирование с предсказанием для каждой из целевых областей кодирования, причем устройство кодирования многовидового изображения содержит:

устройство установки области выборки, которое в качестве области выборки устанавливает область, которая является смежной для целевой области кодирования и уже декодирована во входном изображении,

устройство создания изображения предсказания, которое создает изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области кодирования и области выборки,

устройство оценки параметра коррекции, которое, на основании изображения предсказания для области выборки и декодированного изображения, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

устройство коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области кодирования таким образом, чтобы создать скорректированное изображение предсказания,

устройство кодирования изображения, которое, с использованием скорректированного изображения предсказания, кодирует сигналы изображения целевой области кодирования таким образом, чтобы создать закодированные данные, и

устройство декодирования изображения, которое декодирует закодированные данные таким образом, чтобы создать декодированное изображение для целевой области кодирования.

8. Устройство декодирования многовидового изображения, которое декодирует целевое изображение декодирования из закодированных данных, которые получают с помощью кодирования изображения объекта, который фотографируют с помощью первой камеры, с использованием изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, с помощью разделения целевого изображения декодирования на множество целевых областей декодирования и с помощью выполнения декодирования для каждой из целевых областей декодирования с использованием уже декодированного изображения объекта, который фотографируют с помощью второй камеры, причем устройство декодирования многовидового изображения содержит:

устройство установки области выборки, которое устанавливает область, которая является смежной для целевой области декодирования и уже декодирована в целевом изображении декодирования, в качестве области выборки,

устройство создания изображения предсказания, которое создает изображение предсказания из уже декодированного изображения, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области декодирования и области выборки,

устройство оценки параметра коррекции, которое, на основании изображения предсказания для области выборки и на основании декодированного изображения, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

устройство коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области декодирования таким образом, чтобы создать скорректированное изображение предсказания, и

устройство декодирования изображения, которое, с использованием скорректированного изображения предсказания, декодирует сигналы изображения целевой области декодирования из закодированных данных.

9. Компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения, при выполнении которой на компьютере осуществляется способ кодирования многовидового изображения по любому одному из пунктов с 1 по 3.

10. Компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения, при выполнении которой на компьютере осуществляется способ декодирования многовидового изображения по любому одному из пунктов с 4 по 6.

11. Способ кодирования многовидового изображения, в котором входное изображение объекта, который фотографируют с помощью первой камеры, разделяют на множество целевых областей кодирования, и, с использованием уже закодированного изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, выполняют кодирование с предсказанием для каждой из целевых областей кодирования, причем способ кодирования многовидового изображения содержит:

этап установки области выборки, на котором в качестве области выборки устанавливают область, которая является смежной для целевой области кодирования и уже декодирована во входном изображении,

этап создания первого изображения предсказания, на котором создают первое изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области кодирования,

этап создания второго изображения предсказания, на котором, с использованием того же способа, что и на этапе создания первого изображения предсказания, создают второе изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих области выборки,

этап оценки параметра коррекции, на котором, на основании второго изображения предсказания для области выборки и на основании декодированного изображения, которое уже декодировано для области выборки, оценивают параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

этап коррекции изображения предсказания, на котором, с использованием параметров коррекции, корректируют первое изображение предсказания для целевой области кодирования таким образом, чтобы создать первое скорректированное изображение предсказания,

этап кодирования изображения, на котором, с использованием первого скорректированного изображения предсказания, кодируют сигналы изображения целевой области кодирования таким образом, чтобы создать закодированные данные, и

этап декодирования изображения, на котором декодируют закодированные данные таким образом, чтобы создать декодированное изображение для целевой области кодирования.

12. Способ кодирования многовидового изображения по п.11, в котором:

на этапе создания первого изображения предсказания создают изображение синтеза вида, которое получают с помощью синтеза изображения объекта, сфотографированного с помощью первой камеры, из уже закодированного изображения объекта, который фотографируют с помощью второй камеры, для целевой области кодирования, в качестве первого изображения предсказания, и

на этапе создания второго изображения предсказания создают изображение синтеза вида, которое получают с помощью синтеза изображения объекта, сфотографированного с помощью первой камеры, из уже закодированного изображения объекта, который фотографируют с помощью второй камеры, для области выборки, в качестве второго изображения предсказания.

13. Способ кодирования многовидового изображения по п.11 или п.12, содержащий:

этап коррекции изображения предсказания для области выборки, на котором, с использованием параметров коррекции, корректируют второе изображение предсказания, которое было создано на этапе создания второго изображения преобразования, таким образом, чтобы создать второе скорректированное изображение предсказания, и

этап оценки параметра коррекции, на котором, на основании второго скорректированного изображения предсказания и декодированного изображения для области выборки, оценивают параметры коррекции,

причем на этапе коррекции изображения предсказания, сравнивают значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, корректируют изображение предсказания для целевой области кодирования с использованием параметров коррекции таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, устанавливают изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

14. Способ декодирования многовидового изображения, в котором целевое изображение декодирования декодируют из закодированных данных, которые получают с помощью кодирования изображения объекта, который фотографируют с помощью первой камеры, с использованием изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, с помощью разделения целевого изображения декодирования на множество целевых областей декодирования и с помощью выполнения декодирования для каждой из целевых областей декодирования с использованием уже декодированного изображения объекта, который фотографируют с помощью второй камеры, причем способ декодирования многовидового изображения содержит:

этап установки области выборки, на котором в качестве области выборки устанавливают область, которая является смежной для целевой области декодирования и уже декодирована в целевом изображении декодирования,

этап создания первого изображения предсказания, на котором создают первое изображение предсказания из уже декодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области декодирования,

этап создания второго изображения предсказания, на котором, с использованием того же способа, что и на этапе создания первого изображения предсказания, создают второе изображение предсказания из уже декодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих области выборки,

этап оценки параметра коррекции, на котором, на основании второго изображения предсказания для области выборки и на основании декодированного изображения, которое уже декодировано для области выборки, оценивают параметры коррекции для коррекции по меньшей мере одного из рассогласований освещенности и цвета,

этап коррекции изображения предсказания, на котором, с использованием параметров коррекции, корректируют первое изображение предсказания для целевой области декодирования таким образом, чтобы создать первое скорректированное изображение предсказания,

этап декодирования изображения, на котором, с использованием первого скорректированного изображения предсказания, из закодированных данных декодируют сигналы изображения целевой области декодирования.

15. Способ декодирования многовидового изображения по п.14, в котором

на этапе создания первого изображения предсказания в качестве первого изображения предсказания создают изображение синтеза вида, которое получают с помощью синтеза изображения объекта, сфотографированного с помощью первой камеры, из уже декодированного изображения объекта, который фотографируют с помощью второй камеры, для целевой области декодирования, и

на этапе создания второго изображения предсказания в качестве второго изображения предсказания создают изображение синтеза вида, которое получают с помощью синтеза изображения объекта, сфотографированного с помощью первой камеры, из уже декодированного изображения объекта, который фотографируют с помощью второй камеры, для области выборки.

16. Способ декодирования многовидового изображения по п.14 или п.15, содержащий:

этап коррекции изображения предсказания для области выборки, на котором, с использованием параметров коррекции, корректируют второе изображение предсказания, которое было создано на этапе создания второго изображения предсказания, таким образом, чтобы создать второе скорректированное изображение предсказания, и

этап оценки параметра коррекции, на котором, на основании второго скорректированного изображения предсказания и декодированного изображения для области выборки, оценивают параметры коррекции,

причем на этапе коррекции изображения предсказания, сравнивают значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, корректируют изображение предсказания для целевой области декодирования с использованием параметров коррекции таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, устанавливают изображение предсказания для целевой области декодирования в качестве первого изображения предсказания.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение относится к способу кодирования многовидового изображения и устройству, предназначенному для кодирования изображений объекта, сфотографированного с помощью множества камер, а также к способу декодирования многовидового изображения и устройству, предназначенному для декодирования данных, которые закодированы с использованием способа кодирования многовидового изображения, а также к программе кодирования многовидового изображения, которую используют, чтобы осуществлять этот способ кодирования многовидового изображения, и к программе декодирования многовидового изображения, которую используют, чтобы осуществлять этот способ декодирования многовидового изображения

Приоритет испрашивается по японской заявке на патент № 2009-29249, поданной 12 февраля 2009 г., содержание которой включено в настоящее описание в качестве ссылки.

УРОВЕНЬ ТЕХНИКИ

Понятие 'многовидовые изображения' относится к множеству изображений, полученных с помощью фотографирования одного и того же объекта и фона с использованием множества камер, в то время как понятие 'многовидовые движущиеся изображения' (т.е. 'многовидовое видео') относится к движущимся изображениям, полученным таким способом.

Компенсированное предсказание движения и компенсированное предсказание рассогласования предложены в качестве технологий, предназначенных для использования при кодировании обычного движущегося изображения и кодировании многовидового движущегося изображения.

Компенсированное предсказание движения является способом, который также используют в международных стандартах для форматов кодирования движущегося изображения последних лет, представленных с помощью Н.264. В этом способе движение объекта компенсируют между кадром, намеченным для кодирования, и опорным кадром, который уже закодирован, таким образом, чтобы получить разность между кадрами для сигнала изображения, и кодируют только этот разностный сигнал (см. непатентный документ 1).

В противоположность, при компенсированном предсказании рассогласования с помощью компенсации рассогласований в объекте с помощью использования кадра, сфотографированного с помощью другой камеры в качестве опорного кадра, кодирование может быть выполнено, когда получают разности между кадрами между сигналами изображений (см. непатентный документ 2).

Понятие 'рассогласование', которое использовано в настоящей заявке, относится к разностям в позициях в плоскостях изображений камер, которые помещены в разных позициях, в которых проецируют одну и ту же позицию в объекте. При компенсированном предсказании рассогласования его представляют с помощью двумерных векторов, а затем кодируют. Как изображено на фиг.8, поскольку рассогласования являются информацией, создание которой зависит от позиции камеры и от расстояния между объектом и камерой (т.е. глубины), существует способ, известный как предсказание с синтезом вида (предсказание с интерполяцией вида), который использует этот принцип.

При предсказании с синтезом вида (предсказании с интерполяцией вида) существует способ, при котором глубину вида оценивают с использованием информации о позиции камеры и теории триангуляции для многовидового изображения, полученного на стороне кодирования или стороне декодирования, и кадры, намеченные для кодирования, синтезируют (т.е. интерполируют) с использованием этой оцененной глубины таким образом, чтобы создать изображение предсказания (см. патентный документ 1 и непатентный документ 3). Следует заметить, что, если глубину оценивают на стороне кодирования, необходимо кодировать глубину, которую используют.

При компенсированном предсказании рассогласования и предсказании с синтезом вида, если между реакциями элементов формирования изображений камеры существуют разности, или если в каждой камере выполняют управление усилением или гамма-коррекцию, или если установки для глубины или поля диафрагмы, или тому подобного являются разными в каждой камере, или если в сцене имеется эффект освещенности, зависимой от направления, или тому подобное, тогда эффективность кодирования ухудшается. Причиной этого является то, что предсказание делают при допущении, что освещенность и цвет объекта являются одинаковыми как в кадре, намеченном для кодирования, так и в опорном кадре.

Исследованы способы, такие как компенсация освещенности и коррекция цвета, в качестве средств, которые имеют дело с изменениями освещенности и цвета объекта. В этих способах с помощью использования опорного кадра, освещенность и цвет которого скорректированы, в качестве кадра, который используют для выполнения предсказания, можно ограничить величину остатка предсказания, которую кодируют в минимум.

В Н.264 применяется взвешенное предсказание, при котором линейную функцию используют в качестве модели (см. непатентный документ 1), в то время как в непатентном документе 3 предложен способ, в котором коррекции выполняют с использованием таблицы цветов.

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

Патентный документ 1

Выложенная заявка на японский патент (JP-A) № 2007-036800 Способ кодирования видео, способ декодирования видео, программа кодирования видео, программа декодирования видео и носитель записи, доступный для чтения с помощью компьютера, на котором записаны эти программы .

Непатентный документ 1

ITU-T Rec. H.264/ISO/IEC 11496-10 Advanced video coding for generic audiovisual services , Final Committee Draft, Document JVT-E022d7, September 2002 (pp.10-13, pp.62-73).

Непатентный документ 2

Hideaki Kimata and Masaki Kitahara, Preliminary results on multiple view video coding (3DAV) , document M10976 MPEG Redmond Meeting, July, 2004.

Непатентный документ 3

K. Yamamoto, M. Kitahara, H. Kimata, T. Yendo, T. Fujii, M. Tanimoto, S. Shimizu, K. Kamikura, and Y. Yashima Multiview Video Coding Using View Interpolation and Color Correction , IEEE Transactions on Circuits and Systems for Video Technology, Vol.17, No.11, pp.1436-1449, November, 2007.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблема, решаемая с помощью изобретения

Существуют следующие две проблемы, когда выполняют кодирование с использованием вышеупомянутых компенсации освещенности и коррекции цвета.

Первой проблемой является увеличение объема кода, что является следствием добавления параметров для компенсации освещенности и коррекции цвета и тому подобных. При обычном компенсированном предсказании рассогласования и предсказании с синтезом (интерполяцией) вида, поскольку становится необходимым кодировать параметры для компенсации освещенности и коррекции цвета и тому подобных, кодирование которых ранее не требовалось, имеется ухудшение эффективности кодирования.

Второй проблемой является отсутствие возможности иметь дело с локализованным рассогласованием. В настоящей заявке понятие 'несовпадение' относится к несовпадениям в освещенности и рассогласованиям цвета, которые существуют между кодированием целевого кадра и опорных кадров и изображениями с синтезом вида и тому подобными.

В случае замирания и мигания при кодировании обычного движущегося изображения, поскольку весь экран изменяется одинаковым образом, можно выполнить удовлетворительные компенсацию освещенности и коррекцию цвета с использованием одного параметра коррекции. Однако рассогласования, которые вызваны тем, что объект не является полностью диффузным отражателем, или тем, что глубина поля и фокус не полностью совпадают в каждой камере, являются рассогласованиями, которые зависят не от сцены, а от объекта, и эти рассогласования также являются локализованными. В результате при компенсации освещенности и коррекции цвета, которые основаны на одном параметре коррекции, невозможно существенно уменьшить остатки предсказания.

Чтобы противодействовать этой проблеме, может быть рассмотрен способ, в котором используют множество параметров коррекции, для того чтобы иметь дело с локализованными изменениями. Однако, если этот способ используют, тогда при добавлении объема кода, требуемого, чтобы кодировать множество параметров коррекции, также необходимо кодировать информацию, показывающую, какой параметр коррекции должен быть использован в каждой области изображения. В результате объем кода увеличивается еще больше, и не возможно решить первую проблему.

Настоящее изобретение было задумано в виду вышеописанных обстоятельств, и его задачей является предоставить новую технологию кодирования и декодирования многовидового изображения, которая выполняет очень эффективное кодирование, даже в многовидовых изображениях (т.е. многовидовых неподвижных изображениях и движущихся изображениях), в которых между камерами присутствует локализованное рассогласование освещенности и цвета, и которая также выполняет уменьшение объема кода, требуемого в случаях, когда используют это новое кодирование.

СРЕДСТВА ДЛЯ РЕШЕНИЯ ПРОБЛЕМЫ

Основная технологическая идея настоящего изобретения

Для того чтобы решить вышеописанную проблему, в настоящем изобретении разработаны следующие средства для случаев, в которых кадр, намеченный для кодирования/декодирования, сначала разделяют на области, а затем в каждой области выполняют кодирование/декодирование многовидового изображения.

Во-первых, изображение предсказания создают не только в области, намеченной для обработки, но также в области, которая является смежной области, намеченной для обработки, и которая уже закодирована/декодирована с использованием того же способа предсказания. Затем оценивают параметры коррекции для коррекции рассогласований в освещенности и цвете из изображения предсказания и декодированного изображения в смежной области. Затем с помощью коррекции изображения предсказания, созданного для области, намеченной для обработки, с использованием оцененных параметров коррекции, создают фактически используемое скорректированное изображение предсказания.

В случае традиционного способа, в котором параметры коррекции вычисляют с помощью сравнения кадра, намеченного для кодирования, с опорным кадром, поскольку кадр, намеченный для кодирования, не может быть получен на стороне декодирования, необходимо кодировать параметры коррекции.

В противоположность, в настоящем изобретении, поскольку параметры коррекции оценивают из изображения предсказания и декодированного изображения в смежной области, параметры коррекции вычисляют с помощью сравнения уже закодированного/декодированного кадра с опорным кадром (т.е. кадром, образующим основу для создания изображения предсказания). Поскольку каждый из этих кадров может быть получен на стороне декодирования, не нужно кодировать параметры коррекции. А именно, можно посредством настоящего изобретения решить проблему увеличения объема кода.

Кроме того, поскольку кодирование является процессом, в котором входные сигналы преобразуют как можно точнее, кадры, намеченные для кодирования, могут быть рассмотрены по существу такими же, как кадры, которые уже закодированы/декодированы. А именно, параметры коррекции, вычисленные посредством настоящего изобретения, могут сделать изображение предсказания близким к кадру, намеченному для кодирования, и остаток предсказания, который кодируют, может быть достаточно уменьшен.

Кроме того, в настоящем изобретении параметры коррекции оценивают с использованием информации смежных областей для каждой одной из областей, намеченных для обработки. С помощью выполнения этого становится возможным выполнить коррекции для локализованных рассогласований освещенности и цвета.

При вышеописанном кодировании/декодировании многовидового изображения можно вычислить надежность параметров коррекции с помощью коррекции изображения предсказания смежной области с использованием оцененных параметров коррекции, а затем сравнения результата этого с уже закодированным/декодированным изображением этой смежной области. Если надежность не достигает порогового значения (т.е. надежность является низкой), тогда коррекцию с использованием этих параметров коррекции не выполняют, и изображение предсказания, созданное для этой области, намеченной для обработки, может быть использовано, как оно есть, в качестве скорректированного изображения предсказания. Следует заметить, что значение, вычисленное с использованием функции, в соответствии с которой надежность становится меньшей величины, чем максимальное значение, дисперсия или тому подобное, разностей между скорректированным изображением предсказания и уже закодированным/декодированным изображением (такой как функция, которая возвращает обратные числа данных значений), может быть использовано для этой надежности.

Кроме того, когда оценивают параметры коррекции, также можно использовать способ, в котором разности между изображением предсказания и уже закодированным/декодированным изображением вычисляют для каждого пикселя в смежной области, а затем выполняют кластеризацию пикселей в смежной области на основании вычисленных разностей, таким образом, что параметры коррекции получают с использованием только пикселей, которые принадлежат к кластеру, имеющему наибольшее число пикселей.

Структура настоящего изобретения

Далее будет описана структура устройства кодирования многовидового изображения и устройства декодирования многовидового изображения настоящего изобретения.

Структура устройства кодирования многовидового изображения настоящего изобретения

Устройство кодирования многовидового изображения настоящего изобретения является устройством, которое разделяет входное изображение объекта, который фотографируют с помощью первой камеры, на множество целевых областей кодирования, и с использованием уже закодированного изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, выполняет кодирование с предсказанием для каждой из целевых областей кодирования, и которое включает в себя: (1) устройство установки области выборки, которое устанавливает область, которая является смежной целевой области кодирования и уже закодирована во входном изображении, в качестве области выборки, (2) устройство создания изображения предсказания, которое создает изображение предсказания из уже закодированного изображения объекта, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области кодирования и области выборки, (3) устройство оценки параметра коррекции, которое, на основании изображения предсказания для области выборки в декодированном изображении, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции рассогласований освещенности и цвета, (4) устройство коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области кодирования, таким образом, чтобы создать первое скорректированное изображение предсказания, (5) устройство кодирования изображения, которое, с использованием первого скорректированного изображения предсказания, кодирует сигналы изображения целевой области кодирования, таким образом, чтобы создать закодированные данные, и (6) устройство декодирования изображения, которое декодирует закодированные данные, таким образом, чтобы создать декодированное изображение для целевой области кодирования.

Также возможно, чтобы устройство кодирования многовидового изображения в соответствии с некоторым вариантом осуществления настоящего изобретения было дополнительно обеспечено: (7) устройством коррекции изображения выборки, которое, с использованием оцененных параметров коррекции, корректирует изображение предсказания для области выборки, таким образом, чтобы создать второе скорректированное изображение предсказания, и (8) устройством оценки параметра коррекции, которое, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивает параметры коррекции. В этом случае также возможно, чтобы устройство коррекции изображения предсказания, сравнивало оцененное значение параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, чтобы оно корректировало изображение предсказания для целевой области кодирования с использованием оцененных параметров коррекции, таким образом, чтобы создать первое скорректированное изображение предсказания, а когда определяют надежность параметров коррекции как низкую, чтобы оно устанавливало изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

Кроме того, также возможно, чтобы устройство кодирования многовидового изображения в соответствии с вариантом осуществления настоящего изобретения было дополнительно обеспечено: (9) устройством классификации пикселей выборки, которое формирует пиксели, принадлежащие области выборки, в кластеры с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и (10) устройством модификации области выборки, которое устанавливает модифицированную область выборки с помощью повторной установки пикселей, которые принадлежат кластеру, имеющему наибольшее число элементов среди кластеров, полученных с помощью кластеризации, в качестве области выборки. В этом случае также возможно, чтобы устройство оценки параметра коррекции оценивало параметры коррекции с использованием только пикселей, которые принадлежат модифицированной области выборки.

Способ кодирования многовидового изображения настоящего изобретения, который осуществляют в результате каждого из вышеописанных устройств обработки, выполняющих свои соответственные операции, также может быть выполнен посредством компьютерной программы. Эту компьютерную программу поставляют как записанную на подходящем носителе записи, доступном для чтения с помощью компьютера, или поставляют с помощью сети. Когда настоящее изобретение должно быть применено, компьютерную программу устанавливают в компьютере, и настоящее изобретение выполняют, когда компьютерной программой управляют с помощью устройства управления, такого как CPU.

Структура устройства декодирования многовидового изображения настоящего изобретения

Устройство декодирования многовидового изображения настоящего изобретения является устройством, которое декодирует целевое изображение декодирования из закодированных данных, которые получают с помощью кодирования изображения объекта, который фотографируют с помощью первой камеры, с использованием изображения того же объекта, который фотографируют с помощью второй камеры, которая расположена в другой позиции от первой камеры, с помощью разделения целевого изображения декодирования на множество целевых областей декодирования и с помощью выполнения декодирования для каждой из целевых областей декодирования с использованием уже декодированного изображения объекта, который фотографируют с помощью второй камеры. Устройство декодирования многовидового изображения обеспечено: (1) устройством установки области выборки, которое устанавливает область, которая является смежной для целевой области декодирования и уже декодирована в целевом изображении декодирования, в качестве области выборки, (2) устройством создания изображения предсказания, которое создает изображение предсказания из уже закодированного изображения, сфотографированного с помощью второй камеры, для пикселей, принадлежащих целевой области декодирования и области выборки, (3) устройством оценки параметра коррекции, которое, на основании изображения предсказания для области выборки в декодированном изображении, которое уже декодировано для области выборки, оценивает параметры коррекции для коррекции рассогласований освещенности и цвета, (4) устройством коррекции изображения предсказания, которое, с использованием параметров коррекции, корректирует изображение предсказания для целевой области декодирования, таким образом, чтобы создать скорректированное изображение предсказания, и (5) устройством декодирования изображения, которое, с использованием первого скорректированного изображения предсказания, декодирует сигналы изображения целевой области декодирования из закодированных данных.

Также возможно, чтобы устройство декодирования многовидового изображения в соответствии с некоторым вариантом осуществления настоящего изобретения было дополнительно обеспечено: (6) устройством коррекции изображения выборки, которое, с использованием оцененных параметров коррекции, корректирует изображение предсказания для области выборки, таким образом, чтобы создать второе скорректированное изображение предсказания, и (7) устройством оценки параметра коррекции, которое, на основании второго скорректированного изображения предсказания и декодированного изображения, оценивает параметры коррекции. В этом случае также возможно, чтобы устройство коррекции изображения предсказания сравнивало значение оценки параметров коррекции с предварительно определенным пороговым значением, и, когда определяют надежность параметров коррекции как высокую, чтобы оно корректировало изображение предсказания для целевой области декодирования с использованием параметров коррекции, таким образом, чтобы создать первое скорректированное изображение предсказания, и, когда определяют надежность параметров коррекции как низкую, чтобы оно устанавливало изображение предсказания для целевой области кодирования в качестве первого изображения предсказания.

Кроме того, также возможно, чтобы устройство декодирования многовидового изображения в соответствии с вариантом осуществления настоящего изобретения было дополнительно обеспечено: (8) устройством классификации пикселей выборки, которое формирует пиксели, принадлежащие области выборки, в кластеры, с использованием дифференциальных значений между изображением предсказания и декодированным изображением, и (9) устройством модификации области выборки, которое устанавливает модифицированную область выборки с помощью повторной установки пикселей, которые принадлежат кластеру, имеющему наибольшее число элементов среди кластеров, полученных с помощью кластеризации, в качестве области выборки. В этом случае также возможно, чтобы устройство оценки параметра коррекции оценивало параметры коррекции с использованием только пикселей, которые принадлежат модифицированной области выборки.

Способ декодирования многовидового изображения настоящего изобретения, который осуществляют в результате каждого из вышеописанных устройств обработки, выполняющих свои соответственные операции, также может быть выполнен посредством компьютерной программы. Эту компьютерную программу поставляют как записанную на подходящем носителе записи, доступном для чтения с помощью компьютера, или поставляют с помощью сети. Когда настоящее изобретение должно быть применено, компьютерную программу устанавливают в компьютере, и настоящее изобретение выполняют, когда компьютерной программой управляют с помощью устройства управления, такого как CPU.

ЭФФЕКТ ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением даже в случаях, в которых рассогласования освещенности и цвета между камерами имеют место локализованным образом, становится возможным уменьшить остатки предсказания, поскольку параметры коррекции для таких рассогласований определяют локализованным образом. Таким образом, можно достичь очень эффективного кодирования и декодирования многовидовых изображений и многовидовых движущихся изображений.

Кроме того, в соответствии с настоящим изобретением, поскольку параметры коррекции определяют способом, который не требует дополнительного кодирования/декодирования, можно существенно уменьшить объем кода, требуемого, когда выполняют это кодирование и декодирование многовидовых изображений и многовидовых движущихся изображений.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг.1 - блок-схема, изображающая устройство кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.2 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.3 - блок-схема последовательности этапов, изображающая подробности обработки, выполняемой с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.4 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства кодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.5 - блок-схема, изображающая устройство декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.6 - блок-схема последовательности этапов, изображающая обработку, выполняемую с помощью устройства декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.7 - блок-схема последовательности этапов, изображающая подробности обработки, выполняемой с помощью устройства декодирования многовидового видео в соответствии с первым вариантом осуществления настоящего изобретения.

Фиг.8 - вид, изображающий режим предсказания компенсированного рассогласования.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ДЛЯ ВЫПОЛНЕНИЯ ИЗОБРЕТЕНИЯ

Настоящее изобретение теперь будет описано подробно со ссылкой, сделанной на чертежи, иллюстрирующие варианты осуществления настоящего изобретения.

Следует заметить, что в следующем описании при присоединении информации о позиции (а именно, значений координат или индекса, который может быть связан со значениями координат), окруженной символом [], к видео (т.е. кадрам) изображен видеосигнал, квантованный с помощью пикселя в этой позиции.

Устройство кодирования многовидового видео в соответствии с примером первого варианта осуществления настоящего изобретения

Структура устройства, устройства 100 кодирования многовидового видео, в соответствии с примером первого варианта осуществления настоящего изобретения изображена на фиг.1.

Как изображено на фиг.1, устройство 100 кодирования многовидового видео примера первого варианта осуществления обеспечено устройством 101 ввода целевого изображения кодирования, памятью 102 целевого изображения кодирования, устройством 103 ввода опорного изображения камеры, памятью 104 опорного изображения камеры, устройством 105 создания изображения предсказания, устройством 106 оценки параметра коррекции, устройством 107 коррекции изображения предсказания, устройством 108 кодирования изображения, устройством 109 декодирования изображения и памятью 110 декодированного изображения.

Устройство 101 ввода целевого изображения кодирования принимает входные данные кадров (т.е. изображения) объекта, сфотографированного или захваченного с помощью первой камеры, в качестве цели кодирования. Память 102 целевого изображения кодирования сохраняет входные введенные целевые кадры кодирования. Устройство 103 ввода опорного изображения камеры принимает в качестве опорных кадров входные данные кадров (т.е. изображения) того же объекта, сфотографированного или захваченного с помощью второй камеры, которая помещена в других позициях от первой камеры. Память 104 опорного изображения камеры сохраняет введенные опорные кадры. Устройство 105 создания изображения предсказания создает изображения предсказания кадров, намеченных для кодирования с использованием опорных кадров. Устройство 106 оценки параметра коррекции оценивает параметры коррекции на основании изображений предсказания и декодированных изображений в периферийных областях вокруг целевой области кодирования. Устройство 107 коррекции изображения предсказания корректирует изображения предсказания целевых областей кодирования с использованием оцененных параметров коррекции. Устройство 108 кодирования изображения кодирует сигналы изображения целевых областей кодирования, в то же время используя скорректированные изображения предсказания в качестве сигналов предсказания. Устройство 109 декодирования изображения декодирует закодированные сигналы изображения. Память 110 декодированного изображения сохраняет декодированные изображения.

Фиг.2 изображает последовательность этапов обработки, выполняемой с помощью устройства 100 кодирования многовидового видео варианта осуществления настоящего изобретения, которое сконструировано вышеописанным способом.

Затем обработка, выполняемая с помощью устройства 100 кодирования многовидового видео настоящего варианта осуществления, будет описана подробно, в соответствии с этой последовательностью этапов обработки.

Во-первых, кадр Org, который намечен для кодирования, вводят с помощью устройства 101 ввода целевого изображения кодирования и сохраняют в памяти 102 целевого изображения кодирования. Опорный кадр Ref вводят с помощью устройства 103 ввода опорного изображения камеры и сохраняют в памяти 104 опорного изображения камеры [А1].

Введенный опорный кадр является кадром изображения, полученного с помощью декодирования уже закодированного изображения. Причиной для этого является то, что при использовании той же информации, что и информация, полученная в устройстве декодирования, генерация шума кодирования, такого как дрейф, может быть подавлена. Однако, если генерация такого шума кодирования является допустимой, тогда возможно, чтобы был введен оригинал предварительного кодирования. Следует заметить, что, если существуют множество опорных кадров, тогда на этом этапе вводят множество опорных кадров.

Затем устройство 100 кодирования разделяет целевой кадр кодирования на множество целевых областей кодирования, которые далее в настоящем описании также будут упомянуты как блоки обработки кодирования , и сигналы изображения целевого кадра кодирования кодируют с помощью устройства 108 кодирования изображения с созданием и коррекцией изображения предсказания для каждых целевых областей кодирования [А2-А9].

А именно, когда индекс блока обработки кодирования выражен как blk и когда полное число всех блоков обработки кодирования (т.е. целевая область кодирования) выражено как NumBlks, тогда, после того как blk инициализировано в 0 [А2], следующие этапы [А3-А7] повторяют с увеличением blk на 1 [А8], до тех пор пока blk не достигнет NumBlks [А9].

При обработке, которую повторяют для каждого блока обработки кодирования, устройство 100 кодирования сначала создает изображение предсказания Pred для каждого блока blk (т.е. целевой области кодирования) и для областей, периферийных ему, которые уже закодированы (т.е. областей выборки), с использованием того же способа создания и опорных кадров в устройстве 105 создания изображения предсказания [А3].

В настоящей заявке различные типы блока могут быть использованы для этих периферийных областей, такие как блоки обработки кодирования, которые являются смежными блоку blk, или смежными пикселям, или тому подобные. Несмотря на то что для периферийных областей может быть использовано множество определений, необходимо использовать то же определение, что и определение, используемое на стороне декодирования. В примере настоящего варианта осуществления группы пикселей, содержащихся в уже закодированных областях, которые являются периферийными блоку blk, выражены как N_blk, в то время как группа пикселей, содержащихся в блоке blk, выражены как C_blk.

Не имеется никаких конкретных ограничений на способ, как создавать изображения предсказания, пока в способе используют опорный кадр Ref. Однако изображение предсказания Pred должно быть создано как для блока blk, так и для областей, периферийных ему, с помощью одного и того же способа. Например, если используют компенсированное предсказание рассогласования, которое использует вектор рассогласования, тогда изображение предсказания Pred может быть создано, как изображено в следующей формуле (1), с использованием одного вектора рассогласования dv как для блока blk, так и его области выборки.

Кроме того, если используют предсказание с синтезом (интерполяцией) вида, тогда изображение предсказания Pred создают, как изображено в следующей формуле (2), для изображения синтеза (интерполяции) вида Synth, полученного с помощью синтеза (интерполяции) всего изображения в целевой камере кодирования с использованием опорных кадров Ref .

Затем определяют параметры коррекции с помощью устройства 106 оценки параметра коррекции с использованием изображений предсказания и декодированных изображений Dec в периферийных областях [А4].

Для этого способа коррекции и для этой оценки параметра коррекции может быть использован любой подходящий способ, однако необходимо использовать тот же способ, что и способ, используемый на стороне декодирования.

Некоторыми примерами возможных способов коррекции являются коррекция, основанная на смещении, коррекция, которая использует линейную функцию, или двумерная обработка линейного фильтра, имеющего ответвление длины k. Когда пиксель, намеченный для коррекции, принят как p, значение предварительной коррекции принято как In, и значение посткоррекции выражено как Out, тогда они могут быть выражены соответственно с помощью следующих формул (3-5).

Коррекция, основанная на смещении, и коррекция, которая использует линейную функцию, являются типичными примерами коррекции, которая основана на обработке линейного фильтра. Следует заметить, что необязательно, чтобы обработка коррекции была линейной обработкой, а также может быть использован нелинейный фильтр, при условии, что возможна оценка параметра коррекции. Примером способа нелинейной коррекции является гамма-коррекция. Гамма-коррекция может быть выражена с помощью следующей формулы (6).

В этих примерах модели коррекции, смещение, ( , ), ({Fij},o) и ( , ,b) соответственно формируют параметры коррекции. А именно, число параметров коррекции изменяется в зависимости от модели коррекции.

В периферийных областях значением предварительной коррекции является изображение предсказания, и идеальное значение посткоррекции устанавливают как декодированное изображение. Таким образом, если параметры коррекции определяют таким образом, что разность между значениями, полученными с помощью коррекции значения предварительной коррекции и идеального значения посткоррекции, является минимальной, тогда может быть выполнено очень точное предсказание.

Например, при коррекции, основанной на значениях смещения, смещение может быть определено с использованием следующей формулы (7). Следует заметить, что изображает число пикселей в группе.

Кроме того, если коррекция основана на линейной функции, тогда параметры коррекции могут быть определены с использованием способа наименьших квадратов, в котором параметры коррекции могут быть получены с помощью минимизации суммы квадратичных ошибок. Параметры коррекции ( , ) в этом случае выражают с помощью следующей формулы (8).

Эти параметры коррекции могут быть определены для каждых компонентов освещенности и цветности или могут быть определены для каждого сигнала цвета RBG и тому подобного. Кроме того, можно подразделить каждый сигнал и выполнять разные коррекции относительно нескольких фиксированных диапазонов, таким образом, чтобы, например, выполнять коррекции с использованием разных параметров коррекции для R сигналов от 0 до 127 и от 128 до 255.

Если параметры коррекции оценены в устройстве 107 коррекции изображения предсказания с помощью коррекции изображения предсказания Pred для блока blk с использованием параметров коррекции, создают скорректированное изображение предсказания CPred [А5].

А именно, как изображено в последовательности этапов обработки на фиг.3, для каждого пикселя выполняют обработку, чтобы создать это скорректированное изображение предсказания CPred. В последовательности этапов обработки на фиг.3 pix указывает информацию идентификации пикселя, а numPix_blk указывает число пикселей в блоке blk.

Например, когда коррекцию выполняют с использованием значений смещения, CPred создают в соответствии со следующей формулой (9).

Описан пример, в котором выполняют коррекцию с использованием формулы (3), которая использует значения смещения, в качестве способа коррекции (т.е. модели коррекции). Как изображено на фиг.3, на этапе А4 с помощью оценки смещения при допущении, что значения пикселей изображения предсказания и декодированного изображения в периферийных уже закодированных областях как In и Out, соответственно составляют уравнение преобразования для значений пикселей в качестве модели коррекции. Затем на этапе А5 корректируют изображение предсказания для блока blk с помощью замены значений пикселей изображения предсказания блока blk на In в составленном уравнении преобразования для значений пикселей, которые решены.

После того, как коррекция изображения предсказания для блока blk закончена, в устройстве 108 кодирования изображения выполняют кодирование целевого кадра Org для блока blk [А6], причем скорректированное изображение предсказания CPred используют в качестве сигналов предсказания.

Не имеется ограничений относительно того, какой способ кодирования может быть использован, однако в типичном способе кодирования, таком как Н.264, кодирование выполняют с помощью применения кодирования DCT - квантования - преобразования в двоичную форму - энтропии относительно разности между Org и CPred.

Битовый поток, получающийся в результате кодирования, формирует выходные данные из устройства 100 кодирования многовидового видео. Совместно с этим, декодированное изображение Dec, которое является результатом декодирования, полученным, когда выполняют декодирование в каждом блоке с помощью устройства 109 декодирования изображения, сохраняют в памяти 110 декодированного изображения, используемой для оценки параметров коррекции в других блоках [А7].

Таким образом, устройство 100 кодирования многовидового видео настоящего варианта осуществления определяет локализованные параметры коррекции, для того чтобы сделать возможным достичь очень эффективного кодирования многовидового видео, которое стремится иметь локализованные рассогласования в освещенности и цвете между камерами. Кроме того, для того чтобы избежать какого-либо увеличения объема кода, эти параметры коррекции определяют с использованием системы, в которой необходимо кодировать/декодировать параметры коррекции, в то время как выполняют это кодирование многовидового видео.

В примере настоящего варианта осуществления описан случай, в котором существует только один способ предсказания, однако настоящее изобретение также может быть использовано в устройстве 100 кодирования многовидового видео, которое выполняет кодирование с помощью выбора наиболее эффективного способа предсказания среди множества существующих способов предсказания.

А именно, этапы с А3 по А6 выполняют для каждого способа предсказания и сравнивают относительные эффективности кодирования каждого. Наконец, результат кодирования для способа предсказания, имеющего наивысшую эффективность кодирования, используют в качестве выходных данных из устройства 100 кодирования многовидового видео, а также посылают в устройство 109 декодирования изображения. В это время посылают управляющий сигнал из устройства 108 кодирования изображения в устройство 105 создания изображения предсказания, уведомляя, какой способ предсказания должен быть использован. Пунктирная линия на фиг.1 изображает этот управляющий сигнал.

Устройство декодирования многовидового видео в соответствии со вторым вариантом осуществления настоящего изобретения

Далее будет описан пример второго варианта осуществления настоящего изобретения.

Структура устройства, устройства 200 декодирования многовидового видео, в соответствии со вторым вариантом осуществления настоящего изобретения изображена на фиг.5.

Как изображено на фиг.5, устройство 200 декодирования многовидового видео настоящего варианта осуществления обеспечено устройством 201 ввода закодированных данных, памятью 202 закодированных данных, устройством 203 ввода опорного изображения камеры, устройством 206 оценки параметра коррекции, устройством 207 коррекции изображения предсказания, устройством 208 декодирования изображения и памятью 209 декодированного изображения. Устройство 201 ввода закодированных данных принимает входные сигналы закодированных данных кадров (т.е. изображений) объекта, сфотографированного или захваченного с помощью первой камеры, в качестве цели декодирования. Память 202 закодированных данных сохраняет введенные закодированные данные. Устройство 203 ввода опорного изображения камеры принимает входные сигналы кадров (например, изображений) того же объекта, сфотографированного или захваченного с помощью вторых камер, которые помещены в другие позиции от первой камеры, и их используют, чтобы формировать опорные кадры. Память 204 опорного изображения камеры сохраняет введенные опорные кадры. Устройство 205 создания изображения предсказания создает изображения предсказания кадров, намеченных для декодирования, с использованием опорных кадров. Устройство 206 оценки параметра коррекции оценивает параметры коррекции на основании изображений предсказания и декодированных изображений в периферийных областях вокруг целевой области декодирования. Устройство 207 коррекции изображения предсказания корректирует изображения предсказания целевых областей декодирования с использованием оцененных параметров коррекции. Устройство 208 декодирования изображения декодирует закодированные данные целевых областей декодирования, в то же время используя скорректированные изображения предсказания в качестве сигналов предсказания. Память 209 декодированного изображения сохраняет декодированные изображения.

Фиг.6 изображает последовательность этапов обработки, выполняемой с помощью устройства 200 декодирования многовидового видео настоящего варианта осуществления, которое сконструировано вышеописанным способом.

Далее обработка, выполняемая с помощью устройства 200 декодирования многовидового видео, будет описана подробно, в соответствии с этой последовательностью этапов.

Во-первых, закодированные данные вводят с помощью устройства 201 ввода закодированных данных и сохраняют в памяти 202 закодированных данных. Опорный кадр Ref вводят с помощью устройства 203 ввода опорного изображения камеры и сохраняют в памяти 204 опорного изображения камеры [В1]. Опорный кадр Ref уже декодирован с помощью обеспеченного устройства 200 декодирования многовидового видео, которое связано с камерой, которая фотографировала этот опорный кадр Ref.

Следует заметить, что если существует множество опорных кадров, тогда на данном этапе вводят множество опорных кадров.

Затем устройство 200 декодирования разделяет целевой кадр декодирования на множество целевых областей декодирования (которые далее в настоящем описании также будут упомянуты как блоки обработки декодирования ), и сигналы изображения целевого кадра декодирования декодируют с помощью устройства 208 декодирования изображения с созданием и коррекцией изображения предсказания для каждых целевых областей кодирования [В2-В9].

А именно, когда индекс блока обработки декодирования (т.е. целевой области декодирования) выражен как blk и когда полное число всех блоков обработки декодирования выражено как NumBlks, тогда после инициализации blk в 0 [В2] устройство 200 декодирования повторяет следующие этапы [В3-В6] с увеличением blk на 1 [В7], до тех пор пока blk не достигнет NumBlks [В8].

При обработке, которую повторяют для каждого блока обработки декодирования, устройство 200 декодирования сначала создает изображение предсказания Pred для каждого блока blk (т.е. целевой области декодирования) и для областей периферийных ему, которые уже декодированы (т.е. областей выборки) с использованием того же способа создания и опорных кадров в устройстве 205 создания изображения предсказания [В3].

Обработку на данном этапе выполняют так же, как на этапе А3 примера 1 варианта осуществления. Таким же образом, как на этапе А3, различные типы блока могут быть использованы для периферийных областей, такие как блоки обработки декодирования, которые являются смежными блоку blk , или смежными пикселям, или тому подобные. Несмотря на то что для периферийных областей может быть использовано множество определений, необходимо, чтобы было использовано то же определение, что и определение, используемое на стороне декодирования. В примере настоящего варианта осуществления группы пикселей, содержащихся в уже декодированных областях, которые являются периферийными блоку blk, выражены как N_blk, в то время как группа пикселей, содержащихся в блоке blk, выражены как C_blk.

Следует заметить, что способ, использованный в настоящей заявке, чтобы создавать изображение предсказания (т.е. изображение предсказания между первой и второй камерами), должен быть тем же, что и способ, который был использован на стороне кодирования. Если кодирование было выполнено с помощью выбора одного способа предсказания из множества способов предсказания, тогда информация, задающая, какой способ предсказания был использован, содержится в закодированных данных. Таким образом, управляющий сигнал об этом принимают с помощью устройства 205 создания изображения предсказания и изображения предсказания для блока blk и периферийных к нему областей создают с использованием заданного способа предсказания. Пунктирная линия на фиг.5 изображает этот управляющий сигнал.

Затем определяют параметры коррекции с помощью устройства 206 оценки параметра коррекции с использованием изображения предсказания и декодированного изображения Dec периферийной области [В4].

Для этого способа коррекции и для этой оценки параметра коррекции может быть использован любой подходящий способ, однако необходимо использовать тот же способ, что и способ, используемый на стороне кодирования. Обработка на данном этапе является такой же, как на этапе А4 примера 1 варианта осуществления.

Если параметры коррекции оценены, изображение предсказания Pred для блока blk корректируют с использованием параметров коррекции с помощью устройства 207 коррекции изображения предсказания, таким образом, что создают скорректированное изображение предсказания CPred [В5].

Обработка на данном этапе является такой же, как на этапе А5 примера 1 варианта осуществления, и, как изображено в последовательности этапов обработки на фиг.7, выполняется для каждого пикселя. В последовательности этапов обработки на фиг.7 pix указывает информацию идентификации пикселя, а numPix_blk указывает число пикселей в блоке blk.

После того как коррекция изображения предсказания для блока blk закончена, в устройстве 208 декодирования изображения закодированные данные для блока blk декодируют, причем скорректированное изображение предсказания CPred используют в качестве сигналов предсказания, таким образом, что получают декодированное изображение Dec[blk] для блока blk [В6].

Необходимо, чтобы обработка декодирования, выполняемая на этом этапе, соответствовала способу, использованному, когда были созданы закодированные данные. Например, если кодирование было выполнено с использованием Н.264, тогда обработку декодирования выполняют с помощью суммирования сигнала предсказания с остаточным сигналом, декодированным с помощью применения декодирования энтропии, мультиплексирования значения, обратного квантования и обратного DCT.

Декодированное изображение, получающееся в результате декодирования, формирует выходные данные из устройства 200 декодирования многовидового видео, и его сохраняют в памяти 209 декодированного изображения, используемой для оценки параметров коррекции в других блоках.

Таким образом, устройство 200 декодирования многовидового видео, структурированное способом, изображенным на фиг.5, выполняет обработку, чтобы декодировать закодированные данные, созданные с помощью устройства 100 кодирования многовидового видео, которое структурировано способом, изображенным на фиг.1.

В примере 1 варианта осуществления и примере 2 варианта осуществления, которые описаны выше, коррекцию выполняют во всех из блоков, однако также можно использовать структуру, в которой выбирают, выполнять ли или нет коррекцию, с помощью кодирования одного бита информации флага в каждом блоке.

Кроме того, также существует способ, в котором измеряют надежность параметров коррекции, а затем выбирают, выполнять или нет коррекцию, на основании степени этой надежности, вместо кодирования бита информации флага.

А именно, после того как параметры коррекции определены на этапе А4 и этапе В4, определяют значение, которое выражает допустимость и эффективность коррекции, таким образом, как изображено в следующих формулах (10-12). Изображение предсказания блока blk корректируют на этапе А5 и этапе В5, только когда это значение выше, чем предварительно определенное пороговое значение.

В настоящей заявке первый член в формуле (10) изображает сумму абсолютных разностей между декодированным изображением Dec и изображением предсказания Pred до коррекции, в то время как второй член изображает сумму абсолютных разностей между декодированным изображением Dec и скорректированным изображением предсказания CPred. Из них формула (10) изображает, на сколько сумма абсолютных разностей между истинным значением и значением предсказания уменьшена с помощью коррекции. Кроме того, первый член в формуле (11) изображает сумму квадратичных разностей между декодированным изображением Dec и изображением предсказания Pred до коррекции, в то время как второй член изображает сумму квадратичных разностей между декодированным изображением Dec и скорректированным изображением предсказания CPred. Из них формула (11) изображает, на сколько сумма квадратичных разностей между истинным значением и значением предсказания уменьшена с помощью коррекции. Формула (12) является значением, которое показывает, насколько допустимой является модель коррекции в данных выборках.

Поскольку все из значений, изображенных в формулах (10-12), определяют с использованием значений не из целевого блока обработки, а из областей, периферийных ему, необходимо кодировать только те пороговые значения, которые использованы универсально, а затем предоставлять их на сторону декодирования.

Для того чтобы определить более надежные параметры коррекции при установке периферийных областей в первом варианте осуществления и втором варианте осуществления, можно выполнить обработку, чтобы удалить обособленные пиксели, которые включены в пиксели в периферийных областях, из выборки, использованной во время оценки параметра коррекции.

Например, каждый пиксель в периферийной области может быть сгруппирован в кластеры с помощью измерения разностей между декодированным изображением и изображением предсказания, и только те пиксели, которые принадлежат кластеру, имеющему наибольшее число элементов, используют в качестве элементов группы периферийных пикселей (т.е. области выборки) N_blk, которую используют при оценке параметра коррекции.

Самым простым способом кластеризации является способ, в котором, если дисперсия дифференциальных значений между декодированным изображением и изображением предсказания меньше или равна конкретному пороговому значению, тогда все из пикселей устанавливают в качестве одного кластера, в то время как, если значение больше, чем пороговое значение, тогда пиксели разделяют на два кластера с помощью рассмотрения среднего из дифференциальных значений в качестве границы. В этом случае если дисперсия дифференциальных значений между декодированным изображением и изображением предсказания пикселей в каждом кластере становится меньше, чем конкретное пороговое значение, кластеризацию заканчивают.

Более сложным способом кластеризации является способ, в котором в начале каждый пиксель рассматривают как формирующий один кластер. Затем, когда любые два кластера сливают вместе, слияние выполняют в последовательности от кластеров, имеющих наименьшее увеличение дисперсии дифференциальных разностей между декодированным изображением и изображением предсказания пикселей в кластере. В этом случае если кластер, имеющий дисперсию, которая превышает конкретное пороговое значение, заканчивается, созданный независимо от того, какие два кластера сливают вместе, кластеризацию заканчивают.

Следует заметить, что в настоящем варианте осуществления описана обработка, чтобы кодировать или декодировать один кадр одной камеры, однако с помощью повторения этой обработки для каждого кадра можно выполнить кодирование или декодирование многовидового видео. Кроме того, с помощью повторения этой обработки для каждой камеры можно выполнить кодирование или декодирование многовидового видео множества камер.

Обработка, описанная выше, также может быть выполнена с помощью компьютера и программы программного обеспечения. Эта программа может быть поставлена как записанная на носителе записи, доступном для чтения с помощью компьютера, или может быть поставлена с помощью сети.

Кроме того, в описанных выше вариантах осуществления описание централизовано на устройстве кодирования многовидового видео и устройстве декодирования многовидового видео, однако способ кодирования многовидового видео настоящих вариантов осуществления может быть выполнен посредством этапов, которые соответствуют операциям каждой части этого устройства кодирования многовидового видео. Таким же образом, способ декодирования многовидового видео настоящих вариантов осуществления может быть выполнен посредством этапов, которые соответствуют операциям каждой части этого устройства декодирования многовидового видео.

Несмотря на то что выше описаны и проиллюстрированы варианты осуществления изобретения, следует понимать, что они являются иллюстративными для изобретения и не должны быть рассмотрены как ограничивающие.

Таким образом, добавление, пропуски, замены и другие модификации могут быть сделаны, не выходя за рамки сущности и объема настоящего изобретения.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

Настоящее изобретение может быть применено к процессам кодирования многовидового изображения. При применении настоящего изобретения можно достичь очень эффективного кодирования и декодирования многовидовых изображений и многовидовых движущихся изображений, в которых присутствуют локализованные несоответствия освещенности и цветов между камерами. Кроме того, можно значительно уменьшить объем кода, требуемого в случаях, когда используют это новое изобретение.

ПОЗИЦИОННЫЕ ОБОЗНАЧЕНИЯ

100 - устройство кодирования многовидового изображения

101 - устройство ввода целевого изображения кодирования

102 - память целевого изображения кодирования

103 - устройство ввода опорного изображения камеры

104 - память опорного изображения камеры

105 - устройство создания изображения предсказания

106 - устройство оценки параметра коррекции

107 - устройство коррекции изображения предсказания

108 - устройство кодирования изображения

109 - устройство декодирования изображения

110 - память декодированного изображения

200 - устройство декодирования многовидового видео

201 - устройство ввода декодированных данных

202 - память декодированных данных

203 - устройство ввода опорного изображения камеры

204 - память опорного изображения камеры

205 - устройство создания изображения предсказания

206 - устройство оценки параметра коррекции

207 - устройство коррекции изображения предсказания

208 - устройство декодирования изображения

209 - память декодированного изображения