универсальный формат 3-d изображения

Формула изобретения

1. Способ предоставления сигнала 3-D изображения, содержащий:

этап предоставления изображения, на котором предоставляют пару изображений (LP, RP) для включения в сигнал, при этом указанная пара изображений содержит первое изображение (LP), предназначенное для одного глаза зрителя, и второе изображение (RP), предназначенное для другого глаза зрителя;

этап предоставления карты глубины, на котором предоставляют карту (DM) глубины, предназначенную конкретно для первого изображения, для включения в сигнал, при этом карта глубины содержит значения показателя глубины, при этом значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем;

этап предоставления данных управления воспроизведением, на котором предоставляют данные (GD) управления воспроизведением для включения в сигнал, причем данные управления воспроизведением устанавливают соответствующие параметры для соответствующих контекстов воспроизведения, при этом соответствующие параметры относятся к генерированию изображения (LP+/-S) со смещенной точкой обзора из первого изображения (LP) и карты (DM) глубины, которая предназначена конкретно для этого первого изображения.

2. Способ по п.1, причем этап предоставления данных управления воспроизведением содержит подэтап, на котором:

определяют набор параметров для первого стереорежима (А), в котором изображение (LP+/-S) со смещенной точкой обзора, генерируемое из первого изображения (LP) и карты (DM) глубины, составляет воспроизводимое первое изображение (LR), и в котором второе изображение (RP) составляет воспроизводимое второе изображение (RR); и

определяют набор параметров для второго стереорежима (B), в котором первое изображение (LP) составляет воспроизводимое первое изображение (LR), и в котором изображение (LP+/-S) со смещенной точкой обзора, генерируемое из первого изображения (LP) и карты (DM) глубины, составляет воспроизводимое второе изображение (RR).

3. Способ по п.2, причем этап предоставления данных управления воспроизведением содержит подэтап, на котором предоставляют соответствующие наборы параметров (Р_mах) с определением первого диапазона (10-6) силы стереоэффекта, в котором требуется применять первый стереорежим (A), и второго диапазона (5-0) силы стереоэффекта, в котором требуется применять второй стереорежим (B).

4. Способ по п.1, причем данные (GD) управления воспроизведением определяют соответствующие максимальные значения (P_max ) смещения параллакса для соответствующих значений показателя (DV), обозначающего глубину.

5. Способ по п.1, причем данные (GD) управления воспроизведением определяют соответствующие значения (P_off) смещения параллакса для соответствующих размеров (SZ) экрана.

6. Способ по п.1, причем данные (GD) управления воспроизведением содержат показатель точности карты глубины.

7. Способ по п.1, содержащий:

этап предоставления фонового изображения, на котором предоставляют фоновое изображение (BG), предназначенное конкретно для первого изображения (LP).

8. Способ по п.7, содержащий:

этап предоставления альфа-карты, на котором предоставляют альфа-карту, которая предназначена конкретно для первого изображения (LP), причем альфа-карта определяет постепенные переходы в изображении со смещенной точкой обзора, которое может быть сгенерировано из левого изображения, карты (DM) глубины и фонового изображения (BG).

9. Система предоставления 3-D изображения для обеспечения сигнала 3-D изображения, содержащая:

узел (LCAM, RCAM) предоставления изображения, предназначенный для предоставления пары изображений (LP, RP), подлежащих включению в сигнал, при этом указанная пара изображений содержит первое изображение (LP), предназначенное для одного глаза зрителя, и второе изображение (RP), предназначенное для другого глаза зрителя;

блок (DS, RPR) предоставления карты глубины, предназначенный для предоставления карты (DM) глубины, подлежащей включению в сигнал, и предназначенной конкретно для первого изображения (LP), причем карта глубины содержит значения показателя глубины, причем значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем; и

средство предоставления данных (GD) управления воспроизведением, подлежащих включению в сигнал, причем данные управления воспроизведением устанавливают соответствующие параметры для соответствующих контекстов воспроизведения, при этом соответствующие параметры относятся к генерированию изображения (LP+/-S) со смещенной точкой обзора из первого изображения (LP) и карты (DM) глубины, которая предназначена конкретно для этого первого изображения.

10. Способ воспроизведения 3-D изображения на основе сигнала 3-D изображения, при этом сигнал 3-D изображения содержит:

пару изображений, содержащую первое изображение (LP), предназначенное для одного глаза зрителя, и второе изображение (RP), предназначенное для другого глаза зрителя;

карту (DM) глубины, предназначенную конкретно для первого изображения (LP), причем карта глубины содержит значения показателя глубины, причем значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем; и

данные (GD) управления воспроизведением, причем данные управления воспроизведением устанавливают соответствующие параметры для соответствующих контекстов воспроизведения, при этом соответствующие параметры относятся к генерированию изображения (LP+/-S) со смещенной точкой обзора из первого изображения (LP) и карты (DM) глубины,

при этом способ содержит:

этап генерирования изображения со смещенной точкой обзора, на котором генерируют изображение (LP+/-S) со смещенной точкой обзора из первого изображения (LP), карту (DM) глубины, и данные (GD) управления воспроизведением; и

этап выбора для воспроизведения 3-D изображения в соответствии по меньшей мере с одним из двух стереорежимов:

первый стереорежим (A), в котором изображение (LP+/-S) со смещенной точкой обзора составляет воспроизводимое первое изображение (LR), и в котором второе изображение (RP), содержащееся в сигнале, составляет воспроизводимое второе изображение (RR); и

второй стереорежим (B), в котором первое изображение (LP), содержащееся в сигнале, составляет воспроизводимое первое изображение (LR), и в котором изображение (LP+/-S) со смещенной точкой обзора составляет воспроизводимое второе изображение (RR).

11. Система воспроизведения 3-D изображения для воспроизведения 3-D изображения на основе сигнала 3-D изображения, содержащего:

пару изображений, содержащую первое изображение (LP), предназначенное для одного глаза зрителя, и второе изображение (RP), предназначенное для другого глаза зрителя;

карту (DM) глубины, предназначенную конкретно для первого изображения (LP), причем карта глубины содержит значения показателя глубины, причем значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем; и

данные (GD) управления воспроизведением, причем данные управления воспроизведением устанавливают соответствующие параметры для соответствующих контекстов воспроизведения, при этом соответствующие параметры относятся к генерированию изображения (LP+/-S) со смещенной точкой обзора из первого изображения (LP) и карты (DM) глубины,

при этом система содержит:

генератор (SHG) смещения точки обзора для генерирования изображения (LP+/-S) со смещенной точкой обзора из первого изображения (LP), карты (DM) глубины, и данных (GD) управления воспроизведением; и

селектор (SEL) для воспроизведения 3-D изображения в соответствии с по меньшей мере одним из двух стереорежимов:

первый стереорежим (A), в котором изображение (LP+/-S) со смещенной точкой обзора составляет воспроизводимое первое изображение (LR), и в котором второе изображение (RP), содержащееся в сигнале, составляет воспроизводимое второе изображение (RR); и

второй стереорежим (B), в котором первое изображение (LP), содержащееся в сигнале, составляет воспроизводимое первое изображение (LR) и в котором изображение (LP+/-S) со смещенной точкой обзора составляет воспроизводимое второе изображение (RR).

Описание изобретения к патенту

Область техники, к которой относится изобретение

Один аспект изобретения относится к способу предоставления 3-D изображения, которое содержит пару изображений, причем одно изображение предназначено для одного глаза зрителя, а другое изображение предназначено для другого глаза зрителя. 3-D изображение может формировать часть, например, последовательность 3-D изображений, которые имеют аналогичный формат и составляют видеоданные. Другие аспекты изобретения относятся к системе предоставления 3-D изображения, сигналу, с помощью которого передают 3-D изображение, способу представления 3-D изображения, системе представления 3-D изображения и к компьютерному программному продукту для программируемого процессора.

Уровень техники

Визуальное представление 3-D изображения может быть получено на основе сигнала, который содержит пару изображений: левое изображение и правое изображение, предназначенных для левого глаза и для правого глаза зрителя, соответственно. В случае видеоизображения, сигнал содержит последовательность таких пар изображений. Левое и правое изображения, содержащиеся в нем, могут быть непосредственно отображены в стереоскопическом устройстве отображения, для которого может потребоваться, чтобы зритель надел очки. Стекло левого глаза пропускает воспроизводимое левое изображение для левого глаза. Стекло правого глаза пропускает воспроизводимое правое изображение для правого глаза. Например, устройство отображения может поочередно отображать воспроизводимые левое изображение и правое изображение. В этом случае, когда стекло для левого глаза делают прозрачным, отображают воспроизводимое левое изображение, и оно становится непрозрачным в противном случае. Аналогично, стекло для правого глаза делают прозрачным, когда отображают воспроизводимое правое изображение, и оно становится непрозрачным в других случаях.

Сигнал, который содержит пару изображений или последовательность пар изображений, которая составляет 3-D изображение, как описано в предыдущем параграфе, обычно генерируют для определенного контекста воспроизведения в пределах, например, размеров экрана и для определенного расстояния просмотра. Конкретный контекст воспроизведения может, например, представлять собой кинотеатр с экраном, который составляет 12 метров в ширину, и где зрители обычно находятся на расстоянии 18 метров от экрана. В случае, когда контекст воспроизведения отличается от контекста воспроизведения, для которого был сгенерирован сигнал, 3-D изображение будет выглядеть по-другому. Например, в случае, когда 3-D изображение, сгенерированное для кинотеатра, будет воспроизведено в домашнем видеоустройстве, зритель будет ощущать другое визуальное впечатление, чем в кинотеатре. Эффекты глубины обычно становятся менее ощутимыми, и, кроме того, может проявляться видимое смещение глубины при ощущении того, что объект, который выглядит как находящийся далеко позади экрана в кинотеатре, выглядит ближе к передней части экрана в домашнем видеоустройстве.

Зритель, который просматривает 3-D изображение в частной среде, такой как домашняя обстановка, может пожелать регулировать эффект глубины для такого воспроизведения, которое наиболее соответствует восприятию пользователя. В принципе, возможно достичь этого с помощью интерполяции или экстраполяции, которая основана на каждой паре изображений, содержащихся в 3-D видеоизображениях. В действительности, левое изображение и правое изображение сравнивают таким образом, чтобы получить так называемую карту несоответствия, выражающую различия между этими изображениями, в частности, в том, что касается горизонтального смещения. Регулировка эффектов глубины может быть выражена в форме модифицированной карты несоответствия, которую используют для генерирования новой пары изображений. Такой процесс интерполяции или экстраполяции является относительно сложным и, поэтому, достаточно дорогостоящим. Кроме того, такая обработка может вводить ощутимые искажения, которые могут быть неприятными для зрителя.

В заявке на патент США, опубликованной под номером 2005/0190180, описан способ индивидуальной адаптации содержания сцены в соответствии с пользователем или кластером пользователей для заданного стереоскопического отображения. Получают информацию индивидуальной адаптации для пользователя. Также получают карту несоответствия сцены для пары заданных стереоизображений. Определяют цель диапазона несоответствия для пользователя. Генерируют карту индивидуализированного несоответствия, которая коррелирует с возможностями пользователя по объединению изображений для заданного стереоскопического отображения. Стереоизображения воспроизводят или повторно воспроизводят для последующего отображения.

Раскрытие изобретения

Существует потребность в универсальном 3-D видеосигнале, который обеспечивает удовлетворительное воспроизведение в большом разнообразии устройств воспроизведения. Независимые пункты формулы изобретения, которые приложены к описанию, определяют различные аспекты изобретения, которые позволяют лучше удовлетворить эту потребность. Зависимые пункты формулы изобретения определяют дополнительные признаки для предпочтительного варианта выполнения изобретения.

В соответствии с одним аспектом изобретения, 3-D изображение предоставляют следующим образом. Предоставляют пару изображений, содержащую первое изображение, предназначенное для одного глаза зрителя, и второе изображение, предназначенное для другого глаза зрителя. Кроме того, предоставляют карту глубины, предназначенную конкретно для первого изображения. Карта глубины содержит значения показателя глубины. Значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем.

Пара изображений обычно представляет сцену, рассматриваемую из разных точек обзора. С точки зрения воспроизведения, из первого изображения и карты глубины может быть сгенерировано изображение со смещенной точкой обзора. Изображение со смещенной точкой обзора представляет сцену с точки обзора, которая отличается от точки обзора первого изображения. Изображение со смещенной точкой обзора и второе изображение совместно составляют новую пару изображений, которая позволяет получить визуальное 3-D воспроизведение, отличающееся от полученного при отображении первого изображения и второго изображения такими, как они есть. Соответствующее воспроизведение может быть обеспечено при регулировании величины смещения с точки зрения точки обзора для изображения со смещенной точкой обзора относительно первого изображения. Величина смещения обычно зависит от контекста воспроизведения: воспроизведение изображения может быть приспособлено для крупного экрана или для более малого экрана, с использованием соответствующей величины смещения. Важно отметить, что изображение со смещенной точкой обзора может быть сгенерировано достаточно точным и простым способом относительно первого изображения и на основе карты глубины, которая предназначена конкретно для этого первого изображения. В соответствии с этим, удовлетворительное 3-D воспроизведение может быть обеспечено для большого разнообразия устройств отображения при достаточно малых затратах.

Следует отметить, что 3-D изображение, или их последовательность, которые могут быть предоставлены в соответствии с изобретением, также в особенности пригодны для воспроизведения с использованием автостереоскопических устройств отображения. Такое воспроизведение обычно подразумевает генерирование множества изображений со смещенной точкой обзора, каждое из которых представляет собой сцену, относящуюся к определенной точке обзора. Такое множество изображений со смещенной точкой обзора может быть сгенерировано относительно просто из первого изображения и карты глубины, которая предназначена конкретно для этого первого изображения. Второе изображение может быть эффективно проигнорировано для целей автостереоскопического воспроизведения. В соответствии с этим, карту глубины можно эффективно использовать с двумя назначениями: во-первых, с целью адаптации к определенному контексту воспроизведения и, во-вторых, с целью генерирования множества изображений со смещенной точкой обзора в случае воспроизведения с использованием автостереоскопического устройства отображения.

Кроме того, следует отметить, что 3-D изображение или их последовательность, которая была предусмотрена в соответствии с изобретением, обычно содержит умеренное количество дополнительных данных по сравнению с основным 3-D изображением, которое содержит только пару изображений. Это связано с тем, что карта глубины обычно содержит небольшое количество данных по сравнению с данными изображения, которые составляют визуальное представление сцены. Карта глубины может иметь меньшее разрешение, чем изображение, к которому относится карта глубины. Кроме того, карта глубины должна содержать только одно значение для пикселя или кластера пикселей, тогда как изображение обычно содержит различные значения для пикселя: значение яркости и два значения цветоразностного сигнала. В соответствии с этим, носитель записи, такой как, например, диск DVD, на котором предусмотрена достаточная емкость для сохранения основного 3-D изображения, обычно также обеспечивает достаточную емкость для сохранения 3-D видеоизображения, которое было предусмотрено в соответствии с изобретением. Аналогично, канал передачи, который обеспечивает возможность передачи основного 3-D видеоизображения, обычно также обеспечивает возможность передачи 3-D видеоизображения, которое было предусмотрено в соответствии с изобретением. Упомянутые выше преимущества могут быть, таким образом, достигнуты при относительно малых затратах в том, что касается емкости накопителя или полосы пропускания, или обоих этих параметров.

Вариант осуществления изобретения, предпочтительно, содержит одно или больше из следующих дополнительных свойств, которые описаны в отдельных параграфах, которые соответствуют отдельным зависимым пунктам формулы изобретения.

Предпочтительно, направляющие данные воспроизведения описывают соответствующие параметры для соответствующих контекстов воспроизведения. Соответствующие параметры относятся к генерированию изображения со смещенной точкой обзора от первого изображения и для карты глубины, которая предназначена конкретно для первого изображения.

Данные управления воспроизведением предпочтительно содержат набор параметров для первого стереорежима и набор параметров для второго стереорежима. В первом стереорежиме изображение со смещенной точкой обзора, которое генерируют из первого изображения и карты глубины, составляет воспроизводимое первое изображение, и второе изображение составляет воспроизводимое второе изображение. Во втором стереорежиме первое изображение составляет воспроизводимое первое изображение, и изображение со смещенной точкой обзора, которое генерируют из первого изображения и карты глубины, составляет воспроизводимое второе изображение.

Описанные выше соответствующие наборы параметров предпочтительно предусматривают с определением первого диапазона силы стереоэффекта, в котором требуется применять первый стереорежим, и второго диапазона силы стереоэффекта, в котором требуется применять второй стереорежим.

Данные управления воспроизведением могут определять соответствующие значения максимального смещения параллакса для соответствующих значений показателя глубины.

Данные управления воспроизведением могут определять соответствующие значения смещения параллакса для соответствующих размеров экрана.

Данные управления воспроизведением могут содержать показатель точности карты глубины.

Предпочтительно предоставляют фоновое изображение, которое конкретно предназначено для первого изображения.

Кроме того, предпочтительно предоставляют альфа-карту, которая конкретно предназначена для первого изображения. Альфа-карта определяет постепенные переходы в изображении со смещенной точкой обзора, которые могут быть сгенерированы из левого изображения, карты глубины и фонового изображения.

Настоящее изобретение, кроме того, осуществлено в способе по п.1 формулы изобретения, в котором первое, второе изображения и карта глубины предусмотрены с разрешением, настроенным для заданной полосы пропускания для передачи сигнала, и в котором кодированы дополнительные кадры, предоставляющие дополнительные данные для использования при воспроизведении на основе изображения и компонентов глубины.

Идея, лежащая в основе, состоит в том, что первое, второе изображения и карта глубины могут быть предусмотрены с разрешением, настроенным для доступной полосы пропускания для передачи первого и второго изображений с исходным разрешением. Дополнительные кадры, в свою очередь, предоставляют для того, чтобы предоставить дополнительные данные для использования при воспроизведении на основе изображения и компонентов глубины.

Настоящее изобретение, кроме того, осуществлено в системе представления 3-D изображения в соответствии с первым, вторым изображениями и картой глубины, предусмотренными с разрешением, настроенным для заданной полосы пропускания для передачи сигнала, и в которой кодируют дополнительные кадры, которые предоставляют дополнительные данные для использования при воспроизведении на основе изображения и компонентов глубины.

Настоящее изобретение, кроме того, осуществлено в сигнале, который передает 3-D изображение, содержащее: пару изображений, содержащих первое изображение (LP), предназначенное для одного глаза зрителя, и второе изображение (RP), предназначенное для другого глаза зрителя; карту глубины (DM), предназначенную конкретно для первого изображения (LP), причем карта глубины содержит значения показателя глубины, при этом значение показателя глубины относится к определенному участку первого изображения и обозначает расстояние между объектом, по меньшей мере частично представленным этим участком первого изображения, и зрителем, и в котором первое, второе изображение и карта глубины предусмотрены с разрешением, настроенным для заданной полосы пропускания для передачи сигнала, и в котором кодируют дополнительные кадры и предоставляют дополнительные данные для использования при воспроизведении на основе изображения и компонентов глубины.

Настоящее изобретение, кроме того, осуществлено в носителе записи, который содержит сигнал в соответствии с пунктом 19 формулы изобретения.

Подробное описание изобретения со ссылкой на чертежи иллюстрирует изобретение, кратко описанное выше, а также его дополнительные признаки.

Краткое описание чертежей

На фиг. 1 показана блок-схема, которая иллюстрирует систему генерирования 3-D видеоизображения.

На фиг. 2 показана концептуальная схема, которая иллюстрирует универсальный 3-D видеосигнал, который обеспечивает система генерирования 3-D видеоизображения.

На фиг. 3 показана концептуальная схема, которая иллюстрирует первый стереоскопический режим, который возможен при использовании универсального 3-D видеосигнала.

На фиг. 4 показана концептуальная схема, которая иллюстрирует второй режим стереоизображения, который возможен с универсальным 3-D видеосигналом.

На фиг. 5 показана концептуальная схема, которая иллюстрирует универсальный 3-D видеосигнал с дополнением.

На фиг. 6 показана схема данных, которая иллюстрирует пример данных управления воспроизведением, которые могут содержаться в универсальном 3-D видеосигнале c дополнением.

На фиг. 7 показана схема данных, которая иллюстрирует другой пример данных управления воспроизведением, которые могут содержаться в универсальном 3-D видеосигнале с дополнением.

На фиг. 8 показана схема данных, которая иллюстрирует еще один пример данных управления воспроизведением, которые могут содержаться в универсальном 3-D видеосигнале c дополнением.

На фиг. 9 показана блок-схема, которая иллюстрирует систему дополнения 3-D видеоизображения, которая позволяет предоставлять универсальный 3-D видеосигнал с дополнением.

На фиг. 10 показана блок-схема последовательности операций, которая иллюстрирует последовательность этапов, которые может осуществлять система дополнения 3-D видеосигнала.

На фиг. 11 показана блок-схема, которая иллюстрирует систему воспроизведения видеоизображения, которая обеспечивает воспроизведение стереоскопического изображения на основе универсального 3-D видеосигнала.

На фиг. 12 показана блок-схема, которая иллюстрирует альтернативную систему воспроизведения видеоизображения, которая содержит устройство автостереоскопического отображения.

На фиг. 13 представлен обзор для проигрывателей BD, для моноскопического видеоизображения, для прогрессивной развертки с частотой кадров 30 Гц или для развертки с перемежением с частотой кадров 60 Гц и

На фиг. 14 показан пример того, как сигнал L'R'D' может быть эффективно кодирован с использованием AVC/H264 или MVC, которые имеют приблизительно такую же скорость передачи данных, которая требуется для моноскопического моносигнала 1080p 24 Гц.

На фиг. 15 показаны различные режимы и варианты для новых приложений 3D Blu-ray.

На фиг. 16 показан пример эффективного с точки зрения скорости передачи данных и используемой памяти объединенного кодирования и с (с AVC/H264) L R D (2:2:1 отношения частоты кадров).

На фиг. 17 показан пример кодирования, в котором компоненты глубины и прозрачности кодированы при 12 Гц, и в котором глубина и прозрачность относятся к разным фазам.

На фиг. 18 показан пример кодирования, имеющий смешанные компоненты глубины 12 и 24 Гц.

На фиг. 19 показано перемежение кадров и сжатие в режиме LRDD' и показано соответствующее содержание для кадров D и D'.

На фиг. 20 представлены различные способы субдискретизации для формирования пространства для глубины и прозрачности.

Осуществление изобретения

На фиг. 1 представлена система GSY генерирования 3-D видеоизображения. Система GSY генерирования 3-D видеоизображения содержит пару камер, правую камеру RCAM и левую камеру LCAM, процессор RPR записи и носитель STM информации. Сканер DS глубины ассоциирован с левой камерой LCAM. Пара камер RCAM, LCAM направлены в направлении сцены SCN для съемки 3-D видеоизображения сцены SCN. Сцена SCN содержит различные объекты, такие как, например, человек, дерево, дом и солнце в небе. Каждый объект имеет заданное расстояние относительно пары камер, которые можно рассматривать как виртуального наблюдателя, который рассматривает сцену SCN.

Правая камера RCAM и левая камера LCAM могут представлять собой обычные камеры. Процессор RPR записи может содержать, например, устройство выполнения инструкции и программную память, в которую был загружен набор инструкций, которые определяют операции процессора RPR записи, который будет описан ниже. Носитель STM информации может быть выполнен в форме, например, жесткого диска, оптического диска с возможностью записи или твердотельного запоминающего устройства. Сканер DS глубины может содержать, например, луч лазера, которым можно управлять в различных направлениях, и датчик, который детектирует отражение лазерного луча. В качестве другого примера, сканер DS глубины может содержать модуль формирования изображения с помощью радара. В еще одном примере сканер глубины может быть даже реализован в виде человека, который формирует карту глубины независимо от съемки.

Система GSY генерирования 3-D видеоизображения в общем работает следующим образом. Пара камер RCAM, LCAM предоставляет основное 3-D видеоизображение сцены SCN, которую формируют в виде последовательности пар изображений. Пара изображений содержит правое изображение и левое изображение. Правое изображение, которое снимают с помощью правой камеры RCAM, предназначено для правого глаза зрителя-человека. Левое изображение, которое снято левой камерой LCAM, предназначено для левого глаза зрителя-человека.

Правая камера RCAM и левая камера LCAM имеют особое взаимное расположение относительно друг друга. Такое взаимное расположение может быть определено характерным контекстом воспроизведения с учетом, например, размера экрана и расстояния просмотра. Например, основное 3-D видеоизображение, которое содержит последовательность правых изображений и последовательность левых изображений, которые взаимосвязаны друг с другом, может быть предназначено для отображения в кинотеатре с обычным размером экрана 12 метров и обычным расстоянием просмотра 18 метров.

Сканер DS глубины осуществляет последовательность измерений глубины для левого изображения, в то время как левая камера LCAM снимает левое изображение. Измерение глубины обеспечивает значение показателя глубины для определенного участка соответствующего левого изображения. Такой конкретный участок может содержать один пиксель или кластер пикселей, которые могут составлять блок. Например, левое изображение может быть эффективно разделено на различные блоки пикселей, в то время как сканер DS глубины обеспечивает соответствующие значения показателя глубины для соответствующих блоков пикселей. Для блока пикселей, который частично представляет человека в сцене SCN, сканер DS глубины может предоставлять значение показателя глубины, которое представляет расстояние между человеком на сцене SCN и виртуальным наблюдателем.

Процессор RPR записи может, таким образом, генерировать карту глубины для левого изображения, которая содержит соответствующие значения показателя глубины, которые сканер DS глубины предоставляет для этого левого изображения. Такую карту глубины можно рассматривать как продолжение левого изображения, которое добавляет дополнительное измерение с переходом из 2D в 3D. Другими словами, карта глубины добавляет значение показателя глубины для пикселя левого изображения, которое содержит значение яркости и пару значений цветности для соответствующего пикселя. Карта глубины предназначена конкретно для левого изображения: значение показателя глубины ассоциировано по меньшей мере с одним пикселем в левом изображении, в то время как может быть невозможным ассоциировать значение показателя глубины с каким-либо пикселем в правом изображении. Карта глубины может иметь более низкое разрешение, чем у левого изображения. В этом случае, соседние пиксели совместно используют то же значение показателя глубины, которое применимо к кластеру пикселей.

Следует отметить, что значения показателя глубины могут быть представлены в множестве разных форм. Например, значение показателя глубины может быть представлено в форме значения параллакса, которое определено в отношении обычной ширины экрана, обычного расстояния просмотра и обычного расстояния между зрачками. Такое значение параллакса может быть преобразовано в значение расстояния.

Процессор RPR записи может, кроме того, генерировать фоновое изображение для левого изображения. Фоновое изображение представляет объекты или их части, которые закрыты на левом изображении другими объектами, которые имеют положение переднего плана. Таким образом, фоновое изображение предоставляет информацию о том, что находится позади объекта в левом изображении, которое имеет положение переднего плана. Эту информацию можно использовать, предпочтительно, при генерировании 3-D представления левого изображения на основе карты глубины. Как показано на фиг. 1, дом имеет фоновое положение, тогда как человек имеет положение на переднем плане и поэтому может закрывать часть дома в левом изображении. Фоновое изображение, таким образом, может содержать, по меньшей мере частично, участок дома, который закрыт человеком на левом изображении. Следует отметить, что фоновое изображение может дополнительно содержать карту глубины, конкретно предназначенную для него. Другими словами, фоновое изображение может содержать информацию текстуры, а также информацию глубины, которая обеспечивает 3-D представление закрытых объектов. Процессор RPR записи может генерировать фоновое изображение для левого изображения на основе, например, информации, содержащейся в правом изображении.

Процессор RPR записи может, кроме того, генерировать альфа-карту, которая предназначена конкретно для левого изображения. Альфа-карту можно предпочтительно использовать для предоставления последовательных переходов в изображении со смещенной точкой обзора, которое генерируют из левого изображения, карты глубины и фонового изображения. Это способствует повышению качества восприятия изображения. Альфа-карту можно рассматривать как набор суммарных весовых коэффициентов, которые могут определять степень вклада левого изображения и степень вклада фонового изображения для определенного участка изображения со смещенной точкой обзора. Такая альфа-карта может определять разные параметры смешения для разных участков изображения, что обеспечивает возможность плавных переходов.

Процессор RPR записи генерирует универсальный 3-D видеосигнал VS путем добавления элементов к основному 3-D видеоизображению, которое предоставляют правая камера RCAM и левая камера LCAM. Эти элементы включают в себя карту глубины и, в случае необходимости, фоновые изображения и альфа-карты, которые могут быть сгенерированы как описано выше. Носитель STM информации сохраняет универсальный 3-D видеосигнал VS. Универсальный 3-D видеосигнал VS может подвергаться дополнительной обработке, которая способствует удовлетворительному воспроизведению 3-D изображения для самых разных отображений. Это будет более подробно описано ниже.

На фиг. 2 иллюстрируется универсальный 3-D видеосигнал VS. Универсальный 3-D видеосигнал VS содержит последовательность универсальных 3-D изображений..., VP_n-1, VP_n, VP _n1, V_n-2,... Универсальное 3-D изображение составляет 3-D представление сцены SCN, показанной на фиг. 1 в данный момент времени. На фиг. 2 иллюстрируются детали произвольного универсального 3-D изображения VP_n. Универсальное 3-D изображение VP_n содержит правое изображение RP и левое изображения LP, которые совместно составляют основное 3-D изображение. Правое изображение RP обеспечивает полное представление сцены SCN, которая предназначена для правого глаза наблюдателя-человека, тогда как левое изображение LP предоставляет полное представление сцены, которая предназначена для левого глаза наблюдателя-человека.

Универсальное 3-D изображение, кроме того, содержит карту DM глубины и предпочтительно фоновое изображение BG и альфа-карту, которая не представлена на фиг. 2. Карта DM глубины предназначена конкретно для левого изображения LP, как пояснялось выше. Карту DM глубины можно рассматривать как изображение, представленное градациями серого, в котором значение градаций серого соответствует значению показателя глубины, относящемуся к определенному пикселю или к определенному кластеру пикселей в левом изображении. Относительно низкое значение показателя глубины может соответствовать яркому тону, обозначающему относительно близкий объект, в то время как относительно высокое значение показателя глубины может соответствовать темному тону, обозначающему относительно отдаленный объект или наоборот. Фоновое изображение BG также предпочтительно предназначено конкретно для левого изображения LP. В действительности, фоновое изображение BG составляет продолжение левого изображения LP в отношении тех объектов, которые частично или полностью закрыты и представлены фоновым изображением BG. Альфа-карта, если она присутствует, также предназначена конкретно для левого изображения LP.

Универсальный 3-D видеосигнал VS, таким образом, содержит последовательность основных 3-D изображений, которые соответствуют основному 3-D видеоизображению, упомянутому выше. Кроме того, универсальный 3-D видеосигнал VS содержит сопроводительную последовательность карт глубины и предпочтительно сопровождающую последовательность фоновых изображений и сопровождающую последовательность альфа-карт. Как пояснялось выше, такие дополнительные элементы предназначены конкретно для левых изображений, содержащихся в основном 3-D видеоизображении.

Основное 3-D видеоизображение, которое содержится в универсальном 3-D видеосигнале VS, может отображаться в стереоскопическом устройстве отображения таким образом, что левые изображения и правые изображения подают в левый глаз и в правый глаз зрителя, соответственно. Стереоскопическое устройство отображения имеет определенный размер экрана, и зритель находится на заданном расстоянии от стереоскопического устройства отображения. Это определяет заданный контекст воспроизведения.

Фактический контекст воспроизведения может быть аналогичен обычному контексту воспроизведения, для которого предназначено основное 3-D видеоизображение. В этом случае получают удовлетворительное 3-D представление сцены SCN. Например, предположим, что основное 3-D видеоизображение предназначено для представления в кинотеатре с обычным размером экрана 12 метров и обычным расстоянием просмотра 18 метров, как упомянуто выше. В случае, когда в таком кинотеатре получают основное 3-D видеоизображение, достигают удовлетворительного 3-D представления видеоизображения для этой сцены.

Однако, в случае, когда фактический контекст воспроизведения отличается от обычного контекста воспроизведения, для которого предназначено основное 3-D видеоизображение, в результате может быть получено менее удовлетворительное 3-D представление сцены SCN. Это может быть в случае, например, когда основное 3-D видеоизображение предназначено для отображения в кинотеатре, как описано выше, в то время как основное 3-D видеоизображение получают в домашнем видеоустройстве с размером экрана 1 метр и при обычном расстоянии просмотра 2 1/2 метра. В результате, получают уменьшенный эффект глубины, в том смысле, что зритель будет воспринимать меньшую степень глубины, чем в кинотеатре. Кроме того, в результате также может произойти смещение глубины в направлении зрителя на сцене, таким образом, что объекты, которые выглядят как расположенные далеко позади экрана в кинотеатре, выглядят как расположенные рядом в передней части экрана в домашнем устройстве. Проще говоря, когда 3-D видеоизображение, которое предназначено для кинотеатра, просматривают дома, 3-D видеоизображение будет выглядеть в достаточной степени отличающимся от представления в кинотеатре.

Возможно обеспечить некоторую форму коррекции в случае, когда контекст воспроизведения отличается от контекста воспроизведения. Новая пара изображений может быть сгенерирована на основе снятой пары изображений с использованием интерполяции или экстраполяции. Однако такая коррекция является относительно сложной и, поэтому, дорогостоящей и требует привлечения сложных аппаратных средств или программных средств, или обоих. Более того, такая коррекция может вводить ощутимые искажения, связанные с ошибками интерполяции или ошибками экстраполяции, в зависимости от того, что применяют.

Универсальный 3-D видеосигнал VS, который показан на фиг. 2, обеспечивает возможность удовлетворительного 3-D представления в большом разнообразии контекстов воспроизведения. Что касается упомянутого выше примера, 3-D видеоизображение, которое предназначено для кинотеатра, может выглядеть аналогично также и дома. Это достигается, благодаря добавлению карты DM глубины, которая предназначена конкретно для одного изображения в снятой паре изображений, в данном случае для левого изображения LP.

Карта DM глубины позволяет генерировать новое изображение на основе левого изображения LP относительно простым и точным способом. Такое новое изображение представляет сцену SCN с точки обзора, которая несколько отличается от точки обзора левого изображения LP. Эта точка обзора может быть несколько смещена вправо или несколько смещена влево от точки обзора левого изображения LP. Новое изображение, поэтому, будет называться ниже изображением со смещенной точкой обзора. В принципе, изображение со смещенной точкой обзора может представлять сцену SCN с той же точки обзора, что и правое изображение RP. В данном конкретном случае, изображение со смещенной точкой обзора будет идеально соответствовать правому изображению RP.

На фиг. 3 и 4 показаны два разных режима стереоизображений, которые возможны с универсальным 3-D видеосигналом VS, показанным на фиг. 2. Эти стереорежимы будут называться стереорежимом A и стереорежимом B, соответственно. В каждом стереорежиме пару получаемых изображений предоставляют для отображения в устройстве отображения на основе универсального 3-D изображения. Пара воспроизводимых изображений содержит воспроизводимое левое изображение LR и воспроизводимое правое изображение RR, которое применяют для левого глаза и правого глаза, соответственно, зрителя. Каждая из фиг. 3 и 4 содержит горизонтальную ось, которая представляет параллакс экрана. Параллакс экрана представляет смещение положения на устройстве отображения, которое получается из-за изменения точки обзора. Следовательно, объект в изображении со смещенной точкой обзора, как определено выше, может быть сдвинут относительно того же объекта в левом изображения LP.

На фиг. 3 представлен стереорежим A. В этом стереорежиме правое изображение RP, содержащееся в универсальном 3-D изображении, составляет воспроизводимое правое изображение RR. Таким образом, воспроизводимое правое изображение RR представляет собой простую копию правого изображения RP. Изображение со смещенной точкой обзора, которое генерируют на основе левого изображения LP и карты DM глубины, как упомянуто выше, составляет воспроизводимое левое изображение LP.

На фиг. 3 представлены два изображения с разным смещением точки обзора: изображение LP+S с точкой обзора, смещенной влево, и изображение LP-S с точкой обзора, смещенной вправо. Изображение LP+S с точкой обзора, смещенной влево, представляет сцену SCN с точкой обзора, которая расположена слева от точки левого изображения LP. Такое изображение со смещенной точкой обзора имеет положительное смещение P₊₂ параллакса относительно левого изображения LP. Изображение LP-S co смещенной вправо точкой обзора представляет сцену SCN с точки обзора, которая находится справа от левого изображения LP. Такое изображение со смещенной точкой обзора имеет отрицательное смещение P _-2 параллакса в отношении левого изображения LP. На фиг. 3 также показан определенный случай, в котором левое изображение LP составляет воспроизводимое левое изображение LR, причем последнее представляет собой простую копию первого.

В случае, когда изображение LP+S со смещенной влево точкой обзора составляет воспроизводимое левое изображение LR, зритель воспринимает больший эффект глубины, чем тогда, когда левое изображение LP составляет воспроизводимое левое изображение LR. При этом происходит увеличение силы стереоэффекта изображения. И, наоборот, в случае, когда изображение LP-S со смещенной вправо точкой обзора составляет воспроизводимое левое изображение LR, зритель ощущает меньший эффект глубины, чем тогда, когда левое изображение LP составляет воспроизводимое левое изображение LR. Это приводит к уменьшению силы стереоэффекта. Можно уверенно заметить, что смещение влево увеличивает силу стереоэффекта, в то время как смещение вправо уменьшает силу стереоэффекта.

Силу стереоэффекта можно оценивать с учетом параллакса. Например, стандартная сила стереоэффекта может соответствовать параллаксу PS, обозначенному на фиг. 3, который получают, когда левое изображение LP составляет воспроизводимое левое изображение LR. Максимальная сила стереоэффекта может соответствовать параллаксу P₁₀, показанному на фиг. 3, который получают, когда изображение LP+S со смещенной влево точкой обзора составляет воспроизводимое левое изображение LR. Параллакс P₁₀ соответствует параллаксу P₈ , для которого применяют смещение P₊₂ с положительным параллаксом. Умеренная сила стереоэффекта может соответствовать параллаксу P₆, обозначенному на фиг. 3, который получают, когда изображение LP-S со смещенной вправо точкой обзора составляет воспроизводимое правое изображение RR. Параллакс P₆ соответствует параллаксу P8, для которого применяют отрицательное смещение P_-2 параллакса.

На фиг. 4 иллюстрируется стереорежим B. В этом стереорежиме левое изображение LP, содержащееся в универсальном 3-D изображении, составляет воспроизводимое левое изображение LR. Таким образом, воспроизводимое левое изображение LR представляет собой простую копию левого изображения LP. Изображение LP-S со смещенной вправо точкой обзора, которое генерируют на основе левого изображения LP и карты DM глубины, как упомянуто выше, составляет воспроизводимое правое изображение RR. Изображение LP-S со смещенной вправо точкой обзора имеет отрицательное смещение P_-4 параллакса относительно левого изображения LP. Сила стереоэффекта полностью определена этим отрицательным смещением параллелей. Правое изображение RP может не играть какую-либо конкретную роль в стереорежиме B. Таким образом, правое изображение RP может быть эффективно проигнорировано в стереорежиме B.

Стереорежим A предпочтительно используется в диапазоне силы стереоэффекта, который находится между максимальной силой стереоэффекта и умеренной силой стереоэффекта. Стандартная сила стереоэффекта находится в этом диапазоне. Стереорежим B предпочтительно используется в диапазоне силы стереоэффекта, который находится между умеренной силой стереоэффекта и минимальной силой стереоэффекта. Таким образом, стереорежим B можно использовать, когда требуется выразить относительно малый эффект глубины. Минимальная сила стереоэффекта может соответствовать отсутствию какого-либо эффекта глубины, то есть, может представлять просто двухмерное представление. В этом крайнем случае параллакс равен 0: воспроизводимое левое изображение LR и воспроизводимое правое изображение RR являются идентичными.

Требуемая сила стереоэффекта, таким образом, может быть получена путем генерирования изображения со смещенной точкой обзора и комбинирования изображения со смещенной точкой обзора с правым изображением RP или левым изображения LP, в зависимости от того, применяется ли стереорежим A или B, соответственно. Изображение смещенной точкой обзора может быть сгенерировано на основе левого изображения LP и карты DM глубины, ассоциированной с ним, в соответствии с заданным обобщенным правилом. Такое заданное обобщенное правило может быть основано на геометрических отношениях и может применяться для всех других точек обзора. При таком подходе пиксель в левом изображении LP смещают с места, где он находился, на величину, которая определена исключительно тремя факторами: требуемая сила стереоэффекта, значение показателя глубины, причем для пикселя обеспечивают карту DM глубины, как пояснялось выше, и заданная обобщенная формула. Смещенный таким образом пиксель составляет пиксель изображения со смещенной точкой обзора.

Однако более предпочтительные результаты воспроизведения могут быть получены в случае, когда изображение со смещенной точкой обзора генерируют в виде, зависимом от контекста, который учитывает один или больше параметров воспроизведения, таких как, например, размер экрана. Кроме того, автор или другое лицо может пожелать определить, как заданное 3-D видеоизображение должно выглядеть в данном контексте его воспроизведения. Таким образом, автор может выразить предпочтительное 3-D воспроизведение, которое не обязательно должно соответствовать 3-D воспроизведению на основе геометрических отношений между физическими объектами. 3-D воспроизведение может включать в себя художественные предпочтения.

На фиг. 5 иллюстрируется дополненный универсальный 3-D видеосигнал SVS, который направлен на моменты, упомянутые в предыдущем параграфе. Дополненный универсальный 3-D видеосигнал SVS содержит данные GD управления воспроизведением, которые сопровождают последовательность универсальных 3-D изображений..., VP_n-1 , VP_n, VP_n1, VP_n-2,... Дополненный универсальный 3-D видеосигнал SVS может, таким образом, быть получен путем добавления данных GD управления воспроизведением к универсальному 3-D видеосигналу VS, показанному на фиг. 2.

Данные GD управления воспроизведением содержат параметры, которые относятся к генерированию изображения со смещенной точкой обзора на основе левого изображения и карты глубины, предназначенной конкретно для этого левого изображения. Данные GD управления воспроизведением могут устанавливать, например, одно или больше отклонений от заданного обобщенного правила, которое определяет принятый по умолчанию способ генерирования изображения со смещенной точкой обзора. Например, различные отклонения от принятого по умолчанию способа могут быть описаны для разной силы стереоэффекта. Аналогично, разная степень отклонения может быть установлена для разных размеров экрана. Более того, отклонение не обязательно должно применяться для всего 3-D видеоизображения, представляющего интерес. Соответствующие отклонения могут быть установлены для соответствующих сцен в 3-D видеоизображении, представляющем интерес, или даже для соответствующих 3-D изображений. Данные GD управления воспроизведением поэтому предпочтительно организованы в различные сегменты таким образом, что сегмент относится к конкретной последовательности 3-D изображений, которые могут составлять сцену SCN. Сегмент также может относиться к определенному 3-D изображению.

На фиг. 6 показан пример набора параметров, которые могут формировать часть данных GD управления воспроизведением. Этот набор параметров представлен в форме таблицы, которая содержит три столбца, каждый из которых относится к определенной силе стереоэффекта, выраженной как целочисленное значение, а именно 10, 6 и 5, таким образом, что 10 представляет максимальную силу стереоэффекта. Каждый столбец имеет заштрихованный заголовок, который обозначает силу стереоэффекта и способ стереоэффекта, который требуется использовать для этой силы стереоэффекта.

В Таблице обозначено, что стереорежим А, показанный на фиг. 3, требуется использовать для силы стереоэффекта, находящейся между 10 и 6. В Таблице, кроме того, показано, что стереорежим B, представленный на фиг. 3, требуется использовать для силы стереоэффекта, находящейся между 5 и 0. Таблица, кроме того, содержит соответствующие строки, которые представляют соответствующие значения показателя глубины. Соответствующие значения показателя глубины представлены в виде списка в самом левом столбце таблицы, который заштрихован.

В таблице установлены соответствующие максимальные значения P_max смещения параллакса для соответствующих значений DV показателя глубины для каждого из трех упомянутых выше значений силы стереоэффекта 10, 6 и 5. Соответствующие максимальные значения P_max смещения параллакса, которые могут быть выражены в единицах пикселей, представлены в виде списка в белой области соответствующих столбцов. Максимальное смещение параллакса определяет максимальное смещение между пикселем в изображении со смещенной точкой обзора и соответствующим пикселем левого изображения, из которого генерируют изображение со смещенной точкой обзора. Таблицу, показанную на фиг. 6, таким образом, можно функционально рассматривать как ограничительный модуль в генераторе изображения со смещенной точкой обзора.

Максимальное смещение P_max параллакса, установленное в таблице, может предотвращать эффекты, приводящие к тому, что изображение может выглядеть неестественно, или эффекты, которые могут вызвать усталость глаз, или оба эти явления. Как пояснялось выше, генерирование изображения со смещенной точкой обзора также включает в себя смещение пикселей для соответствующего левого изображения. Величина смещения обычно зависит от значения показателя глубины и силы стереоэффекта. Относительно большое смещение может привести к неестественному эффекту или вызвать усталость глаз, или привести к другим отрицательным эффектам. Максимальное смещение P_max параллакса, указанное в таблице, представленной на фиг. 6, позволяет предотвратить такие отрицательные эффекты, гарантируя, что величина смещения останется в пределах допустимых ограничений.

Соответствующие максимальные величины смещения P_max параллакса для силы стереоэффекта между 10 и 6 и между 5 и 0 могут быть получены при использовании, например, интерполяции. С этой целью достаточно, чтобы в таблице были установлены соответствующие максимальные величины смещения P_max параллакса для двух разных сил стереоэффекта в стереорежиме A, такие как 10 и 6 на фиг. 6, и для одной силы стереоэффекта в стереорежиме B, такая как 5. При этом нет необходимости устанавливать максимальные величины смещения P_max параллакса для двух разных значений силы стереоэффекта в стереорежиме B, поскольку все максимальные величины смещения P_max параллакса для силы 0 стереоэффекта обычно можно рассматривать как равные 0. Сила 0 стереоэффекта соответствует воспроизведению моноскопического изображения, то есть просто двумерного представления без каких-либо эффектов глубины.

На фиг. 7 показан другой пример набора параметров, который может сформировать часть данных GD управления воспроизведением. Набор параметров представлен в форме таблицы, которая содержит несколько столбцов, каждый из которых относится к определенной силе STS стереоэффекта, выраженной как целочисленное значение, а именно 10, 8, 6, 5, 3 и 1. Каждый столбец имеет заштрихованный заголовок, который обозначает силу STS стереоэффекта. Таблица, кроме того, содержит различные строки, которые представляют различные другие размеры SZ экрана 30, 40 и 50 дюймов, которые обозначены в самом левом заштрихованном столбце таблицы.

Таблица определяет соответствующие значения P_off смещения параллакса для различных других размеров экрана, для каждого из трех упомянутых выше значений силы 10, 8, 6, 5, 3 и 1 стереоэффекта. Соответствующие значения P_off смещения параллакса, которые могут быть выражены в единицах пикселей, представлены в белой области соответствующего столбца. Смещение параллакса определяет дополнительное смещение для соответствующих пикселей в изображении со смещенной точкой обзора относительно соответствующих пикселей в левом изображении, из которого было сгенерировано изображение со смещенной точкой обзора. Таким образом, смещение параллакса определяет общее смещение, которое требуется добавить к определенному смещению, полученному для заданного пикселя, путем применения общего заданного правила для генерирования изображения со смещенной точкой обзора. Таблицу, представленную на фиг. 7, можно функционально рассматривать как модуль вывода смещения в генераторе изображения со смещенной точкой обзора.

Смещение параллакса может компенсировать смещение глубины в направлении зрителя, которое может возникнуть, когда воспроизводят 3-D видеоизображение, представляющее интерес, на экране, имеющем меньший размер, чем экран, для которого предназначено 3-D видеоизображение, представляющее интерес. Например, объект, который выглядит как находящийся далеко позади на экране в кинотеатре, может выглядеть ближе к передней части экрана в домашнем устройстве, как было упомянуто выше. Смещение P_off параллакса, указанное в таблице, показанной на

фиг. 7, обеспечивает соответствующую коррекцию. Соответствующее смещение параллакса для размеров экрана и значений силы стереоэффекта, отличающихся от представленных в таблице, показанной на фиг. 7, могут быть получены, например, посредством интерполяции.

На фиг. 8 представлен еще один пример набора параметров, который может формировать часть данных GD управления воспроизведением. Набор параметров представлен в форме таблицы, которая содержит три столбца, каждый из которых имеет заштрихованный заголовок, который обозначает название столбца. Столбец с названием STS определяет соответствующую силу стереоэффекта. Другой столбец с названием P_off определяет соответствующее значение смещения P_off параллакса. Таблица, кроме того, содержит различные строки, которые представляют различные другие размеры SZ экрана 30, 40, и 50 дюймов, которые обозначены в самом левом столбце озаглавленной таблицы.

В Таблице установлены предпочтительные комбинации OPT силы STS стереоэффекта и смещения P_off параллакса для различных других размеров экрана. Сила STS стереоэффекта обозначена посредством целочисленного значения, такого как в таблицах, представленных на фиг. 6 и 7. Смещение P_off параллакса может быть выражено в единицах пикселей или в других единицах. Каждая предпочтительная комбинация обеспечивает удовлетворительное воспроизведение для рассматриваемого размера экрана, который может отличаться от обычного размера экрана, для которого предназначено 3-D видеоизображение, представляющее интерес. Автор может определять удовлетворительное воспроизведение изображения. Таким образом, автор может выразить посредством таблицы, представленной на фиг. 8, как должно выглядеть 3-D видеоизображение, представляющее интерес, когда его воспроизводят на устройстве отображения с представляющим интерес размером экрана. Предпочтительная комбинация для размеров экрана, отличающихся от представленных в таблице, показанной на фиг. 8, может быть получена, например, посредством интерполяции.

Данные GD управления воспроизведением могут, кроме того, содержать показатель точности карты глубины и разрешение карты глубины, либо в явном, либо в неявном виде. Карту DM глубины, которая является относительно неточной, предпочтительно применяют по-другому, чем карту глубины, которая является относительно точной, при генерировании изображения со смещенной точкой обзора. Например, существует относительно высокая вероятность, что искажения будут введены, когда генерируют изображение со смещенной точкой обзора на основе относительно неточной карты глубины. В таком случае пиксели должны быть смещены только в относительно небольшой степени для обеспечения того, чтобы искажения были относительно слабыми. Следовательно, показатель точности карты глубины и разрешение карты глубины можно использовать преимущественно в процессе воспроизведения 3-D изображений. Такой показатель также может быть встроен в таблицу, такую как таблица, показанная на фиг. 7, в которой установлены максимальные значения смещения P_max параллакса.

Карта глубины может быть относительно неточной в случае, например, когда значения показателя глубины оценивают исключительно на основе информации, которая присутствует в двумерных изображениях. Устройство или человек, или комбинация их, могут генерировать такую оценочную карту глубины на основе, например, известных заранее знаний об объектах в соответствующем изображении, в частности в отношении их соответствующих обычных размеров. Объект, который обычно имеет большой размер, но выглядит относительно малым в изображении, вероятно, находится на большом расстоянии. Добавление глубины к изображению посредством таких технологий оценки можно сравнить с добавлением цветов к черно-белому изображению. Значение показателя глубины может или не может в достаточной степени аппроксимировать значение, которое могло бы быть получено, если бы была использована методика получения точной карты глубины на основе, например, измерения расстояния или анализа пары стереоскопических изображений.

На фиг. 9 иллюстрируется система XSY дополнения 3-D видеоизображения, которая может генерировать данные GD управления воспроизведением. Система XSY дополнения 3-D видеоизображения может, кроме того, добавлять данные GD управления воспроизведением к универсальному 3-D видеосигналу VS таким образом, чтобы получить дополненный универсальный 3-D видеосигнал SVS. Система XSY дополнения 3-D видеоизображения содержит процессор RGP управления воспроизведением, устройство DPL отображения и интерфейс OIF оператора. Система XSY дополнения 3-D видеоизображения, кроме того, содержит носитель STM информации, на котором содержится универсальный 3-D видеосигнал VS, как показано на фиг. 1.

Процессор RGP управления воспроизведением может содержать, например, устройство, выполняющее инструкции, и программную память. Устройство DPL отображения предпочтительно является универсальным в том смысле, что устройство DPL отображения может эмулировать различные типы устройств отображения, которые могут отличаться, например, размером экрана. В качестве альтернативы, разные отличающиеся типы устройств отображения можно использовать в связи с системой XSY дополнения 3-D видеоизображения, показанной на фиг. 5. Интерфейс OIF оператора может содержать, например, клавиатуру, сенсорную панель, мышь или шаровой манипулятор, различные кнопки или любую их комбинацию.

На фиг. 10 показан пример последовательности этапов S1-S7, которые процессор RGP управления воспроизведением может осуществлять с целью генерирования данных GD управления воспроизведением. Фиг. 10 можно рассматривать как представление блок-схемы последовательности операций набора инструкций, который может быть загружен в упомянутую выше программную память для того, чтобы обеспечить возможность выполнения процессором управления воспроизведением различных операций, описанных ниже со ссылкой на фиг. 10.

На этапе S1 процессор RGP управления воспроизведением представляет подсказку оператору системы, чтобы выбрать определенный участок универсального 3-D видеосигнала VS (SEL_VS), если это необходимо, оператор системы может выбрать полностью весь универсальный 3-D сигнал VS. Конкретный выбранный участок может соответствовать определенной сцене, такой как сцена SCN, представленная на фиг. 1. Как пояснялось выше, воспроизведение 3-D видеоизображения, которое можно рассматривать как оптимальное для одной сцены, может не быть оптимальным для другой сцены. Поэтому может быть предпочтительным выполнять оценку и регулировку при воспроизведении 3-D видеоизображения с учетом каждой сцены.

На этапе S2, процессор RGP управления воспроизведением изображения также может передавать подсказку оператору системы для установления данных, которые обозначают точность карты глубины и разрешение карты глубины (DM_PRC=?). В качестве альтернативы, процессор RGP управления воспроизведением также может содержать модуль детектирования для автоматического детектирования точности карты глубины и разрешения карты глубины. Как пояснялось выше, показатель точности карты глубины и разрешение карты глубины можно использовать преимущественно в процессе воспроизведения 3-D изображения. Такой показатель также может учитываться для генерирования данных GD управления воспроизведением. Например, максимальное смещение P_max параллакса, которое показано на фиг. 6, может быть установлено на более низкие значения в случае более низкой точности карты глубины и при относительно низком разрешении карты глубины, или в обоих случаях.

На этапе S3, процессор RGP управления воспроизведением подсказывает оператору системы установить контекст воспроизведения (RND_CXT=?). Контекст воспроизведения может быть выражен, например, с учетом размера экрана, обычного расстояния до зрителя, а также других параметров, относящихся к воспроизведению изображения. Размер экрана может соответствовать размеру устройства DPL отображения, показанному на фиг. 10, или может соответствовать другому размеру экрана, который устройство DPL отображения может эмулировать, как было упомянуто выше.

На этапе S4 процессор RGP управления воспроизведением подсказывает оператору системы о необходимости установить силу стереоэффекта и, в случае необходимости, режим стереоизображения (STS=?). Сила стереоэффекта может быть выражена в форме целочисленного значения в диапазоне от 0 до 10. Целочисленное значение 0 может соответствовать просто двумерному представлению, которое подразумевает отсутствие какого-либо эффекта глубины. Целочисленное значение 10 может соответствовать максимальной силе стереоэффекта, которая обеспечивает наиболее высокую степень восприятия глубины. Целочисленное значение 8 может соответствовать, например, стандартной силе стереоэффекта, которая обеспечивает принятую по умолчанию степень восприятия глубины, которая ассоциирована с истинным трехмерным воспроизведением сцены. Оператор системы может выбирать между стереорежимами A и B, которые были описаны выше. Стереорежим может быть заранее определен как функция силы стереоэффекта. В этом случае процессор RGP управления воспроизведением подсказывает оператору системы установить только силу стереоэффекта.

На этапе S5, процессор RGP управления воспроизведением подсказывает оператору системы о необходимости установить один или больше наборов параметров (SEL_PAR), которые потенциально могут формировать часть данных GD управления воспроизведением. Набор параметров может быть выбран из меню или может быть установлен специально. Установленные наборы параметров относятся к генерированию изображения со смещенной точкой обзора на основе левого изображения и карты глубины, составленной конкретно для этого левого изображения, которое представлено в универсальном 3-D видеосигнале VS. Параметры обычно представляют собой соответствующее значение параллакса, как показано на фиг. 6, 7 и 8, и могут модифицировать восприятие глубины. Определенный объект в соответствующей сцене может появляться ближе или дальше, даже когда учитывают наборы параметров при воспроизведении универсального 3-D видеосигнала VS.

На этапе S6, процессор RGP управления воспроизведением обеспечивает отображение устройством DPL отображения участка универсального 3-D видеоизображения, который оператор системы выбрал в соответствии с контекстом воспроизведения и силой стереоэффекта, которую определил оператор системы (DPL_VS_SEL). Таким образом, для каждого универсального 3-D изображения на данном участке процессор RGP управления воспроизведением генерирует воспроизводимое левое изображение LR и воспроизводимое правое изображение RR как показано на фиг. 3 или 4 в зависимости от того, является ли стереорежим режимом A или B, соответственно. При этом процессор воспроизведения учитывает наборы параметров, которые установил оператор системы. Это приводит к определенному воспроизведению соответствующего участка в универсальном 3-D видеоизображении. Оператор системы может, таким образом, оценивать, является ли данное конкретное воспроизведение изображения удовлетворительным.

На этапе S7 процессор воспроизведения определяет, следует ли включить этот набор параметров, в соответствии с которым было выполнено воспроизведение изображения, в данные GD управления воспроизведением (PAR GD?). Процессор RGP управления воспроизведением может выполнять это множеством различных путей. Например, при основном подходе, процессор RGP управления воспроизведением может подсказывать оператору системы указать, является ли воспроизведение видеоизображения удовлетворительным. В случае, если оператор системы указывает, что воспроизведение видеоизображения удовлетворительное, процессор воспроизведения видеоизображения может включать наборы соответствующих параметров в данные GD управления воспроизведением изображения. Кроме того, процессор воспроизведения изображения может впоследствии выполнять этап S3 и следующие за ним этапы с целью определения соответствующих наборов параметров для другого контекста воспроизведения.

При более сложном подходе процессор RGP управления воспроизведением может запрашивать оператора системы установить степень удовлетворения для определенного соответствующего воспроизведения изображения. Степень удовлетворения может быть выражена в форме оценки. При таком подходе процессор RGP управления воспроизведением может осуществлять этапы S5-S7 несколько раз, каждый раз для разных наборов параметров. В соответствии с этим, соответствующие оценки получают для соответствующих разных наборов параметров. В случае, когда все наборы параметров, представляющие интерес, были использованы для получения оценки, процессор RGP управления воспроизведением может выбрать набор параметров или наборы параметров, которые имеют наибольшую оценку. Выбранный набор параметров может быть включен в данные GD управления воспроизведением. Процессор воспроизведения изображения может впоследствии выполнять этап S3 и следующие за ним этапы с целью определения соответствующих наборов параметров для другого контекста воспроизведения.

В соответствии с этим, процессор RGP управления воспроизведением может определять любой из наборов параметров, показанных на фиг. 6, 7 и 8, или любую их комбинацию, выполняя последовательность этапов S1-S7, показанных на фиг. 10. Процессор RGP управления воспроизведением может принимать определенные задачи или решения от оператора системы. Таким образом, в этом случае требуется более высокая степень автоматизации, чем в описании, приведенном выше со ссылкой на фиг. 10, которое приведено просто в качестве примера. Более того, одно или больше решений, принятых оператором системы, могут, вместо этого, быть приняты экспертной группой, представляющей обычных зрителей. В таком случае в процессоре RGP управления воспроизведением может быть предусмотрен, например, модуль большинства голосов, который определяет, нашли ли большинство из членов экспертной группы соответствующее воспроизводимое изображение удовлетворительным или нет, или в нем может быть предусмотрен модуль средней оценки, который определяет среднее значение или заданное членами экспертной группы.

После воспроизведения дополненного универсального 3-D видеосигнала SVS, показанного на фиг. 5, как описано выше, или в других случаях, дополненный универсальный 3-D видеосигнал SVS может быть распространен и может быть продан, или передан по лицензии конечным пользователям. Существует множество различных способов выполнения этого. Например, дополненный универсальный 3-D видеосигнал SVS может быть передан в режиме широковещательной передачи с использованием сети, которая может быть беспроводной или кабельной, или с использованием их комбинации. В качестве другого примера, дополненный универсальный 3-D видеосигнал SVS может быть загружен в сервер, из которого конечные пользователи могут загружать этот дополненный универсальный 3-D видеосигнал SVS. В качестве еще одного примера, большое количество носителей информации может быть изготовлено, на котором записан дополненный универсальный 3-D видеосигнал SVS. В любом из упомянутых выше примеров дополненный универсальный 3-D видеосигнал SVS предпочтительно кодирован с целью сжатия данных и повышения устойчивости к ошибкам.

На фиг. 11 иллюстрируется система RSY воспроизведения видеоизображения, которая может быть установлена в доме конечного пользователя. Система RSY воспроизведения видеоизображения содержит устройство DPL отображения стереоскопического типа, для которого может потребоваться, чтобы зритель надел очки. Стекло левого глаза пропускает воспроизводимое левое изображение LR, или скорее их последовательность, в левый глаз. Стекло правого глаза пропускает воспроизводимое правое изображение RR, или скорее их последовательность, в правый глаз. С этой целью, устройство DPL отображения может поочередно отображать воспроизводимое левое изображение и воспроизводимое правое изображение. Стекло левого глаза делается прозрачным, когда отображают воспроизводимое левое изображение LR, и непрозрачным в других случаях. Аналогично, стекло правого глаза делают прозрачным, когда отображают воспроизводимое правое изображение RR, и делают непрозрачным в других случаях. В качестве другого примера, устройство DPL отображения может отображать воспроизводимые левые изображения с заданной поляризацией и воспроизводимые правые изображения с противоположной поляризацией. Стекло левого глаза и стекло правого глаза могут затем иметь соответствующую противоположную поляризацию.

Система RSY воспроизведения видеоизображения, кроме того, содержит различные функциональные блоки: проигрыватель PLY носителя информации, декодер DEC, демультиплексор DMX, генератор SHG изображения со смещенной точкой обзора, селектор SEL, контроллер CTRL и интерфейс UIF пользователя. Все упомянутые выше функциональные блоки могут формировать, например, устройство домашнего кинотеатра. Декодер DEC, демультиплексор DMX, генератор SHG изображения со смещенной точкой обзора и селектор SEL могут быть реализованы с использованием устройства, выполняющего инструкции, и программной памяти. При таком варианте выполнения набор инструкций, загружаемых в программную память, может обеспечивать выполнение устройством, выполняющим инструкции, операций, соответствующих одному или больше функциональным блокам, которые будут более подробно описаны ниже. Контроллер CTRL и интерфейс UIF пользователя могут, по меньшей мере, частично, также быть реализованы таким образом и, кроме того, могут совместно использовать одно и то же устройство, выполняющее инструкции, с упомянутыми выше функциональными блоками.

Система RSY воспроизведения видеоизображения работает в общем следующим образом. Предполагается, что проигрыватель PLY носителя информации считывает носитель информации, который содержит кодированную версию CV дополненного универсального 3-D видеосигнала SVS, показанного на фиг. 5. Декодер DEC принимает эту кодированную версию CV и предоставляет, в ответ, дополненный универсальный 3-D видеосигнал SVS. Демультиплексор DMX эффективно выделяет и отделяет различные компоненты, содержащиеся в этом сигнале. Данные GD управления воспроизведением представляют собой такой компонент, который принимает контроллер CTRL. Генератор SHG изображения со смещенной точкой обзора принимает различные другие компоненты, содержащиеся в универсальном 3-D изображении: левое изображение LP, карту DM глубины и фоновое изображение BG. Генератор SHG изображения со смещенной точкой обзора может, кроме того, принимать альфа-карту, которая может содержаться в универсальном 3-D изображении. Правое изображение RP непосредственно подают в селектор SEL.

Контроллер CTRL определяет набор параметров GP генерирования смещения точки обзора и сигнал SC управления селектором на основе данных GD управления воспроизведением и данных контекста воспроизведения, которые могут быть заранее сохранены в системе RSY воспроизведения. Данные контекста воспроизведения определяют контекст воспроизведения в отношении, например, размера экрана устройства DPL отображения и обычного расстояния просмотра. Контроллер CTRL может, кроме того, учитывать требуемую силу STD стереоэффекта, если он присутствует вообще, с целью определения набора параметров генерирования просмотра со смещением. Зритель может определять требуемую силу STD стереоэффекта с использованием интерфейса UIF пользователя. В случае, когда зритель не определяет требуемую силу стереоэффекта, контроллер CTRL может выполнять операции на основе принятой по умолчанию силы стереоэффекта. Набор параметров GP генерирования смещения точки обзора может содержать, например, параметры, установленные на основе любой из таблиц, показанных на фиг. 6, 7 и 8, учитывая контекст воспроизведения, который применим к системе RSY воспроизведения видеоизображения, показанной на фиг. 10.

Генератор SHG изображения со смещенной точкой обзора генерирует изображение LP+/-S со смещенной точкой обзора на основе левого изображения LP, карты DM глубины и изображения BG фона в соответствии с набором параметров GP генерирования смещения точки обзора. Генератор SHG изображения со смещенной точкой обзора предпочтительно может использовать альфа-карту, если такая карта, предназначенная для левого изображения LP, доступна. Генератор SHG изображения со смещенной точкой обзора либо работает в стереорежиме A, или в стереорежиме B, которые показаны на фиг. 3 и 4, соответственно. Параметры GP генерирования смещения точки обзора определяют степень смещения, которое может быть либо смещением вправо, либо смещением влево, как показано на фиг. 3 и 4.

Сигнал SC управления селектором выражает применяемый стереорежим. В случае стереорежима A, сигнал SC управления селектором обеспечивает выбор селектором SEL изображения LP+/-S со смещенной точкой обзора, для составления воспроизводимого левого изображения LR. Селектор SEL выбирает правое изображение RP, для составления воспроизводимого правого изображения RR в данном случае. И, наоборот, в случае стереорежима B сигнал SC управления селектором обеспечивает выбор селектором SEL изображения LP+/-S со смещенной точкой обзора, для составления воспроизводимого правого изображения RR. Селектор SEL выбирает левое изображения LP для составления воспроизводимого левого изображения LR в этом случае. В любом случае устройство DPL отображения обеспечивает воспроизведение 3-D изображения на основе воспроизводимого левого изображения LR и воспроизводимого правого изображения RR.

На фиг. 12 показана альтернативная система ARSY воспроизведения видеоизображения или, скорее, ее часть. Альтернативная система ARSY воспроизведения видеоизображения содержит устройство ADPL отображения автостереоскопического типа, для которого не требуется, чтобы зритель надевал очки. Такое устройство отображения обычно отображает набор изображений, снятых с разных точек обзора MVS, в результате чего каждое из изображений формируют в виде луча, как оно есть, направленного в определенном направлении. В соответствии с этим, устройство ADPL отображения проецирует разные виды для левого глаза и для правого глаза, что обеспечивает для зрителя ощущение эффекта глубины.

Альтернативная система ARSY воспроизведения видеоизображения содержит генератор MVG множества точек обзора, который принимает те же компоненты, что и генератор SHG изображения со смещенной точкой обзора, показанный на фиг. 11: левое изображение LP, карту DM глубины и фоновое изображение BG. Эти компоненты могут быть предоставлены теми же функциональными блоками, аналогичными проигрывателю PLI носителя информации, декодеру DEC и демультиплексору DMX, также показанным на фиг. 11.

Генератор MVG множества точек обзора может, кроме того, принимать альфа-карту, которая предназначена конкретно для левого изображения LP.

Генератор MVG множества точек обзора генерирует набор изображений, снятых с разных точек обзора MVS, которые отображают в устройстве DLP отображения автостереоскопического типа. Фактически, генератор MVG изображений для множества точек обзора можно рассматривать как содержащий множество генераторов изображения со смещенной точкой обзора, каждый из которых может быть аналогичен генератору SHG изображения со смещенной точкой обзора, показанному на фиг. 11. Такие соответствующие генераторы изображения для точки обзора генерируют соответствующие изображения со смещенной точкой обзора, которые представляют сцену, снятую из соответствующих точек обзора, которые отличаются друг от друга. Таким образом, на схеме, аналогичной фиг. 3 и 4, каждое соответствующее изображение со смещенной точкой обзора имеет определенное положение на горизонтальной оси. Следует отметить, что генератор MVG множества точек обзора не обязательно должен использовать правое изображение RP, ассоциированное с левым изображением LP. Таким образом, правое изображение, которое присутствует в дополненном универсальном 3-D видеосигнале SVS, не обязательно используется с целью воспроизведения 3-D изображения.

Выше описан 3D-формат, который комбинирует преимущества формата стереоизображения и так называемых форматов изображение + глубина. В описанных ниже вариантах осуществления обеспечивается практическая реализация таких форматов, как стерео + глубина, для использования как с существующими, так и с будущими проигрывателями Blu-ray. Идея, лежащая в основе, состоит в использовании пространственных и временных субдискретизаций компонента глубины (и в случае необходимости, дополнительной информации, такой как данные окклюзии), ниже также называется "D", и форматирование их в трехмерный видеосигнал, одновременно содержащий стереоизображение и глубину с частотой следования кадров 2:2:1 LRD.

Особо предпочтительный вариант осуществления настоящего изобретения направлен на обеспечение возможности использования представления с более низким разрешением видеосигнала для генерирования сигнала стереоизображения плюс глубина, который соответствует требованиям полосы пропускания исходного стереосигнала. Лежащая в основе идея состоит в использовании обычного видеопотока 1280*720 при 60 Гц, для кодирования 1920*1080 при 24 Гц стереосигнала (LR) плюс глубина (D).

Кроме того, используя вставки дополнительных чередующихся кадров 2:1, 2:2:1, которые могут содержать различные компоненты (такие как компоненты глубины или компоненты прозрачности) в множество моментов времени, может быть реализовано, например, Dt-1 и Dt-2.

Формат LRD, как предложено ранее, обычно требует большего количества ресурсов (декодирования), чем доступно в настоящее время в проигрывателях Blu-ray. Также в таких проигрывателях Blu-ray отсутствуют дополнительные порты интерфейса для стереосигналов и сигналов глубины.

Также следует отметить, что используемая в настоящее время структура стереоизображения типа "шахматная доска" имеет ряд недостатков, поскольку она не обеспечивает возможность использования обычных автостереоскопических устройств отображения, и 3d-восприятие в чрезвычайной степени зависит от размера экрана.

Также, с учетом сущности структуры типа "шахматная доска", требования скорости передачи данных являются относительно высокими (по меньшей мере, в два раза, чем требуемая скорость передачи битов для моноскопического видеоизображения 1080p, 24 Гц).

Предложено преодолеть обе проблемы, связанные с ресурсом декодирования, и проблему перемежения, используя формат перемежения по времени 1280*720p с кадрами L'R'D', в котором:

- L' = пространственное левое изображение после субдискретизации 1920*1080 1280*720),

- R' = пространственное правое изображение после субдискретизации (1920*1080 1280*720) и

- D' = пространственная глубина.

Как правило, хотя и не обязательно, D' содержит временную и пространственную глубину, текстуру окклюзии, глубину окклюзии и информацию прозрачности. D' подвергают субдискретизации по времени с коэффициентом 2, это означает L'+R'+D'=24+24+12 Гц = 60 Гц.

Обычно проигрыватель Blu-ray может декодировать видеосигнал, такой как видеопоток изображения 720p, кодированный с использованием MPEG. Кроме того, сигнал изображения 720p представляет собой поддерживаемый видеоформат по известным интерфейсам, таким как HDM1/CEA. Предложенная субдискретизация по пространству и времени и с перемежением L, R и D в потоке на 1280*720@60 Гц L'R'D' позволяет осуществить настоящее изобретение на каждом существующем проигрывателе BD.

На фиг. 13 представлены примерные требования для декодирования существующего моноскопического проигрывателя BD, а также к пропускной способности интерфейса (IF) в мегапикселях в секунду. При этом не требуется выполнять какие-либо специальные модификации для существующих проигрывателей, для поддержки описанного выше кодирования L'R'D'. Следует отметить, что на

фиг. 13 D кадров содержат информацию (D) глубины, информацию (T) прозрачности, текстуру фона (BG) и глубину фона (BD). Единственный оставшийся вопрос представляет собой решение проблемы синхронизации.

Проблема синхронизации может быть решена в случае, когда поток кодирован, как показано на фиг. 14. Здесь представлено, что предпочтительно L, R и D кадры выполнены с перемежением для повторяющейся последовательности L, R, D, L, R кадров. Кроме того, на фиг. 14 показан предпочтительный подход для кодирования изображений. Стандарт HDMI имеет вариант выбора обозначения в, так называемых, Info кадрах того, что изображение, присутствующее в интерфейсе, представляет собой оригинальный кодированный кадр, и, в частности, присутствуют индикаторы I, P и B. Кроме того, необходимы сигналы кодирования L'R'D', передаваемые в монитор или устройство отображения, обозначающие, что сигнал интерфейса не является обычным моноскопическим сигналом 720p, а сигналом 3D 720p в соответствии с изобретением. Возможно, это требует стандартизации в HDMI/CEA, однако в настоящий момент спецификация интерфейса обеспечивает достаточно возможностей для обозначения этого.

Поскольку описанный выше сигнал L'R'D' имеет все свойства обычного моноскопического сигнала 720p 60 Гц, его можно декодировать, используя проигрыватели Blu-ray, и также он может быть выведен в его выходной интерфейс HDMI (МИВЧ, мультимедийный интерфейс высокой четкости).

Как обозначено выше, содержание компонента D' обычно не ограничивается глубиной, но может также содержать текстуру фона (BG), прозрачность (T) и дополнительную информацию метаданных. Метаданные могут представлять собой дополнительную видеоинформацию для улучшения качества восприятия 3D, но также и информацию, относящуюся к содержанию (например, сигналы и т.д.).

Обычные компоненты представляют собой D (глубина переднего плана), BG (текстура фона), BD (глубина фона) и T (карта прозрачности). В принципе, для предложенного формата эти компоненты доступны с частотой 12 Гц вместо 24 Гц. Для них может быть выполнена выборка по времени с повышением частоты, используя известные или новые алгоритмы выборки с повышением частоты. Однако для некоторых вариантов применения выборка с повышением частоты не требуется. Например, при составлении графических изображений (субтитров, OSD и т.д.) поверх видеоизображения, полезно иметь информацию глубины, такую, чтобы графические изображения можно было составить в правильном местоположении, то есть в правильном положении относительно глубины.

Описанное выше может быть реализовано с использованием разных (то есть, чередующихся) фаз для глубины (D) и прозрачности (T), как можно видеть на фиг. 17. На чертеже показаны кадры размером 1280×720, содержащие информацию D1 глубины и информацию T2 прозрачности. Компонент D1 кадра размером 1280×720 основан на компоненте D1 кадра размером 1920×1080 в момент времени T=1/24 секунды. Компонент T2 кадра размером 1280×720 основан на компоненте T2 из дополнительного кадра 1920×1080 в момент времени T=2/24 секунды.

Преимущество того, что D1 и T2 доступны для разных моментов времени состоит в том, что это позволяет улучшить временную реконструкцию глубины, благодаря использованию прозрачности для соседних моментов времени, см. фиг. 17.

Следует отметить, что не все компоненты в кадре D в равной степени важны. Это оставляет пространство для пропуска компонента (всегда или динамически, в зависимости от содержания, и с отметкой с использованием небольшого количества флагов), оставляя пространство для другого компонента и для использования другого компонента при полных 24 Гц. Эта концепция иллюстрируется на фиг. 18, где информацию прозрачности из T=1/24 и T=2/24 комбинируют в пределах одного кадра 1280×720.

Таким образом, на фиг. 17 представлен пример, где все компоненты подвергают субдискретизации по времени, и на фиг. 18 представлено решение, где только T (прозрачность) подвергают субдискретизации по пространству, а не по времени (T1, T2).

Новый 3D BD

Также для новой, которая должна быть определена, спецификации 3D проигрывателя Blu-ray, формат типа LRD в соответствии с настоящим изобретением может стать соответствующим. При этом вероятно, что пропускная способность будущих систем проигрывателя BD будет по причинам совместимости и стоимости составлять приблизительно 2*1080p@30 (или 2*1080i@60 Гц). Когда применяют описанный выше принцип LRD, то есть, добавляют дополнительную информацию, требуются дополнительные 11% пропускной способности. Это близко к 2*1080p@30 Гц. Повышение максимальной пропускной способности до величины, которая больше на 11%, может быть приемлемым для будущих систем, в зависимости от преимуществ.

Для будущих 3D проигрывателей Blu-ray качество является очень важным. Эксперименты показали, что, в частности, пространственная субдискретизация, то есть горизонтальная и вертикальная субдискретизация с коэффициентом 2:1, как для компонента глубины, так и для компонента прозрачности может слишком сильно понизить качество (см. также фиг. 21). Один из вариантов улучшения этой ситуации состоит в применении, так называемой, субдискретизации quinqunx на основе диагональной фильтрации, как показано на фиг. 21. Например, 1920*1080 пикселей могут вначале быть подвергнуты вертикальной субдискретизации до 1920*540, затем могут быть диагонально отфильтрованы и могут быть подвергнуты субдискретизации quinqunx, после чего получают выборки 960*540 (quinqunx). Однако, такие выборки оставляют в горизонтальном направлении полное разрешение 1920.

Другой подход мог бы состоять только в субдискретизации в вертикальном направлении для глубины и прозрачности. На фиг. 19 показано, как это может быть реализовано с использованием повторяющейся последовательности кадров L, R, D, L, R, D, D'. В нижней части обозначено содержание D-кадров; то есть, последовательных кадров D, D и D'. Стрелки на фигуре обозначают направление прогнозирования, используемого при кодировании кадров.

В пределах D-кадров глубина (D1, D2, D3) и прозрачность (T1, T2) представлены с чередованием с разрешением 1920*540 пикселей. В то же время текстура фонового изображения (BG) и глубина фона (BD) предусмотрены для 960*540 пикселей.

Следует отметить, что в этой конкретной схеме кодирования кадры D и кадры D' имеют разное содержание и частоты. Тип D' кадра предусмотрен с половинной скоростью кадров L и D. Для кадра D' можно использовать, для выделения отсутствующих моментов времени глубины и прозрачности, здесь D2 и T2. Следует отметить, что (некоторые из) компонентов также могут быть подвергнуты субдискретизации quinqunx (см. также приложение 1).

Затем выполняют перемежение кадров D' с информацией LRD в потоке LRD, как обозначено в структуре кодирования GOP (ГИ, группа изображений) на фиг. 19 путем последовательного кодирования LRD-LRDD'-LRD-LRDD'.

На фиг. 19 также показано, как в режиме L R D D' информация глубины D и информация глубины D' могут быть сжаты эффективно, используя D1 для прогнозирования D3, и путем использования как D1, так и D3 для прогнозирования D2.

На фиг. 15 представлены некоторые из вариантов выбора для кодирования видеоданных, для использования с системами 3D Blu-ray. Как можно видеть на фиг. 15, настоящее изобретение обеспечивает как кодирование LRD (стереоизображение + глубина) для кинофильмов с полным изображением высокой четкости, так и для отдельных участков высокой четкости.

И, наконец, на фиг. 20 показан, как вариант 1, вариант осуществления настоящего изобретения, в котором D-кадры упомянутого выше режима LRDD' подвергают перемежению. На фиг. 20 также показан, как вариант 2, вариант осуществления настоящего изобретения, в котором комбинируют информацию для 4 моментов времени, в то время как в предыдущем варианте выбора комбинируют только информацию для 2 моментов времени. В этом последнем варианте осуществления Y, U и V компоненты видеосигнала используют для переноса разной информации, например, в пределах D² кадра, U-компонент переносит глубину фона для T=1, тогда как V-компонент переносит глубину фона для T=2. Отдельные компоненты Y, U и V представлены для соответствующих D-кадров.

Компоненты соответствующих D-кадров в этом втором варианте D¹, D², D³, D⁴, D⁵, D⁶ представлены ниже в примере перемежения.

В данном варианте осуществления текстуры фона для четырех моментов времени (BG1 ₁, BG1₂, BG1₃, BG1₄) упакованы в одном кадре (для 4 моментов времени), в результате чего D кадров можно использовать более эффективно. Данный вариант осуществления эффективно использует тот факт, что компонент глубины имеет в общем размер, аналогичный обеспечиваемому компонентами UV. Это даже позволяет использовать один из двух D или T для полного разрешения 1920*1080 при 12 Гц, где другие моменты времени получают при 1920*540. Как можно видеть на фиг. 20, может даже остаться некоторое свободное пространство.

Заключительные комментарии

Представленное выше подробное описание изобретения со ссылкой на чертежи представляет собой лишь иллюстрацию изобретения и его дополнительных признаков, которые определены в формуле изобретения. Изобретение может быть реализовано разными другими способами. Для иллюстрации этого кратко обозначены некоторые альтернативы.

Изобретение можно преимущественно применять в различных типах продуктов или способов, относящихся к 3-D визуальным представлениям. 3-D видеоизображение представляет собой всего лишь пример. Изобретение может в равной степени применять для неподвижных 3-D изображений, то есть, для 3-D фотографий.

Существует множество способов предоставления 3-D видеоизображения в соответствии с изобретением. На фиг. 1 иллюстрируется вариант осуществления, который содержит пару камер RCAM, LCAM. В этом примере пара камер снимает реальные изображения. В другом варианте осуществления пара виртуальных изображений может быть сгенерирована с использованием, например, соответствующим образом запрограммированного процессора. Карта глубины не обязательно должна быть получена с использованием сканера глубины или аналогичного устройства измерения. Карта глубины может быть установлена на основе анализа, как указано выше в подробном описании изобретения. При этом важно отметить, что карта глубины предназначена конкретно для одного изображения из пары изображений, которое, как таковое, составляет 3-D визуальное представление.

Карта глубины может быть предназначена конкретно либо для левого изображения, как в подробном описании изобретения, представленном выше, либо для правого изображения. Таким образом, в разных версиях универсального 3-D видеосигнала VS, показанного на фиг. 2, карта DM глубины может быть предназначена конкретно для правого изображения RP. В таком варианте изображение со смещенной точкой обзора генерируют из правого изображения RP, и карта DM глубины предназначена конкретно для этого изображения. Фоновое изображение BG также будет специализировано для правого изображения RP. Фоновое изображение BG может быть исключено с целью, например, уменьшения количества данных или уменьшения полосы пропускания.

Существует множество разных способов обеспечения данных направления воспроизведения изображения. Подробное описание изобретения, приведенное выше, представляет пример со ссылкой на фиг. 10. В данном примере осуществляют последовательность этапов, некоторые из которых включают в себя взаимодействие с оператором системы. Одно или больше таких взаимодействий могут быть эффективно заменены автоматизированным решением. Также возможно полностью автоматически генерировать данные направления воспроизведения изображения. Следует также отметить, что последовательность этапов, показанная на фиг. 10, не обязательно должна осуществляться в порядке, в котором они показаны. Кроме того, различные этапы могут быть скомбинированы в один этап, или этап может быть исключен.

Термин "изображение" следует понимать в широком смысле. Этот термин включает в себя любой объект, который обеспечивает возможность визуального воспроизведения изображения, такого как, например, изображение, кадр или поле.

В широком смысле существует множество способов осуществления функциональных объектов с использованием аппаратных или программных средств, или их комбинации. В этом отношении, чертежи представлены очень схематично. Хотя на чертежах показаны разные функциональные объекты, как разные блоки, это ни коим образом не исключает варианта выполнения, в котором одиночный объект осуществляет несколько функций, или в котором несколько объектов осуществляют одну функцию. Например, как показано на фиг. 11, декодер DEC, демультиплексор DMX, генератор SHG изображения со смещенной точкой обзора, селектор SEL и контроллер CTRL могут быть реализованы с использованием соответствующим образом запрограммированного процессора или специализированного процессора в форме интегральной микросхемы, которая содержит все эти функциональные блоки.

Существует множество способов сохранения и распространения набора инструкций, который представляет собой программное средство, что позволяет обеспечить работу программируемой цепи в соответствии с изобретением. Например, программное средство может быть сохранено на соответствующем носителе информации, таком как оптический диск или схема памяти. Носитель, на котором сохранено программное средство, может быть поставлен как отдельный продукт или вместе с другим продуктом, который может выполнять это программное средство. Такой носитель информации также может составлять часть продукта, который обеспечивает возможность выполнения программного средства. Программное средство также может распространяться через сети передачи данных, которые могут быть кабельными, беспроводными или гибридными. Например, программное средство может быть распределено через Интернет. Программное средство может быть сделано доступным для загрузки с использованием сервера. Загрузка может подлежать оплате.

Приведенные здесь выше замечания демонстрируют, что подробное описание изобретения со ссылкой на чертежи, представляет собой скорее иллюстрацию, чем ограничение изобретения. Существуют различные альтернативы, которые попадают в пределы объема приложенной формулы изобретения. Любое условное обозначение в формуле изобретения не следует рассматривать как ограничивающее формулу изобретения. Слово "содержащий" не исключает присутствия других элементов или этапов, кроме тех, которые представлены в формуле изобретения. Артикль "a" или "an", предшествующий элементу или этапу, не исключает присутствие множества таких элементов или этапов. Сам по себе тот факт, что соответствующие зависимые пункты формулы изобретения определяют соответствующие дополнительные признаки, не исключает комбинацию дополнительных признаков, которая соответствует комбинации зависимых пунктов формулы изобретения.