носитель записи, на который записано трехмерное видео, носитель записи для записи трехмерного видео и устройство воспроизведения и способ воспроизведения трехмерного видео

Формула изобретения

1. Носитель записи, содержащий:

зону цифрового потока, в которую записан цифровой поток; и

зону информации карты, в которую записана информация карты,

цифровой поток, включающий в себя первый видеопоток и второй видеопоток,

второй видеопоток является сжатым по отношению к первому видеопотоку,

первый видеопоток, включающий в себя множество GOP (групп изображений) первого типа, и второй видеопоток, включающий в себя множество GOP (групп изображений) второго типа,

причем информация карты указывает адреса входа в зоне цифрового потока в соответствии "один-к-одному" с временами входа,

в зоне цифрового потока каждая зона начинается с позиции, указанной посредством одного из адресов входа, соответствующих первому видеопотоку, включает в себя GOP (группу изображений) первого типа, соответствующую одному из адресов входа, и GOP (группу изображений) второго типа, соответствующую GOP (группе изображений) первого типа, при этом:

GOP (группа изображений) первого типа, соответствующая одному из адресов входа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены от времени входа, соответствующего одному из адресов входа на временной оси цифрового потока, и

GOP (группа изображений) второго типа, соответствующая GOP (группе изображений) первого типа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены вместе с GOP первого типа, соответствующей одному из адресов входа, чтобы предоставлять пользователю стереоскопическое представление движущихся изображений,

GOP (группа изображений) первого типа и GOP (группа изображений) второго типа разделены в наборы пакетов соответственно и мультиплексированы вместе, и

пакет, расположенный при заголовке набора пакетов, разделенных из GOP (группы изображений) первого типа, соответствующей одному адресу входа предшествует в цифровом потоке пакету, расположенному при заголовке набора пакетов, разделенных из GOP (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа.

2. Носитель записи по п.1, в котором: каждый из адресов входа в информацию карты представляется как один из номеров пакетов, назначенных пакету, расположенному в соответствующем одном из наборов пакетов заголовка первого типа.

3. Носитель записи по любому из пп.1 или 2, в котором: каждый из наборов пакетов второго типа, разделенных из соответствующей одной из GOP (групп изображений) второго типа, находится перед следующим одним из адресов входа, который расположен непосредственно следующим за одним из адресов входа, который связан с соответствующей одной из GOP (групп изображений) первого типа.

4. Носитель записи по любому из пп.1 или 2, в котором: каждый из наборов пакетов второго типа, разделенных из соответствующей одной из GOP (групп изображений) второго типа, предшествует конечному пакету соответствующей одной из GOP (групп изображений) первого типа.

5. Носитель записи по п.1, в котором: изображения каждой из GOP (групп изображений) первого типа находятся в соответствии "один-к-одному" с изображениями каждой из GOP второго типа, и время отображения определенного изображения каждой из GOP (групп изображений) второго типа это значение, полученное посредством прибавления времени отображения соответствующего одного из изображений соответствующей одной из GOP (групп изображений) первого типа к значению, полученному посредством деления 1 на частоту кадров соответствующей одной из GOP (групп изображений) первого типа, умноженную на 2.

6. Носитель записи, содержащий:

модуль формирования, выполненный с возможностью формировать цифровой поток, и

модуль записи, выполненный с возможностью записывать сформированный цифровой поток на носитель записи, при этом:

цифровой поток, включающий в себя первый видеопоток, второй видеопоток и информацию карты,

первый видеопоток указывает наборы движущихся изображений, которые должны быть воспроизведены от соответствующего одного из времен входа на временной оси цифрового потока и включающий в себя множество GOP первого типа, соответствующих времени входа,

второй видеопоток указывает наборы движущихся изображений, которые должны быть воспроизведены вместе с соответствующим одним из GOP первого типа в случае предоставления пользователю стереоскопического представления движущихся изображений и включающий в себя множество GOP (групп изображений) второго типа,

информацию карты, указывающую адрес входа в зоне записи цифрового потока, в соответствии "один-к-одному" с временами входа, и

модуль формирования сжимает второй видеопоток по отношению к первому видеопотоку, разделяет GOP (группы изображений) первого типа и GOP (группы изображений) второго типа во множество пакетов и мультиплексирует вместе множество пакетов так, что пакет, расположенный при заголовке пакетов, разделенных из GOP (группы изображений) первого типа, соответствующей одному из времен входа, предшествует в цифровом потоке пакету, расположенному при заголовке пакетов, разделенных из GOP (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа.

7. Устройство воспроизведения для воспроизведения носителя записи, при этом носитель записи содержит:

зону цифрового потока, в которую записан цифровой поток; и

зону информации карты, в которую записана информация карты;

цифровой поток, включающий в себя первый видеопоток и второй видеопоток,

второй видеопоток является сжатым по отношению к первому видеопотоку,

первый видеопоток, включающий в себя множество GOP (групп изображений) первого типа, и второй видеопоток, включающий в себя множество GOP второго типа,

информация карты указывает адреса входа в зоне цифрового потока в соответствии "один-к-одному" с временами входа, в зоне цифрового потока каждая зона, начинающаяся с позиции, указанной посредством одного из адресов входа, соответствующего первому видеопотоку, включает в себя GOP (группу изображений) первого типа, соответствующую одному из адресов входа, и GOP (группу изображений) второго типа, соответствующую GOP (группе изображений) первого типа, при этом

GOP (группа изображений) первого типа, соответствующая одному из адресов входа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены от времени входа, соответствующего одному из адресов входа на временной оси цифрового потока, и

GOP (группа изображений) второго типа, соответствующая GOP первого типа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены вместе с GOP первого типа, соответствующей одному из адресов входа, чтобы предоставлять пользователю стереоскопическое представление движущихся изображений,

GOP (группы изображений) первого типа и GOP (группы изображений) второго типа разделены в наборы пакетов соответственно и мультиплексированы вместе, и

пакет, расположенный при заголовке набора пакетов, разделенных из GOP (группы изображений) первого типа, соответствующей одному адресу входа, предшествует в цифровом потоке пакету, расположенному при заголовке набора пакетов, разделенных из GOP (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа;

устройство воспроизведения содержит:

видеодекодер, выполненный с возможностью декодировать GOP (группы изображений) первого типа и GOP (группы изображений) второго типа, чтобы получать движущиеся изображения;

первую видеоплоскость, которая сохраняет движущиеся изображения, полученные посредством декодирования, GOP (группы изображений) первого типа;

вторую видеоплоскость, которая сохраняет движущиеся изображения, полученные посредством декодирования GOP (групп изображений) второго типа; и

модуль вывода, выполненный с возможностью выводить на дисплей движущиеся изображения, сохраненные в первой видеоплоскости, и движущиеся изображения, сохраненные во второй видеоплоскости,

видеодекодер декодирует пакет, расположенный при заголовке набора пакетов, разделенных из СОР (группы изображений) первого типа, соответствующей одному из адресов входа перед декодированием пакета, расположенного при заголовке набора пакетов, разделенных из GOP (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа, и

видеодекодер выводит (i) движущиеся изображения, декодированные из GOP (групп изображений) первого типа, в первую видеоплоскость; и (ii) движущиеся изображения, декодированные из GOP (групп изображений) второго типа, во вторую видеоплоскость.

8. Способ воспроизведения для воспроизведения носителя записи, при этом носитель записи содержит:

зону цифрового потока, в которую записан цифровой поток; и

зону информации карты, в которую записана информация карты,

цифровой поток, включающий в себя первый видеопоток и второй видеопоток,

второй видеопоток является сжатым по отношению к первому видеопотоку,

первый видеопоток, включающий в себя множество GOP (групп изображений) первого типа, и второй видеопоток, включающий в себя множество GOP (групп изображений) второго типа,

причем информация карты указывает адреса входа в зоне цифрового потока в соответствии "один-к-одному" с временами входа, в зоне цифрового потока каждая зона, начинающаяся с позиции, указанной посредством одного из адресов входа, соответствующего первому видеопотоку, включает в себя GOP первого типа, соответствующую одному из адресов входа, и GOP второго типа, соответствующую GOP первого типа, при этом:

GOP (группа изображений) первого типа, соответствующая одному из адресов входа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены от времени входа, соответствующего одному из адресов входа на временной оси цифрового потока,

GOP (группа изображений) второго типа, соответствующая GOP первого типа, это данные, указывающие набор движущихся изображений, которые должны быть воспроизведены вместе с GOP первого типа, соответствующей одному из адресов входа, чтобы предоставлять пользователю стереоскопическое представление движущихся изображений,

GOP (группы изображений) первого типа и GOP (группы изображений) второго типа разделены в наборы пакетов соответственно и мультиплексированы вместе, и

пакет, расположенный при заголовке набора пакетов, разделенных из GOP (группы изображений) первого типа, соответствующей одному адресу входа, предшествует в цифровом потоке пакету, расположенному при заголовке набора пакетов, разделенных из GOP (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа;

способ воспроизведения содержит:

этап декодирования видео, на котором декодируют GOP (группы изображений) первого типа и GOP (группы изображений) второго типа, чтобы получать движущиеся изображения; и

этап вывода, на котором выводят на дисплей движущиеся изображения, полученные посредством декодирования, GOP (групп изображений) первого типа в первой видеоплоскости, и движущиеся изображения, полученные посредством декодирования, GOP (групп изображений) второго типа во второй видеоплоскости,

этап декодирования видео декодирует пакет, расположенный при заголовке набора пакетов, разделенных из СОР (группы изображений) первого типа, соответствующей одному из адресов входа перед декодированием пакета, расположенного при заголовке набора пакетов, разделенных из СОР (группы изображений) второго типа, соответствующей GOP (группе изображений) первого типа, и

этап декодирования видео выводит (i) движущиеся изображения, декодированные из GOP (групп изображений) первого типа, в первую видеоплоскость; и (ii) движущиеся изображения, декодированные из GOP (групп изображений) второго типа, во вторую видеоплоскость.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к формату применения, когда трехмерная графика записывается на носитель записи.

Уровень техники

В последние годы, разработаны стандарты DVD следующего поколения, называемые дисками Blu-Ray и HD DVD, и как следствие, оптические диски с высокой четкостью и высококачественным звуком распространились среди пользователей.

В отношении качества движущихся изображений, которые могут записываться на такие оптические диски, в то время как традиционные DVD имеют SD (стандартную четкость), диски Blu-Ray имеют HD (высокую четкость) с разрешением вплоть до 1920×1080 и поэтому могут сохранять изображения, имеющие более высокое качество изображения.

В последние годы, число посетителей кинотеатров уменьшается с распространением коробочных носителей, таких как DVD. Следовательно, в США и в Японии, стимулируется создание кинотеатров, в которых посетители могут наслаждаться трехмерными фильмами (3D-фильмами), чтобы увеличивать число посетителей кинотеатров. Одним из факторов, который способствует этим изменениям в кинотеатрах, является то, что разработано окружение, в котором трехмерная графика может быть сформирована сравнительно легко, поскольку многочисленные новые фильмы создаются с использованием CG (компьютерной графики).

В свете таких предпосылок, трехмерное содержимое, записанное на вышеупомянутых DVD следующего поколения, таких как диски Blu-Ray и DVD HD, требуется многим пользователям.

Патентный документ 1. Международная публикация международной заявки номер 2005-119675

Сущность изобретения

Проблемы, разрешаемые изобретением

Хотя возможности простого воспроизведения трехмерного содержимого с начала до конца достаточно в кинотеатрах, такого воспроизведения недостаточно для того, чтобы представлять трехмерную технологию в домах в форме оптического диска. Таким образом, необходимо обеспечивать, чтобы мог выполняться как и раньше произвольный доступ и т.п. с точки зрения удобства и простоты использования для пользователей при представлении трехмерной технологии в домах. В качестве способа реализации трехмерного просмотра для дома может рассматриваться способ использования параллактического видео (состоящего из двух видеопотоков, которые основаны на бинокулярном параллаксе). В этом случае, проблематичным является то, как синхронизировать эти два видеопотока во время произвольного доступа, чтобы обеспечивать возможность выполнения произвольного доступа. Если эти два видеопотока не могут быть синхронизированы, может возникать период времени, в котором один видеопоток может быть надлежащим образом декодирован, тогда как другой видеопоток не может быть декодирован, когда пользователь воспроизводит с произвольного момента времени, к которому может быть выполнен произвольный доступ. Это обусловлено тем, что данные, необходимые для воспроизведения, не предоставляются в декодер. Как результат, стереоскопический просмотр с использованием параллактического видео не может быть выполнен в этот период времени.

Настоящее изобретение имеет цель предоставлять носитель записи, с помощью которого произвольный доступ может быть надежно выполнен при воспроизведении трехмерной графики.

Средство для решения проблем

Чтобы достигать вышеописанной цели, один аспект настоящего изобретения - это носитель записи, содержащий: зону цифрового потока, в которую записывается цифровой поток, причем цифровой поток включает в себя множество размещенных во времени пар GOP (группа изображений); и зону информационной карты, в которую записывается информационная карта, причем информационная карта указывает адреса входа в соответствии "один-к-одному" с временами входа на временной оси цифрового потока, при этом каждый из адресов входа показывает начало соответствующей одной из областей пар GOP в зоне цифрового потока, при этом каждая из пар GOP состоит из GOP первого типа и GOP второго типа, каждая GOP первого типа - это данные, указывающие набор изображений для плоского представления, которые должны быть воспроизведены от соответствующего одного из времен входа, а каждая GOP второго типа - это данные, которые должны быть воспроизведены вместе с соответствующей одной из GOP первого типа, чтобы предоставлять пользователю стереоскопический просмотр цифрового потока, при этом данные указывают различие между набором стереоскопических изображений и набором изображений для плоского представления.

Преимущество изобретения

При вышеуказанной структуре, поскольку пары GOP первого типа и GOP второго типа существуют в областях пар GOP, указанных посредством адресов входа в зоне записи цифрового потока, которые соответствуют временам входа, можно надежно давать возможность пользователю выполнять стереоскопический просмотр движущихся изображений, даже когда воспроизведение начинается в произвольном времени входа на временной оси цифрового потока. Следовательно, пользователь может легко наслаждаться просмотром трехмерной графики дома.

Каждая из GOP первого типа и каждая из GOP второго типа могут быть разделены на набор пакетов первого типа и набор пакетов второго типа, соответственно, наборы пакетов первого типа и наборы пакетов второго типа могут быть мультиплексированы вместе, при этом всем пакетам назначаются последовательные номера пакетов согласно порядку мультиплексирования, пакет заголовка из числа каждого из наборов пакетов первого типа может предшествовать, в цифровом потоке, пакету заголовка из числа соответствующего одного из наборов пакетов второго типа, и каждый из адресов входа в информационную карту может быть представлен как один из номеров пакетов, назначенных пакету заголовка из числа соответствующего одного из наборов пакетов первого типа.

Адреса входа, каждый из которых показывает пакет заголовка соответствующей GOP первого типа, находятся в соответствии "один-к-одному" с временами входа. Следовательно, посредством считывания пакетов с носителя записи в соответствии с адресами входа можно надежно отправлять GOP первого типа в видеодекодер без отправки ненужных данных. Следовательно, можно сразу предоставлять стереоскопическое представление начиная с точки входа, требуемой пользователем, когда произвольный доступ выполняется в видеопотоке.

Каждый из наборов пакетов второго типа, разделенных из соответствующей одной из GOP второго типа, может находиться перед следующим одним из адресов входа, который расположен непосредственно следом за одним из адресов входа, который связан с соответствующей одной из GOP первого типа.

Это гарантирует то, что готовая пара GOP первого типа и GOP второго типа может отправляться в видеодекодер посредством считывания пакетов от пакета (m), указанного посредством адреса входа (i), до пакета (n-1), непосредственно предшествующего пакету (n), указанному посредством адреса входа (i +1). Поскольку в случае выполнения произвольного доступа в отношении информационную карту, предоставляется то, что готовая пара GOP первого типа и GOP второго типа, которая может предоставлять стереоскопическое представление, отправляется в видеодекодер, декодер может реализовывать работу с большой скоростью, которая быстро реагирует на операцию пропуска пользователем.

Краткое описание чертежей

Фиг.1A, 1B и 1C показывают принципы стереоскопического представления с использованием параллактического видео;

Фиг.2 показывает структуру BD-ROM;

Фиг.3 показывает пример структуры AV-клипа, сохраненного в файле (XXX.M2TS);

Фиг.4 показывает взаимосвязь между AV-клипом и PL;

Фиг.5 показывает пример управляющей информации AV-клипа, сохраненного в файле информации о клипах;

Фиг.6 показывает взаимосвязь между PTS, выделяемыми множеству изображений, составляющих видеопоток для левого глаза (видеопоток для левого глаза), и PTS, выделяемые множеству изображений, составляющих видеопоток для правого глаза (видеопоток для правого глаза);

Фиг.7 показывает опорную взаимосвязь между изображениями;

Фиг.8 схематично показывает пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза;

Фиг.9 схематично показывает другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза;

Фиг.10 схематично показывает то, как каждый из видеопотоков мультиплексируется в AV-клипе;

Фиг.11 является блок-схемой, показывающей структуру устройства 2000 воспроизведения;

Фиг.12 является блок-схемой последовательности операций способа, показывающей обработку декодирования видео посредством видеодекодера 2302;

Фиг.13 показывает структуру системы домашнего кинотеатра;

Фиг.14 является блок-схемой, показывающей внутреннюю структуру носителя 40 записи;

Фиг.15A, 15B и 15C показывают то, как эффективно формировать элементарный поток трехмерного видео;

Фиг.16 показывает структуру индексной таблицы, включающей в себя 3D-флаги;

Фиг.17 показывает пример структуры AV-клипа, сохраненного в каталоге потоков;

Фиг.18 показывает структуру списка воспроизведения, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки;

Фиг.19A и 19B показывают различие между фокусной точкой глаз, когда пользователь фактически смотрит на объект, и фокусной точкой глаз, когда пользователь выполняет стереоскопический просмотр;

Фиг.20 показывает информацию списка воспроизведения, когда существует множество подпутей;

Фиг.21 показывает то, как пользователь просматривает объект, отображаемый на дисплее во время воспроизведения двумерной графики;

Фиг.22 показывает то, как объект кажется выходящим за пределы отображения в направлении пользователя во время воспроизведения трехмерной графики;

Фиг.23 показывает таблицу, в которой каждый субклип находится в соответствии с фрагментом аудиоданных, субтитром и меню; и

Фиг.24 показывает блок-схему последовательности операций способа, показывающую обработку запросов, которая выполняет запрос к дисплею относительно того, может ли быть отображена трехмерная графика.

Описание номеров ссылок

1000 - BD-ROM

2000 - устройство воспроизведения

2100 - привод BD-ROM

2200 - буфер дорожек

2300 - декодер системных целевых объектов

2301 - демультиплексор

2302 - видеодекодер

2303 - видеоплоскость для левого глаза

2304 - видеоплоскость для правого глаза

2305 - декодер субвидео

2306 - плоскость субвидео

2307 - PG-декодер

2308 - PG-плоскость

2309 - IG-декодер

2310 - IG-плоскость

2311 - процессор изображений

2312 - плоскость изображений

2313 - аудиодекодер

2400 - сумматор плоскости

2500 - запоминающее устройство программ

2600 - запоминающее устройство управляющей информации

2700 - модуль выполнения программ

2800 - модуль управления воспроизведением

2900 - процессор пользовательских событий

3000 - дисплей

4000 - стереоскопические очки

5000 - пульт дистанционного управления

40 - записывающее устройство

41 - видеокодер

42 - модуль формирования материала

43 - модуль формирования сценариев

44 - модуль формирования программ BD

45 - процессор мультиплексирования

46 - процессор форматов

Оптимальный режим осуществления изобретения

Далее описываются варианты осуществления настоящего изобретения со ссылкой на чертежи.

(Первый вариант осуществления)

1. Принципы стереоскопического представления

Во-первых, далее описываются принципы предоставления стереоскопического представления с использованием дисплея для бытового применения. Предусмотрено два главных способа реализации стереоскопического представления: способ с использованием голографической технологии и способ с использованием параллактического видео (состоящего из двух видеопотоков, которые основаны на бинокулярном параллаксе).

Способ с использованием голографической технологии может давать возможность просматривать объект в изображении стереоскопически точно таким же способом, как мы обычно распознаем физический объект. Тем не менее, хотя создана техническая теория, очень трудно, в случае движущихся изображений, реализовывать с помощью современной технологии стереоскопического представления с использованием голографической технологии, поскольку требуются следующий компьютер и дисплейное устройство: компьютер, допускающий выполнение огромных объемов вычислений, чтобы формировать движущиеся изображения для голографии в режиме реального времени, и дисплейное устройство, имеющее разрешение, достаточно большое для того, чтобы рисовать тысячи линий в пространстве, составляющем примерно 1 мм. Следовательно, в действительности голографическая технология редко реализуется в коммерческих целях.

В способе с использованием параллактического видео, с другой стороны, стереоскопическое представление может быть реализовано посредством подготовки изображений для правого глаза (изображений для правого глаза) и изображений для левого глаза (изображений для левого глаза) и обеспечения видимости изображений для правого глаза только посредством правого глаза и видимости изображений для левого глаза только посредством левого глаза. Фиг.1A, 1B и 1C показывают принципы стереоскопического представления с использованием параллактического видео.

Фиг.1A является видом сверху, показывающим то, как пользователь смотрит на сравнительно небольшой куб перед собой, фиг.1B показывает то, как выглядит куб, когда пользователь смотрит на куб левым глазом, а фиг.1C показывает то, как выглядит куб, когда пользователь смотрит на куб правым глазом. Как показано на фиг.1B и 1C, углы, с которых захватывается изображение, отличаются между левым и правым глазом. Стереоскопическое представление реализуется посредством комбинирования, в мозге, таких изображений, захваченных левым и правым глазом с различных углов.

Этот способ имеет преимущество в том, что стереоскопическое представление может быть реализовано посредством подготовки только двух изображений (одного для правого глаза и другого для левого глаза), просматриваемый с различных точек наблюдения. Некоторые технологии, использующие этот способ, введены в практическое использование посредством технологии, ориентированной на то, как предоставлять возможность просмотра изображений, каждое из которых соответствует правому глазу и левому глазу, только соответствующими глазами.

Одна из технологий называется способом последовательного разделения. В таком способе, изображения для левого глаза и изображения для правого глаза отображаются поочередно на дисплее. Когда пользователь наблюдает отображаемые изображения через стереоочки последовательного типа (с жидкокристаллическими затворами), левые и правые сцены накладываются друг на друга вследствие спектральной реакции глаз. Таким образом, пользователь распознает изображения как стереоскопические изображения. Более конкретно, в момент, когда изображение для левого глаза отображается на дисплее, стереоочки последовательного типа переводят жидкокристаллический затвор для левого глаза в состояние пропускания света, а жидкокристаллический затвор для правого глаза - в состояние блокирования света. В момент, когда изображение для правого глаза отображается на дисплее, с другой стороны, стереоочки последовательного типа приводят жидкокристаллический затвор для правого глаза в состояние пропускания света, а жидкокристаллический затвор для левого глаза - в состояние блокирования света. При таком способе, изображения для левого глаза и для правого глаза могут быть видны соответствующим глазом.

Таким образом, чтобы поочередно отображать изображения для левого глаза и изображения для правого глаза в направлении временной оси, например, необходимо отображать 48 изображений (сумма правых и левых изображений) в секунду в способе последовательного разделения, тогда как в стандартном двумерном фильме отображается только 24 изображения в секунду. Соответственно, такой способ является подходящим для использования на дисплее, допускающем выполнение перезаписи экрана сравнительно быстро.

Другая технология использует ступенчатую линзу. Изображения для левого глаза и изображения для правого глаза поочередно отображаются в направлении временной оси в вышеупомянутом способе последовательного разделения. Тем не менее, в технологии с использованием ступенчатой линзы, изображения для левого глаза и изображения для правого глаза размещаются поочередно в продольном направлении на экране одновременно, а к поверхности дисплея прикрепляется ступенчатая линза. Когда пользователь просматривает изображения, отображаемые на дисплее, через ступенчатую линзу, пикселы, составляющие изображения для левого глаза, видны только левым глазом, а пикселы, составляющие изображения для правого глаза, видны только правым глазом. Поскольку можно давать возможность правому глазу и левому глазу просматривать изображения, имеющие параллакс, пользователь может распознавать изображения, отображаемые на дисплее, как стереоскопические изображения. Отметим, что пример не ограничен ступенчатой линзой, и может использоваться устройство, имеющее такую же функцию (к примеру, жидкокристаллический элемент). Дополнительной альтернативой является способ, при котором для пикселов для левого глаза предоставляются вертикальные поляризованные фильтры, и для пикселов для правого глаза предоставляются горизонтальные поляризованные фильтры, и пользователь использует поляризованные очки, в которых (i) вертикальный поляризованный фильтр предоставлен на линзе для левого глаза, и (ii) горизонтальный фильтр предоставлен на линзе для правого глаза. Это дает возможность пользователю распознавать отображаемые изображения стереоскопически.

Вышеупомянутый способ предоставления стереоскопического представления использованием параллактического видео обычно использовался в оборудовании в парках с аттракционами, и технически хорошо проработан. Следовательно, такой способ лучше всего подошел для реализации для бытового применения. Помимо этого способа, предложены различные технологии, такие как способ отделения двух цветов и т.п., в качестве способа для предоставления стереоскопического представления с использованием параллактического видео.

Хотя описание приводится с рассмотрением способа последовательного разделения и способа поляризованных очков в качестве примеров, способы для предоставления стереоскопического представления с использованием параллактического видео не ограничены ими и могут быть любыми способами, которые используют параллактическое видео.

2. Структура данных для сохранения параллактического видео (в дальнейшем также упоминаемого как "трехмерные изображения") для предоставления возможности пользователю выполнять стереоскопический просмотр.

Далее описывается структура данных для сохранения трехмерных изображений в BD-ROM, который является носителем записи, относящимся к настоящей заявке.

Фиг.2 показывает структуру BD-ROM. BD-ROM показан на четвертом уровне сверху на настоящем чертеже, и дорожка на BD-ROM показана на третьем уровне. Хотя дорожка обычно формируется спиральным способом от внутренней окружности к внешней окружности, дорожка нарисована расширяющимся в сторону способом на настоящем чертеже. Эта дорожка состоит из зоны ввода, зоны тома и зоны вывода. Зона тома на настоящем чертеже имеет уровневую модель, имеющую физический уровень, уровень файловой системы и прикладной уровень. Верхний уровень на фиг.2 показывает формат прикладного уровня (формат приложения) BD-ROM, выраженный с помощью структуры каталогов. Как показано на настоящем чертеже, в BD-ROM, каталог BDMV находится непосредственно в каталоге ROOT; и индексный файл (index.bdmv), каталог PLAYLIST, каталог CLIPINFO, каталог STREAM и каталог PROGRAM находятся в каталоге BDMV.

Индексная таблица, показывающая структуру тайтлов, сохраняется в индексном файле (index.bdmv). Тайтлы - это единицы воспроизведения. Например, основной фильм записан в первом тайтле, режиссерский монтаж записан во втором тайтле, а бонусное содержимое записано в третьем тайтле. Пользователь может указывать тайтл для того, чтобы воспроизводить (к примеру, задав "воспроизводить N-ный тайтл"), с помощью пульта дистанционного управления и т.п., который идет в комплекте с устройством воспроизведения.

В каталоге STREAM хранится файл (XXX.M2TS), включающий в себя AV-клип, в котором мультиплексируется AV-содержимое, такое как видео и аудио. Фиг.3 показывает пример структуры AV-клипа, сохраненного в файле (XXX.M2TS). Как показано на фиг.3, в файле (XXX.M2TS) сохраняется цифровой поток в форме транспортного потока MPEG-2. В этом цифровом потоке, видеопоток для левого глаза (видеопоток для левого глаза), видеопоток для правого глаза (видеопоток для правого глаза) и т.п. мультиплексируются. Здесь, видеопоток для левого глаза воспроизводится как двумерное видео, а также воспроизводится как видео для левого глаза в случае предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений (в случае воспроизведения цифрового потока как трехмерного видео). Видеопоток для правого глаза воспроизводится вместе с видеопотоком для левого глаза в случае предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений. Кроме того, как показано на фиг.3, 0x1011 выделяется видеопотоку для левого глаза в качестве PID, и 0x1012, который отличается от PID видеопотока для левого глаза, выделяется видеопотоку для правого глаза. Это дает возможность различать видеопотоки друг от друга. Каждый из видеопотоков записывается после сжатия и кодирования согласно способу MPEG-2, способу MPEG-4 AVC, способу SMPTE VC-1 и т.п.Аудиопоток записывается после сжатия и кодирования согласно способу Dolby AC-3, способу Dolby Digital Plus, способу MLP, способу DTS, способу DTS-HD, способу линейного PCM и т.п.

В каталоге PLAYLIST хранится файл списка воспроизведения (YYY.MPLS), включающий в себя информацию списка воспроизведения, в которой задается логический путь воспроизведения (PL) в AV-клипе. Фиг.4 показывает взаимосвязь между AV-клипом и PL. Как показано на фиг.4, информация списка воспроизведения состоит из одного или более фрагментов информации элемента воспроизведения (PI). Каждый из фрагментов информации элемента воспроизведения представляет секцию воспроизведения в AV-клипе. Каждый из фрагментов информации элемента воспроизведения идентифицируется посредством идентификатора элемента воспроизведения и записывается в порядке воспроизведения в списке воспроизведения.

Кроме того, фрагменты информации списка воспроизведения включают в себя метки входа, каждая из которых показывает точку начала воспроизведения. Метки входа могут быть предоставлены в секциях воспроизведения, заданных во фрагментах информации элемента воспроизведения. Кроме того, как показано на фиг.4, каждая из меток входа находится в такой позиции, чтобы быть точкой начала воспроизведения в информации элемента воспроизведения, и используется для воспроизведения по монтажным меткам. Например, воспроизведение главы может быть выполнено посредством предоставления метки входа в такой позиции так, чтобы быть началом каждой главы в тайтле фильма. Отметим, что путь воспроизведения набора фрагментов информации элемента воспроизведения задается как основной путь.

В каталоге CLIPINFO сохраняется файл информации о клипах (XXX.CLPI), включающий в себя управляющую информацию об AV-клипе. Фиг.5 показывает пример управляющей информации об AV-клипе, сохраненной в файле информации о клипах. Как показано на фиг.5, управляющая информация об AV-клипе находится в соответствии "один-к-одному" с AV-клипом и состоит из информации о клипах, информации атрибутов потока и карт вхождений.

В каждую из карт вхождений записывается информация заголовка карты вхождений, информация в табличной форме и другая информация в табличной форме, касающаяся видеопотока (субвидео). Здесь, информация в табличной форме показывает пары, каждая из которых состоит из (i) PTS (временная метка представления), показывающей время отображения заголовка каждой из GOP, которые составляют видеопоток для левого глаза, и (ii) SPN (номер исходного пакета), показывающего начальную позицию каждой из GOP в AV-клипе. Здесь, информация о каждой из пар PTS и SPN, показанная в одной строке, называется точкой входа. Кроме того, значения, начинающиеся с 0, каждое из которых увеличивается на единицу по порядку, называются идентификатором точки входа (в дальнейшем также упоминаемом как "EP_ID").

Кроме того, в информации заголовка карты вхождений сохраняется информация по PID видеопотока для левого глаза, числу точек входа и т.п.

Посредством обращения к этим картам вхождений устройство воспроизведения, когда точка начала воспроизведения указывается временем, может преобразовывать информацию времени в информацию адреса и указывать точку пакета в AV-клипе. Точка пакета соответствует произвольной точке на временной оси видеопотока.

В каталоге PROGRAM сохраняется файл программы BD (AAA.PROG), включающий в себя программу для определения динамического сценария.

В BD-ROM, хотя используется собственная программа типа интерпретатора, называемая "навигацией по командам", языковая система не является сущностью настоящего изобретения. Следовательно, программа, написанная в соответствии с универсальным языком программирования, такая как сценарий Java или Java, также возможна. Список воспроизведения, который должен быть воспроизведен, указывается посредством такой программы.

3. PTS видеопотока для левого глаза и видеопотока для правого глаза

Далее описывается PTS видеопотока для левого глаза и видеопотока для правого глаза для предоставления возможности пользователю выполнять стереоскопический просмотр движущихся изображений.

Фиг.6 показывает взаимосвязь между временем отображения (PTS), выделяемым каждому из множества изображений, которые составляют видеопоток для левого глаза, и временем отображения (PTS), выделяемым каждому из множества изображений, которые составляют видеопоток для правого глаза. Изображения, составляющие видеопоток для левого глаза (изображения для левого глаза), находятся в соответствии "один-к-одному" с изображениями, составляющими видеопоток для правого глаза (изображения для правого глаза) (к примеру, изображение L1 и изображение R1, как показано на фиг.6, соответствуют друг другу). PTS задаются так, что изображения для левого глаза, которые находятся в соответствии изображениям для правого глаза, отображаются перед соответствующими изображениями для правого глаза. Кроме того, PTS для изображений для левого глаза и PTS для изображений для правого глаза задаются таким образом, чтобы чередовать друг друга на временной оси. Это может быть реализовано посредством задания PTS так, что изображения для левого глаза и изображения для правого глаза, которые находятся в опорной взаимосвязи кодирования с прогнозированием внутри изображения, отображаются поочередно.

Далее описываются изображения для левого глаза и изображения для правого глаза, которые находятся в опорной взаимосвязи кодирования с прогнозированием внутри изображения. Изображения для правого глаза сжимаются посредством кодирования с прогнозированием внутри изображения, которое основано на избыточности между представлениями, в дополнение к кодированию с прогнозированием внутри изображения, которое основано на избыточности в направлении временной оси. Таким образом, видеоизображения для правого глаза сжимаются со ссылкой на соответствующие изображения для левого глаза. Далее описываются причины этого. Изображения для левого глаза и изображения для правого глаза строго коррелируют друг с другом, поскольку объекты изображений для левого глаза и изображений для правого глаза являются одинаковыми, хотя их представления являются различными. Следовательно, объем данных видеопотока для правого глаза может быть значительно уменьшен по сравнению с объемом данных видеопотока для левого глаза посредством выполнения кодирования с прогнозированием внутри изображения между представлениями.

Фиг.7 показывает опорную взаимосвязь между изображениями. Как показано на фиг.7, изображение P₀ видеопотока для правого глаза ссылается на изображение I₀ видеопотока для левого глаза. Изображение B₁ видеопотока для правого глаза ссылается на изображение Br₁ видеопотока для левого глаза. Изображение B₂ видеопотока для правого глаза ссылается на изображение Br₂ видеопотока для левого глаза. Изображение P₃ видеопотока для правого глаза ссылается на изображение P₃ видеопотока для левого глаза.

Поскольку видеопоток для левого глаза не ссылается на видеопоток для правого глаза, видеопоток для левого глаза может быть воспроизведен отдельно (т.е. видеопоток для левого глаза может быть воспроизведен как двумерное видео). Тем не менее, видеопоток для правого глаза не может быть воспроизведен отдельно, поскольку видеопоток для правого глаза ссылается на видеопоток для левого глаза.

Далее описывается интервал времени между PTS изображений для левого глаза и PTS соответствующих изображений для правого глаза с использованием фиг.6. Когда трехмерная графика воспроизводится с использованием способа последовательного разделения, каждая PTS для изображения для правого глаза должна быть задана с интервалом, который удовлетворяет следующему уравнению относительно изображения для левого глаза, показанного посредством определенного времени (PTS):

PTS (для правого глаза)=PTS (для левого глаза)+1/(число кадров в секунду×2).

Когда частота кадров составляет 24p, например, указывается, что отображается 24 изображения в секунду. Следовательно, интервал (задержка отображения) между изображениями для левого глаза и соответствующими изображениями для правого глаза составляет 1/48 секунды.

Таким образом, изображения для правого глаза должны быть синхронизированными с соответствующими изображениями для левого глаза с помощью задержки отображения (1/48 секунды).

Следовательно, в случае мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза в транспортный поток, мультиплексирование может быть выполнено так, что изображения для левого глаза размещаются рядом с соответствующими изображениями для правого глаза, на основе PTS и DTS. Здесь, PTS показывают времена отображения изображений в каждой GOP каждого из видеопотоков, а DTS показывают времена декодирования изображений в каждой GOP каждого из видеопотоков.

Когда потоки мультиплексируются таким способом, требуемые DTS показывают времена декодирования изображений в каждой GOP каждого из видеопотоков. Изображения для левого глаза для правого глаза могут быть получены в нужное время, если транспортный поток считывается по порядку из заголовка.

Тем не менее, в некоторых случаях, воспроизведение выполняется с момента времени, отличного от момента времени заголовка потока, вследствие операции пропуска или операции перехода к указанному времени. В таких случаях, поскольку точки входа записаны в каждой из карт вхождений в единицах GOP, границы GOP между изображениями для левого глаза и изображениями для правого глаза должны учитываться при выполнении мультиплексирования.

4. Мультиплексирование видеопотока для левого глаза и видеопотока для правого глаза

Далее описывается то, как выполнять мультиплексирование видеопотока для левого глаза и видеопотока для правого глаза с произвольным доступом к рассматриваемому AV-клипу.

Во-первых, настройки должны быть выполнены так, чтобы GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имели одинаковый временной интервал. Кроме того, GOP видеопотока для левого глаза должны быть в соответствии "один-к-одному" с GOP видеопотока для правого глаза. Таким образом, видеопоток для левого глаза может быть синхронизирован с видеопотоком для правого глаза в единицах GOP.

Кроме того, поскольку карта вхождений (PID=0x1011) задана для видеопотока для левого глаза, как показано на фиг.5, каждый фрагмент информации времени (PTS) в карте вхождений показывает время начала воспроизведения заголовка каждой из GOP видеопотока для левого глаза, и каждый фрагмент информации адреса (SPN) показывает адрес заголовка списка пакетов каждой из GOP видеопотока для левого глаза в AV-клипе. Поскольку устройство воспроизведения считывает данные с позиции, показанной посредством такого адреса в AV-клипе, должна быть выполнена такая компоновка, что каждая из GOP видеопотока для правого глаза следует за заголовком пакетов, которые составляют каждую из соответствующих GOP видеопотока для левого глаза.

Фиг.8 схематично показывает пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Как показано на фиг.8, видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются в единицах GOP в такой форме, что GOP видеопотока для левого глаза предшествуют GOP соответствующего видеопотока для правого глаза.

Таким образом, когда воспроизведение начинается, например, с LGOP2 видеопотока для левого глаза на фиг.8, RGOP2 поток для правого глаза, соответствующий LGOP2 видеопотока для левого глаза, может быть считан без проблем, если воспроизведение начинается с заголовка списка пакетов, которые составляют LGOP2. Следовательно, видеопоток для левого глаза и видеопоток для правого глаза могут быть воспроизведены как трехмерная графика в это время начала воспроизведения.

Как показано выше, посредством добавления, когда мультиплексирование выполняется, таких ограничений, что (i) GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имеют одинаковый временной интервал и (ii) заголовок каждой GOP видеопотока для левого глаза всегда предшествует заголовку каждой соответствующей GOP видеопотока для правого глаза, гарантируется, что видеопоток для левого глаза и видеопоток для правого глаза могут быть воспроизведены как трехмерная графика независимо от того, с какого момента времени, показанного посредством карты вхождений, начинается воспроизведение.

Далее описывается другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Фиг.9 схематично показывает другой пример мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза. Фиг.8 и фиг.9 являются общими в том, что заголовок каждой GOP видеопотока для левого глаза всегда предшествует заголовку каждой соответствующей GOP видеопотока для правого глаза, когда мультиплексирование выполняется. Тем не менее, хотя нет ограничения на размещение конечной позиции каждой GOP для левого глаза (GOP для левого глаза) и размещение конечной позиции каждой соответствующей GOP для правого глаза (GOP для правого глаза) на фиг.8, фиг.9 отличается от фиг.8 в том, что GOP для правого глаза находится между пакетом заголовка и конечным пакетом соответствующей GOP для левого глаза, следующим после на фиг.9. Таким образом, даже когда AV-клип обрезается согласно границам GOP видеопотока для левого глаза, AV-клип может быть обрезан без обрезания GOP видеопотока для правого глаза.

Фиг.10 схематично показывает то, как каждый видеопоток мультиплексируется в AV-клипе, когда GOP для правого глаза находится между пакетом заголовка и конечным пакетом соответствующей GOP для левого глаза.

Во-первых, видеопоток для левого глаза, состоящий из множества видеокадров, преобразуется в последовательность PES-пакетов, и последовательность PES-пакетов преобразуется в последовательность TS-пакетов. Аналогично, видеопоток для правого глаза, состоящий из множества видеокадров, преобразуется в последовательность PES-пакетов, и последовательность PES-пакетов преобразуется в последовательность TS-пакетов.

Как показано на фиг.10, пакет заголовка (L11) GOP (LGOP1) видеопотока для левого глаза размещается первым, когда видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются. Пакеты (R11, R12 и R13) GOP (RGOP1) видеопотока для правого глаза, соответствующего LGOP1, следуют после позиции размещения пакета (L11) LGOP1 и предшествуют позиции размещения конечного пакета (L16) LGOP1. Пакет заголовка (L21) следующей GOP (LGOP2) видеопотока для левого глаза следует после конечного пакета (L16) LGOP1. Как указано выше, пакеты (R21, R22 и R23) GOP (RGOP2) видеопотока для правого глаза, соответствующей LGOP2, предшествуют конечному пакету (L26) LGOP2. Посредством такого мультиплексирования видеопотока для левого глаза и видеопотока для правого глаза формируется цифровой поток, который обеспечивает то, что GOP видеопотока для правого глаза не обрезаются, когда AV-клип обрезается согласно границам GOP видеопотока для левого глаза.

5. Устройство воспроизведения

Далее описывается устройство воспроизведения, которое воспроизводит BD-ROM 1000, сохраняющий трехмерную графику. Фиг.11 является блок-схемой, показывающей структуру устройства 2000 воспроизведения. Как показано на фиг.11, устройство 2000 воспроизведения состоит из BD-накопителя 2100, буфера 2200 дорожек, декодера 2300 системных целевых объектов, сумматора 2400 плоскости, запоминающего устройства 2500 программ, запоминающего устройства 2600 управляющей информации, модуля 2700 выполнения программ, модуля 2800 управления воспроизведением и процессора 2900 пользовательских событий.

BD-ROM-накопитель 2100 считывает данные с BD-ROM 1000 на основе запроса на считывание, вводимого из модуля 2800 управления воспроизведением. AV-клип, считанный с BD-ROM 1000, управляющая информация (индексный файл, файл списка воспроизведения и файл информации о клипах), файл программы BD передаются в буфер 2200 дорожек, запоминающее устройство 2600 управляющей информации и запоминающее устройство 2500 программ соответственно.

Буфер 2200 дорожек является буфером, состоящим из запоминающего устройства, и т.п., сохраняющего клип данных AV, вводимый с BD-ROM-накопителя 2100.

Декодер 2300 системных целевых объектов выполняет обработку многократного разделения для AV-клипа, сохраненного в буфере 2200 дорожек, и выполняет обработку декодирования для потоков. Модуль 2800 управления воспроизведением передает, в декодер 2300 системных целевых объектов, информацию (тип кодека, атрибут потока и т.п.), включенную в AV-клип, которая требуется для декодирования потоков.

Декодер 2300 системных целевых объектов конкретно состоит из демультиплексора 2301, видеодекодера 2302, видеоплоскости 2303 для левого глаза, видеоплоскости 2304 для правого глаза, декодера 2305 субвидео, плоскости 2306 субвидео, декодера 2307 презентационной графики (PG-декодера), плоскости 2308 презентационной графики (PG-плоскости), декодера 2309 плоскости интерактивной графики (IG-декодера), плоскости 2310 интерактивной графики (IG-плоскости), процессора 2311 изображений, плоскости 2312 изображений и аудиодекодера 2313.

Демультиплексор 2301 извлекает TS-пакеты, сохраненные в буфере 2200 дорожек, и получает PES-пакет из извлеченных TS-пакетов. Демультиплексор 2301 выводит PES-пакет в одно из видеодекодера 2302, декодера 2305 субвидео, PG-декодера 2307, IG-декодера 2309 и аудиодекодер 2313 на основе PID (идентификаторов пакетов), включенных в TS-пакеты. В частности, PES-пакет, полученный из извлеченных TS-пакетов, передается в: видеодекодер 2302, если PID, включенные в TS-пакеты, - это 0x1011 или 0x1012, декодер 2305 субвидео, если PID - это 0x1B00, аудиодекодер 2313, если PID - это 0x1100 или 0x1101, PG-декодер 2307, если PID - это 0x1200 или 0x1201 и в IG-декодер 2309, если PID - это 0x1400.

Видеодекодер 2302 декодирует PES-пакет, вводимый из демультиплексора 2301, чтобы получать несжатые изображения, и записывает изображения в одно из видеоплоскости 2303 для левого глаза и видеоплоскости 2304 для правого глаза. Далее описывается операция видеодекодера 2302. Фиг.12 показывает блок-схему последовательности операций способа, показывающую обработку декодирования видео посредством видеодекодера 2302. Принимая PES-пакет от демультиплексора 2301 (этап S101), видеодекодер 2302 декодирует принимаемый PES-пакет, чтобы получать несжатые изображения (этап S102).

Видеодекодер 2302 определяет, составляют ли несжатые изображения видеокадр для левого глаза или видеокадр для правого глаза (этап S103). Это определение осуществляется следующим образом. Когда, например, демультиплексор 2301 передает PES-пакет в видеодекодер 2302, добавляется флаг, показывающий, предназначен ли PES-пакет для видеопотока для левого глаза или видеопотока для правого глаза, на основе PID, включенных в TS-пакеты; и видеодекодер 2302 определяет, показывает ли флаг то, что PES-пакет предназначен для видеопотока для левого глаза.

При определении того, что несжатые изображения составляют видеокадр для левого глаза (этап S103: Да), видеодекодер 2302 записывает изображения в видеоплоскость 2303 для левого глаза (этап S104).

При определении того, что несжатые изображения составляют видеокадр для правого глаза (этап S103: Нет), видеодекодер 2302 записывает изображения в видеоплоскость 2304 для правого глаза (этап S105).

На фиг.11, видеоплоскость 2303 для левого глаза является плоскостью для сохранения несжатых изображений для левого глаза. Плоскость - это зона запоминающего устройства для сохранения, в устройстве воспроизведения, пикселных данных, соответствующих одному экрану. Разрешение в видеоплоскости равно 1920x1080, и данные изображений, сохраненные в это видеоплоскости, состоят из пикселных данных, выраженных посредством значения YUV в 16 битов.

Видеоплоскость 2304 для правого глаза является плоскостью для сохранения несжатых изображений для правого глаза.

Видеодекодер 2302 записывает изображения в видеоплоскости 2303 для левого глаза и видеоплоскости 2304 для правого глаза во время, показанное посредством PTS видеокадра.

Декодер 2305 субвидео имеет такую же структуру, как видеодекодер 2302, декодирует видеокадр, вводимый из демультиплексора 2301, и записывает несжатые изображения в плоскости 2306 субвидео во время, показанное посредством времени отображения (PTS).

Плоскость 2306 субвидео является плоскостью для сохранения несжатых изображений субвидео.

PG-декодер 2307 декодирует поток презентационной графики, вводимый из демультиплексора 2301, и записывает несжатые графические данные в PG-плоскости 2308 во время отображения (PTS).

PG-плоскость 2308 является плоскостью для сохранения графических данных.

IG-декодер 2309 декодирует поток интерактивной графики, вводимый из демультиплексора 2301, записывает несжатые графические данные в IG-плоскости 2310 во время, показанное посредством времени отображения (PTS).

IG-плоскость 2310 является плоскостью для сохранения графических данных.

Процессор 2311 изображений декодирует графические данные (PNG.JPEG), вводимые из модуля 2700 выполнения программ, и выводит декодированные графические данные в плоскость 2312 изображений. Синхронизация по времени декодирования плоскости 2312 изображений указывается посредством модуля 2700 выполнения программ, когда графические данные - это данные для меню. Синхронизация по времени декодирования плоскости 2312 изображений указывается посредством модуля 2800 управления воспроизведением, когда графические данные - это данные для субтитров.

Плоскость 2312 изображений является плоскостью для сохранения графических данных (PNG.JPEG).

Аудиодекодер 2313 декодирует PES-пакеты, вводимые из демультиплексора 2301, и выводит несжатые аудиоданные.

Сумматор 2400 плоскости (i) определяет, в какой из видеоплоскости 2303 для левого глаза и видеоплоскости 2304 для правого глаза изображения записываются во время, показанное посредством PTS, и (ii) формирует видеосигнал посредством мгновенного наложения выбранной плоскости, плоскости 2306 субвидео, PG-плоскости 2308, IG-плоскости 2310 и плоскости 2312 изображений и выводит видеосигнал на дисплей телевизора и т.п.Видеосигнал включает в себя флаг, показывающий то, какое из изображения для левого глаза или изображения для правого глаза накладывается.

Запоминающее устройство 2500 программ является запоминающим устройством для сохранения файла программы BD, вводимого с BD-ROM-накопителя 2100.

Запоминающее устройство 2600 управляющей информации является запоминающим устройством для сохранения индексной таблицы, управляющей информации и информации списка воспроизведения, вводимой с BD-ROM-накопителя 2100.

Модуль 2700 выполнения программ выполняет программу, сохраненную в файле программы BD, сохраненном в запоминающем устройстве 2500 программ. В частности, модуль 2700 выполнения программ (i) инструктирует модулю 2800 управления воспроизведением воспроизводить список воспроизведения на основе пользовательского события, вводимого из процессора 2900 пользовательских событий, и (ii) передает, в системный декодер 2300, PNG.JPEG для меню и игровой графики.

Модуль 2800 управления воспроизведением имеет функции управления воспроизведением AV-клипа посредством управления BD-ROM-накопителя 2100 и декодером 2300 системных целевых объектов. Например, модуль 2800 управления воспроизведением управляет обработкой воспроизведения AV-клипа в отношении информации списка воспроизведения, сохраненной в запоминающем устройстве 2600 управляющей информации, на основе инструкции воспроизведения, вводимой из модуля 2700 выполнения программ. Кроме того, в случае произвольного доступа модуль 2800 управления воспроизведением указывает позицию начала GOP, соответствующей информации времени, зарегистрированной в картах вхождений, сохраненных в запоминающем устройстве 2600 управляющей информации, и инструктирует BD-ROM-накопителю 2100 начинать считывание с начальной позиции. Таким образом, обработка может быть выполнена эффективно без анализа AV-клипа. Кроме того, модуль 2800 управления воспроизведением выполняет обнаружение информации о состоянии и задание состояния.

В соответствии с операцией с клавишами, выполненной на пульте дистанционного управления или передней панели устройства воспроизведения, процессор 2900 пользовательских событий выводит, в модуль 2700 выполнения программ, пользовательское событие, показывающее эту операцию.

На этом завершается описание структуры устройства 2000 воспроизведения.

6. Структура просмотра трехмерной графики дома

Далее описывается структура просмотра трехмерной графики дома. Чтобы пользователь просматривал трехмерную графику дома, дисплей, допускающий отображение трехмерной графики, выводимой с устройства воспроизведения и очков для стереоскопического просмотра (стереоскопических очков), требуется в дополнение к вышеуказанному BD-ROM и устройству 2000 воспроизведения, который воспроизводит BD-ROM. Фиг.13 показывает домашнюю систему, состоящую из BD-ROM 1000, устройства 2000 воспроизведения, дисплея 3000, стереоскопических очков 4000 и пульта 5000 дистанционного управления.

Устройство 2000 воспроизведения и дисплей соединены друг с другом, например, через кабель HDMI (мультимедийный интерфейс высокой четкости).

Дисплей 3000 отображает видеосигнал, вводимый из устройства 2000 воспроизведения согласно режиму разделения времени. Поскольку устройство 2000 воспроизведения вводит изображения для левого глаза и изображения для правого глаза поочередно, дисплей 3000 отображает изображения для левого глаза и изображения для правого глаза поочередно в направлении временной оси.

Дисплей 3000 отличается от дисплея для отображения двумерной графики в том, что дисплей 3000 должен допускать быстрое переключение экрана для того, чтобы поочередно отображать изображения для левого глаза и изображения для правого глаза, по сравнению с таким отображением для двумерной графики. Например, хотя большинство фильмов снимается с использованием 24p (24 кадра в секунду), 48 кадров в секунду должно быть перезаписано в случае трехмерной графики, поскольку 24 кадра для видео для левого глаза и 24 кадра для видео для правого глаза должны поочередно отображаться в секунду. Кроме того, дисплей, допускающий воспроизведение трехмерной графики, имеет другой признак, в котором настройка осуществляется так, что обработка выделения контуров, выполняемая в современных бытовых телевизорах, не выполняется в то время, когда отображается трехмерная графика. Это обусловлено тем, что при просмотре трехмерной графики, контуры изображений для левого глаза и изображений для правого глаза важны, и стереоскопический просмотр не может быть предоставлен надлежащим образом, если возникает дисбаланс изображений для левого глаза и изображений для правого глаза, поскольку линии контура становятся толще или тоньше вследствие выделения контуров и т.п.

Кроме того, дисплей 3000 передает, в стереоскопические очки 4000, управляющий сигнал, показывающий то, какое из изображения для левого глаза и изображения для правого глаза отображается на дисплее, на основе флага, включенного в видеосигнал, вводимый через кабель HDMI.

Как описано в принципах стереоскопического представления в первом варианте осуществления, стереоскопические очки 4000 используются при просмотре трехмерной графики способом последовательного разделения и являются специальными очками, включающими в себя жидкокристаллические затворы. Стереоскопические очки 4000 переключают, на основе управляющего сигнала, каждый из жидкокристаллического затвора для левого глаза и жидкокристаллического затвора для правого глаза между состоянием пропускания света и состоянием блокирования света. В частности, при приеме, от дисплея, управляющего сигнала, показывающего то, что отображается изображение для левого глаза, стереоскопические очки переводят жидкокристаллический затвор для левого глаза в состояние пропускания света, а кристаллический жидкий затвор для правого глаза в состояние блокирования света. При приеме управляющего сигнала, показывающего, что отображается изображение для правого глаза, стереоскопические очки переводят жидкокристаллический затвор для правого глаза в состояние пропускания света, а кристаллический жидкий затвор для левого глаза в состояние блокирования света.

Согласно вышеуказанному варианту осуществления, можно, даже когда воспроизведение начинается с произвольной PTS на временной оси цифрового потока, надежно давать возможность пользователю выполнять стереоскопический просмотр движущихся изображений. Это обусловлено GOP видеопотока для левого глаза и соответствующими GOP видеопотока для правого глаза в областях пар GOP, начало которых указывается посредством SPN, соответствующих PTS в зоне записи цифрового потока на временной оси.

(Второй вариант осуществления)

Настоящий вариант осуществления описывает записывающее устройство и способ записи, относящийся к настоящему изобретению.

Носитель записи (i) находится в студии для распространения содержимого фильмов, (ii) формирует (a) цифровой поток, который сжат и кодирован согласно стандартам MPEG, и (b) сценарий, в котором записано то, как воспроизводится тайтл фильма, и (iii) формирует изображение тома для BD-ROM, включающее в себя эти фрагменты данных. Носитель записи формирует носитель записи, описанный в первом варианте осуществления.

Фиг.14 является блок-схемой, показывающей внутреннюю структуру носителя 40 записи. Как показано на настоящем чертеже, записывающее устройство 40 состоит из видеокодера 41, модуля 42 формирования материала, модуля 43 формирования сценариев, модуля 44 формирования программ BD, процессора 45 мультиплексирования и процессора 46 форматов.

Видеокодер 41 кодирует изображения, как несжатые битовые карты изображений для левого глаза, и изображения, как несжатые битовые карты изображений для правого глаза, согласно способу сжатия, такому как MPEG4-AVC, MPEG2 и т.п., и формирует видеопоток для левого глаза и видеопоток для правого глаза. В этом случае, настройки осуществляются таким образом, что GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имеют одинаковый временной интервал.

Далее описывается способ эффективного формирования элементарного потока трехмерного видео.

При сжатии видео для коробочных носителей, таких как DVD и BD-ROM, в общей технологии сжатия видео, скорость сжатия увеличивается посредством выполнения сжатия с использованием подобий между предыдущими и/или последующими изображениями. Здесь, значительно время необходимо для кодирования, чтобы выполнять поиск похожих частей в предыдущих и/или последующих изображениях. Фиг.15A, 15B и 15C показывают то, как эффективно формировать элементарный поток трехмерного видео. Фиг.15A показывает изображение для левого глаза в определенный момент времени, и фиг.15B показывает изображение для левого глаза в момент времени сразу после момента времени изображения, показанного на фиг.15A. Видеокодер 41 выполняет поиск, в изображении для левого глаза, показанном на фиг.15B, того, что куб или круг присутствует в изображении для левого глаза, показанном на фиг.15A. Здесь, необходимо выполнять поиск по всему экрану, показанному посредством фиг.15B, чтобы выполнять поиск в наибольшем диапазоне во время кодирования изображений для левого глаза. В случае общего процесса кодирования, изображения для правого глаза кодируются посредством выполнения таких же процедур, как в случае кодирования изображений для левого глаза. Таким образом, необходимо выполнять поиск по всему экрану, как показано на фиг.15B.

Как очевидно из вышеописанного, время сжатия при кодировании трехмерного видео (строки видеокадров для левого глаза и строки видеокадров для правого глаза) вдвое превышает время сжатия при кодировании двумерного видео, поскольку необходимо сжимать каждую строку видеокадров отдельно.

Видеокодер 41 записывает, в таблицу, в каком направлении и как далеко перемещается каждый целевой объект поиска во время кодирования видео для левого глаза. Это сокращает время кодирования, поскольку, посредством обращения к таблице, необязательно выполнять поиск по всему экрану в случае кодирования изображений для правого глаза, которые очень похожи на изображения для левого глаза. Фиг.15C показывает таблицу, показывающую то, в каком направлении и как далеко перемещается каждый целевой объект поиска. В случае кодирования изображений для правого глаза, диапазон поиска может быть сужен посредством обращения к таблице, показанной на фиг.15C.

Отметим, что, хотя описание приводится с использованием таких фигур, как куб и круг, чтобы упрощать описание, направление и расстояние перемещения могут записываться, в ходе фактического кодирования, для каждой из прямоугольных и квадратных зон (8×8, 16×16 и т.п.), как в случае геометрических фигур.

Снова ссылаясь на фиг.14, модуль 42 формирования материала формирует потоки, такие как аудиопоток, поток презентационной графики, поток интерактивной графики и т.п.Более конкретно, модуль 42 формирования материала формирует аудиопоток посредством кодирования несжатого линейного PCM-аудио и т.п. согласно способу сжатия, такому как способ AC3 и т.п.

Кроме того, модуль 42 формирования материала формирует поток презентационной графики, который представляется форматом потока субтитров, соответствующего стандарту BD-ROM, на основе файла информации о субтитре, включающего в себя эффекты ввода субтитров, такие как изображение субтитра, синхронизация времени отображения, появление изображения/исчезновение изображения и т.п.

Кроме того, модуль 42 формирования материала формирует поток интерактивной графики, который представляется форматом экрана меню, соответствующего стандарту BD-ROM, на основе растровых изображений, используемых для меню и файла меню, в котором записан переход и эффект отображения кнопок, размещенных в меню.

Модуль 43 формирования сценариев формирует сценарий с использованием формата, соответствующего стандарту BD-ROM, согласно информации о каждом потоке, сформированной в модуле 42 формирования материала, и пользовательской операции. Сценарий - это файл, такой как индексный файл, файл кинообъектов, файл списка воспроизведения и т.п.

Кроме того, модуль 43 формирования сценариев формирует файл параметров для реализации обработки мультиплексирования. В файле параметров записывается то, из какого потока состоит каждый AV-клип.Каждый файл, такой как индексный файл, файл кинообъектов, файл списка воспроизведения и т.п., который должен быть сформирован, имеет такую же структуру данных, как структура, описанная в первом варианте осуществления.

Модуль 44 формирования программ BD формирует программу программы BD. Модуль 44 формирования программ BD формирует (i) исходные коды программы BD согласно запросу от пользователя, через пользовательский интерфейс, такой как GUI, и т.п.и (ii) файл программы BD.

Процессор 45 мультиплексирования мультиплексирует множество потоков, таких как видеопоток для левого глаза, видеопоток для правого глаза, аудиопоток, поток презентационной графики, поток интерактивной графики и т.п., которые записаны в данные сценариев BD-ROM, чтобы формировать AV-клип согласно способу MPEG2-TS. В этом случае, видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются в единицах GOP таким образом, что заголовок GOP видеопотока для левого глаза предшествует соответствующей GOP видеопотока для правого глаза.

Кроме того, в случае создания AV-клипа, файл информации о клипах, который составляет пару с AV-клипом, формируется одновременно. Формирование файла информации о клипах посредством процессора 45 мультиплексирования выполняется следующим образом. Процессор 45 мультиплексирования формирует карты вхождений, в каждой из которых позиция хранения пакета заголовка каждой GOP видеопотока для левого глаза находится в соответствии с временем отображения пакета заголовка каждой из GOP, и формирует файл информации о клипах посредством спаривания, в соответствии "один-к-одному", сформированных карт вхождений с информацией атрибутов, показывающей аудиоатрибуты, видеоатрибуты и т.п. каждого потока, включенного в AV-клип.Структура файла информации о клипах имеет такую же структуру данных, как структура, описанная в первом варианте осуществления.

Процессор 46 форматов (i) размещает: согласно формату, соответствующему стандарту BD-ROM, данные сценариев BD-ROM, сформированные в модуле 43 формирования сценариев; файл программы BD, сформированный в модуле 44 формирования программ BD; и AV-клип и файл информации о клипах, сформированные в процессоре 45 мультиплексирования, и (ii) формирует образ диска согласно UDF-формату, который является файловой системой, соответствующей стандарту BD-ROM. Процессор 46 форматов преобразует сформированный образ диска в данные для штамповки BD-ROM и выполняет этап штамповки с этими данными, тем самым изготавливая BD-ROM.

(Третий вариант осуществления)

Настоящий вариант осуществления описывает случай, в котором двумерные изображения и трехмерные изображения существуют совместно на диске BD. Если все изображения содержимого фильма, записанного на BD-ROM диск, являются или трехмерными, или двумерными, пользователь может выбирать то, одевать или не одевать вышеупомянутые очки для объемного просмотра, согласно дискам. Тем не менее, когда двумерные изображения и трехмерные изображения существуют совместно на одном диске, пользователь должен одевать или снимать очки в определенные моменты времени.

С точки зрения пользователя, очень трудно видеть то, когда следует одевать и снимать очки, если без уведомления двумерные изображения внезапно переключаются на трехмерные изображения, или трехмерные изображения внезапно переключаются на двумерные изображения, с другой стороны.

Чтобы разрешать это, 3D-флаг, показывающий то, является тайтл двумерным видео или трехмерным видео, предоставляется с каждым тайтлом. Когда тайтл изменяется, определяется то, является измененный тайтл двумерным видео или трехмерным видео, на основе 3D-флагов. Затем пользователь уведомляется относительно результата определения. Фиг.16 показывает структуру индексной таблицы, включающей в себя 3D-флаги. Как показано на фиг.16, 3D-флаг, показывающий то, является видео в каждом тайтле двумерным или трехмерным, предоставляется с каждым тайтлом. Переключение между тайтлами выполняется посредством пользовательской операции с использованием пульта дистанционного управления, команды и т.п.Устройство воспроизведения может уведомлять пользователя относительно времени одевания или снятия стереоскопических очков посредством OSD (экранное меню), звуковых подсказок и т.п., посредством обращения к вышеупомянутым 3D-флагам, соответствующим надлежащим тайтлам, во время смены тайтлов. Это означает, что двумерное видео и трехмерное видео не существует вместе в одном тайтле. С точки зрения создания коммерческих дисков, имеется преимущество в том, что можно посредством BD-ROM-проигрывателя подсказывать пользователю одевать или снимать очки посредством четкого разделения изображений на двумерные изображения и трехмерные изображения для каждого тайтла.

Отметим, что хотя выше приводится описание случая, где флаг, показывающий то, являются изображения двумерными или трехмерными, предоставляется с каждым соответствующим тайтлом, 3D-флаг может предоставляться с каждым списком воспроизведения, каждым элементом воспроизведения или каждым AV-потоком.

Дополнительные пояснения

Хотя описание носителя записи, относящегося к настоящему изобретению, приводится выше на основе вариантов осуществления, само собой разумеется, что настоящее изобретение не ограничено вышеуказанными вариантами осуществления.

(Модификация 1)

В первом варианте осуществления, видеопоток для левого глаза и видеопоток для правого глаза мультиплексируются в один цифровой поток. Тем не менее, модификация 1 описывает случай, в котором видеопоток для левого глаза и видеопоток для правого глаза не мультиплексируются и записываются как отдельные цифровые потоки в носитель записи.

Сначала, далее описывается AV-клип, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки на носителе записи. Фиг.17 показывает пример структур AV-клипа, сохраненного в каталоге STREAM.

AV-клип для левого глаза (AV-клип для левого глаза) является таким же, как AV-клип, показанный на фиг.3, за исключением того, что AV-клип для левого глаза не включает в себя видеопоток для правого глаза в настоящей модификации. Видеопоток для левого глаза сохраняется в AV-клипе для левого глаза. Видеопоток для левого глаза (основное видео) воспроизводится: как двумерное видео, когда воспроизводится в устройстве воспроизведения, которое воспроизводит двумерное видео; и как трехмерное видео, когда воспроизводится в устройстве воспроизведения, допускающем воспроизведение трехмерного видео.

Видеопоток для правого глаза сохраняется в AV-клипе для правого глаза (субклипе). Видеопоток для правого глаза воспроизводится как видео для правого глаза, вместе с видеопотоком для левого глаза, когда трехмерное видео воспроизводится в устройстве воспроизведения, допускающем воспроизведение трехмерного видео.

Далее описывается структура списка воспроизведения, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки на носителе записи. Информация списка воспроизведения имеет один или более фрагментов информации субэлемента воспроизведения (суб-PI) в дополнение к основному пути, который является путем воспроизведения последовательности фрагментов информации элемента воспроизведения. Путь воспроизведения последовательности субэлементов воспроизведения, который воспроизводится синхронно с основным путем, задается как подпуть. Каждый из фрагментов информации субэлемента воспроизведения показывает секцию воспроизведения субклипа. Секция воспроизведения каждого из фрагментов информации субэлемента воспроизведения показывается на той же временной оси, что и основной путь.

Фиг.18 показывает структуру списка воспроизведения, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки. 2D-информация списка воспроизведения - это информация списка воспроизведения, когда видеопоток для левого глаза воспроизводится как двумерное видео, а 3D-информация списка воспроизведения - это информация списка воспроизведения, когда видеопоток для левого глаза и видеопоток для правого глаза воспроизводятся как трехмерное видео. Как показано на фиг.18, основной путь каждой из 2D-информации списка воспроизведения и 3D-информации списка воспроизведения ссылается на AV-клип, сохраняющий видеопоток для левого глаза. 3D-информация списка воспроизведения имеет подпуть в дополнение к основному пути. Подпуть упоминается как субклип, сохраняющий видеопоток для правого глаза, и задается так, чтобы синхронизироваться с основным путем на временной оси. При такой структуре, 2D-информация списка воспроизведения и 3D-информация списка воспроизведения могут совместно использовать AV-клип, сохраняющий видеопоток для левого глаза. Кроме того, в 3D-информации списка воспроизведения видео для левого глаза и видео для правого глаза могут быть синхронизированы друг с другом на временной оси.

Далее описывается файл информации о клипах, когда видеопоток для левого глаза и видеопоток для правого глаза записываются как отдельные цифровые потоки.

Поскольку видеопоток для левого глаза и видеопоток для правого глаза являются отдельными цифровыми потоками, файл информации о клипах предусмотрен для каждого из цифровых видеопотоков. По сути, оба файла информации о клипах имеют такую же структуру, как файл информации о клипах, описанный в первом варианте осуществления. Следовательно, карта вхождений также задается для видеопотока для правого глаза. В карту вхождений для правого глаза (карту вхождений для правого глаза) записывается информация заголовка карты вхождений и информация в табличной форме, показывающая пары, каждая из которых состоит из (i) PTS, показывающей время отображения заголовка каждой из GOP, которые составляют видеопоток для правого глаза, и (ii) SPN, показывающего позицию начала каждой из GOP в субклипе. В каждой точке входа в информации в табличной форме зарегистрировано изображение видеопотока для правого глаза в субклипе. Изображение видеопотока для правого глаза в субклипе имеет PTS, которая является значением, полученным посредством прибавления, к задержке отображения в (1/48) секунды, PTS, указанной посредством каждой точки входа видеопотока для левого глаза в AV-клипе. Это предоставляет возможность устройству воспроизведения, когда определенное время задано, получать начальные адреса GOP в видеопотоке для правого глаза и видеопотоке для левого глаза, соответствующие указанному времени.

Далее описывается физическая файловая структура на BD-ROM. AV-клип, сохраняющий видеопоток для левого глаза, и субклип, сохраняющий видеопоток для правого глаза, делятся на экстенты (к примеру, единицы GOP) и размещаются поочередно. GOP видеопотока для левого глаза и GOP видеопотока для правого глаза имеют одинаковый временной интервал. Кроме того, флаг предшествования задается, например, для информации заголовка карты вхождений. Здесь, флаг предшествования показывает то, какая из GOP видеопотока для левого глаза и соответствующей GOP видеопотока для правого глаза является предшествующей. Это предоставляет возможность устройству воспроизведения ссылаться на флаг предшествования для того, чтобы указывать для BD-ROM, какая GOP видеопотока для левого глаза и соответствующая GOP видеопотока для правого глаза должна быть считана первой. Таким образом, можно начинать считывание с GOP видеопотока, указанной посредством флага предшествования.

Следовательно, даже если видеопоток для левого глаза и видеопоток для правого глаза не мультиплексируются и записываются как отдельные цифровые потоки, GOP видеопотока для левого глаза и соответствующая GOP видеопотока для правого глаза находятся в позиции начала воспроизведения вперед, указанной посредством устройства воспроизведения. Следовательно, можно предоставлять возможность пользователю надежно стереоскопически просматривать движущиеся изображения.

(Модификация 2)

Хотя 3D-информация списка воспроизведения имеет один подпуть в дополнение к основному пути в модификации 1, модификация 2 описывает случай, в котором 3D-информация списка воспроизведения включает в себя множество подпутей.

Сначала, далее описывается то, что заставляет пользователя чувствовать неудобство при стереоскопическом просмотре параллактического видео. Фиг.19A и 19B показывают различие между фокусными точками глаз, когда фактически смотрят на объекты, фокусными точками глаз при выполнении стереоскопического просмотра. Фиг.19B показывает то, как пользователь фактически смотрит на объект. Как показано на фиг.19B, левый глаз 15 и правый глаз 16 сфокусированы на позиции объекта 17. Таким образом, для пользователя, наблюдающего объект 17, позиция, в направлении которой пользователь фокусирует свои глаза, и позиция в пустом пространстве, в котором пользователь распознает объект, совпадают.

С другой стороны, фиг.19A показывает то, как пользователь выполняет стереоскопический просмотр посредством параллактического видео. В то время когда левый глаз 11 и правый глаз 12 сфокусированы на дисплее 14, изображение 13, просматриваемое стереоскопически, распознается в мозге таким образом, что изображение формируется в точке на пересечении линий зрения из обоих глаз с дисплеем, когда пользователь смотрит на отображение обоими глазами. Таким образом, в то время когда оба глаза сфокусированы на дисплее 14, позиция, в которой пользователь распознает трехмерный объект 13, - это позиция, которая выходит за пределы дисплея, и это различие между позицией фокусировки и позицией распознавания объекта вызывает чувство дискомфорта и усталости, когда пользователь распознает трехмерную графику с использованием параллактического видео.

Кроме того, в общем, известно, что чувство дискомфорта и усталости нарастает по мере того, как различие между (i) позицией, в которой глаза фактически сфокусированы (позицией отображения), и (ii) позицией, в которой пользователь распознает объект как трехмерный объект в мозге, становится значительным.

Один способ реализации трехмерных изображений с использованием параллактического видео при снижении нагрузки на пользователя, состоит в том, чтобы сохранять в носителе записи множество видеопотоков для правого глаза, каждый из которых имеет различное расстояние выхода за пределы (угол объекта), как отдельные AV-клипы и позволять пользователю выбирать желательное расстояние. Таким образом, подготавливается два AV-клипа, и пользователь может выбирать соответствующий AV-клип. Здесь, один из AV-клипов предназначен для пользователей, которые привыкли к просмотру трехмерного видео, или пользователей, которые хотят наслаждаться реалистичным ощущением посредством наблюдения в большей степени выходящих за пределы дисплея трехмерных объектов, а другой из AV-клипов предназначен для пользователей, которые не привыкли к просмотру трехмерной графики, и является AV-клипом, в котором дискомфорт, вызываемый, когда пользователи просматривают трехмерные изображения, уменьшается за счет уменьшения расстояния выхода за пределы дисплея.

Фиг.20 показывает информацию списка воспроизведения, когда существует множество подпутей. Информация списка воспроизведения, показанная на фиг.20, ссылается на набор субклипов 1 и набор субклипов 2. Каждый из наборов субклипов сохраняет видеопоток для правого глаза, хотя видеопотоки для правого глаза имеют различные углы объекта (расстояния выхода за пределы). Каждый из подпутей синхронизируется с основным путем и снабжается идентификатором согласно порядку регистрации в информации списка воспроизведения. Эти идентификаторы используются в качестве идентификаторов подпутей для различения подпутей.

Подпуть, имеющий идентификатор подпути "0", ссылается на набор субклипов 1, а подпуть, имеющий идентификатор подпути "1", ссылается на набор субклипов 2. 3D-информация списка воспроизведения включает в себя множество субклипов, имеющих различные уровни выхода за пределы, и переключение выполняется между подпутями, которые воспроизводятся синхронно с основным путем, сохраняющим видеопоток для левого глаза, на основе размера экрана дисплея и пользовательской операции. Таким способом, может быть выполнен стереоскопический просмотр с использованием параллактического видео, при котором пользователь чувствует себя комфортно.

(Модификация 3)

Модификация 2 описывает случай, в котором 3D-информация списка воспроизведения включает в себя множество подпутей. Настоящая модификация описывает случай, в котором аудиоданные, субтитры и меню комбинируются с каждым из субклипов.

Фиг.21 показывает то, как пользователь 21 просматривает объект 22, отображаемый на дисплее 23, когда двумерная графика воспроизводится. Здесь, когда звук исходит из объекта 22, в большинстве фильмов реалистичное ощущение создается за счет комбинации видео и аудио, чтобы позволять пользователю получать ощущение того, что звук исходит с позиции объекта 22, посредством (i) подстройки фазы звука и звукового давления, испускаемого из множества динамиков, и (ii) локализации звука таким образом, что звук, как кажется, исходит с позиции объекта 22.

С другой стороны, фиг.22 показывает то, как один и тот же объект кажется выходящим за пределы дисплея 33 в сторону пользователя 31, когда воспроизводится трехмерное видео. Объект визуализируется (i) в позиции 34 в видеопотоке для левого глаза и (ii) в позиции 35 в видеопотоке для правого глаза. Таким образом, пользователь 31 распознает объект, как будто объект находится в позиции 36 в пустом пространстве и кажется выходящим за пределы. Здесь, если звук, исходящий из объекта, локализован в позиции 32 с помощью такого же звука, что используется в случае двумерной графики, звук объекта звучит для пользователя так, как будто звук объекта исходит из позиции 32, хотя пользователь распознает, что объект находится в позиции 36.

Чтобы разрешать вышеуказанную проблему, с тем чтобы пользователь слышал из позиции, в которой пользователь распознает объект, фрагменты аудиоданных сохраняются в соответствии "один-к-одному" с множеством видеопотоков для правого глаза, при этом углы, под которыми объекты просматриваются, являются различными.

Кроме того, в дополнение к фрагментам аудиоданных, субтитры и меню сохраняются в соответствии "один-к-одному" с видеопотоками для правого глаза таким же образом. Субтитры и меню, соответствующие видеопотокам для правого глаза, имеющим различные уровни выхода за пределы (уровни, показывающие то, как далеко объекты выходят за пределы), могут отображаться посредством сохранения комбинаций видеопотоков для правого глаза и соответствующих субтитров и меню, имеющих различные уровни выхода за пределы (которые не нарушают фронтальную и тыловую взаимосвязь между видео и субтитрами или меню), согласно уровням выхода за пределы фрагментов параллактического видео. Это позволяет повышать реалистичность ощущений.

Фиг.23 показывает таблицу, в которой субклипы находятся в соответствии "один-к-одному" с фрагментами аудиоданных, субтитрами и меню. Как показано на фиг.23, посредством хранения в списке воспроизведения таблицы, в которой записаны фрагменты аудиоданных, соответствующие субклипам, соответствующие фрагменты аудиоданных могут быть переключены согласно переключению субклипов.

Отметим, что вместо вышеуказанного способа повышения реалистичности ощущений и чувства локализации звука, исходящего из объекта, отображаемого трехмерным способом, посредством подготовки фрагментов аудиоданных, соответствующих надлежащим субклипам, возможен следующий альтернативный способ локализации звуковых фрагментов в соответствующих субклипах: (i) звук, который не способствует реалистичному ощущению от трехмерной графики (к примеру, звуковое сопровождение), сохраняется в AV-клипе как первый аудиопоток, (ii) только другой звук, который исходит из конкретного объекта или конкретного персонажа на экране, сохраняется в AV-клипе как второй аудиопоток, и (iii) первый аудиопоток и второй аудиопоток воспроизводятся одновременно при микшировании. Это способствует снижению объема данных, когда множество аудиопотоков сохранены, поскольку способ сжатия звука, имеющий более высокую скорость сжатия, может использоваться посредством сохранения, в качестве второго аудиопотока, сравнительно простого звука, такого как разговор, шум насекомых и т.п.

(1) В варианте осуществления 1, описанном выше, AV-клип имеет карту вхождений, касающуюся видеопотока для левого глаза, и позиции соответствующих GOP видеопотока для левого глаза предшествуют позициям соответствующих GOP видеопотока для правого глаза. Тем не менее, AV-клип может иметь карту вхождений, касающуюся видеопотока для правого глаза, и позиции соответствующих GOP видеопотока для правого глаза могут предшествовать позициям соответствующих GOP видеопотока для левого глаза.

(2) В варианте осуществления 1, описанном выше, устройство воспроизведения включает в себя видеоплоскость для левого глаза и видеоплоскость для правого глаза. Тем не менее, устройство воспроизведения может иметь только одну видеоплоскость. В этом случае, устройство воспроизведения записывает изображения для левого глаза и изображения для правого глаза поочередно в видеоплоскости.

Кроме того, хотя устройство воспроизведения имеет один видеодекодер, устройство воспроизведения может иметь два видеодекодера; один для левого глаза, а второй для правого глаза. В этом случае, демультиплексор выводит PES-пакеты или в видеодекодер для левого глаза, или в видеодекодер для правого глаза на основе PID, включенных в TS-пакеты.

(3) В варианте осуществления 1, описанном выше, каждая PTS для изображения для правого глаза равна PTS (для левого глаза) + 1/(число чисел кадров в секунду x 2) относительно соответствующего изображения для левого глаза, показанного посредством определенного времени (PTS). Тем не менее, PTS изображений для правого глаза могут быть заданы с любым интервалом до тех пор, пока каждая из PTS изображений для правого глаза находится между соответствующим изображением для левого глаза и следующим изображением для левого глаза.

(4) В варианте осуществления 1, описанном выше, AV-клип имеет карты вхождений, касающиеся видеопотока для левого глаза. Тем не менее, AV-клип может иметь карту вхождений видеопотока для левого глаза и карту вхождений видеопотока для правого глаза. В информации в табличной форме карт вхождений для правого глаза, PTS задается для каждой точки входа. Здесь, каждая из PTS - это значение, полученное посредством прибавления к задержке отображения в (1/48) PTS, указанной посредством точки входа видеопотока для левого глаза в карте вхождений AV-клипа.

Когда точка начала воспроизведения указывается посредством времени, модуль 2800 управления воспроизведением начинает воспроизведение с адреса, предшествующего другим адресам, который показан посредством информации адреса, соответствующей времени. Это позволяет считывать GOP, начинающиеся с заголовка GOP для левого глаза и заголовка GOP для правого глаза для указанного времени.

Когда устройство воспроизведения имеет дополнительное запоминающее устройство, и каждая карта вхождений может быть считана в запоминающее устройство, видеопоток для левого глаза и видеопоток для правого глаза могут быть мультиплексированы независимо от позиционной взаимосвязи хранения.

(5) В варианте осуществления 1, описанном выше, между пакетом заголовка GOP для левого глаза и конечным пакетом GOP для левого глаза размещается GOP для правого глаза, соответствующая GOP для левого глаза. Тем не менее, GOP для правого глаза может быть размещена между пакетом заголовка GOP для левого глаза и пакетом заголовка следующей GOP для левого глаза или размещена перед конечным пакетом следующей GOP для левого глаза. Посредством наложения ограничения на позицию, в которой GOP для левого глаза и GOP для правого глаза, соответствующая GOP для левого глаза, мультиплексируются вышеуказанным способом, может быть гарантировано то, что не допускается рассинхронизация времени считывания GOP для левого глаза и времени считывания GOP для правого глаза, когда выполняется произвольный доступ к AV-данным.

(6) Вариант осуществления 1, описанный выше, поясняет дисплей, допускающий отображение трехмерной графики. Тем не менее, фактически существует дисплей, допускающий отображение только двумерной графики. В этом случае, пользователю трудно определять, допускает ли дисплей воспроизведение трехмерной графики. Следовательно, предпочтительно, чтобы устройство воспроизведения определяло то, допускает ли дисплей воспроизведение трехмерной графики, без пользователя, даже без оповещения пользователя.

В частности, это может быть реализовано, например, следующим образом. Фиг.24 является блок-схемой последовательности операций способа, показывающей обработку запросов, которая выполняет запрос к дисплею на предмет того, можно ли отображать трехмерную графику. Устройство воспроизведения и дисплей соединены друг с другом через HDMI-кабель. Сначала, устройство воспроизведения выполняет запрос на предмет того, можно ли отображать трехмерную графику (этап S201). Приняв ответ на такой запрос от дисплея (этап S202: Да), устройство воспроизведения определяет то, показывает ли ответ то, что можно отображать трехмерную графику (этап S203).

Когда ответ показывает, что можно отображать трехмерную графику (этап S203: Да), устройство воспроизведения задает флаг трехмерного отображения как допустимый с помощью заранее определенного запоминающего устройства в устройстве воспроизведения (этап S204). Здесь, флаг трехмерного отображения показывает то, что дисплей допускает отображение трехмерной графики. Когда ответ показывает, что невозможно отображать трехмерную графику (этап S203: Нет), или не выдан соответствующий ответ (этап S202: Нет), устройство воспроизведения задает флаг трехмерного отображения как недопустимый (этап S205).

Когда к 3D-флагу может осуществляться доступ из программы BD, то, допускает ли дисплей, подключенный к устройству воспроизведения, отображение трехмерной графики, может быть определено посредством программы BD. Это дает возможность осуществлять управление, т.е. воспроизведение трехмерного тайтла, когда флаг трехмерного отображения является допустимым, и воспроизведение двумерного тайтла, когда флаг трехмерного отображения является недопустимым.

Кроме того, когда 3D-флаг является допустимым, заголовок и т.п. может включать в себя информацию, показывающую то, что содержимое является трехмерным содержимым, когда устройство воспроизведения передает трехмерное содержимое на дисплей. Это позволяет, когда дисплей принимает трехмерное содержимое, уменьшать или упрощать определенную обработку, к примеру, посредством невыполнения выделения контуров на дисплее, как описано выше, или добавлять соответствующую обработку для просмотра трехмерной графики.

(7) В варианте осуществления 1, описанном выше, приводится пояснение с рассмотрением способа последовательного разделения и способа поляризованных очков в качестве примеров. Тем не менее, когда стереоскопический просмотр реализуется с использованием ступенчатой линзы, (i) выполняется такая настройка, что изображения видеопотока для левого глаза и соответствующие изображения видеопотока для правого глаза имеют одинаковые PTS, (ii) изображения для левого глаза и соответствующие изображения для правого глаза одновременно размещаются поочередно в продольном направлении на экране, и (iii) ступенчатая линза прикрепляется к поверхности отображения. Это дает возможность пользователю распознавать графику, отображаемую на дисплее, стереоскопически.

(8) Списки воспроизведения для трехмерного воспроизведения могут быть воспроизведены посредством BD-J-приложения. BD-J-приложение является Java-приложением, которое выполняет BD-J Title в качестве рабочего цикла в модуле выполнения программ, который имеет полную поддержку Java 2 Micro_Edition (J2ME), Personal Basis Profile (PBP 1.0) и технические требования Globally Executable MHP (GEM 1.0.2) для пакетных мультимедийных целевых объектов.

Модуль выполнения программ состоит из виртуальной машины Java (зарегистрированная торговая марка), конфигурации и профиля. BD-J-приложение может начинать воспроизведение AV посредством инструктирования виртуальной машине Java формировать экземпляр JMF-проигрывателя, который воспроизводит информацию списка воспроизведения. Экземпляр проигрывателя JMF (Java Media Frame work) - это фактические данные, формируемые в динамически распределяемом запоминающем устройстве виртуальной машины на основе класса JMF-проигрывателя.

Кроме того, модуль выполнения программ включает в себя стандартную библиотеку Java для отображения JFIF(JPEG), PNG и других данных изображений. Следовательно, BD-J-приложение может реализовывать инфраструктуру GUI. Инфраструктура GUI в приложении Java включает в себя инфраструктуру HAVi, предусмотренную в GEM 1.0.2, и навигационную систему для управления запоминающим устройством в GEM 1.0.2.

Таким образом, BD-J-приложение может реализовывать экранный дисплей, в котором дисплей с кнопками, текстовый дисплей и онлайновый дисплей (содержимое BBS), которые основаны на инфраструктуре HAVi, комбинируются с дисплеем для движущихся изображений. Кроме того, BD-J-приложение может выполнять операции для этого экранного дисплея с использованием пульта дистанционного управления.

Также можно предоставлять комбинацию любого из вариантов осуществления и дополнительных комментариев, описанных выше.

Промышленная применимость

Настоящее изобретение может широко применяться к любым носителям записи, которые сохраняют трехмерную графику.