устройство и способ воспроизведения, структура данных, носитель записи, устройство записи и способ записи и программа
Классы МПК: | H04N13/00 Стереоскопические телевизионные системы; элементы таких систем |
Автор(ы): | УТИМУРА Коуити (JP), КАТО Мотоки (JP), ХАТТОРИ Синобу (JP) |
Патентообладатель(и): | СОНИ КОРПОРЕЙШН (JP) |
Приоритеты: |
подача заявки:
2010-08-10 публикация патента:
10.07.2014 |
Изобретение относится к устройству и способу воспроизведения, носителю записи, устройству записи и способу записи и может применяться, например, в устройстве воспроизведения, которое отображает вспомогательное изображение в 3D режиме. Техническим результатом является обеспечение возможности реализации 3D отображения вспомогательного изображения на основе информации смещения в случае, когда информация смещения вспомогательного изображения размещена в потоке основного изображения. Поток видеоданных правого глаза включает в себя метаданные смещения для генерирования информации смещения. В участке данных каждого пакета TS потока видеоданных правого глаза размещены только любые одни из видеоданных кодированного основного изображения правого глаза и метаданных смещения. В заголовке каждого пакета TS потока видеоданных правого глаза описан приоритет транспортирования, который обозначает, являются ли данные, размещенные на участке данных пакета TS, видеоданными кодированного основного изображения правого глаза или метаданными смещения. 4 н. и 4 з.п. ф-лы, 14 ил.
Формула изобретения
1. Устройство воспроизведения, содержащее:
в случае воспроизведения данных, имеющих структуру данных, которая включает в себя
пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и
пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения,
только любые одни из видеоданных кодированного основного изображения и информации смещения размещены на участке данных каждого из пакетов потока видеоданных,
информация флага описана в заголовке каждого из пакетов потока видеоданных, причем информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения,
средство считывания, предназначенное для считывания пакетов потока вспомогательного изображения и потока видеоданных;
средство выделения, предназначенное для выделения пакетов, в которых информация смещения размещена на участке данных среди пакетов, считанных средством считывания на основе информации флага, описанной в заголовке пакетов;
средство генерирования, предназначенное для генерирования видеоданных вспомогательного изображения левого глаза и видеоданных вспомогательного изображения правого глаза из пакетов потока вспомогательного изображения на основе информации смещения, размещенной на участке данных пакетов, выделенных средством выделения; и
средство декодирования, предназначенное для декодирования видеоданных кодированного основного изображения, включенных в участок данных пакетов, считанных средством считывания, на основе информации флага, описанной в заголовке пакетов.
2. Устройство воспроизведения по п.1,
в котором поток видеоданных представляет собой поток основного изображения для любого одного из правого глаза и левого глаза, кодированный с использованием способа МУС (многообзорное кодирование видеоданных), и
в котором данные дополнительно включают в себя поток видеоданных основного изображения для другого.
3. Устройство воспроизведения по п.1,
в котором часть информации смещения включает в себя определенную информацию таким образом, что часть или вся информация смещения не представляет определенный код.
4. Способ воспроизведения для устройства воспроизведения, предназначенного для воспроизведения данных, имеющих структуру данных, которая включает в себя
пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и
пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемые для 3D отображения в отношении определенного вспомогательного изображения,
только любые одни из видеоданных кодированного основного изображения и информации смещения размещают на участке данных каждого из пакетов потока видеоданных,
информация флага описана в заголовке каждого из пакетов потока видеоданных, причем информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения,
способ воспроизведения, содержащий:
этап считывания, состоящий в считывании пакетов потока вспомогательного изображения и потока видеоданных;
этап выделения, состоящий в выделении пакетов, в которых информация смещения размещена на участке данных среди пакетов, считываемых в процессе этапа считывания, на основе информации флага, описанной в заголовке пакетов;
этап генерирования, состоящий в генерировании видеоданных вспомогательного изображения левого глаза и видеоданных вспомогательного изображения правого глаза из пакетов потока вспомогательного изображения на основе информации смещения, размещенной на участке данных пакетов, выделенных в процессе этапа выделения; и
этап декодирования, состоящий в декодировании видеоданных кодированного основного изображения, включенного на участке данных пакетов, считанного в процессе этапа считывания на основе информации флага, описанной в заголовке пакетов.
5. Устройство записи, содержащее:
средство кодирование, предназначенное для кодирования видеоданных основного изображения;
средство генерирования, предназначенное для генерирования пакетов, в которых информация смещения размещена на участке данных и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой информацию смещения, описана в заголовке так, что видеоданные, кодированные средством кодирования, и информация смещения не включены в идентичный пакет, информация смещения состоит из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, и генерируют пакеты, в которых кодированные видеоданные размещены на участке данных, и информация флага, обозначающая что данные, размещенные на участке данных, представляют собой кодированные видеоданные, описана в заголовке; и
средство управления записью, предназначенное для обеспечения записи пакетов на носитель записи.
6. Устройство записи по п.5,
в котором средство кодирования кодирует видеоданные основного изображения для левого глаза или основного изображения для правого глаза, используя способ MVC (многообзорное кодирование видеоданных).
7. Устройство записи по п.5,
в котором часть информации смещения включает в себя определенную информацию таким образом, что часть или вся информация смещения не представляет определенный код.
8. Способ записи для устройства записи, содержащий:
этап кодирования, состоящий в кодировании видеоданных основного изображения;
этап генерирования, состоящий в генерировании пакетов, в которых информация смещения размещена на участке видеоданных и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой информацию смещения, описана в заголовке таким образом, что видеоданные, кодированные в процессе этапа кодирования, и информация смещения не включены в идентичный пакет, информация смещения состоит из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, и генерируют пакеты, в которых кодированные видеоданные размещены на участке данных, и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой кодированные видеоданные, описана в заголовке; и
этап управления записью, состоящий в обеспечении записи пакетов на носителе записи.
Описание изобретения к патенту
Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству воспроизведения и способу воспроизведения, структуре данных, носителю записи, устройству записи и способу записи и программе. В частности, настоящее изобретение относится к устройству воспроизведения и способу воспроизведения, структуре данных, носителю записи, устройству записи и способу записи и программе, которые обеспечивают возможность, в случае, когда информация смещения вспомогательного изображения размещена в потоке основного изображения, легко реализовать 3D отображения вспомогательного изображения на основе информации смещения.
Уровень техники
2D изображения в основном используют как содержание кинофильмов или тому подобное, но в последнее время все больше внимания уделяют 3D изображениям.
Пример способа, который обеспечивает для пользователя возможность просмотра 3D изображения, включает в себя способ, который позволяет пользователю просматривать одно из двух изображений левым глазом и позволяет пользователю рассматривать другое изображение правым глазом, причем эти два изображения отделены друг от друга определенным расстоянием в определенном направлении.
В таком способе, для отображения 3D изображения необходимо подготовить как изображение левого глаза, так и изображение правого глаза, или подготовить определенное изображение, информацию направления, обозначающую комбинацию направлений смещения для изображений левого глаза и правого глаза относительно изображения, и значения смещения, представляющего величину смещения. Следует отметить, что ниже информация направления и значение смещения совместно называются информацией смещения.
Кроме того, пример способа кодирования для изображения, которое используется в случае подготовки как изображения левого глаза, так и изображения правого глаза, включает в себя способ MVC (многообзорное кодирование видеоданных) (см., например, PTL 1), или тому подобное.
Затем для выполнения 3D отображения вспомогательного изображения (например, субтитров, кнопки меню или тому подобное), которое должно отображаться вместе с основным изображением, таким как кинофильм, информация смещения вспомогательного изображения может быть размещена в потоке основного изображения, который кодируют с использованием способа MVC или тому подобное.
Список литературы
Патентная литература
PTL 1: Публикация находящейся на экспертизе заявки на японский патент № 2009-100070
Сущность изобретения
Техническая задача
Однако, в этом случае, если поток основного изображения будет преобразован в пакеты TS (транспортного потока) без использования определенного способа, становится невозможным декодировать поток основного изображения, используя декодер общего назначения. Таким образом, необходимо выделять каждые из видеоданных и информацию смещения основного изображения из пакетов TS основного изображения и декодировать их, и, таким образом, необходимо подготовить специализированный декодер. Это, в свою очередь, требует затрат на разработку, и 3D отображение вспомогательного изображения не может быть легко реализовано.
Настоящее изобретение было выполнено с учетом таких обстоятельств и направлено на обеспечение возможности, в случае, когда информация смещения вспомогательного изображения размещена в потоке основного изображения, легко реализовать 3D отображение вспомогательного изображения на основе информация смещения.
Решение задачи
Устройство воспроизведения в соответствии с первым аспектом настоящего изобретение представляет собой устройство воспроизведения, включающее в себя, в случае воспроизведения данных, имеющих структуру данных, которая включает в себя пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, при этом только любые одни из видеоданных кодированного основного изображения и информации смещения размещены на участке данных каждого из пакетов потока видеоданных, информация флага описана в заголовке каждого из пакетов потока видеоданных, причем информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения, средство считывания, предназначенное для считывания пакетов потока вспомогательного изображения и потока видеоданных, средство выделения, предназначенное для выделения пакетов, в которых информация смещения размещена на участке данных, среди пакетов, считанных средством считывания на основе информации флага, описанной в заголовке пакетов, средство генерирования, предназначенное для генерирования видеоданных вспомогательного изображения левого глаза и видеоданных вспомогательного изображения правого глаза, из пакетов потока вспомогательного изображения на основе информации смещения, размещенной на участке данных пакетов, выделенных средством выделения, и средство декодирования, предназначенное для декодирования видеоданных кодированного основного изображения, включенных в участок данных пакетов, считанных средством считывания на основе информации флага, описанной в заголовке пакетов.
Способ воспроизведения и программа, в соответствии с первым аспектом настоящего изобретения, соответствуют устройству воспроизведения в соответствии с первым аспектом настоящего изобретения.
В первом аспекте настоящего изобретения, в случае данных воспроизведения, имеющих структуру данных, которая включает в себя пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, при этом только любые из видеоданных кодированного основного изображения и информации смещения размещены на участке данных каждого из пакетов потока видеоданных, информация флага описана в заголовке каждого из пакетов потока видеоданных, причем информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения, при этом считывают пакеты потока вспомогательного изображения и потока видеоданных, пакеты, в которых информация смещения размещена на участке данных, выделяют среди пакетов считывания на основе информации флага, описанной в заголовке пакетов, видеоданные вспомогательного изображения левого глаза и видеоданные вспомогательного изображения правого глаза генерируют из пакетов потока вспомогательного изображения на основе информации смещения, размещенной на участке данных выделенных пакетов, и видеоданные кодированного основного изображения, включенные на участке данных считанных пакетов, декодируют на основе информации флага, описанной в заголовке пакетов.
Структура данных в соответствии со вторым аспектом настоящего изобретения и структура данных из данных, записанных на носителе записи, представляет собой структуру данных, включающую в себя пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, при этом только любые одни из видеоданных кодированного основного изображения и информации смещения размещены на участке данных каждого из пакетов потока видеоданных, информация флага описана в заголовке каждого из пакетов потока видеоданных, причем эта информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения.
Во втором аспекте настоящего изобретения пакеты потока вспомогательного изображения, который представляет собой поток определенного вспомогательного изображения, и пакеты потока видеоданных, который представляет собой поток кодированного основного изображения и представляет собой поток, включающий в себя информацию смещения, состоящую из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, при этом только любые одни из видеоданных кодированного основного изображения и информации смещения размещены на участке данных каждого из пакетов потока видеоданных, и информация флага описана в заголовке каждого из пакетов потока видеоданных, информация флага представляет собой информацию, обозначающую, являются ли данные, размещенные на участке данных пакета, видеоданными кодированного основного изображения или информацией смещения.
Устройство записи в соответствии с третьим аспектом настоящего изобретения представляет собой устройство записи, включающее в себя средство кодирования, предназначенное для кодирования видеоданных основного изображения, средство генерирования, предназначенное для генерирования пакетов, в которых информация смещения размещена на участке данных, и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой информацию смещения, описана в заголовке так, что видеоданные, кодированные средством кодирования, и информация смещения не включены в идентичный пакет, информация смещения состоит из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, и генерируют пакеты, в которых кодированные видеоданные размещены на участке данных, и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой кодированные видеоданные, описана в заголовке, и средство управления записью, предназначенное для обеспечения записи пакетов на носитель записи.
Способ записи и программа в соответствии с третьим аспектом настоящего изобретения соответствуют устройству записи в соответствии с третьим аспектом настоящего изобретения.
В третьем аспекте настоящего изобретения видеоданные основного изображения кодируют, генерируют пакеты, в которых информация смещения размещена на участке данных и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой информацию смещения, описана в заголовке таким образом, что кодированные видеоданные и информация смещения не включены в идентичный пакет, информация смещения состоит из направления смещения и величины смещения вспомогательного изображения левого глаза и вспомогательного изображения правого глаза, используемых для 3D отображения в отношении определенного вспомогательного изображения, генерируют пакеты, в которых кодированные видеоданные размещены на участке данных, и информация флага, обозначающая, что данные, размещенные на участке данных, представляют собой кодированные видеоданные, описана в заголовке, и пакеты записывают на носитель записи.
Предпочтительные эффекты изобретения
Как описано выше, в соответствии с настоящим изобретением, в случае, когда информация смещения вспомогательного изображения размещена в потоке основного изображения, может быть легко реализовано 3D отображение вспомогательного изображения на основе информации смещения.
Краткое описание чертежей
На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства воспроизведения, в котором применяется настоящее изобретение.
На фиг.2 показана схема, иллюстрирующая пример конфигурации первого зависимого модуля в порядке отображения в каждом GOP в потоке видеоданных правого глаза.
На фиг.3 показана схема, описывающая способ генерирования пакетов TS потока видеоданных правого глаза.
На фиг.4 показана схема, иллюстрирующая конкретный пример конфигурации пакета TS.
На фиг.5 показана блок-схема, иллюстрирующая конкретный пример конфигурации модуля генерирования видеоданных правого глаза и модуля генерирования смещения.
На фиг.6 показана блок-схема последовательности операций, описывающая процесс генерирования смещения, выполняемый устройством воспроизведения.
На фиг.7 показана блок-схема последовательности операций процесса 3D отображения, выполняемого устройством воспроизведения при выполнении объекта кинофильма.
На фиг.8 показана блок-схема, иллюстрирующая пример конфигурации устройства записи.
На фиг.9 показана блок-схема последовательности операций, описывающая процесс записи, выполняемый устройством записи.
На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера.
На фиг.11 показана схема, иллюстрирующая пример описания метаданных смещения.
На фиг.12 показана схема, иллюстрирующая пример описания метаданных смещения.
На фиг.13 показана блок-схема, иллюстрирующая конкретный пример конфигурации модуля генерирования данных 3D отображения по фиг.1.
На фиг.14 показана схема, описывающая порядок наложения в данных 3D отображения.
Подробное описание изобретения
Первый вариант осуществления
Пример конфигурации устройства воспроизведения
На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства воспроизведения, в котором применяется настоящее изобретение.
Устройство 20 воспроизведения по фиг.1 состоит из входного модуля 21, модуля 22 управления и модуля 23 воспроизведения.
Входной модуль 21 состоит из клавиатуры, мыши, микрофона и т.п. Входной модуль 21 принимает инструкцию от пользователя и подает ее в модуль 22 управления. Модуль 22 управления управляет модулем 23 воспроизведения в ответ на инструкцию, подаваемую из входного модуля 21.
Модуль 23 воспроизведения состоит из привода 31, буфера 32 считывания, фильтра 33 PID, фильтра 34 приоритета транспортирования, модуля 35 генерирования смещения, модуля 36 генерирования видеоданных правого глаза, модуля 37 генерирования видеоданных левого глаза, модуля 38 генерирования субтитров/меню, модуля 39 генерирования данных 3D отображения, модуля 40 генерирования BD-J графики и модуля 41 генерирования аудиоданных.
Привод 31 осуществляет привод диска 11, который представляет собой BD (диск Blu-ray (зарегистрированный товарный знак)) или тому подобное, загруженного в него в соответствии с управлением, выполняемым модулем 22 управления. В соответствии с этим привод 31 считывает файл индекса, файл объект кинофильма, файл объект BD-J, файл списка воспроизведения, файл информации клипа, файл потока и т.п., записанные на диск 11.
Следует отметить, что файл индекса представляет собой файл, в котором описаны список номеров названий, записанных на диск 11, и типы, и количество объектов, выполняемых в соответствии с номерами названия. Типы объектов включают в себя два типа: объект кинофильма и объект BD-J.
Кроме того, файл объекта кинофильма представляет собой файл, в котором описано множество объектов кинофильма. В объекте кинофильма описана программа, называемая навигационной командой. Следует отметить, что ниже, если навигационную команду не требуется, в частности, различать, она просто называется командой.
Кроме того, файл объекта BD-J представляет собой файл, в котором описано множество BD-J приложений. Файл списка воспроизведения представляет собой файл, который воспроизводится только объектом кинофильма или объектом BD-J, и в нем описана информация об AV потоке (детали будут описаны ниже), которая воспроизводится простой командой, описанной в этих объектах.
В частности, файл списка воспроизведения состоит из одного или множества элементов воспроизведения. В каждом элементе воспроизведения описаны информация, устанавливающая файл информации клипа, соответствующий AV потоку, который должен быть воспроизведен, и информация времени, обозначающая период воспроизведения AV потока.
AV поток записан как файл потока на диск 11. AV поток состоит из пакетов TS (транспортного потока), которые получают путем мультиплексирования потока видеоданных левого глаза и потока видеоданных правого глаза, потока аудиоданных, соответствующего ему, потока субтитров и потока меню в соответствии с IS013818-2.
Следует отметить, что поток видеоданных левого глаза представляет собой поток основного изображения левого глаза, который кодирован с использованием способа MVC. Поток видеоданных правого глаза представляет собой поток основного изображения правого глаза, который кодирован с использованием способа MVC, и поток, включающий в себя метаданные смещения (детали будут описаны ниже). Кроме того, поток субтитров представляет собой поток, включающий в себя данные в формате растрового изображения или в текстовом формате для отображения субтитров в виде 2D изображения. Поток меню представляет собой поток, включающий в себя данные, предназначенные для отображения кнопки меню в виде 2D изображения.
Метаданные смещения представляют собой данные для генерирования информации смещения в единицах пикселей. В частности, метаданные смещения составлены из информации смещения, PTS (временной штамп представления) первого изображения, в котором установлена информация смещения, и частоты кадров, обозначающей интервалы изображений, в которых установлена информация смещения. Следует отметить, что информация смещения описана для каждого субтитра, соответствующего периоду воспроизведения 1 GOP, кнопки меню и экрана (плана) BD-J графики. Кроме того, в стандарте BD-ROM (постоянное запоминающее устройство на диске Blu-ray), кнопка меню и BD-J графика находятся в исключающей взаимозависимости и, таким образом, информация смещения применяется для экрана субтитров и экрана кнопки меню, или применяется для экрана субтитров и экрана BD-J графики. Детали о примерах описания метаданных смещения будут представлены со ссылкой на фиг.11 и фиг.12, описанные ниже.
Файл информации клипа представляет собой файл, в котором описана карта, которая ассоциирует информацию времени, описанную в файле списка воспроизведения с номерами пакетов AV потока. Таким образом, в результате ссылки на файл информации клипа модуль 22 управления может распознавать номер пакета AV потока, который должен быть воспроизведен, в соответствии с каждым элементом воспроизведения. Файл потока представляет собой файл AV потока.
Привод 31 подает файл индекса считывания, файл объекта кинофильма, файл объекта BD-J, файл списка воспроизведения, файл информации клипа и т.п. в модуль 22 управления. Привод 31 подает AV поток файла потока считывания в буфер 32 считывания.
Буфер 32 считывания считывает AV поток, подаваемый из привода 31, и считывает AV поток, содержащийся в нем, и подает его в фильтр 33 PID в соответствии с управлением, выполняемым модулем 22 управления.
Фильтр 33 PID выделяет из AV потока пакеты TS потока видеоданных левого глаза, потока видеоданных правого глаза, потока субтитров, потока меню и потока аудиоданных на основе ID пакетов (PID) соответствующих TS пакетов AV потока, подаваемого из буфера 32 считывания. Следует отметить, что PID представляет собой ID, уникальный для каждого типа данных, составляющих TS пакет, и описан в заголовке пакета.
Фильтр 33 PID передает выделенные TS пакеты потока видеоданных правого глаза в фильтр 34 приоритета транспортирования и передает TS пакеты потока видеоданных левого глаза в модуль 37 генерирования видеоданных левого глаза. Кроме того, фильтр 33 PID передает TS пакеты потока субтитров и потока меню в модуль 38 генерирования субтитров/меню, и передает TS пакеты потока аудиоданных в модуль 41 генерирования аудиоданных.
Фильтр 34 приоритета транспортирования передает определенные пакеты TS из пакетов TS потока видеоданных правого глаза, передаваемого из фильтра 33 PID, в модуль 35 генерирования смещения, на основе приоритета транспортирования, описанного в заголовках пакетов TS. Кроме того, фильтр 34 приоритета транспортирования передает TS пакеты потока видеоданных правого глаза, подаваемые из фильтра 33 приоритета в модуль 36 генерирования видеоданных правого глаза.
Модуль 35 генерирования смещения генерирует информацию смещения на основе метаданных смещения, которые размещены на участке данных пакетов TS, передаваемых из фильтра 34 приоритета транспортирования, и передает их в модуль 39 генерирования данных 3D отображения.
Модуль 36 генерирования видеоданных правого глаза декодирует видеоданные основного изображения правого глаза, которые размещены на участке данных TS пакетов потока видеоданных правого глаза, передаваемых из фильтра 34 приоритета транспортирования, на основе приоритета транспортирования, описанного в заголовках TS пакетов. Модуль 36 генерирования видеоданных правого глаза рассматривает видеоданные, полученные в результате декодирования, как видеоданные правого глаза, и подает их в модуль 39 генерирования данных 3D отображения.
Кроме того, модуль 37 генерирования видеоданных левого глаза декодирует видеоданные изображения левого глаза, которые включены в TS пакеты потока видеоданных левого глаза, подаваемые из фильтра 33 PID. Модуль 37 генерирования видеоданных левого глаза рассматривает видеоданные, полученные в результате декодирования, как видеоданные левого глаза, и передает их в модуль 39 генерирования данных 3D отображения.
Модуль 38 генерирования субтитров/меню состоит из модуля 51 генерирования субтитров и модуля 52 генерирования меню. Модуль 51 генерирования субтитров передает данные субтитров, включенные в TS пакеты потока субтитров, подаваемого из фильтра 33 PID, в модуль 39 генерирования данных 3D отображения при выполнении объекта кинофильма.
Модуль 52 генерирования меню передает данные меню, включенные в пакеты TS потока меню, передаваемого из фильтра 33 PID, в модуль 39 генерирования данных 3D отображения при выполнении объекта кинофильма.
Модуль 39 генерирования данных 3D отображения рассматривает видеоданные правого глаза, передаваемые из модуля 36 генерирования видеоданных правого глаза, и видеоданных левого глаза, передаваемых из модуля 37 генерирования видеоданных левого глаза, как 3D видеоданные. Кроме того, модуль 39 генерирования данных 3D отображения генерирует данные субтитров правого глаза и данные субтитров левого глаза, которые представляют собой данные субтитров для субтитров, генерируемых в результате смещения субтитров, соответствующих данным субтитров, передаваемым из модуля 51 генерирования субтитров на определенную величину смещения в определенном направлении смещения, на основе информации смещения, подаваемой из модуля 35 генерирования смещения. Затем модуль 39 генерирования данных 3D отображения рассматривает данные субтитров правого глаза и данные субтитров левого глаза, как данные 3D субтитров для отображения субтитров в виде 3D отображения.
Кроме того, модуль 39 генерирования данных 3D отображения генерирует данные 3D меню, для отображения кнопки меню в виде 3D отображения из данных меню, передаваемых из модуля 52 генерирования меню, так же, как и данные 3D субтитров, на основе информации смещения, передаваемой из модуля 35 генерирования смещения.
Кроме того, модуль 39 генерирования данных 3D отображения комбинирует 3D видеоданные, данные 3D субтитров и данные 3D меню для отдельных частей данных для левого и правого глаз. В частности, модуль 39 генерирования данных 3D отображения комбинирует видеоданные левого глаза, данные субтитров левого глаза и данные меню левого глаза для генерирования данных отображения левого глаза. Кроме того, модуль 39 генерирования данных 3D отображения комбинирует видеоданные правого глаза, данные субтитров правого глаза и данные меню правого глаза для генерирования данных отображения правого глаза.
Кроме того, модуль 39 генерирования данных 3D отображения генерирует 3D графические данные для отображения BD-J графики в виде 3D отображения из графических данных, которые передают из модуля 40 генерирования BD-J графики и которые предназначены для отображения BD-J графики, включающей в себя кнопку меню и т.п. в виде 2D отображения, так же, как и данные 3D субтитров, на основе информации смещения, подаваемой из модуля 35 генерирования смещения.
Модуль 39 генерирования данных 3D отображения комбинирует 3D видеоданные и 3D графические данные для отдельных частей данных для левого и правого глаз, рассматривает результат комбинирования для левого глаза как данные отображения левого глаза, и рассматривает результат комбинирования для правого глаза, как данные отображения правого глаза. Затем модуль 39 генерирования данных 3D отображения передает данные отображения левого глаза и данные отображения правого глаза в модуль 61 дисплея, как данные 3D отображения и обеспечивает отображение изображения левого глаза и изображения правого глаза в модуле 61 дисплея.
Модуль 40 генерирования BD-J графики генерирует графические данные в соответствии с управлением, выполняемым модулем 22 управления, при выполнении BD-J объекта, и подает их в модуль 39 генерирования данных 3D отображения.
Модуль 41 генерирования звука декодирует аудиоданные, включенные в TS пакеты потока аудиоданных, подаваемого из фильтра 33 PID, и подает аудиоданные, полученные таким образом, в громкоговоритель 62.
Модуль 61 дисплея состоит из 3D дисплея или тому подобное. Модуль 61 дисплея отображает данные изображения левого глаза и данные изображения правого глаза на основе данных 3D отображения, передаваемых из модуля 39 генерирования данных 3D отображения. В качестве результата, пользователь может рассматривать 3D изображение.
Громкоговоритель 62 выводит звук, соответствующий аудиоданным, подаваемым из модуля 41 генерирования аудиоданных.
Пример конфигурации потока видеоданных правого глаза
На фиг.2 показана схема, иллюстрирующая пример конфигурации первого зависимого модуля (изображения) в порядке отображения каждой GOP (группа изображений) потока видеоданных правого глаза.
Как показано на фиг.2, в первом зависимом модуле, в порядке отображения в каждой GOP потока видеоданных правого глаза, зависимый разграничитель, SPS (набор параметров последовательности), поднабор PPS (набор параметров изображения), SEI (вспомогательная информация улучшения) и один или больше срезов расположены в указанном порядке, начиная сверху.
Зависимый разграничитель представляет собой начальный код, обозначающий верх зависимого модуля. Зависимый разграничитель включает в себя, например, информацию, обозначающую тип срезов, включенных в зависимый модуль.
SPS представляет собой заголовок, включающий в себя информацию о всей последовательности. SPS включает в себя, например, информацию, обозначающую профиль потока видеоданных правого глаза, и информацию, обозначающую уровень потока видеоданных правого глаза. Кроме того, например, SPS включает в себя информацию, которая необходима для расчета РОС (подсчет порядка изображения). РОС представляет собой информацию, обозначающую порядок отображения изображения.
PPS представляет собой заголовок, включающий в себя информацию об изображении. Например, PPS включает в себя информацию, которая необходима для расчета РОС.
SEI представляет собой информацию, обозначающую дополнительную информацию, которая не достаточна для декодирования VCL (уровня видеокодирования). SEI может быть классифицирована на информацию SEI пользователя (сообщения SEI данных BD пользователя в MVC масштабируемой вложенной SEI), которая представляет собой информацию, уникально определенную пользователем в качестве создателя диска 11, и другую информацию (другие сообщения SEI в MVC масштабируемой вложенной SEI). На диске 11 метаданные смещения описаны, как, по меньшей мере, информация SEI пользователя. Срезы представляют собой видеоданные основного изображения правого глаза, которые кодируют с использованием способа MVC и которые представляют собой существенные данные изображения.
Следует отметить, что после одного или больше срезов данные заполнителя, конец последовательности и конец потока расположены в соответствии с необходимостью.
Данные заполнителя представляют собой данные, которые добавляют для регулирования размера данных. Конец последовательности представляет собой информацию, обозначающую конец последовательности. Конец потока представляет собой информацию, обозначающую конец потока видеоданных правого глаза.
На фиг.3 показана схема, описывающая способ генерирования пакетов TS потока видеоданных правого глаза.
Как показано на фиг.3, поток видеоданных правого глаза TS-пакетизирован так, что метаданные смещения не расположены в TS пакетах вместе с другими данными.
В частности, как показано на фиг.3, если размер данных для данных для последнего TS пакета TSn в PPS меньше, чем размер данных участка данных пакета TS, произвольные заполняющие байты вставляют в заголовок TS пакета TSn, используя поле адаптации заголовка так, что размер данных TS пакета TSn становится таким же, как размер данных TS пакета. В соответствии с этим, верхнюю часть метаданных смещения пакетизируют в TS пакет TSn+1, который отличается от предшествующего TS пакета TSn, в котором расположено PPS. Следует отметить, что TSi представляет i-ый TS пакет.
Кроме того, как показано на фиг.3, если размер данных для данных последнего TS пакета TSn метаданных смещения меньше, чем размер данных участка данных пакета TS, произвольные заполняющие байты вставляют в заголовок TS пакета TSn, используя поле адаптации заголовка так, чтобы размер данных TS пакета TSn становился таким же, как и размер данных пакета TS. В соответствии с этим, верхнюю часть срезов пакетизируют в TS пакет TSm+1, который отличается от предшествующего TS пакета TSm, в котором расположены метаданные смещения.
Кроме того, как показано на фиг.3, приоритет транспортирования, равный нулю, описан в заголовках TS пакетов для других данных, кроме метаданных смещения. Кроме того, приоритет транспортирования равный единице описан в заголовках TS пакетов метаданных смещения.
В частности, как показано на фиг.4, каждый TS пакет состоит из заголовка верхней части и участка данных после заголовка.
Как показано на фиг.4, байт синхронизации (sync_byte) из восьми битов, индикатор ошибки транспортирования (transport_error_indicator) размером один бит и индикатор запуска модуля полезной нагрузки (payload_unit_start_indicator) размером один бит описаны в заголовке. Кроме того, приоритет транспортирования (transport_priority) размером один бит, PID размером тринадцать битов и управление скремблированием транспортирования (transport_scrambling_control) из двух битов описаны в заголовке. Кроме того, управление полем адаптации (adaptation_field_control) из двух битов и счетчик непрерывности (continuity_counter) из двух битов описаны в заголовке. Следует отметить, что счетчик непрерывности представляет собой данные, которые увеличиваются на единицу с каждым кадром.
Если управление поля адаптации имеет определенную величину ("10" и "11" в примере, показанном на фиг.4), поле адаптации, используемое как расширенный заголовок, дополнительно располагают в заголовке.
Кроме того, если управление полем адаптации имеет определенное значение ("01" и " 11" в примере, показанном на фиг.4), полезная нагрузка сохранена в участке данных. Поток видеоданных правого глаза сохранен, например, как полезная нагрузка.
В TS пакете потока видеоданных правого глаза, если метаданные смещения описаны как полезная нагрузка, приоритет транспортирования, равный единице, описан в заголовке TS пакета. С другой стороны, если другие данные, кроме метаданных смещения, описаны как полезная нагрузка, приоритет транспортирования, равный нулю, описан в заголовке TS пакета, включающего в себя полезную нагрузку.
Таким образом, приоритет транспортирования используется как информация флага, обозначающая, являются ли данные, расположенные в участке данных, метаданными смещения или другими данными, кроме метаданных смещения.
Таким образом, устройство 20 воспроизведения может выделять TS пакеты, включающие в себя метаданные смещения, среди TS пакетов потока видеоданных правого глаза на основе приоритета транспортирования.
Конфигурация конкретного примера модуля генерирования видеоданных правого глаза и модуля генерирования смещения
На фиг.5 показана блок-схема, иллюстрирующая конкретный пример конфигурации модуля 36 генерирования видеоданных правого глаза и модуля 35 генерирования смещения по фиг.1.
Как показано на фиг.5, TS пакеты, включающие в себя заголовок с приоритетом транспортирования, равным нулю или единице, вводят в фильтр 33 PID. В примере, показанном на фиг.5, с n-го по (n+3)-й TS пакеты, начиная сверху, вводят в фильтр 33 PID. Приоритет транспортирования n-го и (n+3)-го TS пакетов равен нулю, и приоритет транспортирования (п+1)-го и (n+2)-го TS пакетов равен единице.
Фильтр 33 PID выделяет TS пакеты потока видеоданных правого глаза среди входных TS пакетов на основе PID, описанных в заголовках входных TS пакетов, и подает их в фильтр 34 приоритета транспортирования.
Фильтр 34 приоритета транспортирования подает все TS пакеты, передаваемые из фильтра 33 PID, в модуль 36 генерирования видеоданных правого глаза, или подает только TS пакеты с приоритетом транспортирования, равным нулю, в модуль 36 генерирования видеоданных правого глаза.
Кроме того, если приоритет транспортирования, описанный в заголовке TS пакета, подаваемого из фильтра 33 PID, равен единице, фильтр 34 приоритета транспортирования передает TS пакет в модуль 35 генерирования смещения. В соответствии с этим, в модуль 35 генерирования смещения подают только TS пакеты потока видеоданных правого глаза с приоритетом транспортирования, равным единице, то есть только TS пакеты, в которых метаданные смещения расположены на участке данных.
Модуль 36 генерирования видеоданных правого глаза состоит из буфера 71 транспортирования, элементарного буфера 72 и видеодекодера 73.
Буфер 71 транспортирования накапливает TS пакеты, передаваемые из фильтра 34 приоритета транспортирования. Буфер 71 транспортирования считывает накопленные TS пакеты с определенной частотой передачи битов и передает их в элементарный буфер 72. Элементарный буфер 72 накапливает TS пакеты, передаваемые из буфера 71 транспортирования.
Видеодекодер 73 состоит из декодера MVC общего назначения. Видеодекодер 73 выделяет видеоданные основного изображения правого глаза, расположенные на участке данных TS пакетов с приоритетом транспортирования, равным нулю, среди TS пакетов, накопленных в элементарном буфере 72, с определенными временными характеристиками, на основе приоритета транспортирования TS пакетов. Затем видеодекодер 73 декодирует видеоданные основного изображения правого глаза, используя способ, соответствующий способу MVC, и передает видеоданные, полученные таким образом, в модуль 39 генерирования данных 3D отображения (фиг.1) как видеоданные правого глаза.
Модуль 35 генерирования смещения состоит из дополнительного буфера 81 и декодера 82 смещения.
Дополнительный буфер 81 накапливает TS пакеты с приоритетом транспортирования, равным единице, передаваемые из фильтра 34 приоритета транспортирования.
Декодер 82 смещения выделяет метаданные смещения, размещенные на участке данных TS пакетов, накопленных в дополнительном буфере 81, с определенными временными характеристиками. Декодер 82 смещения генерирует информацию смещения на основе метаданных смещения и передает ее в модуль 39 генерирования данных 3D отображения (фиг.1).
Процесс, выполняемый устройством воспроизведения
На фиг.6 показана блок-схема последовательности операций, описывающая процесс генерирования смещения, выполняемый устройством 20 воспроизведения. Такой процесс генерирования смещения начинается, например, когда новый TS пакет вводят в фильтр PID.
На этапе S11, фильтр 33 PID определяет, является ли входной TS пакет пакетом TS потока видеоданных правого глаза или нет на основе PID TS пакета. Если на этапе S11 определяют, что входной TS пакет не является TS пакетом потока видеоданных правого глаза, процесс заканчивается.
С другой стороны, если определяют на этапе S11, что входной TS пакет представляет собой TS пакет потока видеоданных правого глаза, фильтр 33 PID передает TS пакет в фильтр 34 приоритета транспортирования.
Затем на этапе S12 фильтр 34 приоритета транспортирования определяет, равен ли приоритет транспортирования, описанный в заголовке TS пакета, передаваемом из фильтра 33 PID, единице или нет.Если на этапе S12 определяют, что приоритет транспортирования не равен единице, то есть, если приоритет транспортирования равен нулю, обработка заканчивается.
С другой стороны, если на этапе S12 определяют, что приоритет транспортирования равен единице, фильтр 34 приоритета транспортирования передает TS пакет, переданный из фильтра 33 PID, в буфер 71 транспортирования (фиг.5) и в дополнительный буфер 81.
Затем, на этапе S13, дополнительный буфер 81 накапливает TS пакет, переданный из фильтра 34 приоритета транспортирования.
На этапе S14, декодер 82 смещения выделяет метаданные смещения, расположенные на участке данных TS пакета, накопленные в дополнительном буфере 81.
На этапе S15 декодер 82 смещения генерирует информацию смещения на основе метаданных смещения, выделенных на этапе S14, и подает ее в модуль 39 генерирования данных 3D отображения. Затем процесс заканчивается.
На фиг.7 показана блок-схема последовательности операций процесса 3D отображения, выполняемого устройством 20 воспроизведения при выполнении объекта кинофильма. Такая обработка 3D отображения начинается, когда, например, метаданные смещения, видеоданные левого глаза, видеоданные правого глаза, данные субтитров и данные меню вводят в модуль 39 генерирования данных 3D отображения.
На этапе S31, модуль 39 генерирования данных 3D отображения получает информацию смещения, введенную из модуля 35 генерирования смещения, видеоданные правого глаза, введенные из модуля 36 генерирования видеоданных правого глаза, видеоданные левого глаза, введенные из модуля 37 генерирования видеоданных левого глаза, данные субтитров, введенные из модуля 51 генерирования субтитров, и данные меню, подаваемые из модуля 52 генерирования меню.
На этапе S32, модуль 39 генерирования данных 3D отображения генерирует данные 3D отображения из видеоданных правого глаза, видеоданных левого глаза, данных субтитров и данных меню на основе информации смещения.
На этапе S33, модуль 39 генерирования данных 3D отображения обеспечивает отображение 3D изображения в модуле 61 дисплея на основе данных 3D отображения, сгенерированных на этапе S32. Затем обработка заканчивается.
Следует отметить, что обработка 3D отображения при выполнении BD-J объекта аналогична обработке 3D отображения по фиг.7, за исключением того, что графические данные используются вместо данных субтитров и данных меню, и, таким образом, ее описание не представлено.
Примерная конфигурация устройства записи
На фиг.8 показана блок-схема, иллюстрирующая пример конфигурации устройства 100 записи, которое записывает поток видеоданных правого глаза на диск 11.
Устройство 100 записи по фиг.8 состоит из модуля 101 получения видеоданных, видеокодера 102, модуля 103 получения смещения, буфера 104, модуля 105 пакетирования PES, модуля 106 пакетирования TS, привода 107 и модуля 108 управления.
Модуль 101 получения видеоданных получает видеоданные основного изображения правого глаза, вводимые извне, и подает их в видеокодер 102. Видеокодер 102 кодирует видеоданные, подаваемые из модуля 101 получения видеоданных, используя способ MVC, и передает ES (элементарный поток), полученный таким образом, в буфер 104. Следует отметить, что в SEI этого ES предусматривают зарезервированную область для размещения метаданных смещения.
Модуль 103 получения смещения получает метаданные смещения, вводимые извне и передает эти метаданные смещения в буфер 104.
Буфер 104 выполнен из видеобуфера 111 и буфера 112 смещения. Видеобуфер 111 сохраняет ES видеоданных, подаваемых из видеокодера 102. Видеобуфер 111 считывает ES, сохраненный в нем, на основе управления, выполняемого модулем 108 управления, размешает метаданные смещения, подаваемые из буфера 112 смещения в зарезервированной области, предусмотренной в SEI ES, и передает ES в модуль 105 пакетирования PES.
Буфер 112 смещения сохраняет метаданные смещения, передаваемые из модуля 103 получения смещения. Буфер 112 смещения считывает метаданные смещения, сохраненные в нем, на основе управления, выполняемого модулем 108 управления, и передает их в видеобуфер 111.
Модуль 105 пакетирования PES пакетирует ES, передаваемый из видеобуфера 111 в пакеты PES на основе управления, выполняемого модулем 108 управления.
Модуль 106 пакетирования TS пакетирует пакеты PES, передаваемые из модуля 105 пакетирования PES, в пакеты TS на основе приоритета транспортирования, передаваемого из модуля 108 управления. В частности, модуль 106 пакетирования TS генерирует пакеты TS, каждый из которых включает в себя заголовок с приоритетом транспортирования, передаваемым из модуля 108 управления, который описан здесь, и включает в себя пакет PES, расположенный на участке данных. PID, соответствующий потоку видеоданных правого глаза, также описан в заголовке пакетов TS. Модуль 106 пакетирования TS передает сгенерированные пакеты TS в привод 107.
Привод 107 записывает пакеты TS, передаваемые из модуля 106 пакетирования TS, на диск 11, на основе управления, выполняемого модулем 108 управления.
Модуль 108 управления отслеживает ES видеоданных и метаданные смещения, сохраненные в буфере 104. Кроме того, модуль 108 управления управляет PTS. Кроме того, модуль 108 управления управляет отдельными компонентами модуля 105 пакетирования PES, модуля 106 пакетирования TS и привода 107.
В частности, например, если видеоданные пакетированного PES вводят в модуль 106 пакетирования TS, модуль 108 управления передает приоритет транспортирования, равный нулю, в модуль 106 пакетирования TS. С другой стороны, если метаданные смещения пакетированной PES вводят в модуль 106 пакетирования TS, модуль 108 управления передает приоритет транспортирования, равный единице, в модуль 106 пакетирования TS.
Описание процесса, выполняемого устройством записи
На фиг.9 показана блок-схема последовательности операций, описывающая процесс записи, выполняемый устройством 100 записи по фиг.8. Такой процесс записи начинается, например, когда пакет PES подают из модуля 105 пакетирования PES в модуль 106 пакетирования TS.
На этапе S51, модуль 106 пакетирования TS определяет, был ли передан пакет PES, соответствующий размеру данных участка данных пакета TS, или нет. Если пакет PES, соответствующий размеру данных участка данных TS пакета, не был передан на этапе S51, процесс переходит на этап S52.
На этапе S52, модуль 106 пакетирования TS определяет, был ли изменен приоритет транспортирования, переданный из модуля 108 управления, или нет. Если на этапе S52 определяют, что приоритет транспортирования не был изменен, процесс возвращается на этап S51. Затем процесс на этапах S51 и S52 повторяют до тех пор, пока пакет PES, соответствующий размеру данных участка данных пакета TS, не будет передан, или до тех пор, пока приоритет транспортирования не будет изменен.
С другой стороны, если на этапе S52 определяют, что приоритет транспортирования был изменен, процесс переходит на этап S53. На этапе S53, модуль 106 пакетирования TS вставляет данные заполнения в заголовок TS пакета, который должен быть сгенерирован, с использованием поля адаптации таким образом, что размер данных пакета TS, который должен быть сгенерирован, в котором пакет PES, передаваемый из модуля 105 пакетирования PES расположен на участке данных, становится таким же, как и размер данных пакета TS. В частности, модуль 106 пакетирования TS вставляет данные заполнения, соответствующие величине, полученной путем вычитания размера данных пакета PES из размера данных участка данных пакета TS в поле адаптации заголовка пакета TS. Затем процесс переходит на этап S54.
Кроме того, если на этапе S51 определяют, что пакет PES, соответствующий размеру данных участка данных пакета TS, был подан, процесс переходит на этап S54.
На этапе S54, модуль 106 пакетирования TS размещает пакет PES, передаваемый из модуля 105 пакетирования PES, на участке данных пакета TS.
На этапе S55, модуль 106 пакетирования TS определяет, равен ли приоритет транспортирования в отношении пакета PES, размещенного на участке данных, переданный из модуля 108 управления, нулю или нет. Если на этапе S55 определяют, что приоритет транспортирования равен нулю, обработка переходит на этап S56.
На этапе S56, модуль 106 пакетирования TS добавляет заголовок с приоритетом транспортирования, равным нулю, который описан в нем, к участку данных, генерируя, таким образом, пакет TS. В соответствии с этим, генерируют пакет TS, в котором видеоданные пакетированного PES основного изображения правого глаза размещены на участке данных, и приоритет транспортирования, равный нулю, описан в заголовке. Затем модуль 106 пакетирования TS передает сгенерированный пакет TS в привод 107, и процесс переходит на этап S58.
С другой стороны, если на этапе S55 определяют, что приоритет транспортирования равен нулю, обработка переходит на этап S57. На этапе S57, модуль 106 пакетирования TS добавляет заголовок с приоритетом транспортирования, равным единице, описанным в нем, к участку данных, генерируя, таким образом, пакет TS. В соответствии с этим генерируют пакет TS, в котором метаданные смещения пакетированного PES размещены на участке данных, и приоритет транспортирования, равный единице, описан в заголовке. Затем модуль 106 пакетирования TS передает сгенерированный пакет TS в привод 107 и переходит на этап S58.
На этапе S58, привод 107 записывает пакет TS, передаваемый из модуля 106 пакетирования TS, на диск 11. Затем обработка заканчивается.
Следует отметить, что, в приведенном выше описании, метаданные смещения включены в поток видеоданных правого глаза, но метаданные смещения могут быть включены в поток видеоданных левого глаза. В качестве альтернативы, метаданные смещения могут быть включены как в поток видеоданных правого глаза, так и в поток видеоданных левого глаза.
Кроме того, в приведенном выше описании, кодирование выполняют таким образом, что поток видеоданных правого глаза используется как зависимый поток в способе MVC и что поток видеоданных левого глаза используется как основной поток в способе MVC, но кодирование может быть выполнено таким образом, что поток видеоданных левого глаза используется как зависимый поток и поток видеоданных правого глаза используется как основной поток.
Настоящее изобретение также можно применять для случая, когда поток видеоданных, используемый для 2D отображения основного изображения, и информация смещения основного изображения записаны на диск. В этом случае, например, метаданные смещения для вспомогательного изображения включены в поток видеоданных, используемый для 2D отображения основного изображения, и также в него включена информация смещения основного изображения.
По меньшей мере, часть описанной выше последовательности процессов может быть выполнена с помощью аппаратных средств или может быть выполнена с использованием программных средств. В случае выполнения, по меньшей мере, части последовательности обработки с использованием программных средств, программу, формирующую программное средство, устанавливают с носителя записи программы в компьютер, в который встроено специализированное аппаратное средство, или в персональный компьютер общего назначения.
На фиг.10 показана блок-схема, иллюстрирующая пример конфигурации аппаратных средств компьютера, который выполняет, по меньшей мере, часть описанной выше последовательности обработки в соответствии с программой.
ЦПУ (центральное процессорное устройство) 201, ПЗУ (постоянное запоминающее устройство) 202 и ОЗУ (оперативное запоминающее устройство) 203 взаимно соединены через шину 204.
Интерфейс 205 входа/выхода дополнительно соединен с шиной 204. Модуль 206 ввода, состоящий из клавиатуры, мыши и т.п., и модуль вывода 207, состоящий из дисплея, громкоговорителя и т.п., соединен с интерфейсом 205 ввода/вывода. Кроме того, модуль 208 накопителя, состоящий из жесткого диска, энергонезависимого запоминающего устройства или тому подобное, модуль 209 передачи данных, состоящий из сетевого интерфейса или тому подобное, и привод 210, который осуществляет привод съемного носителя 211, соединен с шиной 204.
В компьютере, имеющем описанную выше конфигурацию, в ЦПУ 201 загружают программу, сохраненную в модуле 208 накопителя в ПЗУ 203 через интерфейс 205 ввода/вывода и шину 204, и выполняют ее, например, в результате чего выполняется описанная выше последовательность обработки.
Программа, выполняемая ЦПУ 201, предоставляется, будучи записанной, например, на съемный носитель 211 информации, или через кабельную или беспроводную среду передачи, такую как локальная вычислительная сеть, Интернет или цифровая широковещательная передача, и устанавливают в модуле 208 накопителя.
Примеры описания метаданных смещения
На фиг.11 и фиг.12 показаны схемы, иллюстрирующие примеры описания метаданных смещения.
Как показано на фиг.11, в метаданных смещения, частота следования кадров (frame_rate) потока видеоданных правого глаза, включая в себя метаданные смещения, описана с использованием четырех битов, и PTS первого изображения (offset_start_PTS) в порядке отображения потока видеоданных правого глаза описан с использованием тридцати трех (=3+15+15) битов. Вместе с частотой кадров и PTS может быть установлено время воспроизведения на экране, при котором применяется информация смещения. Кроме того, в метаданных смещения количество кадров (количество кадров) GOP, в которую включены метаданные смещения в SEI, описано с использованием восьми битов. Кроме того, в метаданных смещения, количество типов информации смещения субтитров установлено в соответствии с GOP (number_of_PG_offset_sequences) и количество типов информации смещения кнопки меню, которое установлено в соответствии с GOP (number_of_IG_offset_sequences) описано с использованием шести битов, соответственно. Следует отметить, что тип информации смещения, применяемый к цели, которая должна быть воспроизведена, установлен с использованием списка воспроизведения или тому подобное.
Кроме того, как показано на фиг.11, в данных смещения, информация смещения субтитров (PG_offset_sequence) описана для каждого типа информации смещения субтитров, и информация смещения кнопки меню (IG_offset_sequence) описана для каждого типа информации смещения кнопки меню.
В качестве информации смещения (PG_offset_sequence, IG_offset_sequence), информация, обозначающая направление смещения (offset_direction_flag), описана с использованием одного бита, и информация, обозначающая значение смещения (offset_value), описана с использованием семи битов, как показано в части A на фиг.12 и в части B на фиг.12.
В качестве информации, обозначающей направление смещения, используется, например, случай "0", в котором направление смещения представляет собой направление, в котором 3D изображение выдвинуто вперед (на сторону пользователя) относительно поверхности отображения, и используется случай "1", в котором направление смещения представляет собой направление, в котором 3D изображение отображают позади поверхности отображения. Кроме того, значение смещения представлено с использованием, например, количества пикселей.
Кроме того, в метаданных смещения, биты маркера (marker_bit) из одного бита повсюду размещены в порядке, для предотвращения восьми последовательных нулей, как показано на фиг.11. В частности, например, при декодировании в способе MVC, если восемь последовательных нулей возникает в данных, которые должны быть декодированы, данные определяют, как начальный код. Таким образом, метаданные смещения включают в себя "1", как бит маркера так, чтобы часть метаданных смещения не представляла собой начальный код. Кроме того, зарезервированная область (reserved_for_fature_use) размещена в метаданных смещения.
Следует отметить, что в примере по фиг.11 биты маркера расположены в порядке для предотвращения восьми последовательных нулей, но биты маркера могут быть размещены таким образом, что часть или все метаданные смещения не будут распознаны как определенный код во время декодирования и способ для размещения битов маркера не ограничен способом, показанным на фиг.11.
Конкретный пример конфигурации модуля генерирования данных 3D отображения
На фиг.13 показана блок-схема, иллюстрирующая конкретный пример конфигурации модуля 39 генерирования данных 3D отображения по фиг.1.
Модуль 39 генерирования данных 3D отображения на фиг.13 состоит из плана 531 субтитров, плана 532 меню, модуля 533 генерирования данных отображения левого глаза и модуля 534 генерирования данных отображения правого глаза.
План 531 субтитров содержит данные субтитров, передаваемые из модуля 51 генерирования субтитров (фиг.1).
План 532 меню содержит данные меню, передаваемые из модуля 52 генерирования меню (фиг.1).
Модуль 533 генерирования данных отображения левого глаза состоит из плана 541 видеоданных левого глаза, модуля 542 передачи, модуля 543 добавления смещения, модуля 544 передачи, модуля 545 комбинирования, модуля 546 передачи, модуля 547 добавления смещения, модуля 548 передачи и модуля 549 комбинирования.
План 541 видеоданных левого глаза содержит видеоданные левого глаза, передаваемые из модуля 37 генерирования видеоданных левого глаза (фиг.1).
Модуль 542 передачи считывает видеоданные левого глаза, содержащиеся в плане 541 видеоданных левого глаза. Модуль 542 передачи преобразует считанные видеоданные левого глаза таким образом, что основное изображение левого глаза будет передано с предварительно установленной степенью пропускания (1- 1L). Модуль 542 передачи передает преобразованные видеоданные левого глаза в модуль 545 комбинирования.
Модуль 543 добавления смещения считывает данные субтитров из плана 531 субтитров. Модуль 543 добавления смещения генерирует данные субтитров левого глаза из считанных данных субтитров на основе информации смещения данных субтитров, передаваемой из модуля 35 генерирования смещения на фиг.1. Модуль 543 добавления смещения подает данные субтитров левого глаза в модуль 544 передачи.
Модуль 544 передачи преобразует данные субтитров левого глаза, передаваемые из модуля 547 добавления смещения, таким образом, что субтитры левого глаза передают с заданной степенью пропускания 1L. Модуль 544 передачи передает преобразованные данные субтитров левого глаза в модуль 545 комбинирования.
Модуль 545 комбинирования комбинирует видеоданные левого глаза, передаваемые из модуля 542 передачи, и данные субтитров левого глаза, передаваемые из модуля 544 передачи, и подает эти данные, полученные, таким образом, в модуль 546 передачи.
Модуль 546 передачи преобразует данные, подаваемые из модуля 545 комбинирования, так, что изображение, соответствующее этим данным, передают со степенью пропускания (1- 2L), и подает эти данные в модуль 549 комбинирования.
Модуль 547 добавления смещения считывает данные меню из плана 532 меню. Модуль 547 добавления смещения генерирует данные меню левого глаза, считанные из данных меню, на основе информации смещения кнопки меню, передаваемой из модуля 35 генерирования смещения по фиг.1. Модуль 547 добавления смещения подает данные меню левого глаза в модуль 548 передачи.
Модуль 548 передачи преобразует данные меню левого глаза, передаваемые из модуля 547 добавления смещения, так, что кнопку меню левого глаза передают с заранее установленной степенью пропускания 2L. Модуль 548 передачи подает преобразованные данные меню левого глаза в модуль 549 комбинирования.
Модуль 549 комбинирования комбинирует данные, подаваемые из модуля 546 передачи, и данные меню, передаваемые из модуля 548 передачи, и выводит данные, полученные таким образом, как данные отображения левого глаза.
Модуль 534 генерирования данных отображения правого глаза состоит из плана 551 видеоданных правого глаза, модуля 552 передачи, модуля 553 добавления смещения, модуля 554 передачи, модуля 555 комбинирования, модуля 556 передачи, модуля 557 добавления смещения, модуля 558 передачи и модуля 559 комбинирования. Обработка, выполняемая отдельными модулями модуля 534 генерирования данных отображения правого глаза, аналогична обработке, выполняемой отдельными модулями модуля 533 генерирования данных отображения левого глаза, за исключением того, что цель обработки представляет собой данные правого глаза и, таким образом, ее описание здесь не приведено.
Описание порядка наложения в данных 3D отображения
На фиг.14 показана схема, описывающая порядок наложения в данных 3D отображения, генерируемых модулем 39 генерирования данных 3D отображения.
Как показано в части A на фиг.14, порядок наложения данных отображения левого глаза в данных 3D отображения представляет собой: видеоданные левого глаза, данные субтитров левого глаза и данные меню левого глаза, начиная снизу. Кроме того, как показано в части В на фиг.14, порядок наложения данных отображения правого глаза представляет собой: видеоданные правого глаза, данные субтитров правого глаза и данные меню правого глаза, начиная снизу.
В данном описании этапы, описывающие программу, сохраненную на носителе записи программы, конечно, включают в себя процессы, которые выполняются во временной последовательности, в соответствии с описанным порядком, и также включают в себя процессы, которые выполняются параллельно или по-отдельности, вместо их выполнения во временной последовательности.
Кроме того, вариант осуществления настоящего изобретения не ограничивается описанным выше вариантом осуществления и различные его модификации приемлемы, без выхода за пределы объема настоящего изобретения.
Список номеров ссылочных позиций
11 диск, 20 устройство воспроизведения, 31 привод, 34 фильтр приоритета транспортирования, 36 модуль генерирования видеоданных правого глаза, 39 модуль генерирования данных 3D отображения, 100 устройство записи, 102 видеокодер, 106 модуль пакетирования TS, 107 привод.
Класс H04N13/00 Стереоскопические телевизионные системы; элементы таких систем