обработка 3d отображения субтитров

Формула изобретения

1. Способ создания сигнала трехмерного изображения, содержащий этапы, на которых:

принимают первый компонент изображения,

принимают второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения,

принимают текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение,

принимают компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и

создают сигнал трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.

2. Способ по п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в таблице, определенной как данные расширения списка, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия.

3. Способ по п.2, в котором таблица является таблицей метаданных смещения, которая вмещает в себя различные Z-местоположения субтитров для различных языковых потоков.

4. Способ по п.2, в котором список вмещает в себя элементы, которые позволяют воспроизводить данные стереоскопического многоуглового видео, содержащие фрагменты стереоскопического многоуглового видео, и для каждого фрагмента стереоскопического многоуглового видео в таблице сохранена соответствующая информация о Z-местоположении.

5. Способ по п.4, в котором таблица является таблицей метаданных смещения, которая вмещает в себя различные Z-местоположения для наложения субтитров для каждого фрагмента стереоскопического многоуглового видео.

6. Способ по п.1, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.

7. Способ по п.6, в котором информация о Z-местоположении содержит пронумерованные значения «Z» для потоков данных, содержащихся в текстовом компоненте.

8. Способ по п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в одном из:

таблицы, определенной как список, который указывает последовательность трехмерных аудиовизуальных элементов контента, которые вместе формируют представление заглавия;

таблицы в списке, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия, причем таблица перечисляет видео и графические потоки, связанные с соответствующими элементами аудиовизуального контента, в частном случае для каждого элемента вмещает в себя цикл с информацией кодирования потока для каждого потока текстовых и растровых субтитров.

9. Способ п.1, в котором информация о Z-местоположении содержится в сигнале трехмерного изображения в одном из:

файла, который перечисляет метаданные, относящиеся к транспортному потоку, который вмещает в себя аудиовизуальный контент и потоки субтитров, в частном случае файл перечисляет потоки субтитров посредством пакетного идентификатора (PID), и информация о Z-местоположении предоставлена для каждого перечисления PID, которое указывает PID потока субтитров;

таблицы информации о программе в файле, причем таблица информации о программе предоставляет список элементарных потоков, которые вместе формируют представление аудиовизуального контента, в частном случае таблица предоставляет информацию о Z-местоположении для каждого элементарного потока, который вмещает в себе информацию о субтитрах;

таблицы информации о характерных точках (CPI), которая перечисляет точки входа в аудиовизуальный контент для проигрывания спецэффектов, в частном случае перечисления точек входа содержат параметр Z-местоположения, который указывает для каждой точки входа местоположение по глубине того, где наложить графику.

10. Способ визуализации сигнала трехмерного изображения, содержащий этапы, на которых:

принимают сигнал трехмерного изображения, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,

визуализируют первый компонент изображения и второй компонент для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.

11. Устройство для создания сигнала трехмерного изображения, содержащее:

приемник, выполненный с возможностью приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента, содержащего субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонента совместно используемого Z-местоположения, содержащего информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения, и

мультиплексор, выполненный с возможностью создания сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент совместно используемого Z-местоположения.

12. Устройство для визуализации сигнала трехмерного изображения, содержащее:

приемник (18), выполненный с возможностью приема сигнала трехмерного изображения, содержащего первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения,

блок (24) визуализации, выполненный с возможностью визуализации первого компонента изображения и второго компонента для предоставления трехмерного изображения, причем визуализация включает в себя визуализацию субтитров на основе текста и/или растровых изображений на основе графического представления в трехмерном изображении, причем визуализация субтитров на основе текста и/или растровых изображений на основе графического представления включает в себя регулировку Z-местоположения субтитров на основе текста и/или растровых изображений на основе графического представления, основанную на компоненте совместно используемого Z-местоположения.

13. Устройство по п.12, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.

14. Устройство по п.13, в котором информация о Z- местоположении содержит пронумерованные значения «Z» для потоков данных, содержащихся в текстовом компоненте.

15. Сигнал трехмерного изображения, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения, текстовый компонент, содержащий субтитры на основе текста и/или растровые изображения на основе графического представления, для включения в трехмерное изображение и компонент совместно используемого Z-местоположения, содержащий информацию о Z-местоположении, описывающую Z-местоположение как субтитров на основе текста, так и растровых изображений на основе графического представления в пределах трехмерного изображения.

16. Сигнал трехмерного изображения по п.15, в котором информация о Z-местоположении является покадровой и содержится в сигнале трехмерного изображения в сообщениях подписи (SEI), которые являются пакетами, встроенными в элементарный поток аудиовизуального контента, причем пакеты переносят параметры, которые могут использоваться декодером для декодирования контента.

17. Компьютерно-читаемый носитель информации, содержащий программу, сохраненную на нем, которая предписывает компьютеру выполнять этапы любого из способов по пп. 1-10.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Это изобретение относится к созданию и визуализации сигнала трехмерного (3D) изображения. В одном варианте осуществления изобретение предоставляет автоматическое оптимальное позиционирование субтитров на 3D дисплее, которое ослабляет утомление зрителя.

Уровень техники

В настоящий момент существует оживление интереса к 3D телевидению, это связано с недавними техническими достижениями в технологии отображения, которые обеспечивают хорошее воспроизведение 3D видео для множества зрителей. Одним из них является автостереоскопический 3D двояковыпуклый дисплей, но также существуют другие типы дисплеев, такие как дисплеи на основе автостереоскопического барьера и стереоскопические дисплеи с временным мультиплексированием, основанные на технологии рирпроекции. Обычно эти типы дисплея используют один из двух основных видеоформатов в качестве входного сигнала, чтобы создать 3D впечатление зрителю. Стереоскопические дисплеи используют временное последовательное чередование и очки для отображения двух отдельных представлений, по одному для каждого глаза, и поэтому ожидают стереоскопическое видео в качестве входного сигнала. Примеры их представляют собой стереоскопические дисплеи рирпроекции с временным мультиплексированием, и этот тип системы также используется в 3D кино. Основной альтернативой этому являются автостереоскопические дисплеи с множеством представлений, которые не требуют никаких очков и часто используют формат входного сигнала, известный как изображение + глубина, в качестве входного сигнала, чтобы создать 3D впечатление. Больше информации о технологии 3D отображения может быть найдено в главе 13 «3D video communication - Algorithms, concepts and real time systems in human centered communication» (3D видеосвязь - Алгоритмы, концепции и системы в реальном времени при человекоориентированной связи), автора Oliver Shreer и др. (Wiley, 2005).

Стерео видеоформат является прямолинейным, поскольку он предоставляет два изображения, по одному для каждого глаза. Обычно эти два изображения чередуются или пространственно, или во временной последовательности и затем вводятся в дисплей. Альтернативный формат, названный изображение + глубина, отличается тем, что он представляет собой комбинацию 2D изображения с так называемой «глубиной», или картой диспаратности. Это обычно является полутоновым изображением, посредством чего полутоновое значение пикселя указывает величину диспаратности (или глубину в случае карты глубины) для соответствующего пикселя в связанном 2D изображении. Дисплей, при визуализации 3D изображения, использует диспаратность или карту глубины, чтобы вычислить дополнительные представления, применяя 2D изображение в качестве входного сигнала. Это может быть выполнено множеством путей; в самой простой форме, суть заключается в смещении пикселей влево или вправо в зависимости от величины диспаратности, связанной с этими пикселями. Документ, озаглавленный «Depth image based rendering, compression and transmission for a new approach on 3D TV (Основанная на глубине изображения визуализация, сжатие и передача для нового подхода в 3D TV)», автора Christoph Fen, дает краткий обзор технологии.

Проблема с автостереоскопическими и (основанными на временной последовательности) стерео 3D дисплеями представляет собой то, что упоминается как рассогласование конвергентности и аккомодации. Это является проблемой, при которой глаза зрителя сходятся на виртуальном местоположении отображаемых объектов, пока в то же время глаза фокусируются (чтобы видеть резкое изображение) на поверхности самого дисплея. Это рассогласование может вызывать головные боли и другие симптомы, связанные с локомоционной болезнью. В дополнение, любые геометрические (особенно любой поперечный параллакс), а также электрические (яркость, контраст и т.д.) разности между представлениями для левого и правого глаза могут дополнительно вызвать зрительное утомление. Однако если величина диспаратности сохраняется небольшой, то есть меньшей, чем один градус, тогда эти проблемы менее серьезны, и пользователи могут просматривать контент без каких-либо существенных проблем. См. «Two factors in visual fatigue caused by stereoscopic HDTV images (Два фактора в зрительном утомлении, вызванном стереоскопическими HDTV изображениями)», Sumio Yano и др., Displays, 2004, страницы 141-150, для большей подробности.

Подобно вышеупомянутым проблемам является то, что проблема может произойти, когда устройство визуализации в текущий момент отображает текст, такой как субтитры или скрытые субтитры. Если текст должным образом не располагается на экране, который зависит от типа и параметров настроек дисплея, то текст может казаться размытым, например, вследствие перекрестных помех между представлениями левого и правого глаза, и зритель может чувствовать усталость. Это также имеет место, когда размывание может влиять на удобочитаемость текста. Согласно E. Legge (см. «Psychophysics of Reading: I. Normal Vision (Психофизика чтения: I. Нормальное зрение)», Gordon E. Legge и др. Vision Research (Исследование зрения), Том 25, № 2, страницы 239-252, 1985) чтение ухудшается, если пропускная способность текста ниже двух циклов в символ. Размывание является проблемой, связанной с автоматическими стереоскопическими дисплеями, поскольку обычно разрешением жертвуют для того, чтобы сформировать множество представлений, и для стерео дисплеев, в общем, существует проблема, связанная с субоптимальным разделением между двумя представлениями, которая может добавиться к размыванию изображения. Кроме того, согласно Yano (упомянутый выше) движение глубины увеличивает зрительное утомление.

Другая проблема, которую предвидят, состоит в том, что зрители могут отрегулировать величину диспаратности и относительное положение плоскости глубины в 3D телевизоре (например, посредством некоторых кнопок на пульте дистанционного управления). Эти регулировки означают, что текст может стать размытым, так как он перемещается из нейтральной позиции глубины, или увеличивается в «глубине» таким образом, что он является причиной зрительного утомления.

Публикация заявки на патент Соединенных Штатов Америки US 2005/0140676 раскрывает способ отображения многоуровневых текстовых данных в трехмерной карте. В системе, описанной в этой публикации, трехмерная карта отображается на экране, и текстовые данные с разными уровнями плотности отображаются согласно расстояниям от точки наблюдения отображаемой трехмерной карты до узловых точек, где текстовые данные будут отображены, таким образом, улучшая удобочитаемость текстовых данных. Дополнительно, возможно отобразить текстовые данные путем локальной регулировки плотности текстовых данных на экране. Трехмерная карта отображается на экране дисплейной панели путем преобразования картографических данных с двумерными координатами в данные с трехмерными координатами посредством способа перспективной проекции. Отображаемые текстовые данные вместе с трехмерной картой преобразовываются в данные в трехкоординатной системе с началом координат, определенным точкой наблюдения трехмерной карты. Преобразованные текстовые данные проектируются на двумерную плоскость для преобразования в данные с экранными координатами. Затем расстояния от точки наблюдения отображаемой трехмерной карты до вершин, где текстовые данные будут отображены, классифицируются. Классифицированные расстояния определяются для преобразованных текстовых данных с экранными координатами. Текстовые данные уровней, соответствующие определенным расстояниям, отображаются на экране дисплейной панели, на котором отображается трехмерная карта.

Несмотря на то что в контексте представления трехмерной карты на двумерном устройстве отображения обработка текстовых данных согласно этой публикации позиционируется и масштабируется многозначительным образом для пользователя, она не решает ни одной из проблем, идентифицированных выше, касаемо отображения текста на устройстве трехмерного отображения.

Документ JP2004-274125 описывает формирование сигнала 3D. Мультиплексор мультиплексирует два компонента изображения и символьные данные, которые должны быть наложены на принимающем конце. Сигнал 3D изображения имеет отдельные потоки текстовых данных.

Документ EP 0905988 описывает устройство отображения 3D изображения, которое принимает два сигнала 3D изображения, например видео и символьные данные, где второй сигнал должен быть наложенным. Максимальное значение глубины получают из первого сигнала. Параллакс второго сигнала управляется, чтобы быть перед первым сигналом.

Документ WO 2008/038205 описывает отображение 3D сигнала, объединенное с информацией меню. Предложено подразделить диапазон глубины 3D отображения в поддиапазоны для отображения различных 3D сигналов.

Документ WO 2006/111893 описывает зрительное восприятие глубины 3D для отображения видео, объединенного с текстовой информацией. Формируется 3D видеосигнал, который имеет включенные в него данные (текст) наложения и карту индикатора наложения. Информация о наложении указывает, является ли пиксель накладываемым или ненакладываемым (т.е. видео). Пиксели наложения могут позиционироваться на различной глубине в устройстве визуализации. Информация о наложении лишь указывает само наложение (текст) так, чтобы сам текст являлся изменяемым в устройстве отображения.

Сущность изобретения

Таким образом, задачей изобретения является усовершенствование известного уровня техники. Согласно первому аспекту настоящего изобретения предоставляется способ создания сигнала трехмерного изображения для визуализации на дисплее, содержащий:

- прием первого компонента изображения,

- прием второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения,

- прием текстового компонента для включения в трехмерное изображение,

- прием компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и

- создание сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения, при этом этап создания сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно второму аспекту настоящего изобретения предоставляется устройство для создания сигнала трехмерного изображения для визуализации на дисплее, содержащее:

приемник, выполненный для приема первого компонента изображения, второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, текстового компонента для включения в трехмерное изображение и компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и

мультиплексор, выполненный для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, причем создание содержит включение текстового компонента в первый компонент изображения, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно третьему аспекту настоящего изобретения предоставляется сигнал трехмерного изображения для визуализации на дисплее, содержащий первый компонент изображения, второй компонент для создания трехмерного изображения в комбинации с первым компонентом изображения и текстовый компонент, включенный в первый компонент изображения, причем сигнал трехмерного изображения содержит компонент данных, содержащий информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно четвертому аспекту настоящего изобретения предоставляется способ визуализации сигнала трехмерного изображения, содержащий:

прием сигнала трехмерного изображения, как определено выше,

визуализацию трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализированного текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно пятому аспекту настоящего изобретения предоставляется устройство для визуализации сигнала трехмерного изображения, содержащее:

приемник, выполненный для приема сигнала трехмерного изображения, как определено выше,

дисплей, выполненный для визуализации трехмерного изображения из первого компонента изображения и второго компонента, при этом визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно шестому аспекту настоящего изобретения обеспечивается компьютерный программный продукт на компьютерно-читаемом носителе для создания сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема первого компонента изображения, приема второго компонента для создания трехмерного изображения в комбинации с первым компонентом изображения, приема текстового компонента для включения в трехмерное изображение, приема компонента данных, содержащего информацию о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, и для создания сигнала трехмерного изображения, содержащего первый компонент изображения и второй компонент, при этом создание сигнала трехмерного изображения содержит включение компонента данных в сигнал трехмерного изображения для обеспечения возможности дисплею регулировать трехмерные параметры трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Согласно седьмому аспекту настоящего изобретения предоставляется компьютерный программный продукт на компьютерно-читаемом носителе для визуализации сигнала трехмерного изображения для визуализации на дисплее, причем продукт содержит инструкции для приема сигнала трехмерного изображения, как определено выше, визуализации трехмерного изображения из первого компонента изображения и второго компонента, причем визуализация включает в себя регулировку трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента, чтобы рассматривать часть изображения, которая вмещает в себе текст, отлично от оставшейся части изображения.

Благодаря изобретению имеется возможность улучшить удобочитаемость текста, такого как субтитры на 3D дисплее. Улучшенная удобочитаемость основывается на том, что дополнительные параметры отправляются 3D дисплею таким образом, чтобы дисплей мог рассматривать часть изображения, которая вмещает в себе субтитры, иным образом относительно остальной части изображения. Дисплей тогда может обеспечивать, чтобы субтитры позиционировались автоматически наилучшим способом относительно глубины, резкости и общей удобочитаемости текста. Настоящее изобретение применимо к системам, таким как проигрыватель дисков технологии Blue-ray и DVD или HD-DVD проигрыватель, который соединяется с 3D дисплеем и который показывает 3D контент и связанные субтитры. Специалистам в данной области техники будет понятно, что сигнал изображения может дополнительно быть получен частично или полностью по цифровой сети, такой как Интернет или интранет.

Текст, особенно субтитры, должен быть отображен в пределах ограниченного диапазона глубины от экрана, и они не должны изменяться по глубине в течение всего представления. Если глубина текста должна оставаться постоянной, то это также создает проблему для позиционирования, поскольку глубина видео может изменяться и, следовательно, может перекрывать части текста в течение определенных сцен. Чтобы подвести итог, следующие факторы должны быть приняты во внимание при отображении субтитров или скрытых субтитров на 3D стереоскопическом дисплее: величина диспаратности должна быть меньшей, чем один градус, пропускная способность текста должна удерживаться выше двух циклов в символ, текст должен остаться на постоянной глубине относительно экрана, и текст не должен быть затемнен видеообъектами.

Эти условия могут быть удовлетворены улучшенной системой согласно изобретению. Управление величиной диспаратности может быть выполнено путем регулировки той части карты «глубины», которая относится к местоположению субтитров или скрытых субтитров. Некоторые дисплеи требуют входного стереосигнала, в таких случаях будет тяжелее управлять величиной диспаратности в проигрывателе, однако по-прежнему возможно.

Для удовлетворения ограничений по пропускной способности проигрыватель должен обеспечивать, чтобы разрешение текста являлось достаточно высоким, чтобы двоение изображения сохранялось минимальным и чтобы скорость движущегося текста не являлась слишком высокой. Чтобы соответствовать этим факторам, устройство воспроизведения должно отправлять субтитры или скрытые субтитры с разрешением, которое является достаточным для дисплея, и должно регулировать глубину таким образом, чтобы двоение изображения минимизировалось. Это обычно означает, что глубина текста должна поддерживаться нейтральной (как можно ближе к экрану). Это, однако, может вызвать проблему, поскольку части видео могут перекрывать части текста, так как глубина видео изменяется динамически. Это решается посредством динамической регулировки глубины текста, чтобы обеспечить, чтобы он оставался спереди. Однако это означает, что текст будет изменяться по глубине, что согласно Yano может вызвать зрительное утомление. Передавая информацию о местоположении текста и регулируя 3D параметры 3D изображения в местоположении текста, эти проблемы преодолеваются.

Хотя предпочтительно глубина текста должна быть фиксированной в течение длительных промежутков времени, изменения могут быть предусмотрены, например, чтобы достигнуть конкретных 3D эффектов.

Преимущественно этап создания сигнала трехмерного изображения содержит включение текстового компонента в первый компонент изображения. Текстовый компонент (например, субтитр) может включаться непосредственно в первый компонент изображения и не должен пересылаться как отдельный компонент. Принимающее устройство, которое собирается визуализировать 3D изображение, может все еще управлять параметрами 3D дисплея в области субтитра, даже если этот субтитр встраивается в первый компонент изображения сигнала.

Предпочтительно, этап создания сигнала трехмерного изображения содержит создание единственного кадра изображения, содержащего первый компонент изображения, второй компонент, текстовый компонент и компонент данных. Все компоненты в сигнале могут быть скомбинированы в единственный кадр изображения, при этом различные компоненты сигнала занимают различные части кадра изображения. Это является удобным способом комбинирования элементов, которые образуют сигнал, и может применяться, чтобы воспользоваться преимуществом существующих стандартов, таких как HDTV, которые поддерживают относительно высокое разрешение кадра. Компонент, такой как компонент данных, который определяет местоположение текстового компонента в пределах окончательного сигнала, может включаться в заголовок кадра изображения, а не в пределы фактических данных изображения кадра.

В идеале, этап создания сигнала трехмерного изображения содержит включение фоновой информации в каждый из первого компонента изображения и второго компонента. Качество конечного результата может быть улучшено, если выходной сигнал устройства визуализации также вмещает в себе фоновую информацию. Это позволяет позиционированию субтитров быть отрегулированным на основании данных в фоновой информации, чтобы размещать субтитры в части области 3D дисплея, которая имеет относительно низкий интерес.

Предпочтительно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение воспринятой глубины трехмерного изображения в местоположении визуализируемого текста. Устройство визуализации может регулировать воспринятую глубину 3D изображения в местоположении субтитров путем замещения требуемой глубины, например, как установлено в карте глубины. В конкретной зоне устройства отображения 3D, которая будет фактически вмещать в себе субтитры, тогда воспринимаемую глубину отображаемого контента можно снизить, чтобы ослабить любое напряжение на глазах зрителя.

Преимущественно этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит снижение числа представлений трехмерного изображения в местоположении визуализируемого текста. Путем снижения числа представлений, которые показываются устройством отображения 3D, двоение изображения или размытость текста может быть снижена. Кроме того, в двояковыпуклом дисплее с локально переключаемой конфигурацией линз линзы могут быть выключены в части дисплея, где располагаются субтитры. Это может давать в результате более четкое изображение, отображаемое в той части 3D изображения, которое вмещает в себе субтитры, с соответствующим уменьшением напряжения, приходящегося на глаза зрителя.

В идеале, этап регулировки трехмерных параметров трехмерного изображения в местоположении визуализируемого текстового компонента содержит поддержание диспаратности трехмерного изображения ниже предопределенного порога в местоположении визуализированного текста. Конкретный порог, такой как один градус, может быть установлен как предел по величине диспаратности, допустимой в области 3D изображения, которая вмещает в себе субтитры. Это поможет зрителю воспринимать субтитры без излишнего напряжения глаз, поскольку снижение диспаратности сделает просмотр более удобным для зрителя устройства 3D дисплея.

Краткое описание чертежей

Варианты осуществления настоящего изобретения будут теперь описаны лишь в качестве примера, со ссылкой на сопроводительные чертежи, на которых одинаковые ссылочные позиции используются для обозначения подобных элементов или функций:

Фиг.1 является схемой, иллюстрирующей создание 3D изображения,

Фиг.2 является схемой системы воспроизведения 3D,

Фиг.3 является схемой, показывающей контент и поток данных в системе воспроизведения 3D,

Фиг.4 является схемой устройства воспроизведения системы воспроизведения 3D,

Фиг.5 является схемой, показывающей использование плоскостей в создании выходного сигнала,

Фиг.6 является схемой сигнала 3D изображения,

Фиг.7 является схемой улучшенного сигнала 3D изображения,

Фиг.8 является схемой дополнительно улучшенного сигнала 3D изображения,

Фиг.9 является схемой, подобно Фигуре 4, второго варианта осуществления устройства воспроизведения, и

Фиг.10 является схемой текста, размещенного в 3D изображении.

Подробное описание

Создание трехмерного изображения поясняется схематично на Фигуре 1. По существу, независимо то того, является ли конечное визуализирующее устройство отображения автостереоскопическим или работает на стереопарах (требующих, чтобы пользователь надевал специальные очки), процесс является одинаковым. Первый компонент 10 изображения и второй компонент 12 предоставляются для создания трехмерного изображения 14. Второй компонент 12 в комбинации с первым компонентом 10 изображения обрабатывается вместе, чтобы создать окончательный выходной сигнал 14. Во всех системах первый компонент 10 изображения является обычным кадром двухмерного изображения любого подходящего стандарта. В системе стереопары второй компонент 12 является также изображением, и в автостереоскопических системах второй компонент 12 является картой глубины или картой диспаратности.

Важно понимать, что конечный выходной сигнал 14 необязательно является единственным кадром. Например, в системе стереопары (где изображение 10 предназначено для левого глаза, а изображение 12 предназначено для правого глаза) затем эти два компонента 10 и 12 могут быть показаны последовательно. В автостереоскопических системах без временной последовательности изображение 10 и карта 12 глубины используются для создания множества подобных представлений из изображения 10, при этом карта глубины используется для формирования изменений к изображению 10, необходимых для создания отдельных представлений. Эти представления затем объединяются в единственный кадр 14. Например, окончательным визуализирующим устройством отображения можно управлять, чтобы показывать представления четырех отдельных лиц, все сформированные из одного и того же изображения 10. Эти представления затем сращиваются вместе в полосы, каждая из которых имеет разрешение, которое представляет собой одну четвертую разрешения устройства отображения.

Первый компонент 10 изображения может содержать, например, двумерный массив пиксельных элементов/изображения, содержащий, например, RGB или YUV информацию, представляющую представление сцены, какая имела бы место для контента стереоскопического представления, контента множественного представления или контента изображение + глубина. Как упомянуто выше, второй компонент 12 может быть двумерным массивом пиксельных элементов/изображения. В случае контентов стереоскопического представления или контентов мультипредставления это может быть дополнительным представлением той же самой сцены, тогда как в случае контента изображение + глубина это могло быть так называемой картой диспаратности/глубины, содержащей информация о глубине или диспаратности. Выходной сигнал 14 изображения может содержать сигнал видеоизображения, например, используя множественные кадры, представляющие одну или более сцен по времени.

Фигура 2 иллюстрирует систему воспроизведения 3D, при этом предоставляется диск 16, который переносит первые и вторые компоненты 10 и 12 для 3D фильма, например. Диск 16 может быть DVD стандарта Blu-Ray, например. Диск 16 проигрывается устройством 18 воспроизведения, таким как проигрыватель Blu-Ray DVD. Видеоинтерфейс 20 используется, чтобы передавать компоненты 10 и 12 к 3D телевизору 22. Телевизор 22 включает в себя каскад 24 визуализации, который обрабатывает компоненты 10 и 12 в реальном времени, чтобы сформировать 3D выходной сигнал 14 (согласно Фигуре 1 обсужденный выше). Пользователь 26 в настоящий момент смотрит визуализирующее устройство 22 отображения и может подавать пользовательские параметры 28 настройки устройству 22 через подходящий пользовательский интерфейс и устройство дистанционного управления (не показаны).

В таких системах использование субтитров (или фактически любой текст, такой как меню) поддерживается устройством 18 воспроизведения. Например, является традиционным для диска 16 включать в себя субтитры, такие как субтитры на иностранном языке в пределах разделов данных информации, запомненных на диске 16. Они могут быть выбраны пользователем через экранное меню, до запуска воспроизведения фактического контента фильма на диске 16. Эти субтитры затем отображаются устройством 22 отображения, перекрывая визуализируемый 3D контент. Как обсуждалось выше, в оценке предшествующего уровня техники, во многих ситуациях, отображение субтитров в системе отображения 3D может вызывать чрезмерное напряжение зрения зрителя и усталость. Система настоящего изобретения предоставляет способ показа субтитров (или фактически любого текста) таким образом, что проблемы предшествующего уровня техники будут усовершенствованы.

Предоставленное решение состоит в том, чтобы позволить дисплею 22 идентифицировать текст (например, субтитры) во входящем потоке видеоданных и, следовательно, рассматривать текст другим образом от остальной части видеосигнала. Дисплей 22, например, мог бы обеспечивать, чтобы текст оставался перед видео, или сжать и оттянуть назад глубину видеосигнала, чтобы обеспечивать, чтобы текст не выступал (как описано в публикации международной заявки на патент WO 2008/038205). Дополнительно, дисплей 22 может предоставить раздел экрана, который специально предназначен для показа текста, либо являться переключаемым, имеющим различную конфигурацию линз (в случае двояковыпуклого дисплея), либо поддерживая меньше представлений, например. Поскольку удобочитаемость текста на 3D автостереоскопическом дисплее является проблемой, которая почти присуща технологии автостереоскопических дисплеев, существует ожидание дальнейших, в настоящее время непредвиденных улучшений дисплея, который мог бы извлечь пользу из возможности идентифицировать субтитры во входящем видеосигнале.

Один способ отправки текста для субтитров отдельно к дисплею заключается в передаче текста как информации о скрытых субтитрах, которая включается в строку 21 аналогового видео для NTSC, используемого в Европе (PAL) для Ceefax (служба телетекста Би-би-си) или Teletext (вещательная видеография). Однако информация о скрытых субтитрах в настоящий момент не поддерживается при передаче видео высокой четкости по HDMI. В настоящий момент, чтобы решить это, устройства воспроизведения, такие как проигрыватели дисков DVD или Blue-ray, декодируют информацию о скрытых субтитрах, расположенную в потоке MPEG, и накладывают это поверх видео прежде, чем передать дисплею. Таким образом, использование этого решения потребовало бы расширения спецификации HDMI, чтобы включить в себя передачу информации о скрытых субтитрах. Специалистам в данной области техники будет понятно, что вышеупомянутое может также применяется к другим интерфейсам цифровых дисплеев.

Другое решение состоит в том, чтобы предоставить двунаправленную линию связи между устройством 18 воспроизведения и дисплеем 22 таким образом, чтобы, когда пользователь регулирует параметры глубины на дисплее 22, устройству 18 воспроизведения сообщалось об этом изменении. В результате устройство 18 воспроизведения может регулировать позиционирование субтитров. Предпочтительный вариант осуществления заключается в разрешении устройству 18 воспроизведения обрабатывать позиционирование и наложение субтитров на видео и указывать дисплею 22, что субтитры присутствуют и где субтитры располагаются. Дисплей 22 может затем удостовериться, что значение «глубины», связанное с субтитрами, отображается на глубину, которая является самой оптимальной для этого конкретного дисплея 22 и связанных пользовательских параметров 28 настройки. Это имеет дополнительное преимущество в том, что дисплей 22 не требует декодера субтитров или скрытых субтитров в каскаде визуализации.

В одном варианте осуществления достигается улучшение системы, посредством чего устройство 18 воспроизведения, как показано на Фигуре 2, регулирует позиционирование субтитров, таким образом, чтобы текст находился перед видео, сохраняя в то же время величину диспаратности ниже одного градуса. Предпочтительно, устройство 18 воспроизведения вставляет в информацию метаданных выходного потока, которая идентифицирует для дисплея 22, где и вообще располагаются ли субтитры относительно x, y и z («глубина») положения в объеме проекции дисплея. В этом случае каскад 24 визуализации в устройстве 22 отображения регулирует позиционирование субтитров в объеме проекции дисплея, зависящего от вышеупомянутой информации о метаданных и от предпочтенных пользователем параметров 28 настройки (относительно величины диспаратности и относительного положения), поддерживая при этом позиционирование таким образом, чтобы двоение изображения сохранялось минимальным и величина диспаратности оставалась ниже одного градуса. Дополнительно, дисплей 22, если так оборудован, позиционирует субтитры на специальную часть поверхности отображения, которая переключается между 2D и 3D или которая поддерживает меньше двоения изображения и более высокую оптическую разрешающую способность (например, путем поддерживания меньшего числа представлений, или ограниченную величину диспаратности).

В одном варианте осуществления текстовый компонент 30 является по существу плоским, и/или когда диапазон глубины увязывается с текстом 30, то этот диапазон глубины ограничивается порогом таким образом, чтобы диспаратность между соответствующими представлениями ограничивалась конкретным диапазоном, который может быть предопределенным диапазоном, таким как, например, от одного до двух пикселей. В предпочтительном варианте осуществления, в котором текстовый компонент 30 является по существу плоским, текстовый компонент представляет собой основанный на тексте текстовый компонент, а не основанный на битовой карте текстовый компонент; таким образом, обеспечивая возможность чрезвычайно компактного представления текстового компонента 30.

Контент и поток данных в системе Фигуры 2 иллюстрируются на Фигуре 3. Диск 16 вмещает в себе первый компонент 10 изображения и второй компонент 12, плюс текстовый компонент 30, являющийся субтитрами. Пользовательская команда 32 принимается устройством 18 воспроизведения, которая указывает, что пользователь желает получить субтитры 30, отображаемые вместе с 3D фильмом, который он намеревается посмотреть. Устройство 18 воспроизведения предоставляет компоненты 10 и 12 с субтитрами 30 и компонентом 34 данных, который содержит информацию о местоположении, описывающую местоположение текстового компонента 30 в пределах окончательного 3D изображения 14, к блоку 24 визуализации. Устройство воспроизведения включает в себя приемник для приема различных компонентов от их соответствующих источников и мультиплексор для комбинирования этих четырех элементов 10, 12, 30 и 34 в сигнал 36 трехмерного изображения, который принимается блоком 24 визуализации.

Информация 34 о субтитрах может быть отправлена блоку 24 визуализации отдельной от данных 10 и 12 изображения, то есть, возможно, не в активной области изображения, а в заголовке, или в островках данных, или в части кадра, которая не вмещает в себе данные изображения. Например, может случиться так, что видеопоток отправляется с удвоенной нормальной частотой кадра, где один кадр вмещает в себе данные 10 и 12 изображения, и другой кадр вмещает в себе информацию глубины (необязательно также включающую в себя устранение перекрывания) и также вмещает в себе специальную область для субтитров 30 и информацию 34 о положении.

Блок 24 визуализации далее выполнен для визуализации трехмерного изображения 14 из первого компонента 10 изображения и второго компонента 12, причем визуализация (включающая в себя визуализацию текстового компонента 30 на трехмерном изображении 14) текстового компонента 30 включает в себя регулировку одного или более трехмерных параметров трехмерного изображения 14 в местоположении визуализированного текстового компонента 30. Сам текстовый компонент 30 может быть полностью неизменным регулировками, выполненными блоком 24 визуализации. Важным фактором является то, что блок визуализации будет регулировать параметры частей изображения 14, которые в настоящий момент отображаются в местоположении текста 30. Это может содержать снижение воспринятой глубины 3D изображения в этой области изображения 14 или может содержать снижение числа представлений (в автостереоскопическом устройстве отображения) или комбинацию двух или более регулировок. Также возможно для блока 24 визуализации включать в себя не только изменение глубины области, где субтитры 30 должны быть отображены, но также включать в себя смещение, чтобы переместить весь диапазон глубины вперед или назад. Этим смещением можно управлять отдельно для субтитров 30 от остальной части данных 14 изображения.

В варианте осуществления, использующем автостереоскопический дисплей, второй компонент 12 содержит карту глубины, и способ визуализации 3D изображения 14 может дополнительно содержать масштабирование второго компонента 12 перед визуализацией трехмерного изображения 14, чтобы обеспечить возможность размещения текстового компонента 30 в местоположении, как задано компонентом 34 данных. В этом случае блок визуализации может дополнительно принять компонент блока рекомендаций, содержащий рекомендуемое масштабирование второго компонента 12, таким образом, чтобы информация о местоположении могла остаться одинаковой для множества последовательных изображений. В результате использования этого компонента блока рекомендаций становится возможным максимизировать глубину сцены, когда субтитры/графика выключаются и когда субтитры/графика включаются, чтобы использовать предопределенный компонент масштабирования, настроенный для сигнала изображения, для визуализации контента, включающего в себя субтитры/графику.

Пример устройства 18 воспроизведения показан на Фигуре 4, который представляет собой декодер 18 Диска Blu-ray, показывающий декодирование и использование плоскостей представления. ROM привод 38 принимает диск 16 и считывает контент, который демодулируется и декодируется компонентом 40. Набор параллельно включенных буферов 42 запоминают различные компоненты декодируемого сигнала, и они пропускаются через набор параллельно включенных декодеров 44, чтобы предоставить отображаемый дисплеем 22 выходной сигнал, являющийся стандартным видео 46 и наложенным контентом 48 (представляющий собой субтитры и меню и так далее).

В системе Blu-Ray субтитры диска могут быть на основе битовой карты либо основаны на тексте и сопутствующих шрифтах, и дополнительно проигрыватель 18 предоставляет поддержку для информации о скрытых субтитрах. Технически, обе системы несколько подобны, хотя скрытые субтитры часто предоставляют больше информации и предоставляются специально для людей с ослабленным слухом. Как субтитры на основе текста, а также и на основе битовой карты и скрытые субтитры декодируются и представляются на одной из плоскостей представления на диске Blu-ray. Фигура 4 показывает декодер 18 и плоскости, показывая пример текста, скомбинированного с видео. Текст всегда представляется на плоскости графического представления (PG); эта плоскость накладывается в устройстве 18 воспроизведения на видео (плоскости) и представляется как одно комбинированное представление на выходе. Фигура 5 показывает пример комбинированного представления 50. Этот выходной сигнал 50 создается из основной плоскости 52 фильма, плоскости 54 представления и интерактивной плоскости 56. Выходной сигнал 50, как показано на Фигуре 5, отправляется дисплею 22 по видеоинтерфейсу 20 (как показано на Фигуре 2). В предпочтительном варианте осуществления устройство 18 воспроизведения способно к отправке дополнительной информации дисплею 22, который вмещает в себе 3D данные 34, в дополнение к выходному сигналу 50. Это обеспечивает возможность 3D дисплею 22 показывать 3D представление комбинированного видео, текста и графического вывода устройства 18 воспроизведения.

Фигура 6 показывает пример такого комбинированного выходного сигнала для отправки 3D дисплею 22. Используемая 3D система является примером выходного сигнала глубины и изображения. Первый компонент 10 изображения и второй компонент 12 (являющийся картой глубины) будут скомбинированы для создания 3D изображения устройством 22 отображения. Текстовый компонент 30 включается в пределы первого компонента 10, и фактически весь контент (три компонента 10, 12 и 30) может быть создан как единственный кадр высокой четкости.

Фигура 7 показывает добавление заголовка, указывающего местоположение субтитров 30. Заголовок содержит компонент 34 данных, который содержит информацию 58 о местоположении, описывающую местоположение текстового компонента в пределах трехмерного изображения, показанную здесь как x и y координаты, хотя z компонент будет также присутствовать на основании контента карты 12 глубины. Заголовок позволяет окончательному устройству визуализации выполнять регулировки для выходного сигнала 3D, чтобы учесть присутствие субтитров 30.

Дополнительные параметры, которые передаются, могут вмещаться в заголовке над данными изображения, как описано в «3D interface Specifications - white paper» (Спецификации 3D интерфейса - официальное техническое описание»), 3D решения Philips, http://www.business-sites.philips.com/assets/Downloadablefile/Philips-3D-Interface-White-Paper-i 3725.pdf, в соответствии с публикацией международной заявки на патент WO 2006/137000 A1, или, например, в спецификации стандарта HDMI. Эти параметры состоят из индикации относительно того, присутствуют ли субтитры и их местоположение во входном видеосигнале, как показано на Фигуре 7. Устройство 22 отображения может тогда обеспечивать, чтобы диспаратность части изображения, расположенной в этом положении, не переходила границы одного градуса и оставалась постоянной, даже если пользователь посредством входной команды увеличивает величину диспаратности, показанную устройством 22 отображения.

Качество конечного результата может быть улучшено, если выходной сигнал проигрывателя 18 также вмещает в себе информацию о перекрывании или фоновую информацию. Это показывается на Фигуре 8. Чтобы избежать артефактов, субтитры 30 должны быть расположены вне самой активной части изображения, например вверху или внизу. Фигура 8 показывает формат вывода изображения, глубины и фона. Фоновые компоненты 60 и 62 предоставляются для первого компонента 10 изображения и второго компонента 12 соответственно.

Местоположение субтитров 30 в пределах конечного изображения 14 может включать в себя ссылку на местоположение Z субтитров. Например, возможно расширить модель декодера текстовых субтитров диска Blu-ray и связанную информацию составления (в частности, набор стилей диалогового окна, раздел 9.15.4.2.2) с положением Z таким образом, чтобы автор исходного контента мог указывать, где в пространстве проекции в направлении по оси Z 3D дисплея субтитры должны позиционироваться. В стандарте диска Blu-ray задается декодер текстовых субтитров и связанный поток. Декодер текстовых субтитров задается в разделе 8.9 и состоит из различных элементов обработки и буферов. Фигура 9 показывает упрощенную картину модели декодера, расширенной для обработки 3D изображений с связанным текстовым компонентом, таким как субтитр 30.

Фигура 9 показывает модель декодера текстовых субтитров 3D. Слева направо сегменты текстовых субтитров входят в декодер 18, где они обрабатываются и декодируются процессором 64 текстового потока. Декодируемые текстовые данные размещаются в диалоговом буфере 66, пока информация о составлении декодируемых текстовых субтитров размещается в буфер 72 составления. Контроллер 74 интерпретирует информацию составления и применяет ее к тексту после того, как он был визуализирован блоком 68 визуализации текста (при помощи файла 80 шрифта), и помещает результат в буферы 70 битовой карты. На конечном этапе растровые изображения составляются проигрывателем 18 на соответствующие графические плоскости. Пользовательский ввод 78 данных также принимается контроллером 78, который может влиять, например, на параметры глубины отображения.

В дополнение к текстовым субтитрам диск Blu-ray (BD) также поддерживает субтитры на основе растровых изображений, так называемое графическое представление (PG). Аналогично, положение Z PG-субтитров должно быть задано на диске, предпочтительно возле информации положения уже определенных X, Y. Поскольку последние запомнены в структуре composition_object()(составление_объект ()), логично расширить это с помощью Z-положения субтитров, например, путем использования зарезервированных битов, запускающихся при сдвинутом бите 26. Термин «текстовый компонент», использующийся по всей настоящей заявке, используется как относящийся к основанным на тексте субтитрам и/или таким растровым изображениям.

Декодер 18 был расширен с помощью дополнительного буфера 76 битовой карты, который хранит карту глубины или диспаратности, которая указывает, где в направлении по оси Z текстовый субтитр 30 должен быть расположен. Информация о глубине или диспаратности может вмещаться в наборе стилей диалогового окна, как определено в спецификации Blu-Ray. Один способ для достижения этого предназначен для набора стилей диалогового окна, который подлежит расширению с помощью region_depth_position (область_глубина_положение). region_depth_position является 8 битовым полем со значениями между 0 и 255, но в будущем это может быть увеличено. Контроллер 74 определяет правильные значения пикселей карты глубины или диспаратности на основании значения поля region_depth_position. Преобразование этого значения к значению цвета для карты глубины или диспаратности зависит от метаданных 3D, которые переносят в поле 3D_metadata в списке воспроизведения или которые переносятся в таблице карты программ MPEG 2 (ISO/IEC 13818 - 1). Синтаксис этой информации определяется MPEG в ISO/IEC 23002-3.

Положение Z субтитров 30 затем предоставляется в блок 24 визуализации, который может принять во внимание положение Z субтитров 30 при визуализации 3D изображения 14, для отображения устройством 22 отображения 3D. Фигура 10 показывает пример 3D пространства с позиционированием глубины с помощью поля region_depth_position. Изображение 14 включает в себя субтитр 30, который размещается в плоскости 82. Плоскость 82 указывает положение в пространстве в нулевой глубине, другие линии указывают три направления x, y и z в 3D пространстве.

В дополнение к включенной области глубины для указания области в пространстве, где субтитры должны быть помещены, также возможно проходить еще дальше путем добавления отдельной глубины для самого текста 30 и определять область не как плоскость, а как куб в пространстве. Это могло быть выполнено, например, путем расширения полей положения области в наборе стилей диалогового окна с положением region_depth (область_глубина) и region_depth_length (область_глубина_длина). То же самое может быть сделано для положений текстового окна, которые указывают точное местоположение текста внутри области.

Файл 80 шрифта может использоваться, чтобы включать в себя стиль рельефного шрифта, поскольку было показано, что это улучшает удобочитаемость получающегося текста в 3D. Стили шрифта описываются в Таблице 9-75 спецификации Blu-Ray, альтернативно по этой причине используется и поле толщины контура шрифта, которое является таблицей 9-76 спецификации Blu-Ray. Обе этих таблицы зарезервировали поля в конце, которые могут использоваться с этой целью. Стиль рельефного шрифта был бы значением 0x08 в таблице 9-75 и для толщины контура рельефного шрифта это будет значением 0x04 в таблице 9-76.

Преимущественно, Z-местоположение для субтитров как на основе текста, так и на основе PG является одинаковым и лишь должно быть запомнено один раз в поток (то есть на языке субтитра). Для специалиста в данной области техники является очевидным, что существует много альтернативных местоположений на диске BD для запоминания этого совместно используемого Z-местоположения субтитров. Примеры таких альтернативных местоположений описываются ниже.

Интернет-ресурс http://www.bluraydisc.com/Assets/Downloadablcfilc/2b_bdrom_audiovisualapplication_0305-12955-l5269.pdf, настоящим заключенный посредством ссылки, вмещает в себе дополнительную фоновую информацию о формате BD и структурах в формате, упоминаемом ниже.

Совместно используемое Z-местоположение субтитров, например, могло быть запомнено в новой таблице, определенной как данные расширения PlayList (список воспроизведения). PlayList в спецификации BD представляет собой список, который указывает последовательность аудиовизуальных элементов контента, которые вместе формируют представление заглавия, такого как Фильм. Эта структура PlayList предоставляет механизм для будущих расширений с помощью ее данных расширения. «Z» местоположение плоскости субтитров (PG-плоскость) для различных языковых потоков может быть включено там в новой таблице, названной таблицей offset_metadata (смещение_метаданные). Таблица 1 показывает подробные данные этой таблицы.

Кроме того, в случае, когда PlayList вмещает в себе Playltems (элементы воспроизведения), которые позволяют воспроизведение данных стереоскопического многоуглового видео, тогда «Z» местоположение для наложения графики, такой как субтитры, может отличаться для каждого фрагмента стереоскопического многоуглового видео. Поэтому offset_metadata должно также допускать различные «Z» местоположения для каждого фрагмента стереоскопического многоуглового видео, на который ссылаются в Playltem. В таком случае таблица offset_mctadata вмещает в себе различные «Z» местоположения для наложения субтитров для каждого фрагмента стереоскопического многоуглового видео. На эти различные «Z» местоположения можно тогда делать ссылки с помощью идентификатора для каждого фрагмента стереоскопического многоуглового видео, который требует различного «Z» местоположения для наложения субтитров. Таблица 2 показывает пример того, каким образом таблица 1 может быть расширена, чтобы поддерживать различные «Z» местоположения для различных фрагментов стереоскопического многоуглового видео. Ссылки StreamID (идентификатор потока) и AngleID (идентификатор угла) в таблице 1 и 2 служат уникальными идентификаторами соответственно элементарного потока на диске (вмещающего в себе контент субтитра) и фрагмента (много) углового стереоскопического видео.

Вместо использования данных расширения также возможно задавать новую структуру таблицы PlayList, в частности, для воспроизведения 3D потоков и включать параметры «Z» местоположения туда. Проблемы воспроизведения на существующих проигрывателях можно избежать путем предоставления новой таблицы индексов (список выбираемых пользователем заглавий) на диске или при помощи данных расширения таблицы индексов, которая перечисляет заглавия, проигрываемые только проигрывателем с возможностями 3D.

Альтернативно, если информация должна быть предоставлена в существующей таблице в PlayList, тогда она может быть включена в STN_Table_SS(). Это представляет собой таблицу, которая перечисляет видео и графические потоки, связанные с Playltem. На каждый Playltem она вмещает в себе цикл с информацией (атрибуты) кодирования потока для каждого потока текстовых и на основе битовой карты субтитров. Авторы настоящей заявки предлагают включать информацию о «Z» местоположении в тот же самый цикл, что и информация атрибутов потока.

Проблемой при использовании PlayList, чтобы запоминать «Z» параметры для каждого потока субтитров, является дублирование данных. Множество PlayList могут сослаться на те же самые потоки субтитров. Это ограничение может быть преодолено путем включения метаданных «Z» местоположения в файл информации о фрагменте. Файл информации о фрагменте перечисляет метаданные, связанные с транспортным потоком MPEG, который вмещает в себе A/V контент и потоки субтитров. Файл информации о фрагменте может быть расширен с помощью таблицы, подобной тому, что предлагается для данных расширения PlayList. Однако, поскольку файл информации о фрагменте увязывается с транспортным потоком MPEG, он перечисляет элементарные потоки субтитров пакетным идентификатором (PID). Таким образом, авторы настоящего изобретения предлагают, чтобы метаданные «Z» местоположения предоставлялись для каждого PID перечисления, которое указывает PID потока субтитров.

В качестве альтернативы, вместо определения новой таблицы в данных расширения, «Z» местоположение запоминается в таблице ProgramInfo (информация о программе) в файле информации о фрагменте. Таблица ProgramInfo предоставляет список элементарных потоков, которые вместе формируют представление A/V контента. Она вмещает в себе подобную информацию, как таблица PMT, определенная в системах MPEG ISO/IEC 13818-1. Авторы изобретения предлагают для каждого элементарного потока, который вмещает в себе информацию о субтитрах, предоставить метаданные «Z» местоположения. Метаданные могут быть включены в саму ProgramInfo или в подтаблицу таблицы ProgramInfo, таблицы StreamCodingInfo (информация о кодировании потока). Они предоставляют подробную информацию относительно кодирования и языковых кодов для потока субтитров, существующих в транспортном потоке. Таблица StreamCodingInfo также имеет некоторые зарезервированные поля, авторы предлагают использовать эти зарезервированные поля, чтобы переносить параметры «Z» положения, связанные с потоком субтитра для конкретного языкового кода.

Если требуется, чтобы «Z» местоположение изменялось каждые несколько секунд, тогда должна использоваться таблица CPI() в файле информации о фрагменте. Информация CPI представляет собой таблицу, которая перечисляет точки входа в видеопотоки для проигрывания спецэффектов. Перечисления точек входа могут быть расширены с помощью параметра «Z» местоположения, который указывает на каждую точку входа местоположения по «глубине» того, где наложить какую-либо графику, такую как субтитры.

Альтернативно, если информация о «Z» местоположении является покадровой, тогда она должна включаться в SEI сообщения зависимого видеопотока. SEI (сообщения подписи) являются пакетами, встроенными в элементарный поток MPEG, которые переносят параметры, которые могут использоваться декодером, чтобы помочь в декодировании контента. MPEG также позволяет встраивать сообщения SEI частных пользовательских данных; они будут игнорироваться стандартными декодерами, но могут использоваться модифицированным декодером. Сообщение SEI пользовательских данных может определяться, чтобы переносить «Z» местоположение любого наложения, которое должно быть наложено поверх видео, такого как субтитры. Для предоставления информации о «Z» на каждый (языковой) поток авторы данной заявки предлагают пронумеровывать значения «Z» для всех потоков субтитров, предоставленных на диске.

Таблица 1, пример таблицы для запоминания метаданных смещения.

Для специалиста в данной области техники будет очевидным, что этапы обработки, такие как визуализация 3D изображений, или этапы мультиплексирования могут быть реализованы на большом разнообразии платформ обработки. Эти платформы обработки могут систематизироваться из выделенных схем и/или полупроводниковых устройств, программируемых логических устройств, процессоров цифровой обработки сигналов или даже процессоров общего назначения. Аналогично комбинированные реализации программного и аппаратного обеспечения могут также использоваться с выгодой.

Несмотря на то что изобретение было проиллюстрировано и описано подробно на чертежах и предшествующем описании, такие иллюстрация и описание должны рассматриваться иллюстративными или примерными, а не ограничивающими; изобретение не ограничивается раскрытыми вариантами осуществления.

Таблица 2, пример таблицы для запоминания метаданных смещения, расширенной с помощью метаданных различного «Z» местоположения субтитра по каждому сегменту стереоскопического многоуглового видео.

Другие вариации к раскрытым вариантам осуществления могут быть понятны и выполнены специалистами в данной области техники при осуществлении заявленного изобретения в результате изучения чертежей, раскрытия и приложенной формулы изобретения. В пунктах формулы изобретения слово «содержащий» не исключает другие элементы или этапы, и неопределенный артикль «a» или «an» не исключает множество. Единственный процессор или другой блок может выполнять функции нескольких элементов, перечисленных в пунктах формулы изобретения. Сам факт того, что определенные показатели перечисляются во взаимно различных зависимых пунктах формулы изобретения, не указывает того, что комбинация их измерений не может использоваться с выгодой. Компьютерная программа может быть запомнена/распределена на подходящем носителе, таком как оптический носитель или твердотельный носитель, предоставляемом вместе с или как часть других аппаратных средств, но может также быть распределена в других формах, такой как через Интернет или другие проводные или беспроводные системы связи. Любые ссылочные позиции в пунктах формулы изобретения не должны толковаться как ограничивающие объем изобретения.