способ и устройство для воспроизведения видеоизображений с измененной скоростью
Классы МПК: | H04N13/04 устройства, воспроизводящие изображение G06T15/00 Передача трехмерного (3D) изображения, например от модели к побитовому изображению |
Автор(ы): | ЧУНГ Хиун-Квон (KR), БАК Бонг-Гил (KR) |
Патентообладатель(и): | САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД. (KR) |
Приоритеты: |
подача заявки:
2010-09-01 публикация патента:
10.06.2014 |
Изобретение относится к способу и устройству для воспроизведения видеоизображений с измененной скоростью. Техническим результатом является воспроизведение видеоизображения, которое воспроизводится в трехмерном (3D) виде, на увеличенной скорости посредством регулирования кубического эффекта видеоизображения. Указанный технический результат достигается тем, что способ содержит воспроизведение видеоизображения в 3D, прием запроса воспроизвести видеоизображение на скорости проигрывания Nx (N - натуральное число, равное или больше 2), и воспроизведение видеоизображения на скорости проигрывания Nx в ответ на запрос. Воспроизведение видеоизображения на скорости проигрывания Nx включает в себя воспроизведение видеоизображения на скорости проигрывания Nx в двухмерном (2D) виде. 3 н. и 16 з.п. ф-лы, 6 ил.
Формула изобретения
1. Способ обработки видео данных, содержащий этапы, на которых:
обрабатывают данные изображения для левого глаза и данные изображения для правого глаза из видео данных для получения трехмерного (3D) эффекта;
принимают запрос на воспроизведение видео данных на скорости проигрывания NX, где N - натуральное число, равное или больше 2; и
в ответ на принятый запрос воспроизводят одни из данных изображения для левого глаза и данных изображения для правого глаза без воспроизведения других одних из данных изображения для левого глаза и данных изображения для правого глаза.
2. Способ по п. 1, в котором этап воспроизведения одних из данных изображения для левого глаза и данных изображения для правого глаза содержит этап, на котором воспроизводят одни из данных изображения для левого глаза и данных изображения для правого глаза без воспроизведения других одних из данных изображения для левого глаза и данных изображения для правого глаза на скорости проигрывания NX в 2D виде, в ответ на превышение числом N опорного значения скорости проигрывания.
3. Способ по п. 2, причем способ дополнительно содержит этап, на котором воспроизводят видео данные на скорости проигрывания NX в 3D виде в ответ на непревышение числом N опорного значения скорости проигрывания.
4. Способ по п. 2, в котором видеопоток и дополнительная информация о видеопотоке хранятся на диске, и дополнительная информация включает в себя опорное значение скорости проигрывания.
5. Способ по п. 4, в котором дополнительная информация включена в таблицу потоков (STN), сохраненную на диске.
6. Способ по п. 2, дополнительно содержащий этап, на котором извлекают опорное значение скорости проигрывания из устройства воспроизведения, выполненного с возможностью выполнять способ обработки видео данных.
7. Способ по п. 6, дополнительно содержащий этапы, на которых: принимают опорное значение скорости проигрывания, установленное пользователем; и сохраняют опорное значение скорости проигрывания в устройстве воспроизведения.
8. Способ по п. 2, в котором этап воспроизведения одних из данных изображения для левого глаза и данных изображения для правого глаза содержит этапы, на которых: декодируют видеопоток для формирования данных изображения для левого глаза и данных изображения для правого глаза; и выводят данные изображения для левого глаза или данные изображения для правого глаза.
9. Способ по п. 2, в котором этап воспроизведения одних из данных изображения для левого глаза и данных изображения для правого глаза содержит этапы, на которых: декодируют видеопоток для формирования данных изображения для левого глаза или данных изображения для правого глаза; и выводят сформированные данные изображения.
10. Устройство для обработки видео данных, содержащее: пользовательский интерфейс, сконфигурированный с возможностью приема запроса на воспроизведение видео данных на скорости проигрывания NX, где N - натуральное число, равное или больше 2; и
блок обработки сигналов, сконфигурированный с возможностью обработки данных изображения для левого глаза и данных изображения для правого глаза из видео данных для получения трехмерного (3D) эффекта, и в ответ на принятый запрос, воспроизведения одних из данных изображения для левого глаза и данных изображения для правого глаза без воспроизведения других одних из данных изображения для левого глаза и данных изображения для правого глаза.
11. Устройство по п. 10, в котором в ответ на превышение числом N опорного значения скорости проигрывания блок обработки сигналов воспроизводит одни из данных изображения для левого глаза и данных изображения для правого глаза без воспроизведения других одних из данных изображения для левого глаза и данных изображения для правого глаза на скорости проигрывания NX.
12. Устройство по п. 11, в котором в ответ на непревышение числом N опорного значения скорости проигрывания блок обработки сигналов воспроизводит видео данные на скорости проигрывания NX в 3D виде.
13. Устройство по п. 11, в котором видеопоток и дополнительная информация о видеопотоке хранятся на диске, и дополнительная информация включает в себя опорное значение скорости проигрывания.
14. Устройство по п. 13, в котором дополнительная информация включена в таблицу потоков (STN), сохраненную на диске.
15. Устройство по п. 11, в котором опорное значение скорости проигрывания сохранено в блоке обработки сигналов.
16. Устройство по п. 15, в котором пользовательский интерфейс принимает от пользователя опорное значение скорости проигрывания, установленное пользователем, и причем блок обработки сигналов хранит опорное значение скорости проигрывания.
17. Устройство по п. 11, в котором блок обработки сигналов содержит: блок декодирования, выполненный с возможностью декодировать видеопоток, чтобы сформировать данные изображения для левого глаза и данные изображения для правого глаза; и блок вывода, выполненный с возможностью выводить данные изображения для левого глаза или данные изображения для правого глаза.
18. Устройство по п. 11, в котором блок обработки сигналов содержит: блок декодирования, выполненный с возможностью декодировать видеопоток, чтобы сформировать данные изображения для левого глаза или данные изображения для правого глаза; и блок вывода, выполненный с возможностью выводить сформированные данные изображения.
19. Машиночитаемый носитель, имеющий воплощенную на нем программу для исполнения способа обработки видео данных, при этом способ содержит этапы, на которых:
обрабатывают данные изображения для левого глаза и данные изображения для правого глаза из видео данных для получения трехмерного (3D) эффекта;
принимают запрос на воспроизведение видео данных на скорости проигрывания NX, где N - натуральное число, равное или больше 2; и
в ответ на принятый запрос воспроизводят одни из данных изображения для левого глаза и данных изображения для правого глаза без воспроизведения других одних из данных изображения для левого глаза и данных изображения для правого глаза.
Описание изобретения к патенту
Область техники
Последующее описание имеет отношение к способу и устройству для воспроизведения видеоизображений с измененной скоростью.
Уровень техники
Была разработана технология для воспроизведения трехмерных (3D) видеоизображений.
Когда человек смотрит на экран, изображение, спроецированное на экране, формируется в каждом глазу человека. Поскольку глаза человека разнесены в горизонтальном направлении на предопределенное расстояние друг от друга, двухмерные (2D) изображения, видимые левым глазом и правым глазом, отличаются друг от друга. Расстояние между двумя точками изображений, сформированных в глазах, называется параллаксом.
Человеческий мозг комбинирует два двухмерных изображения, которые представляют собой изображение для левого глаза и изображение для правого глаза, чтобы сформировать трехмерное изображение, которое выглядит реалистичным.
Размер бинокулярного расхождения затрагивает уровень кубического эффекта объекта в трехмерном изображении, который ощущается пользователем.
Фиг. 1A и 1B иллюстрируют различие в кубическом эффекте между объектами, имеющими разные бинокулярные расхождения, ощущаемые пользователем. Глубина Depth кубического эффекта, ощущаемого пользователем на фиг. 1A и фиг. 1B, может быть выражена уравнением 1:
Depth=deye2TV*dobj2obj/(dobj2obj+deye2eye), (1)
где deye2TV относится к расстоянию между пользователем и экраном устройства отображения, dobj2obj относится к горизонтальному расстоянию между объектами в изображении для левого глаза и в изображении для правого глаза, и deye2eye относится к расстоянию между левым глазом и правым глазом пользователя.
Когда размеры объектов одинаковы, как показано на фиг. 1A и 1B, и отношение между бинокулярными расхождениями на фиг. 1A и 1B соответствуют 1:2, отношение между расстояниями dobj2obj на фиг. 1A и 1B соответствует 1:2.
Как показано в уравнении 1, глубина Depth кубического эффекта, ощущаемого пользователем, может быть пропорциональна значению, полученному посредством умножения расстояния deye2TV между телевизором и глазами на расстояние dobj2obj в направлении оси X между объектами в изображении для левого глаза и в изображении для правого глаза, отображенных на устройстве отображения, и глубина Depth кубического эффекта обратно пропорциональна значению, полученному посредством суммирования расстояния deye2eye и расстояния dobj2obj.
Когда расстояние deye2eye между левым и правым глазами и расстояние deye2TV между пользователем и устройством отображения фиксированы, бинокулярное расхождение каждого объекта определяет уровень кубического эффекта, ощущаемого пользователем.
В предположении, что расстояние dobj2obj на фиг. 1A равно 1, расстояние dobj2obj на фиг. 1B равно 2, и расстояние deye2eye равно 1, бинокулярное расхождение, ощущаемое пользователем на фиг. 1A, соответствует 0.5*deye2TV, и бинокулярное расхождение, ощущаемое пользователем на фиг. 1B, соответствует 0.67* deye2TV.
Когда пользователь запрашивает воспроизведение видеоизображения на увеличенной скорости, кадры, имеющие разное восприятие глубины, воспроизводятся на скоростях проигрывания, отличающихся от нормальной скорости. Другими словами, кадры имеют разные бинокулярные расхождения. В этом случае, поскольку изменение кубического эффекта между кадрами выше, чем изменение кубического эффекта, когда видеоизображение воспроизводится на нормальной скорости, пользователь может чувствовать головокружение при фокусировании на объектах.
Сущность изобретения
Техническое решение
Настоящее изобретение предоставляет способ и устройство для воспроизведения видеоизображения, которое воспроизводится в трехмерном (3D) виде, на увеличенной скорости посредством регулирования кубического эффекта видеоизображения.
Положительные эффекты
Видеоизображение, которое воспроизводится в 3D виде, может быть воспроизведено на скорости проигрывания в двухмерном (2D) виде.
Описание чертежей
Фиг. 1A и 1B - изображения, иллюстрирующие различие кубического эффекта, ощущаемого пользователем между объектами, имеющими разные бинокулярные расхождения.
Фиг. 2 - схема, иллюстрирующая пример устройства для воспроизведения видеоизображения.
Фиг. 3 - схема, иллюстрирующая пример устройства для воспроизведения видеоизображения.
Фиг. 4 иллюстрирует пример части синтаксиса таблицы потоков (STN), в которую включено опорное значение скорости проигрывания.
Фиг. 5A-5C - графики, иллюстрирующие пример изменения кубического эффекта воспроизводимого видеоизображения.
Фиг. 6 - блок-схема последовательности операций, иллюстрирующая пример способа воспроизведения видеоизображения.
Предпочтительный вариант осуществления
В соответствии с аспектом изобретения обеспечен способ воспроизведения видеоизображения. Способ включает в себя воспроизведение видеоизображения в трехмерном (3D) виде, прием запроса на воспроизведение видеоизображения на скорости проигрывания Nx (N - натуральное число, равное или больше 2) и воспроизведение видеоизображение на скорости проигрывания Nx в ответ на запрос. Воспроизведение видеоизображения на скорости проигрывания Nx включает в себя воспроизведение видеоизображения на скорости проигрывания Nx в двухмерном (2D) виде.
Воспроизведение видеоизображения на скорости проигрывания Nx может включать в себя воспроизведение видеоизображения на скорости проигрывания Nx в 2D виде в ответ на превышение числом N опорного значения скорости проигрывания.
В ответ на непревышение числом N опорного значения скорости проигрывания способ может включать в себя воспроизведение видеоизображения на скорости проигрывания Nx в 3D виде.
Видеопоток и дополнительная информация о видеопотоке могут быть сохранены на диске, и дополнительная информация может включать в себя опорное значение скорости проигрывания.
Дополнительная информация может быть включена в таблицу потоков (STN), сохраненную на диске.
Способ может включать в себя извлечение опорного значения скорости проигрывания из устройства воспроизведения, выполненного с возможностью выполнять способ.
Способ может включать в себя прием опорного значения скорости проигрывания, установленного пользователем, и сохранение опорного значения скорости проигрывания в устройстве воспроизведения.
Воспроизведение видеоизображения в 2D виде может включать в себя декодирование видеопотока для формирования изображения для левого глаза и изображения для правого глаза и вывод изображения для левого глаза или изображения для правого глаза.
Воспроизведение видеоизображения в 2D виде может включать в себя декодирование видеопотока для формирования изображения для левого глаза или изображения для правого глаза и вывода сформированного изображения.
В другом аспекте изобретения предоставлено устройство для воспроизведения видеоизображения. Устройство включает в себя пользовательский интерфейс, выполненный с возможностью запрашивать воспроизведение видеоизображения на скорости проигрывания Nx (N - натуральное число, равное или больше 2), и блок обработки сигнала, выполненный с возможностью воспроизводить видеоизображение в трехмерном (3D) виде и в ответ на запрос пользователя воспроизвести видеоизображение на скорости проигрывания Nx воспроизводить видеоизображение на скорости проигрывания Nx в двухмерном виде.
В другом аспекте изобретения обеспечен машиночитаемый носитель записи, имеющий воплощенную на нем программу для исполнения способа воспроизведения видеоизображения. Способ включает в себя воспроизведение видеоизображения в трехмерном (3D) виде, прием запроса на воспроизведение видеоизображения на скорости проигрывания Nx (N - натуральное число, равное или больше 2) и воспроизведение видеоизображения на скорости проигрывания Nx в ответ на запрос. Воспроизведение видеоизображения на скорости проигрывания Nx включает в себя воспроизведение видеоизображения на скорости проигрывания Nx в двухмерном (2D) виде.
В другом аспекте изобретения обеспечен прибор для воспроизведения видеоизображения. Прибор включает в себя устройство, содержащее блок обработки сигнала, выполненный с возможностью воспроизводить видеоизображение на скорости проигрывания Nx (N - натуральное число, равное или больше 2) в трехмерном (3D) виде и в ответ на воспроизведение видеоизображения на скорости проигрывания Nx воспроизводить видеоизображение на скорости проигрывания Nx в двухмерном виде.
Вариант осуществления изобретения
Последующее подробное описание представлено, чтобы помочь читателю получить всестороннее понимание описанных здесь способов, устройств и/или систем. В соответствии с этим, различные изменения, модификации и эквиваленты описанных здесь систем, устройств и/или способов будут предложены специалистам в области техники. Кроме того, описания известных функций и конструкций могут быть опущены для большей ясности и краткости.
Фиг. 2 иллюстрирует пример устройства 200 для воспроизведения видеоизображения.
Как показано на фиг. 2, устройство 200 включает в себя первый видеодекодер 210, второй видеодекодер 220, буфер 230 видеоплоскости левого глаза, буфер 240 видеоплоскости правого глаза и блок 250 вывода.
Устройство 200 может дополнительно включать в себя блок пользовательского интерфейса (не показан), выполненный с возможностью использования для взаимодействия между пользователем и устройством 200 и приема команды управления от пользователя.
Устройство 200 может считывать видеопоток с диска, загруженного в устройство 200, или загружать видеопоток с внешнего сервера через сеть связи. Устройство 200 может декодировать видеопоток и воспроизводить видеоизображение в двухмерном или трехмерном виде.
Когда видеопоток является стереоскопическим видеопотоком для трехмерного видеоизображения, и видеоизображение, сформированное из стереоскопического видеопотока, имеет формат последовательности кадров или полей, стереоскопический видеопоток может включать в себя видеопоток для опорного изображения и видеопоток для дополнительного изображения.
Первый и второй видеодекодеры 210 и 220, включенные в устройство 200 на фиг. 2, могут декодировать видеопоток для опорного изображения и видеопоток для дополнительного изображения, соответственно.
Для краткости предполагается, что устройство 200 использует опорное изображение в качестве изображения для левого глаза и дополнительное изображение в качестве изображения для правого глаза.
Первый видеодекодер 210 может декодировать видеопоток для опорного изображения, чтобы сформировать ссылочное изображение и сохранить ссылочное изображение как изображение для левого глаза в буфере 230 видеоплоскости левого глаза. Второй видеодекодер 220 может декодировать видеопоток для дополнительного изображения, чтобы сформировать дополнительное изображение и сохранить дополнительное изображение как изображение для правого глаза в буфере 240 видеоплоскости правого глаза.
Буфер 230 видеоплоскости левого глаза и буфер 240 видеоплоскости правого глаза могут временно хранить изображение для левого глаза и изображение для правого глаза, соответственно.
Блок 250 вывода может последовательно выводить изображение для левого глаза и изображение для правого глаза, сохраненные в буфере 230 видеоплоскости левого глаза и буфере 240 видеоплоскости правого глаза.
Пользователь, просматривающий видеоизображение, может думать, что кадры воспроизводятся последовательно непрерывно, когда кадры выводятся с частотой по меньшей мере 60 Гц для каждого глаза. В соответствии с этим кадры должны выводиться с частотой по меньшей мере 120 Гц, и изображение для левого глаза и изображение для правого глаза должны быть объединены, чтобы сформировать трехмерное изображение. Блок 250 вывода может последовательно выводить изображение для левого глаза и изображение для правого глаза каждую 1/120 секунды, чтобы обеспечить возможность воспроизведения видеоизображения в трехмерном виде.
Пользователь через пользовательский интерфейс может выполнить запрос у устройства 200 воспроизвести видеоизображение на увеличенной скорости. В ответ на запрос пользователя выполнить операцию с ускоренным воспроизведением первый видеодекодер 210 и второй видеодекодер 220 могут декодировать некоторые кадры, соответствующие скорости проигрывания, которую запрашивает пользователь. Операция с ускоренным воспроизведением может представлять собой операцию ускоренной перемотки вперед или операцией ускоренной перемотки назад. Блок 250 вывода может поочередно выводить кадры, которые выборочно декодируются первым видеодекодером 210 и вторым видеодекодером 220, чтобы обеспечить возможность воспроизведения видеоизображения на увеличенной скорости.
Когда видеоизображение воспроизводится на увеличенной скорости, поскольку декодируются только выбранные кадры вместо всех кадров, включенных в видеопоток, изменение в восприятии глубины между выбранными кадрами может резко увеличиться. Видеоизображение может быть воспроизведено в трехмерном виде.
Чтобы решить проблему резкого увеличения восприятия глубины, устройство 200 на фиг. 2 может обеспечить возможность всегда воспроизводить видеоизображение в двухмерном виде на увеличенной скорости проигрывания, которую запрашивает пользователь.
Когда пользователь запрашивает, чтобы устройство 200 воспроизвело видеоизображение на увеличенной скорости, устройство 200 может всегда воспроизводить видеоизображение в двухмерном виде на увеличенной скорости проигрывания.
В другом примере устройство 200 может воспроизводить видеоизображение в двухмерном виде или в трехмерном виде на увеличенной скорости проигрывания, которую запрашивает пользователь.
В качестве аспекта изобретения, когда пользователь запрашивает через пользовательский интерфейс, чтобы устройство 200 выполнило операцию ускоренной перемотки вперед или операцию ускоренной перемотки назад, или, другими словами, когда пользователь запрашивает, чтобы устройство 200 воспроизвело видеоизображение вперед или назад на скорости проигрывания Nx (N - натуральное число, равное или больше 2), устройство 200 может определить, превышает ли число N опорное значение скорости проигрывания. Когда число N превышает опорное значение скорости проигрывания, устройство 200 может воспроизвести видеоизображение в двухмерном виде, и когда число не превышает опорное значение скорости проигрывания, устройство 200 может воспроизвести видеоизображение в трехмерном виде.
В настоящем примере опорное значение скорости проигрывания может относиться к значению скорости, основанному на том, какой кубический эффект видеоизображения скорректирован, когда видеоизображение воспроизводится на увеличенной скорости.
Контрольное значение скорости проигрывания может быть сохранено как дополнительная информация на диске, на котором сохранен видеопоток. В этом случае устройство 200 может считать видеопоток и дополнительную информацию о видеопотоке с диска. На основе считанной дополнительной информации устройство может определить, превышает ли число N опорное значение скорости проигрывания. Контрольное значение скорости проигрывания может быть включено в дополнительную информацию.
В другом примере опорное значение скорости проигрывания может быть сохранено в устройстве 200. Контрольное значение скорости проигрывания может быть сохранено, например, в регистре настроек проигрывателя или регистре статуса воспроизведения. Регистр настроек проигрывателя или регистр статуса воспроизведения может быть сохранен в устройстве 200.
Контрольное значение скорости проигрывания, сохраненное в устройстве 200, может быть установлено в качестве значения по умолчанию, когда продукт, содержащий устройство 200, или само устройство были изготовлены, или опорное значение скорости проигрывания может быть изменено пользователем и сохранено в устройстве.
Когда увеличенная скорость проигрывания, которую запрашивает пользователь, превышает опорное значение скорости проигрывания, устройство 200 может позволить первому видеодекодеру 210 или второму видеодекодеру 220 декодировать видеопоток или может позволить блоку 250 вывода выводить только изображение, сохраненное в буфере 230 видеоплоскости левого глаза или в буфере 240 видеоплоскости правого глаза, чтобы обеспечить возможность воспроизвести видеоизображение в двухмерном виде на увеличенной скорости.
Также устройство 200 на фиг. 2 может воспроизвести видеоизображение, которое воспроизводится в трехмерном виде, в двухмерном виде на увеличенной скорости.
Фиг. 3 иллюстрирует устройство 300 для воспроизведения видеоизображения.
Как показано на фиг. 3, устройство 300 может включать в себя видеодекодер 310, буфер 320 видеоплоскости левого глаза, буфер 330 видеоплоскости правого глаза и блок 340 вывода.
Устройство 300 может дополнительно включать в себя пользовательский интерфейс (не показан) для приема команды управления от пользователя.
Устройство 300 на фиг. 3 отличается от устройства 200 на фиг. 2 тем, что устройство 300 включает в себя только один видеодекодер 310.
Когда видеоизображение, сформированное из стереоскопического видеопотока, имеет формат с чередованием строк по вертикали или горизонтали, формат c вертикальным взаимным расположением или формат с горизонтальным взаимным расположением, в котором информация для формирования опорного изображения и информация для формирования дополнительного изображения объединена и включена в один кадр, видеодекодер 310 может использовать информацию для формирования опорного изображения и информацию для формирования дополнительного изображения, включенного в кадр, чтобы сформировать опорное изображение и дополнительное изображение.
Видеодекодер 310 может декодировать стереоскопический видеопоток, чтобы сформировать опорное изображение и дополнительное изображение и сохранить опорное изображение и дополнительное изображение как изображение для левого глаза и изображение для правого глаза в буфере 320 видеоплоскости левого глаза и буфере 330 видеоплоскости правого глаза, соответственно.
Буфер 320 видеоплоскости левого глаза и буфер 330 видеоплоскости правого глаза могут временно хранить изображение для левого глаза и изображение для правого глаза, соответственно.
Блок 340 вывода может поочередно выводить изображение для левого глаза и изображение для правого глаза, сохраненные в буфере 320 видеоплоскости левого глаза и буфере 330 видеоплоскости правого глаза 330, чтобы обеспечить возможность воспроизведения видеоизображения в трехмерном виде.
Когда пользователь запрашивает через пользовательский интерфейс, чтобы устройство 300 воспроизвело видеоизображение вперед или назад на скорости проигрывания Nx (N - натуральное число, равное или больше 2), видеодекодер 310 может декодировать выбранные кадры вместо всех кадров с интервалами, соответствующими скорости проигрывания Nx, которую запрашивает пользователь.
Когда пользователь запрашивает, чтобы устройство 300 воспроизвело видеоизображение на скорости проигрывания Nx, устройство 300 может всегда воспроизводить видеоизображение в двухмерном виде на скорости проигрывания Nx или может определить, превышает ли число N опорное значение скорости проигрывания, и воспроизводить видеоизображение в двухмерном виде, когда число N превышает опорное значение скорости проигрывания.
В настоящем примере, чтобы воспроизвести видеоизображение в двухмерном виде на скорости проигрывания Nx, при декодировании выбранных кадров видеодекодер 310 может использовать только информацию для формирования опорного изображения или информацию для формирования дополнительного изображения и сохранить изображение в буфере 320 плоскости левого глаза или буфере 330 видеоплоскости правого глаза, чтобы сформировать только опорное изображение или дополнительное изображение.
В этом случае блок 340 вывода может вывести видеоизображение, сохраненное в буфере 320 видеоплоскости левого глаза или в буфере 330 видеоплоскости правого глаза, чтобы обеспечить возможность воспроизведения видеоизображения в двухмерном виде.
В другом примере видеодекодер 310 может сохранить изображение для левого глаза и изображение для правого глаза в буфере 320 видеоплоскости левого глаза и в буфере 330 видеоплоскости правого глаза, соответственно, чтобы обеспечить возможность воспроизведения видеоизображения в двухмерном виде и позволить блоку 340 вывода выводить только изображение, сохраненное в буфере 320 видеоплоскости левого глаза, или только изображение, сохраненное в буфере 330 видеоплоскости правого глаза.
Фиг. 4 иллюстрирует пример части синтаксиса таблицы потоков (STN), в которую включено опорное значение скорости проигрывания.
Когда диск (не показан) загружен в устройство 200 или 300, устройство 200 или 300 может считать видеопоток с диска и декодировать видеопоток для воспроизведения видеоизображения в трехмерном виде.
Таблица STN, в которой сохранена дополнительная информация о видеопотоке, также может быть сохранена на диске. Таблица STN соответствует таблице, показывающей клипы, назначенные посредством элементов воспроизведения, и информацию, разрешенную для воспроизведения вместе с клипами.
Поскольку автор, который формирует видеопоток и дополнительную информацию о видеопотоке и сохраняет видеопоток и дополнительную информацию на диске, знает восприятие глубины видеоизображения, сформированного из видеопотока, может быть предусмотрен способ. Способ может включать в себя разрешение автору определить пороговое значение, при котором трехмерный режим воспроизведения вынужден быть заменен на двухмерный режим воспроизведения в ответ на запрос воспроизвести видеоизображение на увеличенной скорости. В ином случае видеоизображение воспроизводится в трехмерном виде.
Когда видеоизображение воспроизводится на увеличенной скорости, извлекается информация о том, с каким восприятием глубины воспроизводится видеоизображение. Другими словами, опорное значение скорости проигрывания, установленное пользователем, может быть включено в таблицу STN на фиг. 4.
Как показано на фиг. 4, синтаксис таблицы STN включает в себя поле Fixed_offset_if_Faster_Than. В то время как стереоскопический видеопоток, относящийся к таблице STN, воспроизводится в трехмерном виде, когда пользователь запрашивает воспроизведение видеоизображения на увеличенной скорости, и скорость проигрывания, которую запрашивает пользователь, равна или больше чем 7-битовое целое число, заданное в поле Fixed_offset_if_Faster_Than, видеоизображение должно быть воспроизведено в двухмерном виде, а не в трехмерном виде.
Например, когда 7-битовое число, заданное в поле Fixed_offset_if_Faster_Than, равно 5, и число N равно 2, устройство 200 или 300 может воспроизвести видеоизображение в трехмерном виде на скорости 2x. В этом случае, когда число N равно 6, устройство 200 или 300 может воспроизвести видеоизображение в двухмерном виде на скорости 6x.
Таким образом, в соответствии с описанными выше примерами устройство 200 или 300 может использовать опорное значение скорости проигрывания, сохраненное в таблице STN, сохраненной на диске, чтобы определить, должно ли видеоизображение быть воспроизведено в двухмерном виде или в трехмерном виде, когда пользователь запрашивает, чтобы устройство 200 или 300 воспроизвело видеоизображение на увеличенной скорости.
Фиг. 5A-5C иллюстрируют пример изменения кубического эффекта воспроизводимого видеоизображения.
Фиг. 5A-5C иллюстрируют изменение кубического эффекта, когда трехмерное видеоизображение воспроизводится на нормальной скорости, на скорости 2x и на скорости 6x, соответственно.
Левый график на фиг. 5A иллюстрирует восприятие глубины каждого кадра, воспроизведенного в трехмерном виде, вдоль оси времени, и правый график на фиг. 5A иллюстрирует последовательность воспроизведения, в которой только выбранные кадры используются для воспроизведения на скорости.
Поскольку видеоизображение воспроизводится на нормальной скорости, например, на скорости 1x, все кадры, проиллюстрированные на левом графике на фиг. 5, выбраны и показаны пользователю, как на правом графике на фиг. 5A. В этом случае изменение кубического эффекта в единицу времени, ощущаемое пользователем, представляет собой различие восприятия глубины между текущим кадром и предыдущим кадром и может быть выражено как depth@1X/ t.
Фиг. 5B иллюстрирует случай, в котором трехмерное видеоизображение воспроизводится на скорости 2x. Левый график на фиг. 5B показывает восприятие глубины каждого кадра, воспроизведенного в трехмерном виде, вдоль оси времени. Когда пользователь запрашивает, чтобы устройство 200 или 300 воспроизвело видеоизображение на скорости 2x, устройство 200 или 300 выбирает только один из каждых двух кадров и декодирует выбранный кадр. Выбранные кадры для воспроизведения на скорости 2x обозначены сплошной линией на левом графике на фиг. 5B, и кадры, которые не выбраны, обозначены пунктирной линией на левом графике на фиг. 5B.
Правый график на фиг. 5B иллюстрирует последовательность воспроизведения, включающую только выбранные кадры из левого графика на фиг. 5B. Когда кадры, проиллюстрированные на правом графике на фиг. 5B, последовательно воспроизводятся, изменение кубического эффекта в единицу времени, ощущаемое пользователем, может быть выражено как depth@2X/ t. Изменение кубического эффекта в единицу времени, ощущаемое пользователем, когда видеоизображение воспроизводится на скорости 2x, оказывается выше приблизительно в два раза, чем изменение кубического эффекта в единицу времени, ощущаемое пользователем, когда видеоизображение воспроизводится на нормальной скорости.
Фиг. 5C иллюстрирует трехмерное видеоизображение, воспроизводимое на скорости 6x. Левый график на фиг. 5C иллюстрирует восприятие глубины каждого кадра, воспроизводимого в трехмерном виде, вдоль оси времени. Когда пользователь запрашивает, чтобы устройство 200 или 300 воспроизвело видеоизображение на скорости 6x, устройство 200 или 300 выбирает только один из каждых шести кадров и декодирует выбранный кадр. Выбранные кадры для воспроизведения на скорости 6x обозначены сплошной линией на левом графике на фиг. 5С, и невыбранные кадры обозначены пунктирной линией на левом графике на фиг. 5C.
Средний график на фиг. 5C иллюстрирует последовательность воспроизведения, включающую в себя только выбранные кадры на левом графике на фиг. 5C. Когда кадры, проиллюстрированные на среднем графике на фиг. 5C, последовательно воспроизводятся, изменение кубического эффекта в единицу времени, ощущаемое пользователем, может быть выражено как depth@6X/ t. В этом случае изменение кубического эффекта, ощущаемое пользователем, когда видеоизображение воспроизводится на скорости 6x, оказывается намного выше, чем изменение кубического эффекта, ощущаемое пользователем, когда видеоизображение воспроизводится на нормальной скорости или на скорости 2x.
Человеческий мозг может объединить два разных изображения, увиденных левым глазом и правым глазом, чтобы распознать один объект. Если изменение кубического эффекта между воспроизведенными кадрами является слишком высоким, возникает беспокойство, когда мозг использует изображение левого глаза и изображение правого глаза для распознавания объекта, и пользователь чувствует головокружение, и глаза пользователя чувствуют напряжение.
Правый график на фиг. 5C иллюстрирует последовательность воспроизведения, когда восприятие глубины выбранных кадров на левом графике на фиг. 5С скорректировано.
В настоящем примере, когда пользователь запрашивает, чтобы устройство 200 или 300 воспроизвело видеоизображение на скорости 6x, устройство 200 или 300 использует опорное значение скорости проигрывания, чтобы определить, должно ли видеоизображение быть воспроизведено в двухмерном виде или в трехмерном виде. На фиг. 5C, когда опорное значение скорости проигрывания равно или меньше, чем, например, 5, поскольку скорость 6x, которую запросил пользователь, превышает опорное значение скорости проигрывания, устройство 200 или 300 воспроизводит видеоизображение в двухмерном виде на скорости 6x. В этом случае устройство 200 или 300 воспроизводит кадры в двухмерном виде после того как восприятие глубины скорректировано до предопределенных значений, как показано на правом графике на фиг. 5C.
Фиг. 6 иллюстрирует пример способа воспроизведения видеоизображения. Устройство 200 или 300 может декодировать видеопоток для воспроизведения видеоизображения в трехмерном виде.
На этапе 610 пользователь через пользовательский интерфейс запрашивает устройство 200 или 300 воспроизвести видеоизображение на скорости проигрывания Nx (N - натуральное число, равное или больше 2).
На этапе 620 устройство 200 или 300 определяет, превышает ли число N опорное значение скорости проигрывания. Контрольное значение скорости проигрывания может быть включено в дополнительную информацию, сохраненную на диске вместе с видеопотоком, или опорное значение скорости проигрывания может быть сохранено в памяти в устройстве 200 или 300. В другом примере опорное значение скорости проигрывания может быть выбрано пользователем.
Устройство 200 или 300 извлекает опорное значение скорости проигрывания с диска или из устройства 200 или 300, или устройство 200 или 300 принимает от пользователя опорное значение скорости проигрывания, установленное пользователем, и сравнивает опорное значение скорости проигрывания с числом N.
Если на этапе 620 устройство 200 или 300 определяет, что число N превышает опорное значение скорости проигрывания, способ переходит на этап 630. На этапе 630 устройство 200 или 300 воспроизводит видеопоток в двухмерном виде на скорости проигрывания Nx. В другом аспекте изобретения на этапе 620, когда устройство 200 или 300 определяет, что число N не превышает опорное значение скорости проигрывания, способ переходит на этап 640. На этапе 640 видеоизображение воспроизводится в трехмерном виде на скорости проигрывания Nx.
Примеры приборов, включающих в себя устройство, включают в себя проигрыватель blu-ray, настольный компьютер, ноутбук и т.п.
Настоящее изобретение обеспечивает способ и устройство для воспроизведения видеоизображения, которое воспроизводится в трехмерном виде, на увеличенной скорости проигрывания посредством корректировки кубического эффекта видеоизображения.
Видеоизображение, которое воспроизводится в трехмерном виде, может быть воспроизведено на увеличенной скорости в двухмерном виде.
Программные команды для выполнения описанного здесь способа или одной или более его операций могут быть записаны, сохранены или фиксированы в одном или более машиночитаемых носителях. Программные команды могут быть реализованы компьютером. Например, компьютер может заставить процессор исполнять программные команды. Носитель может включать в себя отдельно или в комбинации с программными командами файлы с данными, структуры данных и т.п. Примеры машиночитаемых носителей включают в себя магнитные носители, такие как жесткие диски, гибкие диски и магнитная лента; оптические носители, такие как диски CD-ROM и DVD; магнитооптические носители, такие как оптические диски; и аппаратные устройства, которые специально сконфигурированы, чтобы хранить и выполнять программные команды, например постоянное запоминающее устройство (ПЗУ; ROM), оперативное запоминающее устройство (ОЗУ; RAM), флэш-память и т.п. Примеры программных команд включают в себя машинный код, такой как произведенный компилятором, и файлы, содержащие высокоуровневый код, который может быть исполнен компьютером с использованием интерпретатора. Программные команды, то есть программное обеспечение, могут быть распределены по компьютерным системам, соединенным сетью, таким образом, что программное обеспечение хранится и исполняется распределенным способом. Например, программное обеспечение и данные могут храниться одним или более машиночитаемыми носителями записи. Кроме того, функциональные программы, коды и сегменты кода для выполнения раскрытых здесь иллюстративных вариантов осуществления могут быть легко рассмотрены программистами, являющимися специалистами в области техники, которой принадлежат варианты осуществления, на основе и с использованием представленных здесь блок-схем последовательности операций и блок-схем на фигурах и их соответствующих описаний. Кроме того, описанный блок для выполнения операции или способа может представлять собой аппаратные средства, программное обеспечение или некоторую комбинацию аппаратных средств и программного обеспечения. Например, блок может представлять собой пакет программного обеспечения, работающий на компьютере, или компьютер, на котором работает это программное обеспечение.
Много примеров было описано выше. Однако следует подразумевать, что могут быть сделаны различные модификации. Например, подходящие результаты могут быть достигнуты, если описанные методики выполняются в другом порядке, и/или если компоненты в описанной системе, архитектуре, устройстве или схеме объединены другим образом и/или заменены или дополнены другими компонентами или их эквивалентами. В соответствии с этим, другие реализации находятся в пределах объема следующей формулы изобретения.
Класс H04N13/04 устройства, воспроизводящие изображение
Класс G06T15/00 Передача трехмерного (3D) изображения, например от модели к побитовому изображению