способ и система для кодирования сигнала видео данных, кодированный сигнал видео данных, способ и система для декодирования сигнала видео данных

Формула изобретения

1. Способ кодирования сигнала видео данных, содержащего по меньшей мере первичный и вторичный сигнал видео данных, в котором первичный и вторичный сигнал видео данных совместно сжимаются, причем вторичный сигнал видео данных является предсказанным по времени из первичного сигнала видео данных, первичный сигнал видео данных сжимается независимым образом, что означает, что временное предсказание для его изображений может быть сделано только из изображений из его собственного первичного сигнала данных, затем совместно сжатый сигнал видео данных разделяется на отдельные видео битовые потоки, причем отдельные видео битовые потоки содержат первичный видео битовый поток, содержащий данные для первичного сигнала видео данных, и вторичный видео битовый поток, содержащий данные для вторичного сигнала видео данных, затем первичный и вторичный видео битовые потоки мультиплексируются (MUX) как отдельные битовые потоки в мультиплексированный сигнал, при этом первичному и вторичному видео битовым потокам в мультиплексированном сигнале назначаются отличающиеся коды (0x1B, 0x20), причем код, назначенный первичному видео потоку, представляет собой код (0x1B),

разрешимый стандартным видео декодером, код, назначенный вторичному видео потоку, представляет собой отличающийся код, тем самым позволяя стандартному видео декодеру извлекать и декодировать только первичный видео битовый поток.

2. Способ кодирования сигнала видео данных по п.1, в котором сигнал видео данных кодируется, кодированный сигнал видео данных содержит первый (L, R) и по меньшей мере второй набор (R, L) кадров, причем кадры первого и второго набора перемежаются (VI), чтобы сформировать перемеженную видео последовательность (comb L+R), или принимается перемеженный сигнал (100 Гц) видео данных, содержащий первый и второй набор кадров, причем перемеженная видео последовательность сжимается в сжатый сигнал видео данных, причем кадры первого набора кодируются и сжимаются без использования кадров второго набора, и кадры второго набора кодируются и сжимаются с использованием кадров первого набора, и затем сжатый сигнал видео данных разделяется (BSS) на первичный и по меньшей мере вторичный битовый поток, каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, а вторичный битовый поток - для второго набора, первичный и вторичный битовые потоки формируют отдельные битовые потоки, затем первичный и вторичный битовые потоки мультиплексируются (MUX) в мультиплексированный сигнал, причем первичному и вторичному битовым потокам назначаются отличающиеся коды (0x1B, 0x20), причем код, назначенный первичному видео потоку, представляет собой код (0x1B), разрешимый стандартным видео декодером, код, назначенный вторичному видео потоку, представляет собой отличающийся код, тем самым позволяя стандартному видео декодеру извлекать и декодировать только первичный видео битовый поток.

3. Способ по п. 2, в котором сигнал видео данных кодируется так, что первичный битовый поток содержит данные для кадров одного из представлений (L, R) 3D сигнала видео данных, а вторичный битовый поток содержит данные для кадров другого представления (R, L) 3D сигнала видео данных.

4. Способ по п. 2, в котором сигнал видео данных кодируется так, что первичный битовый поток содержит данные для кадров одного из трех или более представлений с различных точек зрения, и генерируется более одного вторичного битового потока, причем вторичные битовые потоки содержат данные для кадров одного из других представлений.

5. Способ по п. 2, в котором сигнал видео данных кодируется так, что первичный битовый поток содержит данные для низкочастотного набора кадров, в то время как вторичный битовый поток содержит данные для более высокочастотного набора кадров.

6. Способ по п.1, в котором первичный битовый поток в мультиплексированном сигнале содержит данные для основного уровня, а вторичный битовый поток в мультиплексированном сигнале, которому назначен отличающийся код, содержит видео данные для уровня расширения или уровней расширения.

7. Система кодирования для кодирования сигнала видео данных, содержащая генератор для генерации или приемник для приема по меньшей мере первичного и вторичного сигнала видео данных, блок сжатия для совместного сжатия первичного и вторичного сигнала видео данных, выполненный с возможностью временного предсказания вторичного сигнала видео данных из первичного сигнала видео данных, причем блок сжатия выполнен с возможностью сжатия первичного сигнала видео данных независимым образом, что означает, что временное предсказание для его изображений может быть сделано только из изображений из его собственного первичного сигнала данных, причем система содержит разделитель (BSS) для разделения совместно сжатого сигнала видео данных на отдельные видео битовые потоки, отдельные видео битовые потоки содержат первичный видео битовый поток, содержащий данные для первичного сигнала видео данных, и вторичный видео битовый поток, содержащий данные для вторичного сигнала видео данных, и мультиплексор (MUX) для мультиплексирования первичного и вторичного видео битовых потоков как отдельных битовых потоков в мультиплексированный сигнал, и для назначения первичному и вторичному видео битовым потокам в мультиплексированном сигнале отличающихся кодов (0x1B, 0x20), причем код, назначенный первичному видео потоку, представляет собой код (0x1B), разрешимый стандартным видео декодером, код, назначенный вторичному видео потоку, представляет собой отличающийся код, тем самым позволяя стандартному видео декодеру извлекать и декодировать только первичный видео битовый поток.

8. Система кодирования по п. 7, содержащая перемежитель (VI) для перемежения кадров из первого и второго представления, чтобы сформировать перемеженную видео последовательность, или содержащая приемник для приема перемеженной видео последовательности, содержащей первый и второй набор кадров, причем система содержит кодер для кодирования перемеженной видео последовательности, причем кодер содержит блок сжатия для сжатия кадров первого из представлений без использования кадров второго представления и для сжатия кадров второго представления с использованием кадров первого представления, и система содержит разделитель (BSS) для разделения сжатого сигнала видео данных на первичный и вторичный битовый поток, каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, а вторичный битовый поток для второго набора, первичный и вторичный битовый поток формируют отдельные битовые потоки, система кодирования дополнительно содержит мультиплексор (MUX) для мультиплексирования первичного и вторичного битовых потоков и для назначения первичному и вторичному битовым потокам отличающихся кодов (0x1B, 0x20), причем код, назначенный первичному видео потоку, представляет собой код (0x1B), разрешимый стандартным видео декодером, код, назначенный вторичному видео потоку, представляет собой отличающийся код, тем самым позволяя стандартному видео декодеру извлекать и декодировать только первичный видео битовый поток.

9. Система кодирования по п.8, в которой перемежитель выполнен с возможностью перемежения левого и правого представления пары стерео представлений.

10. Система кодирования по п. 9, в которой перемежитель выполнен с возможностью перемежения кадров более чем двух представлений.

11. Устройство записи, содержащее систему кодирования по любому из пп.7-10.

12. Считываемый компьютером носитель, содержащий сохраненное на нем средство программного кода, для выполнения способа кодирования по любому из пп.1-6, когда упомянутый программный код выполняется на компьютере.

13. Способ декодирования сигнала видео данных, в котором принимается мультиплексированный сигнал, причем мультиплексированный сигнал содержит по меньшей мере два сигнала видео данных с отличающимися кодами (0x01, 0x1B, 0x20), причем первый сигнал видео данных (0x01, 0x1B) является независимым сигналом видео данных, что означает, что временное предсказание для его изображений может делаться только из изображений из его собственного первичного сигнала данных, упомянутый первый сигнал видео данных снабжен кодом, разрешимым стандартным видео декодером, и по меньшей мере один второй сигнал (0x20) видео данных не является независимым, что означает, что он является предсказываемым по времени из первичного сигнала видео данных, причем упомянутый второй сигнал видео данных имеет код, отличающийся от первого сигнала видео данных, затем два сигнала демультиплексируются и объединяются (BSM) в объединенный сигнал, затем объединенный сигнал декодируется и подвергается декомпрессии, причем при декомпрессии независимого сигнала видео данных используются только данные из независимого сигнала видео данных, а при декомпрессии второго сигнала видео данных используются данные первого сигнала видео данных.

14. Способ декодирования по п. 13, в котором объединенный сигнал формирует перемеженный набор кадров, и после декомпрессии кадры обращено перемежаются (VDI).

15. Способ декодирования по п.13, причем первый сигнал видео данных (0x01, 0x1B) содержит данные на основном уровне, а второй сигнал видео данных (0x20) содержит данные на расширенном уровне или на расширенных уровнях.

16. Система декодирования для декодирования сигнала видео данных, содержащая приемник для приема мультиплексированного сигнала, причем мультиплексированный сигнал содержит по меньшей мере два сигнала видео данных с отличающимися кодами (0x01, 0x1B, 0x20), причем первый сигнал видео данных (0x01, 0x1B) является независимым сигналом видео данных, что означает, что временное предсказание для его изображений может делаться только из изображений из его собственного первичного сигнала данных, упомянутый первый сигнал видео данных снабжен кодом, разрешимым стандартным видео декодером, и по меньшей мере один второй сигнал (0x20) видео данных не является независимым, что означает, что он предсказывается по времени из первичного сигнала видео данных, демультиплексор для демультиплексирования мультиплексированного сигнала и блок объединения (BSM) для объединения по меньшей мере двух демультиплексированных сигналов в объединенный сигнал, декодер для декодирования и декомпрессии объединенного сигнала, причем декодер выполнен таким образом, что при декомпрессии независимого сигнала видео данных используются только данные из независимого сигнала видео данных, а при декомпрессии второго сигнала видео данных используются данные из первого сигнала видео данных.

17. Система декодирования по п.16, в которой объединенный сигнал формирует перемеженный набор кадров, и система содержит обращенный перемежитель (VDI) для обращенного перемежения после декомпрессии кадров.

18. Устройство отображения, содержащее систему декодирования по п.16 или 17.

19. Считываемый компьютером носитель, содержащий сохраненное на нем средство программного кода, для выполнения способа декодирования по любому из пп.13-15, когда упомянутый программный код выполняется на компьютере.

Описание изобретения к патенту

Область техники

Изобретение относится к области видео кодирования и декодирования. Оно представляет способ и систему для кодирования сигнала видео данных. Изобретение также относится к кодированному сигналу видео данных. Изобретение также относится к способу декодирования и системе для декодирования сигнала видео данных.

Предшествующий уровень техники

В последнее время проявляется большой интерес к обеспечению расширенных видео возможностей, например 3D изображения на 3D устройствах отображения. Считается, что 3D формирование изображения будет, после цветного изображения, следующим большим новшеством в формировании изображения. В настоящее время ожидается появление авто-стереоскопических дисплеев для потребительского рынка.

В основном, трехмерное впечатление может быть создано при использовании стереопар, то есть двух немного различающихся изображений, направленных на два глаза наблюдателя.

Независимо от того, какой тип дисплея используется, 3D информация изображения должна быть предоставлена на устройство отображения. Это обычно делается в форме сигнала видео данных, включающего в себя цифровые данные, часто включающего в себя данные для левого и правого представления или для некоторого количества представлений, когда генерируется множество представлений.

Другой пример увеличенных видео возможностей обеспечивает сигнал видео данных, способный обеспечивать высокочастотное видео, например видео с удвоенной частотой отображения стандартного кадра.

Еще один пример обеспечивает сигнал видео данных повышенного разрешения.

Из-за массовых количеств данных, присущих цифровому формированию изображения, обработка и/или передача цифровых сигналов изображения создают существенные проблемы. Во многих обстоятельствах доступная производительность обработки и/или емкость передачи недостаточна, чтобы обрабатывать и/или передавать высококачественные сигналы видео данных. Более конкретно, каждый кадр цифрового изображения является неподвижным изображением, сформированным из множества пикселей. Эта проблема существует для всего видео, но увеличивается для 3D видео изображения, и то же самое увеличение проблемы происходит, когда должен генерироваться сигнал видео данных удвоенной частоты или должен генерироваться сигнал видео данных повышенного разрешения.

Количества необработанной (исходной) цифровой информации обычно огромны, требуя большой производительности обработки и/или больших скоростей передачи, которые не всегда доступны. Различные способы сжатия были предложены, чтобы уменьшить количество данных, которые должны передаваться, включая, например, MPEG-2, MPEG-4 и H.263.

Известные способы сжатия были первоначально установлены для стандартных 2D изображений.

Если, например, 3D информация генерирована на стороне получения (сбора), эта информация должна быть передана, и чтобы иметь низкие служебные издержки с точки зрения скорости передачи битов, требуется сжатие 3D информации. Предпочтительно сжатие (или кодирование) 3D информации выполняется таким образом, что сжатие 3D информации может быть осуществлено с использованием существующих стандартов сжатия с только относительно малыми настройками. Когда сигнал видео данных расширен, в том смысле, что он содержит информацию о сигнале удвоенной частоты или увеличенном разрешении, применимо то же самое.

Кроме того, улучшенный видеосигнал предпочтительно является обратно совместимым, то есть обычное стандартное видео устройство предпочтительно должно быть в состоянии отображать "хорошее" видео изображение из усовершенствованного видеосигнала. Например, 3D стерео сигнал является предпочтительно 2D обратно совместимым, то есть обычное 2D устройство предпочтительно должно быть в состоянии отобразить "хорошее" 2D изображение из 3D сигнала. Высокочастотный сигнал видео данных 100 Гц должен иметь возможность отображаться на стандартном видео устройстве на 50 Гц, даже если устройство само по себе не может отображать сигналы 100 Гц. Аналогично сигнал видео данных повышенного разрешения (HDTV, телевидение высокой четкости) должен иметь возможность отображения на стандартном телевизионном устройстве.

Просто сжатие стерео изображения как двух отдельных изображений приводит к большому увеличению скорости передачи битов. Кодирование отдельно левого (L) и правого (R) представлений стереопары практически приводит к удвоению битовой скорости по сравнению с моносистемой (одно единственное представление), если желательно гарантировать то же самое качество. Таким образом, такой способ, хотя и гарантирует, что 2D устройство может отображать изображение, требует удвоения битовой скорости.

Количество данных увеличивается еще больше, когда используется система с множеством представлений, где генерируется более чем два представления.

То же самое применимо, когда сигнал видео данных расширяется включением информации относительно сигналов видео данных повышенной частоты. Удвоение частоты будет удваивать данные. Увеличение разрешения создаст ту же самую проблему.

Лучший способ, в отношении эффективности кодирования, должен совместно сжимать два (левое и правое) стерео или больше представлений или совместно сжимать сигналы видео данных высокой частоты и низкой частоты или совместно сжимать сигналы видео данных низкого разрешения и высокого разрешения. Это решение, для левого и правого кадра, обычно приводит, когда совместно сжимаются два представления, к использованию на 50% большей ширины полосы, чем в случае одного представления (по сравнению с ~ на 100% большей шириной полосы в случае отдельного кодирования представления). Это может быть достигнуто, используя обычные 2D кодеры со сжатием, чередуя левые и правые кадры из каждого стерео представления, чтобы формировать "сфабрикованную" 2D последовательность. На стороне извлечения 2D кадры обращенно перемежаются и каждое представление извлекается и отображается. Например, 2 представления (L и R) могут перемежаться как изображения кадра перед входом в видео кодер.

Однако, хотя использование стандартных способов, например, для стерео видео, может быть более (1.5*усиление) эффективно сжато совместно, чем сжатие отдельных представлений, и получающийся битовый поток может быть отображен на подходящем 3D устройстве, изобретателями было установлено, что результатом является один единственный битовый поток, который не может быть отображен на нормальной 2D системе с хорошими результатами. Когда единственный перемеженный битовый поток поступает на обычный 2D приемник (с 2D декодером и 2D экраном), отображенная видео последовательность выглядела бы искаженной, отображая видимые недостатки, как это следует из перемежения стерео последовательности. Этот способ, таким образом, не обладает обратной совместимостью. То же самое справедливо для сигналов с множеством представлений или других улучшенных сигналов видео данных, которые совместно сжимаются.

Таким образом, целью изобретения является создание способа для кодирования расширенных данных изображения на стороне передачи, который обеспечивает обратную совместимость, при поддержании количества данных в кодированных данных в границах. Предпочтительно эффективность кодирования является высокой. Кроме того, предпочтительно, способ совместим с существующими стандартами кодирования.

Другой целью является создание улучшенного устройства кодирования для кодирования сигнала видео данных, а также сигнала видео данных.

Сущность изобретения

С этой целью способ кодирования сигнала видео данных содержит, по меньшей мере, первичный и, по меньшей мере, вторичный сигнал видео данных, причем первичный и вторичный сигнал видео данных совместно сжимаются, первичный сигнал видео данных сжимается независимым образом, а вторичный сигнал видео данных сжимается с использованием данных из первичного сигнала видео данных, совместно сжатый сигнал видео данных разделяется на два отдельных битовых потока, причем битовые потоки содержат, по меньшей мере, первичный битовый поток, содержащий данные для первичного сигнала видео данных, и, по меньшей мере, вторичный битовый поток, содержащий данные для вторичного сигнала видео данных, затем первичный и вторичный битовые потоки мультиплексируются в мультиплексированный сигнал, и первичному и вторичному битовым потокам предоставляются отдельные коды.

Способ, соответствующий изобретению, комбинирует преимущества предшествующих способов, избегая их соответствующих недостатков. Он содержит сжатие совместно двух или более сигналов видео данных, с последующим разделением одного сжатого битового потока на 2 или более (первичный и вторичный) отдельных битовых потоков: "первичный", который является независимым и обрабатываемым обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые являются зависимыми от первичного битового потока. Отдельные битовые потоки являются мультиплексированными, причем первичные и вторичные битовые потоки являются отдельными битовыми потоками, снабженными отдельными кодами и переданными. На первый взгляд, может показаться излишним и бесполезным затрачивать усилия сначала на совместное сжатие сигналов только для того, чтобы разделить их снова после сжатия, и предоставление им отдельных кодов. Во всех известных способах сжатому сигналу видео данных дается единственный код в мультиплексоре. На первый взгляд, представляется, что изобретение добавляет ненужную сложность в кодирование сигнала видео данных.

Изобретателями, однако, было найдено, что разделение и отдельная компоновка (то есть предоставление отдельных кодов первичному и вторичному битовому потоку в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале имеет результатом то, что, с одной стороны, стандартный демультиплексор в обычной видео системе будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видео декодер получает только первичный поток, вторичный поток не проходит демультиплексор, и стандартный видео декодер, таким образом, в состоянии правильно обработать его как стандартный сигнал видео данных, например, стандартный 2D сигнал видео данных и/или стандартный сигнал видео данных 50 Гц или сигнал базового разрешения, в то время как, с другой стороны, специализированная система, такая как 3D система или система отображения на 100 Гц или видео декодер с высокой разрешающей способностью может полностью реверсировать процесс кодирования и воссоздать исходный расширенный битовый поток, прежде чем послать его, например, в стерео декодер или декодер на 100 Гц или декодер HTV.

Многие предположительно обратно совместимые системы и способы неотъемлемо требуют, чтобы некоторая адаптация была применена к обычным видео системам для того, чтобы должным образом проанализировать поступающий битовый поток, и без такой адаптации надлежащее декодирование является затруднительным или невозможным. Изобретателями было найдено, что суть проблемы в том, что обычный декодер принимает расширенный сигнал видео данных, для которого он не предусмотрен. Даже с адаптацией к декодеру проблемы могут возникать просто из-за того, что декодер принимает расширенный сигнал (и, таким образом, больше битов, чем обычно) и может оказаться не в состоянии справиться с расширенным сигналом просто потому, что он не может осуществлять обработку с увеличенной битовой скоростью. Любая адаптация к стандартному декодеру должна была бы также быть специфической для конкретного расширения (3D, 100 Гц, высокое разрешение) сигнала видео данных, которая могла бы не действовать для других расширений и даже ухудшать работу, когда принимается нерасширенный сигнал видео данных.

В изобретении первичный и вторичный битовые потоки являются отдельными битовыми потоками, причем первичный битовый поток является независимым битовым потоком. Это позволяет предоставить первичному битовому потоку код, соответствующий стандартному сигналу видео данных, в то же время предоставляя вторичному битовому потоку или вторичным битовым потокам коды, не распознаваемые стандартными демультиплексорами как стандартный сигнал видео данных. В приемном конце стандартные устройства демультиплексирования будут распознавать первичный битовый поток как стандартный сигнал видео данных и передавать его на видео декодер. Стандартные устройства демультиплексирования будут отклонять вторичные битовые потоки, не распознавая их как стандартные сигналы видео данных. Сам видео декодер будет только принимать "стандартный сигнал видео данных". Количество битов, принимаемых самим видео декодером, таким образом, ограничено первичным двоичным потоком, который является независимым, имеет форму стандартного сигнала видео данных и может интерпретироваться стандартными видео устройствами и имеет битовую скорость, с которой могут справляться стандартные видео устройства. Видео декодер не перегружается битами, которые он может обрабатывать.

Так как первичный битовый поток является независимым, стандартный видео декодер может декодировать его в стандартный декодированный сигнал видео данных.

Изобретение может быть реализовано различными способами. В вариантах осуществления, особенно полезных для 2D-3D или для использования нормальной высокой частоты, видео кадры перемежаются в кодере, или кодеру предоставляются перемеженные сигналы.

В таких вариантах осуществления способ кодирования характеризуется тем, что сигнал видео данных кодируется, кодированный расширенный сигнал содержит первый и, по меньшей мере, второй набор кадров, причем кадры первого и второго набора перемежаются, чтобы сформировать перемеженную видео последовательность, или принимается перемеженный сигнал видео данных, содержащий первый и второй набор кадров, причем перемеженная видео последовательность сжимается в сжатый сигнал видео данных, причем кадры первого набора кодируются и сжимаются без использования кадров второго набора, а кадры второго набора кодируются и сжимаются с использованием кадров первого набора, и затем сжатый сигнал видео данных разделяется на первичный и, по меньшей мере, вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, и вторичный битовый поток для второго набора, первичный и вторичный битовые потоки формируют отдельные битовые потоки, затем первичный и вторичный битовые потоки мультиплексируются в мультиплексированный сигнал, причем первичному и вторичному битовому потоку предоставляются отдельные коды.

В этом варианте осуществления, как в изобретении в его самом широком смысле, единый сжатый битовый поток разделяется на 2 или более (первичный и вторичный) отдельные битовые потоки: "первичный", который полностью содержит только один из наборов кадров (и, таким образом, является независимым) и может обрабатываться обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые зависят от первичного набора кадров. Кадры перемежаются на системном уровне или предоставляются системе в перемеженном формате и мультиплексируются, причем первичные и вторичные битовые потоки являются отдельными битовыми потоками, которым предоставляются отдельные коды и которые передаются.

Важное требование состоит в том, что после перемежения, по меньшей мере, один набор, а именно, набор кадров первичного битового потока, сжимается как "независимый" сигнал. Это означает, что кадры, принадлежащие этому независимому набору кадров, не нуждаются ни в какой информации (например, через компенсацию движения или любую другую схему предсказания) из других вторичных битовых потоков.

Важный аспект также состоит в том, что первичный и вторичный битовые потоки формируют отдельные битовые потоки и мультиплексируются с отдельными кодами по причинам, объясненным выше.

В вариантах осуществления первичный битовый поток содержит данные для кадров одного из представлений 3D сигнала видео данных, вторичный битовый поток содержит данные для кадров другого представления 3D сигнала видео данных.

В вариантах осуществления первичный битовый поток содержит данные для кадров одного из трех из более представлений, и генерируется более одного вторичного битового потока, причем вторичные битовые потоки содержат данные для кадров одного из других представлений.

В вариантах осуществления первичный битовый поток содержит данные для низкочастотного набора кадров, в то время как вторичный битовый поток содержит данные для более высокочастотных кадров. В вариантах осуществления первичный битовый поток сжимается с более низким коэффициентом квантования, чем вторичные битовые потоки.

Когда первичный и вторичный битовый поток представляет два стерео представления, первичный битовый поток может представлять любое из двух представлений, левое или правое.

В вариантах осуществления назначение относительно того, которое представление является представлением, соответствующим первичному битовому потоку, может изменяться. Например, при смене сцены, первичное представление может изменяться с левого на правое или наоборот. Это может быть выгодным, особенно если первичное представление сжато с коэффициентом квантования, отличающимся от вторичного представления.

Изобретение также воплощено в системе кодирования для кодирования сигнала видео данных, содержащей генератор для генерации или приемник для приема, по меньшей мере, первичного и вторичного сигнала видео данных, блок сжатия для совместного сжатия первичного и вторичного сигнала видео данных, причем блок сжатия выполнен с возможностью сжатия первичного сигнала видео данных независимым образом и сжатия вторичного сигнала видео данных с использованием данных из первичного сигнала видео данных, разделитель для разделения совместно сжатого сигнала видео данных на отдельные битовые потоки, причем первичный битовый поток содержит данные для первичного сигнала видео данных, и вторичный битовый поток содержит данные для вторичного сигнала видео данных, и мультиплексор для мультиплексирования первичного и вторичного битовых потоков в мультиплексированный сигнал и для предоставления первичному и вторичному сигналам отдельных кодов.

Система кодирования в соответствии с вариантом осуществления изобретения содержит перемежитель (VI) для перемежения кадров из первого и второго представления, чтобы сформировать перемеженную видео последовательность, или система кодирования содержит приемник для приема перемеженной видео последовательности, содержащей первый и второй набор кадров, причем система кодирования содержит кодер для кодирования перемеженной видео последовательности, причем кодер содержит блок сжатия для сжатия кадров первого из представлений без использования кадров второго представления и для сжатия кадров второго представления с использованием кадров первого представления, и система содержит разделитель для разделения сжатого сигнала видео данных на первичный и вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого набора, и вторичный битовый поток - для второго набора, первичный и вторичный битовый поток формируют отдельные битовые потоки, и система кодирования дополнительно содержит мультиплексор для мультиплексирования первичного и вторичного битовых потоков и для предоставления первичному и вторичному битовым потокам отдельных кодов.

Предпочтительно блок сжатия выполнен с возможностью сжатия кадров по иерархической схеме, причем более высокие уровни соответствуют кадрам первого из представлений, а более низкие или самый низкий уровень - кадрам второго представления.

В вариантах осуществления система кодирования выполнена с возможностью обеспечения первичного битового потока, содержащего данные для кадров одного из представлений 3D сигнала видео данных, вторичного битового потока, содержащего данные для кадров другого представления 3D сигнала видео данных. Эти и другие аспекты изобретения пояснены ниже более детально на примере и со ссылками на иллюстрирующие чертежи.

Краткое описание чертежей

Фиг.1 иллюстрирует пример способа кодирования для 3D видео согласно предшествующему уровню техники.

Фиг.2 иллюстрирует усовершенствованный способ с точки зрения эффективности кодирования.

Фиг.3A и 3B иллюстрируют способ кодирования и способ декодирования и кодер и декодер согласно изобретению.

Фиг. 4 иллюстрирует перемежение двух представлений, левого (L) и правого (R).

Фиг.5 иллюстрирует так называемую двухэлементную временную структуру, использующую иерархические кадры B.

Фиг.6 иллюстрирует диаграмму для разделителя битового потока.

Фиг.7 иллюстрирует пример единственного закодированного битового потока и его разделенную версию.

Фиг.8, 9 и 10 иллюстрируют способы предшествующего уровня техники и изобретение.

Фиг.11 иллюстрирует ситуацию, в которой имеется три перемеженных сигнала представления.

Фиг.12, 13, 14A и 14B иллюстрируют вариант осуществления изобретения для высокочастотного видео.

Фиг.15, 16A и 16B иллюстрируют вариант осуществления изобретения для видео с высокой разрешающей способностью.

Чертежи приведены не в масштабе. Вообще, идентичные компоненты обозначены на чертежах теми же самыми ссылочными позициями.

Детальное описание предпочтительных вариантов осуществления

Фиг.1 иллюстрирует сжатие видеоинформации, где оба представления отдельно обрабатываются и сжимаются. Левый (L) и правый (R) сигналы 1 и 2 видео данных обеспечивает каждый два по существу двумерных изображения 2D(L) и 2D(R). Оба этих сигнала кодируются и сжимаются в стандартных 2D видео кодерах 3 и 4. Два сигнала передаются, схематично обозначено как T на Фиг.1, и принимаются на стороне приемника. Приемник декодирует два сигнала, используя 2D видео декодеры 3'и 4', и обеспечивает два 2D сигнала 1' и 2'. Эти два сигнала затем готовы к объединению в 3D видео дисплее для обеспечения 3D изображения. Любые 2D устройства отображения видео могут просто работать с использованием либо левого, либо правого представления. Хотя эта схема работает, кодирование отдельно левого (L) и правого (R) представления стереопары фактически приводит к удвоению битовой скорости по сравнению с моносистемой (с единственным представлением), если желательно гарантировать то же самое качество. Таким образом, этот стандартный способ, хотя и гарантирует, что 2D устройство может отображать изображение, требует удвоения скорости передачи битов.

Фиг.2 иллюстрирует усовершенствованный способ с точки зрения эффективности кодирования. Перед кодированием кадров два представления перемежаются в перемежителе VI представлений, чтобы обеспечить объединенный сигнал видео данных L+R. Перемежение обеспечивает объединенный сигнал, напоминающий стандартный 2D сигнал. Упомянутый сигнал может быть сжат с использованием обычного 2D видео сжатия в 2D видео кодере 5. Этот сжатый сигнал может затем быть передан. На стороне приемника сжатый сигнал обращено сжимается в 2D видео декодере 6 и обращено перемежается с использованием обращенного перемежителя DVI. Например, 2 представления (L и R) могут быть перемежены как изображения кадра перед вводом в видео кодер 5. Следовательно,о в зависимости от временного опорного изображения, используемого для предсказания данного макроблока (MB), предсказание может быть либо «действительно» временным (различные моменты времени из того же самого представления), либо из другого представления. Этот механизм может сигнализироваться посредством так называемого сообщения SEI ("стерео видео информации"), содержащего информацию относительно выполненного перемежения, так что стерео декодер на стороне приема может отличить одно представление от другого и выполнить обращенное перемежение.

Хотя такой способ действительно уменьшает скорость передачи битов (примерно на 25% по сравнению со способом по Фиг.1), если единственный кодированный поток поступает в обычный 2D приемник (с 2D декодером и 2D экраном), отображенная видео последовательность выглядела бы искаженной, как это следует из перемежения стерео. Проблема существует даже в случае AVC (Усовершенствованное стерео кодирование) с сообщением SEI ("стерео видео информации"). Действительно, использование сообщений SEI не является принудительным, и совместимый декодер может успешно проигнорировать их. Единственный битовый поток из способа по Фиг.2 не может корректно воспроизводиться на нормальной 2D системе отображения, что является большим неудобством. Способ по Фиг.2, таким образом, не является 2D обратно совместимым. Отсутствие 2D обратной совместимости будет разочаровывать людей, что касается использования 3D сигналов видео данных и систем, так как подавляющее большинство дисплеев будет, по меньшей мере, в процессе внедрения 3D видео, оставаться стандартными 2D видео устройствами. Новые способы предпочтительно являются обратно совместимыми, то есть стандартные видео устройства должны быть в состоянии обрабатывать сигналы, генерированные новыми способами.

Поэтому целью изобретения является обеспечить способ, который, с одной стороны, уменьшает скорость передачи битов по сравнению со способом, полностью и отдельно кодирующим оба представления, в то время как, с другой стороны, все еще будет иметь обратную совместимость для стандартного видео.

С этой целью способ кодирования сигналов видео данных в соответствии с изобретением представляет собой способ, в котором сигнал видео данных кодируется, кодированный сигнал видео данных содержит, по меньшей мере, первичный и, по меньшей мере, вторичный сигнал видео данных, причем первичный и вторичный сигналы видео данных совместно сжимаются, первичный сигнал видео данных сжимается независимым образом, а вторичный сигнал видео данных сжимается с использованием данных из первичного сигнала видео данных, совместно сжатый сигнал видео данных разделяется на отдельные битовые потоки, битовые потоки содержат, по меньшей мере, первичный битовый поток, содержащий данные для первичного сигнала видео данных, и, по меньшей мере, вторичный битовый поток, содержащий данные для вторичного сигнала видео данных, затем первичный и вторичный битовый потоки мультиплексируются в мультиплексированный сигнал, и первичному и вторичному битовым потокам предоставляются отдельные коды.

Способ согласно изобретению комбинирует преимущества предшествующих способов, избегая их соответствующих недостатков. Он содержит совместное сжатие двух или более сигналов видео данных с последующим разделением единого сжатого битового потока на 2 или более (первичный и вторичный) отдельных битовых потока: "первичный" поток, который является независимым и обрабатывается обычными видео декодерами, и один или более "вторичных" наборов кадров (так называемые вспомогательные потоки видео представления), которые зависят от первичного битового потока. Отдельные битовые потоки мультиплексируются, причем первичный и вторичный битовые потоки являются отдельными битовыми потоками, которые снабжаются отдельными кодами и передаются. На первый взгляд, может показаться излишним и бесполезным затрачивать усилия сначала на совместное сжатие сигналов только для того, чтобы разделить их снова после сжатия, и предоставление им отдельных кодов. Во всех известных способах сжатому сигналу видео данных дается единственный код в мультиплексоре. На первый взгляд, представляется, что изобретение добавляет ненужную сложность в кодирование сигнала видео данных.

Изобретателями, однако, было найдено, что разделение и отдельная компоновка (то есть предоставление отдельных кодов первичному и вторичному битовому потоку в мультиплексоре) первичного и вторичного битового потока в мультиплексированном сигнале имеет результатом то, что, с одной стороны, стандартный демультиплексор в обычной видео системе будет распознавать первичный битовый поток по его коду и посылать его в декодер, так что стандартный видео декодер принимает только первичный поток, вторичный поток не проходит демультиплексор, и стандартный видео декодер, таким образом, в состоянии корректно обработать его как стандартный сигнал видео данных, например, стандартный 2D сигнал видео данных и/или стандартный сигнал видео данных 50 Гц или сигнал базового разрешения, в то время как, с другой стороны, специализированная система, такая как 3D система или система отображения на 100 Гц или видео декодер с высокой разрешающей способностью может полностью реверсировать процесс кодирования и воссоздать исходный расширенный битовый поток, прежде чем послать его, например, в стерео декодер или декодер на 100 Гц или декодер HTV.

В варианте осуществления способа согласно изобретению сигнал видео данных кодируется, кодированный сигнал видео данных содержит первое и, по меньшей мере, второе представление, имеющее кадры, причем кадры первого и второго представления перемежаются, чтобы сформировать перемеженную видео последовательность, после этого перемеженная видео последовательность сжимается, причем кадры первого из представлений кодируются и сжимаются без использования кадров второго представления, и кадры второго представления кодируются и сжимаются с использованием кадров первого представления, и сжатый расширенный сигнал видео данных разделяется на первичный и вторичный битовый поток, причем каждый битовый поток содержит кадры, причем первичный битовый поток содержит сжатые кадры для первого из представлений, а вторичный битовый поток - для второго из представлений, первичный и вторичный битовый поток формируют отдельные битовые потоки, затем первичный и вторичный битовый поток мультиплексируются в мультиплексированный сигнал, причем первичному и вторичному битовым потокам предоставляются отдельные коды.

Фиг.3A и 3B иллюстрируют способ и систему кодирования и систему декодирования вышеупомянутого варианта осуществления изобретения. Фиг.3A иллюстрирует ситуацию, в которой используются система 7 кодирования согласно изобретению и система 8 декодирования согласно изобретению, причем признаки системы кодирования и декодирования схематично показаны элементами в пунктирных прямоугольниках. Фиг.3B иллюстрирует ситуацию, где используется стандартный декодер.

Кадры левого и правого представления перемежаются в VI, чтобы обеспечить объединенный сигнал. Объединенный сигнал напоминает 2D сигнал. 2D видео кодер 5 кодирует и сжимает объединенный перемеженный сигнал. Особым признаком сжатия является то, что кадры одного из представлений формируют независимую систему, то есть в сжатии никакая информация из другого представления не используется для сжатия. Кадры другого представления сжаты с использованием информации из кадров первого представления. Изобретение отступает от естественного стремления, чтобы рассматривать два представления на одинаковом основании. Фактически, два представления не обрабатываются одинаково во время сжатия. Одно из представлений становится первичным представлением, для которого во время сжатия никакая информация не используется из другого представления, другое представление является вторичным. Кадры первичного представления и кадры вторичного представления разделяются в первичный битовый поток и вторичный битовый поток разделителем битового потока BSS. Система кодирования содержит мультиплексор MUX, который назначает код, например, 0x01 для MPEG или 0x1B для H.264, распознаваемый для стандартного видео как видео битовый поток, первичному битовому потоку, и отличающийся код, например, 0x20, вторичному потоку. Мультиплексированный сигнал передается (T). На Фиг.3A сигнал принимается системой декодирования в соответствии с изобретением. Демультиплексор распознает два битовых потока 0x01 или 0x1B (для первичного потока) и 0x20 (для вторичного потока) и посылает их оба на блок объединения битовых потоков (BSM), который объединяет первичный и вторичный поток снова, и объединенная видео последовательность декодируется путем реверсирования способа кодирования в декодере. Система 8 декодирования в комбинации с 3D дисплеем формирует пример устройства отображения в соответствии с изобретением.

Фиг.3B иллюстрирует ситуацию, когда мультиплексированный сигнал принимается стандартной видео системой 9. Стандартный демультиплексор распознает битовый поток 0x01 или 0x1B как сигнал видео данных и передает его к стандартному декодеру. Битовый поток 0x20 не распознается и отклоняется, на Фиг.3B это схематично указано посылкой битового потока в «мусорную корзину» BW. Сигнал, принятый декодером, имеет битовую скорость, которую стандартный декодер может обрабатывать, и форму, которую может обрабатывать стандартный декодер.

Поскольку первичный поток 0x1B - полностью независимый сигнал, проблема, связанная со способом по Фиг.2, не возникает, когда стандартная 2D видео система отображает представление первичного сигнала. Таким образом, способ по Фиг.3 является 2D обратно совместимым.

Способ кодирования согласно изобретению позволяет снижать скорость передачи битов по сравнению со сжатием двух представлений отдельно. Таким образом, достигается как сокращение битовой скорости, так и 2D обратная совместимость.

Фиг.4 иллюстрирует перемежение двух представлений, левого (L) и правого (R), каждое из которых состоит из кадров от 0 до 7, в перемеженный объединенный сигнал, имеющий кадры от 0 до 15. Перемежение сигнала - известный процесс в обработке изображения.

Фиг.5 иллюстрирует так называемую двухэлементную временную структуру, использующую иерархические кадры B. В нормальной видео обработке часто используются различные типы кадров I для кадров B и кадров P. Некоторые кадры нуждаются в других кадрах для кодирования. В схеме, изображенной на Фиг.5, это обозначено посредством стрелок, какие кадры используются в кодировании и сжатии других кадров. В этих схемах кадры I₀/P ₀ используются в кодировании/сжатии кадров В₁ , кадры В₁ используются в кодировании/сжатии кадров B₂, и кадры B₂ используются в кодировании/сжатии кадров B₃. Таким образом, имеется иерархия, причем самые низкие уровни иерархии - кадры B₃. Кадры B ₃ нуждаются в кадрах более высокого уровня иерархии (I ₀/P₀, B₁, B₂), чтобы кодироваться (или на стороне приемника декодироваться), но сами не требуются, чтобы кодировать или декодировать кадры иерархии более высокого уровня.

Когда схема перемежения по Фиг.4 объединяется со схемой зависимости по Фиг.5, становится очевидно, что кадры одного из представлений (любого из левого или правого представления) соответствуют кадрам на уровне B₃ иерархии, и кадрам других представлений с более высоким уровнем иерархии. Это представление не нуждается в кадрах другого представления, чтобы декодироваться, и является, таким образом, независимым сигналом. На Фиг.5 это соответствует тому факту, что никакие стрелки не идут от кадра B₃ к какому-нибудь из кадров B₂, В ₁ или I₀/P₀. Кадры для другого представления (B₃) не формируют независимый сигнал, упомянутое представление нуждается в информации независимого представления, чтобы декодироваться. Кадры B₃ могут быть взаимозависимыми.

Путем перемежения кадров левого и правого представления и затем сжатия их со схемой сжатия, которая обеспечивает один независимый сигнал для одного из представлений, и затем разделения сигнала снова на первичный поток двоичных сигналов (содержащий независимый сигнал) и вторичный битовый поток (содержащий сигнал, не являющийся независимым), достигается снижение битовой скорости, но при этом обеспечивая полностью работоспособный 2D обратно совместимый сигнал. Разделитель битового потока создает первичный поток (0x1B) путем конкатенации всех блоков доступа (блок доступа содержит данные для, по меньшей мере, кадра) первого представления в первичный поток и создает вторичный поток путем конкатенации всех блоков доступа (AU) второго представления во вторичный битовый поток. Мультиплексор затем назначает различный код первичному и вторичному потоку.

Фиг.6 иллюстрирует примерную схему для разделителя битового потока. Это обеспечивает механизм разделения битового потока, совместимый со схемой кодирования AVC (Усовершенствованное видео кодирование). В схеме кодирования AVC может предоставляться сообщение SEI. Сообщение SEI ("информация стерео видео") содержит информацию относительно выполненного перемежения, так что стерео декодер на стороне приема может отличить одно представление от другого и выполнить обращенное перемежение.

В этом варианте осуществления изобретения сообщение SEI используется в системе кодирования.

На этапе 60 принимается блок доступа.

В первом этапе 61 проверяется, содержит ли текущий блок доступа сообщение SEI.

Если блок доступа не содержит сообщение SEI, в этом конкретном примере информация относительно набора кадров, которым принадлежит блок доступа, выводится из предыдущей принятой информации. Например, если предыдущая полученная информация имела вид: "если один блок доступа принадлежит набору A, следующий принадлежит набору B", то не требуется предоставлять каждому блоку доступа информацию SEI.

Если блок доступа содержит сообщение SEI, действительность сообщения SEI проверяется относительно предыдущего сообщения SEI на этапе 62.

Сообщения SEI дают информацию относительно перемежения, которое обычно является известной последовательностью. Если сообщение SEI недействительно, то имеет место ошибка 63.

Если сообщение SEI действительно, выполняется следующий этап 64.

Для каждого блока доступа соответствующая информация перемежения теперь доступна, либо посредством того факта, что не было никакого сообщения SEI, и в этом случае не было никакого изменения в сообщении SEI относительно предыдущего блока доступа, либо блок доступа имеет действительное сообщение SEI.

В следующем этапе 64 проверяется, образует ли блок доступа часть первичного представления, и если это так, то он присоединяется на этапе 65 к первичному битовому потоку представления, в противном случае он присоединяется к вторичному битовому потоку видео представления на этапе 66. Очевидно, что эта последовательность могла быть реверсирована. Как только блок доступа обработан и присоединен или к первичному или к вторичному битовому потоку, принимается следующий блок доступа на этапе 67, и процесс повторяется. Следует отметить, что Фиг.6 является примерным вариантом осуществления разделителя. Кодированный сигнал может быть разделен различными способами. Информация относительно разделения может быть неявной, например, если фиксированная последовательность используется для кодирования, или явной, например, при использовании сообщений SEI кодов NAL, или комбинацией указанного. Различные сокращения в блоке доступа 0 и 8, хотя не релевантны для настоящего изобретения, за исключением сокращения SEI, обозначают следующее:

SPS: Набор параметров последовательности

PPS: Набор параметров изображения

IDR: Мгновенное обновление декодера

Slice: Группа MB (макроблок из 16*16 пикселей),

SEI: Дополнительная информация расширения

Фиг.7 иллюстрирует пример единственного кодированного битового потока и его разделенную версию. Следует отметить, что блоки доступа 0 и 8, которые содержат видео информацию, образуют часть первичного битового потока. Все блоки доступа для первичного битового потока (AU8, AU0, AU4, AU2, AU6) имеют сообщение SEI, соответствующее одному из потоков, независимому сигналу, другие блоки доступа имеют сообщение SEI, имеющее отношение к вторичному битовому потоку.

Эти два битовых потока сохраняются синхронными на уровне систем, например благодаря флагам DTS (временная метка декодирования) в транспортном потоке MPEG-2 (приложение широковещательной передачи) или в формате файла MPEG-4 (приложение хранения файлов). Элемент синтаксиса на уровне систем может использоваться, чтобы указать, что вторичный битовый поток зависит от первичного битового потока.

Следует отметить, что вторичный поток больше не является действительным потоком как таковым. Часто это не будет проблемой. Если бы произошла проблема, то можно вставить пустые кадры во вторичный поток, которые едва ли увеличат битовую скорость. Перед процессом объединения эти пустые кадры должны быть сначала удалены.

В вариантах осуществления могут быть произведены регулярные изменения первичного и вторичного сигнала. В способе два представления не обрабатываются одинаково; первое представление является независимым представлением, тогда как второе представление выводится из первого. Это могло бы привести к небольшому различию по качеству между левым и правым представлением, что может временами привести к несколько отличающемуся режиму для левого и правого глаза, получающего изображения. Путем регулярного изменения первичного представления от левого на правое, например, при изменениях сцен, этого можно избежать.

В вариантах осуществления коэффициент квантования при сжатии может отличаться для первичных и вторичных битовых потоков, в 3D примере первичного и вторичного представлений. Особенно, когда имеется больше вторичных представлений, как будет объяснено ниже, может быть полезно назначить большую ширину полосы для первичного представления, чем для вторичного представления.

Фиг.8-10 иллюстрируют схематично предшествующий уровень техники и изобретение. В предшествующем уровне техники, см. Фиг.8, видео кодер, в этом примере видео кодер AVC (Улучшенное видео кодирование) Venc кодирует сигнал видео данных, аудио кодер кодирует аудио сигнал. Мультиплексор MUX генерирует мультиплексированный сигнал, причем видео битовый поток, получает код, например 0x1B, а аудио битовый поток - код 0x03. 2D демультиплексор извлекает из мультиплексированного сигнала два составляющих битовых потока и посылают видео битовый поток в видео декодер и аудио битовый поток в аудио декодер. Видео декодер, таким образом, получает весь видео битовый поток, независимо от того, может ли он обрабатывать его или нет.

Фиг.9 иллюстрирует ситуацию, когда способ кодирования и система кодирования согласно изобретению используются на стороне кодирования, и стандартное видео устройство - на стороне декодирования.

После кодирования разделитель разделяет кодированный поток на первичный поток prim и вторичный поток sec. Мультиплексор mux генерирует мультиплексированный сигнал, содержащий битовый поток 0x1B для первичного представления, и отдельный битовый поток 0x20 для вторичного представления и, как в случае Фиг.8, аудио битовый поток 0x03.

Стандартное устройство содержит демультиплексор, который извлекает из мультиплексированного сигнала первичный битовый поток 0x1B, так как он распознает этот битовый поток по его коду; он отклоняет битовый поток 0x20. Видео декодер получает первичный битовый поток 0x1B. Так как это независимый битовый поток с "нормальной" скоростью передачи битов, видео декодер в состоянии декодировать битовый поток без больших проблем. Таким образом, способ кодирования и система являются обратно совместимыми.

Фиг.10 иллюстрирует ситуацию, где используется система декодирования в соответствии с изобретением.

В стороне декодера декодер содержит 3D демультиплексор 3D demux. Этот демультиплексор посылает аудио битовый поток 0x03 к аудио декодеру, извлекает два видео битовых потока 0x1B (первичный битовый поток) и 0x02 (вторичный битовый поток) из мультиплексированного сигнала и посылает два видео битовых потока на их соответствующие входы в блоке объединения битового потока (BSM), который вновь объединяет первичный и вторичный поток. Объединенный видео поток посылается в декодер, который декодирует объединенный битовый поток с использованием реверсивного способа кодирования, обеспечивающего 3D сигнал видео данных.

Таким образом, специализированная 3D система декодирования видео в состоянии декодировать 3D сигнал видео данных, в то время как стандартная 2D система декодирования видео также в состоянии обеспечить высококачественное изображение.

В примерах, приведенных выше, расширенный сигнал видео данных был 3D сигналом, включающим в себя два представления: левое и правое представление.

Изобретение не ограничено этой ситуацией, хотя является весьма подходящим для этой ситуации.

Изобретение также полезно, когда вместо двух представлений генерируется сигнал множества представлений.

Фиг.11 иллюстрирует ситуацию, в которой имеется три перемеженных сигнала представления, первое центральное представление, для которого битовый поток является независимым, сопоставимым с независимым битовым потоком представления L на Фиг.5, и два вторичных битовых потока B₃ и B₃' представления, причем каждый из этих битовых потоков кодирован и сжат в зависимости от данных центрального представления.

В этом примере три относится к трем представлениям, первичному представлению, например центральному представлению и множеству вторичных представлений, например левому и правому представлениям. Для центрального представления генерируется независимый битовый поток. Для двух вторичных представлений, например левого и правого представления, генерируются вторичные, не являющиеся независимыми битовые потоки.

В этом варианте осуществления может быть полезно использовать при сжатии различный коэффициент квантования для кадров центрального представления, по сравнению с кадрами вторичного представления, особенно, если имеется множество вторичных представлений.

Это вариант осуществления полезен для генерации сигнала с множеством представлений, использующего MVC (кодирование с множеством представлений) кодер. В примере по Фиг.11 генерируются три представления, единственное первичное и два вторичных представления. Больше чем два вторичных представления могут генерироваться в зависимости от множества генерируемых представлений. В сложных вариантах осуществления могут генерироваться более чем одно первичное представление и больше вторичных представлений.

Другой вариант осуществления изобретения иллюстрируется на Фиг.12.

Другая категория сигналов расширенных видео данных является той, в которой должен генерироваться сигнал более высокой частоты (например, 100 Гц). Проблема, описанная выше для стерео сигналов, существенна также для такого сигнала видео данных. Большинство устройств видео отображения работает на стандартных частотах, и декодеры спроектированы для таких частот.

Фиг.12 иллюстрирует сигнал, который сформирован высокоскоростной камерой CAM на 100 Гц, содержащий большое количество кадров с частотой 100 Гц кадров. Такой сигнал не является подходящим для отображения в стандартных телевизионных системах на 50 Гц. Он может быть представлен как содержащий нормальное распределения кадров и высокоскоростное распределение кадров.

В специализированном видео декодере кадры могут быть сжаты в схеме, во многом такой же, как схема, показанная на Фиг.5. Это показано на Фиг.13. Сигнал, поступающий из высокоскоростной камеры, может рассматриваться как обеспечение сигнала двух наборов перемеженных кадров (а именно, с четными и нечетными номерами), и оба они сжаты, причем кадры с четными номерами сжаты, чтобы сформировать независимый набор кадров с частотой 50 Гц, кадры с нечетными номерами сжаты в зависимости от набора кадров с четными номерами. Этот пример отличается от предыдущего примера тем, что перемежение кадров наборов является присущим сигналу, который предоставляется кодеру. Однако типовые принципы применяются. Четные кадры будут формировать первичный битовый поток, нечетные кадры - вторичный битовый поток или наоборот. Конечно, когда обеспечивается еще более высокочастотный сигнал, например, потому что используется камера на 200 Гц, число наборов могло быть равно четырем, причем генерируется единственный первичный битовый поток на 50 Гц и три вторичных битовых потока.

Фиг.14A и 14B показывают схемы кодирования и декодирования варианта осуществления, схематично показанного на Фиг.12 и 13. Эти схемы в значительной степени подобны схемам по Фиг.3A и 3B. На Фиг.14A схематично показана ситуация, где используется специализированный декодер. Камера CAM на 100 Гц обеспечивает сигнал, как схематично показано на Фиг.12, в SVC (масштабируемое видео кодирование) кодере выполняется схема кодирования, как схематично представлено на Фиг.13. Камера, таким образом, обеспечивает перемеженный (а именно, четные и нечетные кадры с 100 гц) сигнал, который принимается системой 7 кодирования, система 7 кодирования содержит кодер для того, чтобы сжимать один из наборов, содержащихся в перемеженном сигнале, обеспеченном камерой на 100 Гц, в независимый набор сжатых кадров. В разделителе BSS кадры присоединяются либо к первичному битовому потоку 0x1B, либо к вторичному битовому потоку 0x20, и в мультиплексоре (MUX) двум битовым потокам предоставляются отличающиеся коды. Обратное выполняется на стороне декодера 8. STB обозначает телевизионную приставку. Окончательно декодированный сигнал подается на телевизионный приемник (TV) на 100 Гц. Устройство отображения согласно этому варианту осуществления изобретения содержит систему 8 декодирования и TV на 100 Гц. Записывающее устройство в соответствии с этим вариантом осуществления изобретения содержит кодер 7 и камеру.

Фиг. 14B иллюстрирует ситуацию, когда используется TV на 50 Гц с соответствующей обычной системой декодирования. Стандартный демультиплексор (DEMUX) распознает и принимает первичный битовый поток и посылает его в TV на 50 Гц. Этот битовый поток является независимым и имеет надлежащий формат и частоту и обеспечивает адекватное качество изображения на TV на 50 Гц. Вторичный битовый поток отклоняется и не участвует в нормальном функционировании TV системы на 50 Гц.

В вышеупомянутом варианте осуществления поток SVC разделяется по частоте (оси времени). SVC также позволяет разделять кадры по оси разрешения и/или оси квантования (SNR, CGS (грубая гранулярность), FGS (тонкая гранулярность) и/или оси выборки цвета (4:4:4,4:2:0,4:2:2). В таких вариантах осуществления проблема, описанная выше, то есть факт, что стандартный видео декодер имеет проблемы обработки поступающего битового потока, также возникает, другими словами, возникают проблемы совместимости.

В пределах сущности изобретения, в его самом широком смысле, видео поток разделяется, по меньшей мере, на два битовых потока, первичный и вторичный видео поток (см. Фиг.15), причем первичный видео поток является независимым, а вторичный видео поток нуждается в первичном видео потоке для декодирования, и в мультиплексоре первичному видео потоку предоставляется стандартный код (0x1B), и вторичному видео потоку предоставляется отличающийся код (0x20). Сигнал видео данных может быть разделен вдоль оси разрешения, причем первичный битовый поток в мультиплексированном сигнале содержит данные основного уровня, а вторичный битовый поток в мультиплексированном сигнале, которому предоставляется отличающийся код, содержит видео данные для расширенного уровня или расширенных уровней.

Код, предоставленный первичному потоку, является стандартным кодом (например, 0x1B или 0x01) и, таким образом, может обрабатываться любым нормальным стандартным немасштабируемым MPEG (для 0x01) или видео декодером H.264 (для 0x1B) 9, тогда как специализированный декодер 8 в соответствии с изобретением может получить полные преимущества от кодирования с масштабируемостью. Фиг.16A и Фиг.16B обеспечивают вариант осуществления изобретения, который может быть применен, чтобы подавать сигнал видео данных SDTV на SDTV (TV стандартного определения), как показано на Фиг.16B, и сигнал видео данных HDTV - на HDTV (TV повышенного определения), как показано на Фиг.16A.

Изобретение также воплощено в любом компьютерном программном продукте для способа или устройства в соответствии с изобретением. Под компьютерным программным продуктом следует понимать любую физическую реализацию совокупности команд, позволяющих процессору общего назначения или специализированному процессору, после ряда этапов загрузки (которые могут включать в себя этапы промежуточного преобразования, как перевод на промежуточный язык и конечный язык процессора), получать команды в процессор, чтобы выполнять любую из характерных функций изобретения. В частности, компьютерный программный продукт может быть реализован как данные на носителе, таком как, например, диск или лента, данные, присутствующие в памяти, данные, передаваемые по сетевому соединению - проводному или беспроводному - программный код на бумаге. Кроме программного кода, характерные данные, требуемые для программы, могут также быть воплощены как компьютерный программный продукт.

Изобретение также относится к устройствам, содержащим систему кодирования в соответствии с изобретением, таким как 3D устройства видеозаписи или устройства видеозаписи с высокой разрешающей способностью.

Изобретение также относится к устройствам отображения, содержащим систему декодирования в соответствии с изобретением. Такие устройства могут, например, быть устройствами 3D видео отображения или устройством отображения HDTV или устройствами с увеличенным разрешением.

Изобретение, кроме того, относится к мультиплексированному сигналу видео данных, содержащему, по меньшей мере, два связанных сигнала видео данных с отдельными кодами (0x01, 0x1B, 0x20), причем первый сигнал видео данных (0x01, 0x1B) является независимым сигналом видео данных, а, по меньшей мере, второй сигнал видео данных (0x20) не является таковым. Используя демультиплексор, легко обрабатывать эти два связанных, но отличающихся сигнала видео данных по-разному, без использования декодера для проведения различия. Для стандартных устройств, таких как стандартные 2D устройства видео отображения или устройство SDTV, первый независимый сигнал может быть направлен в декодер, не перегружая декодер вторым сигналом. Специализированная видео система может полностью использовать данные в двух сигналах видео данных.

Вкратце, изобретение может быть описано следующим образом:

Сигналы видео данных кодируются таким образом, что кодированный сигнал видео данных содержит, по меньшей мере, первичный и, по меньшей мере, вторичный сигнал видео данных. Первичный и вторичный сигнал видео данных совместно сжимаются. Первичный сигнал видео данных сжимается независимым образом, а вторичный сигнал видео данных сжимается с использованием данных из первичного сигнала видео данных. Совместно сжатый сигнал видео данных разделяется на два отдельных битовых потока, по меньшей мере, первичный битовый поток, содержащий данные для первичного сигнала видео данных, и, по меньшей мере, вторичный битовый поток, содержащий данных для вторичного сигнала видео данных, затем первичный и вторичный битовые потоки мультиплексируются в мультиплексированный сигнал, и первичному и вторичному сигналам предоставляются отдельные коды.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалисты в данной области техники смогут спроектировать много альтернативных вариантов осуществления без отклонения от объема приложенной формулы изобретения.

В формуле изобретения любые ссылочные позиции, указанные в круглых скобках, не должны рассматриваться как ограничение пунктов формулы изобретения.

Слово "содержащий" не исключает присутствия других элементов или этапов, помимо перечисленных в пункте формулы изобретения. Изобретение может быть реализовано любой комбинацией признаков различных предпочтительных вариантов осуществления, как описано выше.