механизм синхронизации для введения субтитров и звукового описания в мультимедиа

Формула изобретения

1. Способ вывода одного или нескольких дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенными чувствами, совместно с основным медиапотоком, содержащий повторяющийся многократный контроль и обнаружение запускающих событий во время вывода основного медиапотока и при обнаружении запускающего события определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный (многократный) вывод каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.

2. Способ по п.1, в котором связанный дополнительный медиапоток итеративно (многократно) выводится в соответствии с заранее определенным порядком среди связанных дополнительных медиапотоков.

3. Способ по п.2, в котором заранее определенный порядок среди связанных дополнительных медиапотоков устанавливается в соответствии со значениями приоритета, связанными с каждым дополнительным медиапотоком.

4. Способ по п.1, дополнительно содержащий приостановление основного медиапотока во время асинхронного вывода связанного дополнительного медиапотока.

5. Способ по п.4, дополнительно содержащий завершение второго дополнительного медиапотока, выводимого в данный момент, когда связанный дополнительный медиапоток выводится асинхронно.

6. Способ по п.4, дополнительно содержащий возобновление вывода основного медиапотока после асинхронного вывода связанного дополнительного медиапотока.

7. Способ по п.6, в котором запускающие события происходят в соответствии с тактированием основного медиапотока.

8. Способ по п.7, в котором тактирование основного медиапотока приостанавливается, когда приостанавливается основной медиапоток.

9. Способ по п.1, в котором первый связанный дополнительный медиапоток итеративно вызывает вывод второго связанного дополнительного медиапотока, когда первый связанный дополнительный медиапоток завершает свой вывод.

10. Способ по п.1, в котором связанный дополнительный медиапоток формирует условное запускающее событие, которое вызывает вывод условного дополнительного медиапотока синхронно со связанным дополнительным медиапотоком.

11. Способ по п.10, в котором связанный дополнительный медиапоток селективно формирует условное запускающее событие в соответствии с условием, внешним для связанного дополнительного медиапотока.

12. Способ по п.1, в котором определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, содержит селективное исключение, в соответствии с внешним условием, дополнительного медиапотока, который иначе был бы связан с запускающим событием.

13. Способ по п.12, в котором внешнее условие идентифицирует тип дополнительного медиапотока, подлежащего селективному исключению.

14. Способ по п.1, в котором дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток.

15. Способ по п.14, в котором составной медиапоток содержит составной основной медиапоток и один или несколько составных дополнительных медиапотоков, связанных с составным медиапотоком.

16. Способ по п.15, в котором вывод составного медиапотока содержит многократный контроль и обнаружение составных запускающих событий во время вывода составного основного медиапотока и при обнаружении составного запускающего события определение, какие из одного или нескольких составных дополнительных медиапотоков связаны с составным запускающим событием, определение для каждого связанного составного дополнительного медиапотока, должен ли каждый связанный составной дополнительный медиапоток выводиться синхронно или асинхронно с составным основным медиапотоком, и итеративный (многократный) вывод каждого связанного составного дополнительного медиапотока или синхронно, или асинхронно с составным основным медиапотоком в соответствии с результатами предыдущих определений.

17. Способ по п.16, в котором составной дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток.

18. Способ по п.16, в котором составные запускающие события происходят в соответствии с тактированием составного основного медиапотока.

19. Считываемый компьютером носитель, имеющий выполняемые компьютером команды для осуществления способа, содержащего многократный контроль и обнаружение запускающих событий во время вывода основного медиапотока и при обнаружении запускающего события определение, какие из одного или нескольких дополнительных медиапотоков связаны с запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный вывод каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.

20. Считываемый компьютером носитель по п.19, в котором дополнительный медиапоток содержит или поток звукового описания, или поток визуального описания, или составной медиапоток, причем составной медиапоток содержит составной основной медиапоток и один или несколько составленных дополнительных медиапотоков, связанных с составным медиапотоком, и вывод составного медиапотока содержит многократный контроль и обнаружение составных запускающих событий во время вывода составного основного медиапотока и при обнаружении составного запускающего события определение, какие из одного или нескольких составных дополнительных медиапотоков связаны с составным запускающим событием, определение для каждого связанного составного дополнительного медиапотока, должен ли каждый связанный составной дополнительный медиапоток выводиться синхронно или асинхронно с составным основным медиапотоком, и итеративный вывод каждого связанного составного дополнительного медиапотока или синхронно, или асинхронно с составным основным медиапотоком в соответствии с результатами предыдущих определений.

21. Система для вывода по меньшей мере одного дополнительного медиапотока, предназначенного для оказания помощи людям с нарушенными чувствами, совместно с основным медиапотоком, причем система содержит устройство вывода медиапотоков для вывода основного медиапотока и по меньшей мере одного дополнительного медиапотока и контроллер вывода медиапотоков, подключенный с возможностью взаимодействия к устройству вывода медиапотоков для приема основного медиапотока и по меньшей мере одного дополнительного медиапотока, вывода основного медиапотока через устройство вывода медиапотоков, контроля и обнаружения запускающих событий, связанных с выводом основного медиапотока и при обнаружении запускающего события определение, какие из по меньшей мере одного дополнительного медиапотока связаны с обнаруженным запускающим событием, определение для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и итеративный вывод каждого связанного дополнительного медиапотока через устройство вывода медиапотоков или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами предыдущих определений.

22. Система по п.21, в которой связанные дополнительные медиапотоки итеративно выводятся в соответствии с заранее определенным порядком среди связанных дополнительных медиапотоков.

23. Система по п.22, в которой заранее определенный порядок среди связанных дополнительных медиапотоков устанавливается в соответствии со значениями приоритета, присвоенными каждому дополнительному медиапотоку.

24. Система по п.21, в которой контроллер вывода медиапотоков дополнительно предназначен для приостановления основного медиапотока во время асинхронного вывода связанного дополнительного медиапотока.

25. Система по п.24, в которой контроллер вывода медиапотоков дополнительно предназначен для завершения второго дополнительного медиапотока, выводимого в данный момент, когда связанный дополнительный медиапоток выводится асинхронно.

26. Система по п.24, в которой контроллер вывода медиапотоков дополнительно предназначен для возобновления вывода основного медиапотока после асинхронного вывода связанного дополнительного медиапотока.

27. Система по п.21, в которой первый связанный дополнительный медиапоток итеративно вызывает вывод второго связанного дополнительного медиапотока, когда первый связанный дополнительный медиапоток завершает свой вывод.

28. Система по п.21, в которой связанный дополнительный медиапоток формирует условное запускающее событие, которое вызывает вывод условного дополнительного медиапотока синхронно со связанным дополнительным медиапотоком.

29. Система по п.28, в которой связанный дополнительный медиапоток селективно формирует условное запускающее событие в соответствии с условием, внешним для связанного дополнительного медиапотока.

30. Система по п.21, в которой дополнительный медиапоток содержит поток звукового описания, поток визуального описания или составной медиапоток.

31. Система по п.30, в которой составной медиапоток содержит составной основной медиапоток и по меньшей мере один составной дополнительный медиапоток, связанный с составным медиапотоком.

32. Медиасистема отображения для вывода одного или нескольких дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенными чувствами, совместно с выводом основного медиапотока, причем система содержит средство контроля для контроля и обнаружения связанных запускающих событий во время вывода основного медиапотока, средство выбора дополнительного медиапотока для выбора, какие из одного или нескольких дополнительных медиапотоков связаны с обнаруженным запускающим событием, средство определения для определения для каждого связанного дополнительного медиапотока, должен ли каждый связанный дополнительный медиапоток выводиться синхронно или асинхронно с основным медиапотоком, и средство управления для итеративного вывода каждого связанного дополнительного медиапотока или синхронно, или асинхронно с основным медиапотоком в соответствии с результатами определений средства определения, завершения любых выводящихся в данный момент дополнительных медиапотоков, когда связанный дополнительный медиапоток выводится асинхронно, и приостановления основного медиапотока, когда связанный дополнительный медиапоток выводится асинхронно.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу отображения дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенным зрением и слухом, совместно с основным медиапотоком.

Предпосылки создания изобретения

Существует много людей, которые имеют доступ к мультимедиа, но не могут полностью понять содержимое, передаваемое мультимедиа, вследствие ухудшения одного из их чувств, таких как зрение или слух. Например, человек с нарушенным слухом может иметь доступ к потоку с мультимедийным содержимым, имеющему как видео-, так и аудиоаспекты, однако может воспринимать только видеоаспект содержимого. Аналогично люди с нарушенным зрением могут иметь доступ к потоку с мультимедийным содержимым, имеющему как видео-, так и аудиоаспекты, однако могут воспринимать только аудиоаспекты содержимого.

Введение субтитров представляет собой дополнительный медиапоток, используемый для оказания помощи тем, у которых нарушен слух, и является промышленной основой для телевизионных программ в течение многих лет. Идея введения субтитров вышла из рамок телевизионного вещания на другие платформы, в частности, на передаваемые компьютером мультимедийные потоки. Компании, такие как Apple и RealNetworks, имеют продукты, которые позволяют авторам содержимого включать дополнительные медиапотоки для введения субтитров в конечные продукты, используя уникальные форматы введения субтитров. Эти форматы в основном основаны на языке синхронизированной интеграции мультимедиа консорциума Всемирной паутины (Internet).

Одним основным недостатком существующих систем для интеграции дополнительных медиапотоков в основные мультимедийные потоки является то, что информация, необходимая для адекватного дополнения основного медиапотока, часто может отставать от основного медиапотока. Вследствие характера дополнительных медиапотоков представление всей информации, необходимой для адекватного дополнения основного медиапотока, требует больше времени, чем позволяет основной медиапоток. Как результат, авторы содержимого должны селективно пропускать некоторую информацию, которая иначе была бы включена в дополнительный поток, чтобы не отставать от основного медиапотока.

Как пример вышеописанной проблемы введение субтитров обычно отображает в текстовом формате диалог действующих лиц на экране. Звуки событий, происходящих за экраном, которые оказывают влияние на речь этих героев, такие как крики или звуки столкновений на заднем плане, возможно, следует исключить, чтобы зафиксировать весь диалог присутствующих героев. Идеальным было бы описание звука, который таким образом оказывает влияние на речь этих героев. Но так как диалог героев продолжается, то часто необходимо пропускать такие описания. Кроме того, дополнительный медиапоток одной сцены часто "перетекает" на следующую сцену, создавая некоторую путаницу в отношении того, что в настоящее время происходит в основном медиапотоке.

Поэтому необходима система для обеспечения дополнительных медиапотоков вместе с основным медиапотоком и селективного приостановления основного медиапотока для того, чтобы дополнительный медиапоток полностью представил содержимое, связанное с конкретным событием. Кроме того, система должна приостановить модель тактирования основного медиапотока, на которой основаны дополнительные медиапотоки, так что на тактирование дополнительных медиапотоков не влияют паузы в основном медиапотоке.

Краткое изложение сущности изобретения

Представлен способ вывода дополнительных медиапотоков с основным медиапотоком. Способ контролирует запускающие (инициирующие) события и при обнаружении запускающего события вызывает вывод одного или нескольких дополнительных медиапотоков, связанных с запускающим событием. Связанные дополнительные медиапотоки могут выводиться или синхронно, или асинхронно с основным медиапотоком. Синхронные дополнительные медиапотоки выводятся одновременно с основным медиапотоком. Асинхронно выводимые дополнительные медиапотоки приостанавливают основной медиапоток, в то время как они выводятся, и завершают любые выводящиеся в данный момент дополнительные медиапотоки. Дополнительный медиапоток может вызвать запуск условным запускающим событием второго дополнительного медиапотока и вывода синхронно с первым. Второй основной медиапоток со связанными дополнительными медиапотоками может выводиться асинхронно в виде скомпилированного (составного) дополнительного медиапотока в связи с первым основным медиапотоком.

Как можно легко понять из вышеописанного краткого изложения, изобретение обеспечивает новый и усовершенствованный способ вывода дополнительных медиапотоков с основным медиапотоком. Следовательно, способ идеально подходит для отображения дополнительных медиапотоков, предназначенных для оказания помощи людям с нарушенным зрением и слухом совместно с основным мультимедийным потоком.

Краткое описание чертежей

Вышеописанные аспекты и многие из сопутствующих преимуществ настоящего изобретения станут более очевидными, ввиду того что они становятся более понятными, в результате ссылки на следующее подробное описание, рассматриваемое совместно с прилагаемыми чертежами, на которых:

На фиг.1 представлена блок-схема вычислительной системы, пригодной для создания примерной рабочей среды для настоящего изобретения.

На фиг.2 представлена временная диаграмма, иллюстрирующая дополнительный медиапоток, выводимый синхронно с основным медиапотоком согласно известному уровню техники.

На фиг.3 представлена временная диаграмма, иллюстрирующая дополнительный медиапоток, выводимый асинхронно с основным медиапотоком в соответствии с настоящим изобретением.

На фиг.4 представлена временная диаграмма, иллюстрирующая многочисленные дополнительные медиапотоки, выводимые как синхронно, так и асинхронно с основным медиапотоком в соответствии с настоящим изобретением.

На фиг.5 представлена временная диаграмма, иллюстрирующая многочисленные дополнительные медиапотоки, включающие составной дополнительный медиапоток, выводимые как синхронно, так и асинхронно с основным медиапотоком в соответствии с настоящим изобретением.

На фиг.6 представлена схема последовательности операций, иллюстрирующая примерную процедуру вывода медиапотоков для вывода основного медиапотока и дополнительных медиапотоков в соответствии с настоящим изобретением.

На фиг.7А, 7В и 7С представлена схема последовательности операций, иллюстрирующая подпрограмму вывода дополнительных потоков для использования в примерной процедуре вывода медиапотоков, показанной на фиг.6.

На фиг.8 представлена блок-схема, иллюстрирующая примерную медиасистему вывода, выполненную в соответствии с настоящим изобретением.

Подробное описание

Фиг.1 и нижеследующее обсуждение предназначены для создания краткого общего описания вычислительной системы, пригодной для осуществления различных признаков изобретения. Хотя вычислительная система описана в общем контексте персонального компьютера, используемого в распределенной вычислительной среде, где дополнительные задачи выполняются удаленными вычислительными устройствами, объединенными вместе сетью связи, специалисту в этой области техники понятно, что изобретение может быть осуществлено со многими другими конфигурациями вычислительной системы, включающими многопроцессорные системы, миникомпьютеры, большие ЭВМ и т.д. Изобретение может быть осуществлено в локальной сети или, альтернативно, на одном компьютере, использующем логические, а не физически удаленные устройства. Кроме того, хотя настоящее изобретение описывается в связи с вычислительной системой, необходимо понять, что изобретение может быть использовано в связи с другими устройствами воспроизведения медиапотоков, такими как кассетный видеомагнитофон или проигрыватель цифровых многофункциональных дисков (DVD), с соответствующими модификациями системы управления.

Хотя аспекты изобретения могут быть описаны в смысле прикладных программ, которые работают в операционной системе совместно с персональным компьютером, специалисту в этой области техники понятно, что эти аспекты также могут быть осуществлены в комбинации с другими программными модулями. В общих чертах, программные модули включают в себя процедуры, программы, компоненты, структуры данных и т.д., которые выполняют определенные задачи или реализуют конкретные абстрактные типы данных.

Как показано на фиг.1, примерная система для осуществления изобретения включает в себя обычный персональный компьютер 102, включающий в себя этап 104 обработки данных, системное запоминающее устройство 106 и системную шину 108, которая связывает системное запоминающее устройство с этапом 104 обработки данных. Системное запоминающее устройство 106 включает в себя постоянное запоминающее устройство 110 (ПЗУ) и оперативное запоминающее устройство 112 (ОЗУ). Базовая система 114 ввода-вывода (БСВВ), содержащая основные процедуры, которые помогают выполнять передачу информации между элементами в персональном компьютере 102, как, например, во время запуска, хранится в ПЗУ 110. Персональный компьютер 102 дополнительно включает в себя привод 116 жесткого диска, привод 118 магнитных дисков, например, для считывания или записи на съемный диск 120, и привод 122 оптических дисков, например, для считывания с компакт-диска 124 или считывания с другого оптического носителя или записи на него. Привод 116 жесткого диска, привод 118 магнитных дисков и привод 122 оптических дисков подключены к системной шине 108 посредством соответственно интерфейса 126 привода жесткого диска, интерфейса 128 привода магнитных дисков и интерфейса 130 привода оптических дисков. Приводы и связанные с ними считываемые компьютером носители обеспечивают энергонезависимое запоминающее устройство для персонального компьютера 102. Хотя описание выше считываемого компьютером носителя относится к жесткому диску, съемному магнитному диску и компакт-диску, специалисту в этой области техники должно быть понятно, что другие типы носителей, которые могут считываться компьютером, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, картриджи Бернулли, ZIP-диски и т.д., также могут быть использованы в примерной рабочей среде.

Ряд программных модулей может храниться в приводах и ОЗУ 112, включая операционную систему 132, одну или несколько прикладных программ 134, другие программные модули 136 и данные 138 программ. Пользователь может вводить команды и информацию в персональный компьютер 102 через устройства ввода, такие как клавиатура 140 или мышь 142. Другие устройства ввода (не показаны) могут включать в себя микрофон, сенсорную панель, джойстик, игровой планшет, антенну спутниковой связи, сканер и т.п. Эти и другие устройства ввода часто подключаются к этапу 104 обработки данных через интерфейс 144 ввода для пользователя, который подсоединен к системной шине, но могут быть подключены посредством других интерфейсов (не показаны), таких как игровой порт или универсальная последовательная шина (УПШ). Дисплей 158 также подключается к системной шине 108 через подсистему дисплея, которая обычно включает в себя интерфейс 156 графического дисплея и программный модуль, иногда упоминаемый как драйвер дисплея, для сопряжения с интерфейсом графического дисплея. Кроме того, персональные компьютеры также обычно включают в себя другие периферийные устройства вывода (не показаны), такие как громкоговорители или принтеры.

Персональный компьютер 102 может работать в сетевой среде, используя логические подключения к одному или нескольким удаленным компьютерам, таким как удаленный компьютер 146. Удаленный компьютер 146 может быть сервером, маршрутизатором, одноранговым устройством или другим общим узлом сети и обычно включает в себя многие или все элементы, описанные в отношении персонального компьютера 102. Логические подключения, показанные на фиг.1, включают в себя локальную вычислительную сеть 148 (ЛВС) и глобальную вычислительную сеть 150 (ГВС). Такие сетевые среды обычны для офисов, корпоративных вычислительных сетей, интрасетей и сети Интернет.

При использовании в сетевой среде ЛВС персональный компьютер 102 подключается к ЛВС 148 через сетевой интерфейс 152. При использовании в сетевой среде ГВС персональный компьютер 102 обычно включает в себя модем 154 или другое средство для установления связи через ГВС 150, такой как Интернет. Модем 154, который может быть внутренним или внешним, подключается к системной шине 108 через интерфейс 144 ввода для пользователя. В сетевой среде программные модули, описанные в отношении персонального компьютера 102 или его частей, могут храниться в устройстве хранения на удаленном запоминающем устройстве. Понятно, что показанные сетевые подключения являются примерными и может быть использовано другое средство установления канала связи между компьютерами. Кроме того, ЛВС 148 и ГВС 150 могут быть использованы в качестве источника информации на энергонезависимом устройстве хранения для системы.

На фиг.2 представлена временная диаграмма 200, иллюстрирующая дополнительный медиапоток 204, выводимый синхронно с основным медиапотоком 202 согласно известному уровню техники. Как показано на временной диаграмме 200, основной медиапоток 202 начинает вывод в момент времени Т0 и продолжает без перерыва до момента времени Т6. Во время вывода основного медиапотока 202 в момент времени Т1 происходит запускающее событие 201, которое вызывает вывод дополнительным медиапотоком 204 медиасегмента 206. Как видно из временной диаграммы 200, медиасегмент 206 выводится синхронно с основным медиапотоком 202 с продолжительностью DUR0.

В момент времени Т3 происходит второе запускающее событие 203, вызывающее вывод дополнительным медиапотоком 204 второго медиасегмента 208. Согласно известному уровню техники медиасегмент 208 выводится также синхронно с основным медиапотоком 202. Как показано на фиг.2, медиасегмент 208 выводится с продолжительностью DUR1. Так как оба медиасегмента выводятся синхронно с основным медиапотоком 202, общее время воспроизведения основного медиапотока 202 со связанным дополнительным медиапотоком 204 составляет Т6, равное времени воспроизведения одного основного медиапотока.

В качестве примера того, как эта временная диаграмма 200 работает в известном уровне техники, основной медиапоток 202 может представлять мультимедийное воспроизведение, подлежащее отображению на дисплее, таком как дисплей 156 (фиг.1). Дополнительный медиапоток 204 может представлять поток текстовых описаний диалога, происходящего при мультимедийном воспроизведении. Запускающие события 201 и 203 представляют заранее определенные моменты времени относительно мультимедийного воспроизведения, где диалог происходит или происходил, и текстовое описание этого диалога доступно для людей с нарушенным слухом. Согласно известному уровню техники текстовые описания отображаются синхронно с мультимедийным воспроизведением. Однако при синхронном представлении основной медиапоток и дополнительный медиапоток адекватны тогда, когда текстовые описания достаточно короткие для одновременного представления с основным медиапотоком, то легко можно наблюдать, как деградировала бы эта система. Например, когда текстовые описания длинные, они могут перекрывать последующие сцены информации при основном воспроизведении, создавая существенную путаницу для тех, кто полагается на текстовые описания. Альтернативно, автор дополнительного медиапотока может быть вынужден исключить важную информацию, для того чтобы текстовое описание "подходило" к определенному периоду времени. Как описано выше, необходим способ для приостановления основного медиапотока, когда это необходимо, чтобы дополнительные медиапотоки могли отображать большее количество надежного содержимого в пределах временной последовательности основного медиапотока.

На фиг.3 представлена временная диаграмма 300, иллюстрирующая дополнительный медиапоток 304, выводимый асинхронно с основным медиапотоком 302, в соответствии с настоящим изобретением. Как изображено на временной диаграмме 300, основной медиапоток 302 начинает вывод в момент времени Т0 и завершает в момент времени Т6. Во время вывода основного медиапотока 302 в момент времени Т1 происходит запускающее событие 301, которое вызывает вывод дополнительным медиапотоком 304 медиасегмента 306. Однако в отличие от синхронного вывода дополнительных медиасегментов на фиг.2 медиасегмент 306 выводится асинхронно основному медиапотоку 302. Следовательно, основной медиапоток 302 приостанавливается, как указано сегментом 310 паузы. Информация для определения того, должен ли быть приостановлен основной медиапоток, может быть определена из запускающего события, из типа дополнительного медиасегмента или определена внутренне посредством дополнительного медиасегмента. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом для определения того, выводить ли дополнительный медиапоток асинхронно с основным медиапотоком.

Как показано на временной диаграмме 300, медиасегмент 306 выводится в течение продолжительности DUR2. В течение этого периода времени основной медиапоток 302 остается приостановленным, включая тактирование основного медиапотока. При завершении медиасегмента 306 происходит запускающее событие 303, вызывающее возобновление основного медиапотока 302 и его тактирования. Запускающее событие может создаваться самим медиасегментом 306, дополнительным медиапотоком 304 или внешней системой контроля. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом возобновления приостановленного основного медиапотока 302.

В момент времени Т3 запускающее событие 305 вызывает вывод дополнительным медиапотоком 304 другого медиасегмента 308 асинхронно с основным медиапотоком 302. Медиасегмент 308 выводится в течение продолжительности DUR3, в течение которой основной медиапоток 302 приостановлен, как указывается сегментом 312 паузы. После завершения медиасегмента 308 или, альтернативно, в качестве операции завершения запускающее событие 307 вызывает возобновление вывода основного медиапотока 302. В соответствии с иллюстративной временной диаграммой 300 после этого основной медиапоток продолжает свой вывод без перерыва до завершения в момент времени Т6. Однако хотя время вывода основного медиапотока 302 составляет Т6, общее время воспроизведения для вывода как основного медиапотока, так и дополнительного медиапотока 304 составляет T6+DUR2+DUR3 из-за приостановок во времени асинхронного вывода медиасегментов 306 и 308.

В результате асинхронного вывода сегментов дополнительного медиапотока, как показано на временной диаграмме 300, поставщики содержимого не ограничиваются количеством или качеством дополнительной информации, которая может быть представлена с основным медиапотоком. Кроме того, дополнительная информация может быть представлена более своевременным и скоординированным образом с основным медиапотоком.

На фиг.4 представлена временная диаграмма 400, иллюстрирующая многочисленные дополнительные медиапотоки, выводимые как синхронно, так и асинхронно с основным медиапотоком 402, в соответствии с настоящим изобретением. Начинающийся в момент времени Т0 основной медиапоток 402 начинает свой вывод. Также в момент времени Т0 запускающее событие 401 вызывает вывод дополнительным медиапотоком 408 медиасегмента 410 синхронно с основным медиапотоком 402. Так как медиасегмент 410 выводится синхронно с основным медиапотоком 402, медиасегмент не влияет на общее время воспроизведения основного медиапотока и дополнительных медиапотоков.

Часто могут иметь место многочисленные дополнительные медиапотоки, связанные с одним запускающим событием. В соответствии с настоящим изобретением эти связанные дополнительные медиапотоки могут выводиться или синхронно, или асинхронно с основным медиапотоком. Так как асинхронные дополнительные медиапотоки приостанавливают все другие потоки, когда имеются многочисленные асинхронные дополнительные медиапотоки, связанные с одним запускающим событием, может быть необходим порядок вывода связанных потоков. Например, автор содержимого может посчитать необходимым вывести первый дополнительный медиапоток перед выводом второго дополнительного медиапотока, и оба сегмента должны быть выведены до возобновления вывода основного медиапотока. В соответствии с аспектами настоящего изобретения сначала выводится дополнительный медиапоток с наивысшим приоритетом. Кроме того, когда первый дополнительный медиапоток завершает свой вывод медиасегмента, связанного с запускающим событием, он вызывает вывод вторым связанным медиапотоком дополнительного медиасегмента. В соответствии с одним аспектом настоящего изобретения это может выполняться посредством направления первым дополнительным медиасегментом запускающего события второму дополнительному медиасегменту. Альтернативно, первый дополнительный медиасегмент может вызывать появление второго запускающего события, которое вызывает вывод вторым связанным дополнительным медиапотоком медиасегмента. Настоящее изобретение, однако, не должно рассматриваться как ограниченное каким-то конкретным механизмом итеративного вывода множества дополнительных медиапотоков, связанных с одним запускающим событием. После завершения всех связанных асинхронных дополнительных медиапотоков могут быть выведены любые синхронные медиасегменты и возобновляется основной медиапоток.

В соответствии с иллюстративной временной диаграммой 400 в момент времени Т1 дополнительный медиапоток 404 и дополнительный медиапоток 406, оба связаны с запускающим событием 403. В соответствии с заранее определенным порядком запускающее событие 403 вызывает начало вывода дополнительным медиапотоком 404 своего медиасегмента 412. Так как медиасегмент 412 должен выводиться асинхронно, приостанавливается основной медиапоток 402, что указывается сегментом 418 паузы. Когда завершается медиасегмент 412, запускающее событие 405 вызывает вывод дополнительным медиапотоком 406 медиасегмента 414.

Во многих случаях автор содержимого может пожелать условно вывести второй дополнительный медиапоток одновременно с первым дополнительным медиапотоком. Например, если зритель с нарушенным слухом указал на возможность понимания объяснений с помощью жестов, автор содержимого может пожелать условно вывести дополнительный медиасегмент жестов вместе с текстовым описанием основного медиапотока. При таких обстоятельствах дополнительный медиапоток текстового описания может проверять внешнее условие с целью определения целесообразности одновременного вывода связанного дополнительного медиапотока объяснений с помощью жестов. Альтернативно, может произойти условное запускающее событие, и условный дополнительный медиасегмент сам может определить необходимость вывода, основываясь на внешнем условии.

Как показано на фиг.4, медиасегмент 414 выводится асинхронно с основным медиапотоком 402. Однако во время вывода медиасегмента 414 происходит условное запускающее событие, как изображено условным запускающим событием 407. Указанный условным запускающим событием 407 дополнительный медиапоток выводит медиасегмент 416 синхронно с медиасегментом 414. В соответствии с иллюстративной временной диаграммой 400 условный медиасегмент 416 завершается до завершения медиасегмента 414. Ввиду того что медиасегмент 414 завершается, поскольку он выводится асинхронно с основным медиапотоком 402 и поскольку нет других дополнительных медиапотоков, связанных с запускающим событием 403, запускающее событие 409 вызывает возобновление вывода основного медиапотока. В момент времени Т2 происходит запускающее событие 411, вызывающее синхронный вывод дополнительным медиапотоком 408 медиасегмента 420.

В соответствии с другими аспектами настоящего изобретения (не показаны), если дополнительный медиапоток выводится тогда, когда запускающее событие вызывает вывод второго асинхронного дополнительного медиапотока, первый дополнительный медиапоток обрезается/завершается. Например, если бы медиасегмент 410 был достаточно длинным и выполнялся до момента времени Т2, то он бы обрезался/завершался в момент времени Т1, так как медиасегмент 412 выводится асинхронно. Альтернативно, может продолжаться вывод дополнительных медиапотоков после последующего запускающего события, если второй дополнительный медиасегмент 410 должен выводиться синхронно. Таким образом, в соответствии с только что описанным примером продолжался бы вывод медиасегмента 410 после того, как произошло запускающее событие 403, если медиасегмент 412 также должен был бы выводиться синхронно.

Другим преимуществом, реализуемым настоящим изобретением относительно известного уровня техники, является возможность использования составления (компиляции) основного медиапотока и дополнительных медиапотоков в виде составного медиапотока для второго основного медиапотока. Составной медиапоток использует свое собственное внутреннее тактирование, и связанные дополнительные медиапотоки могут выводиться асинхронно составному основному медиапотоку. На фиг.5 изображено использование составного дополнительного медиапотока.

На фиг.5 представлена временная диаграмма 500, иллюстрирующая многочисленные дополнительные медиапотоки, включающие в себя составной медиапоток 506, выводимые как синхронно, так и асинхронно основному медиапотоку 502, в соответствии с настоящим изобретением. Начиная с момента времени Т0 выводится основной медиапоток. Кроме того, в момент времени Т0 запускающее событие 501 вызывает синхронный вывод дополнительным медиапотоком 504 дополнительного медиасегмента 512. В момент времени Т1 запускающее событие 503 вызывает асинхронный вывод составным медиапотоком 506 составного медиасегмента 508, что изображается сегментом 510 паузы. Как показано на фиг.5, составной медиасегмент 508 содержит составной основной медиапоток 516 и составной дополнительный медиапоток 518.

В соответствии с временной диаграммой 500 в момент времени С0, который соответствует моменту времени Т1 основного медиапотока 502, выводится составной основной медиапоток 516. В момент времени С1 запускающее событие 509 вызывает синхронный вывод составным дополнительным медиапотоком 518 составного медиасегмента 520. В момент времени С3 запускающее событие 511 вызывает асинхронный вывод составным дополнительным медиапотоком 518 составного медиасегмента 522. Так как составной медиасегмент 522 выводится асинхронно, приостанавливается составной основной медиапоток 516, как указано сегментом 524 паузы. По завершении составного медиасегмента 522 запускающее событие 513 вызывает возобновление составного основного медиапотока 516. В момент времени С4 завершается составной основной медиапоток 516. Завершение составного основного медиапотока 516 означает завершение составного медиасегмента 508. Следовательно, происходит запускающее событие 505, которое вызывает возобновление своего вывода основным медиапотоком 502. В момент времени Т3 происходит запускающее событие 507, которое вызывает синхронный вывод дополнительным медиапотоком 504 медиасегмента 514.

На фиг.6 представлена схема последовательности операций, иллюстрирующая примерную процедуру 600 вывода медиапотоков для вывода основного медиапотока с одним или несколькими дополнительными медиапотоками в соответствии с настоящим изобретением. Начиная с этапа 602, выводится основной медиапоток. Специалисту в этой области техники понятно, что будет продолжаться вывод основного медиапотока, когда продолжает работать примерная процедура 600. Следовательно, в то время как выводится основной медиапоток, на этапе 604 процедура 600 ожидает/контролирует то, что произойдет событие, либо запускающее событие, либо событие, означающее завершение основного медиапотока. После приема события, на этапе 606 проверки условия, выполняется определение, являлось ли событие событием, означающим завершение основного медиапотока. Если событие действительно означало завершение основного медиапотока, процедура 600 завершается.

Если на этапе 606 проверки условия событие не означало завершение основного медиапотока, то событием было запускающее событие для дополнительных медиапотоков. На этапе 608 выполняется определение, идентифицирующее эти дополнительные медиапотоки, связанные с запускающим событием. На этапе 610 проверки условия выполняется определение, имеются ли какие-нибудь связанные дополнительные медиапотоки, которые не были выведены. Если имеются еще дополнительные медиапотоки для обработки, то на этапе 612 выбирается следующий связанный дополнительный медиапоток. Как описано выше, может быть установлен заранее определенный порядок вывода дополнительных медиапотоков. Альтернативно, выбор связанных дополнительных медиапотоков может быть основан на значениях приоритета каждого связанного дополнительного медиапотока или индивидуальных дополнительных медиасегментов. Специалисту в этой области техники понятно, что существуют многочисленные различные методы выбора среди связанных дополнительных медиапотоков и настоящее изобретение не следует рассматривать как ограниченное тем, что описано здесь в иллюстративных целях.

На этапе 614 вызывается подпрограмма вывода дополнительных медиапотоков для вывода выбранного дополнительного медиапотока. Более подробное описание этой подпрограммы приведено в отношении фиг.7А, 7В и 7С.

На фиг.7А, 7В и 7С приведена схема последовательности операций, иллюстрирующая подпрограмму 700 вывода дополнительных медиапотоков для использования в примерной процедуре 600 вывода медиапотоков, показанной на фиг.6. Начиная с этапа 702 (фиг.7А), выполняется определение, где необходимо приостановить основной медиапоток, т.е. должен ли дополнительный медиапоток выводиться синхронно или асинхронно. Если основной медиапоток должен быть приостановлен, на этапе 704 проверки условия выполняется определение, приостановлен ли уже основной медиапоток. Если основной медиапоток еще не приостановлен (как, вероятно, было бы в случае, если эта подпрограмма 700 была вызвана для вывода первого связанного дополнительного медиапотока), то на этапе 706 приостанавливается основной медиапоток. После этого подпрограмма 700 переходит к этапу 712 проверки условия. Альтернативно, если на этапе 704 проверки условия определяется, что основной медиапоток уже приостановлен, подпрограмма 700 переходит непосредственно к этапу 712 проверки условия.

Если на этапе 702 проверки условия определяется, что основной медиапоток не должен быть приостановлен, то на этапе 708 проверки условия выполняется определение, приостановлен ли в данный момент основной поток. Если основной медиапоток приостановлен (что может быть в случае, если эта подпрограмма 700 была вызвана для вывода второго связанного дополнительного медиапотока), то на этапе 710 возобновляется основной медиапоток. После этого подпрограмма 700 переходит к этапу 712 проверки условия. Альтернативно, если на этапе 708 проверки условия определяется, что основной медиапоток не приостановлен, то подпрограмма 700 переходит непосредственно к этапу 712 проверки условия.

На этапе 712 проверки условия выполняется определение, является ли дополнительный медиапоток составным медиапотоком. Если дополнительный медиапоток является составным медиапотоком, то на этапе 714 осуществляется вывод составного медиапотока. В соответствии с изображенной подпрограммой 700 рекурсивно вызывается процедура 600 вывода медиапотоков (фиг.6) для вывода составного медиапотока. После вывода составного медиапотока подпрограмма 700 переходит к этапу 728 проверки условия (фиг.7С).

Если на этапе 712 проверки условия определяется, что дополнительный медиапоток не является составным медиапотоком, то на этапе 716 (фиг.7В) выводится дополнительный медиапоток. Во время вывода дополнительного медиапотока на этапе 718 подпрограмма 700 контролирует/ожидает появление условного события или, альтернативно, события, означающего то, что дополнительный медиапоток завершил свой вывод. На этапе 720 проверки условия выполняется определение, было ли обнаруженное событие условным событием. Если событием не было условное событие, то на этапе 722 выполняется определение, означало ли событие то, что дополнительный медиапоток завершил свой вывод. Если дополнительный медиапоток не завершил свой вывод, то подпрограмма 700 снова возвращается на этап 718 для контроля/ожидания другого события. Однако если событие действительно означало, что дополнительный медиапоток завершил свой вывод, то подпрограмма 700 переходит к этапу 728 проверки условия (фиг.7С).

Альтернативно, если на этапе 720 проверки условия определяется, что событием было условное событие, то на этапе 724 проверки условия выполняется определение, выполняется ли условие. Если условие выполняется, то на этапе 726 выводится условный дополнительный медиапоток. После этого процесс возвращается снова на этап 718 для контроля/ожидания другого события. Однако если на этапе 724 проверки условия условие не выполняется, условное событие игнорируется и процесс возвращается на этап 718 для контроля/ожидания другого события.

На этапе 728 проверки условия (фиг.7С) выполняется определение, имеются ли какие-нибудь добавочные дополнительные медиапотоки, связанные с запускающим событием. Если имеются добавочные связанные дополнительные медиапотоки, то на этапе 730 выводится следующий дополнительный поток посредством рекурсивного вызова этой подпрограммы 700 вывода дополнительного потока. После этого подпрограмма 700 завершается. Альтернативно, если на этапе 728 проверки условия определяется, что больше нет связанных дополнительных медиапотоков, то на этапе 734 проверки условия выполняется определение, приостановлен ли основной медиапоток. Если основной медиапоток приостановлен, то на этапе 736 возобновляется основной поток. После этого подпрограмма 700 завершается. Однако если на этапе 734 проверки условия определяется, что основной медиапоток не приостановлен, то подпрограмма 700 завершается.

На фиг.8 представлена блок-схема, иллюстрирующая примерную медиасистему 800 вывода, выполненную в соответствии с настоящим изобретением. Система включает в себя устройство 802 вывода медиапотоков для вывода основного медиапотока и одного или нескольких дополнительных медиапотоков. Хотя на этой схеме могут быть изображены только визуальные представления медиапотоков, то это только с целью иллюстрации и не должно рассматриваться как ограничивающее настоящее изобретение. В соответствии с одним вариантом выполнения устройство 802 вывода медиапотоков может выводить как визуальные, так и звуковые медиапотоки. Кроме того, устройство 802 вывода медиапотоков может состоять из многочисленных составляющих, таких как дисплей и громкоговорители.

В соответствии с изображенным примером устройство 802 вывода медиапотоков подключается к контроллеру 804 вывода медиапотоков. Контроллер 804 вывода медиапотоков принимает основной медиапоток 806 и связанные дополнительные медиапотоки 808 и 810 и направляет их на устройство 802 вывода медиапотоков. В соответствии с изображенным примером устройство 802 вывода медиапотоков выводит основной медиапоток 806 в области 812 просмотра дисплея, в то время как дополнительные медиапотоки 808 и 810 отображаются в дополнительных областях 814 и 816 просмотра дисплея. Как показано в изображенном примере, дополнительные медиапотоки 808 и 810 не отображаются в одной и той же области просмотра дисплея. Однако в соответствии с другими вариантами выполнения эти потоки могут отображаться в одной дополнительной области просмотра дисплея. Кроме того, в соответствии с изображенным примером основной медиапоток 806 и дополнительные медиапотоки 808 и 810 показаны как отдельные потоки, поступающие на контроллер 804 вывода медиапотоков. Это, однако, только с целью иллюстрации и не должно рассматриваться как ограничивающее настоящее изобретение. В соответствии с одним вариантом выполнения основной медиапоток и дополнительные медиапотоки принимаются контроллером 804 вывода медиапотоков в виде одного потока. Хотя был изображен и описан предпочтительный вариант выполнения изобретения, понятно, что в нем могут быть сделаны различные изменения в пределах сущности и объема изобретения.

Варианты выполнения изобретения, в которых заявлено исключительное право собственности или преимущественное право, определены в формуле изобретения.