способы для генерации визуальной композиции для события мультимедийной конференц-связи

Формула изобретения

1. Способ генерации визуальной композиции для события мультимедийной конференции, содержащий

декодирование множества мультимедийных потоков для события мультимедийной конференции;

обнаружение участника в декодированном мультимедийном потоке в качестве активного говорящего участника;

отображение декодированного мультимедийного потока с активным говорящим участником на активный кадр дисплея для визуализации на дисплее и других декодированных мультимедийных потоков на неактивные кадры дисплея для визуализации на дисплее одновременно с активным кадром дисплея;

генерацию визуальной композиции со списком участников, причем композиция содержит множество позиций в предопределенном порядке, причем первая позиция зарезервирована для активного кадра дисплея, а неактивные кадры дисплея помещены в остальных позициях; и

аннотирование участника в активном или неактивном кадре дисплея с идентифицирующей информацией для участника в ответ на прием команды оператора,

причем аннотирование участника содержит определение идентифицирующего местоположения для помещения идентифицирующей информации для участника в активном или неактивном кадре дисплея, и аннотирование участника в активном или неактивном кадре дисплея с помощью идентифицирующей информации в определенном идентифицирующем местоположении.

2. Способ по п.1, содержащий генерирование меню, имеющего опцию, чтобы открыть отдельный вид графического пользовательского интерфейса с идентифицирующей информацией для выбранного участника.

3. Способ по п.1, содержащий генерирование визуальной композиции со списком участников, имеющим активный кадр дисплея в первой позиции предопределенного порядка.

4. Способ по п.1, содержащий генерирование визуальной композиции со списком участников, имеющим неактивный кадр дисплея во второй позиции предопределенного порядка, причем неактивный кадр дисплея имеет видео содержание для участника, соответствующего пульту управления встречи, генерирующему визуальную композицию.

5. Способ по п.1, содержащий перемещение неактивного кадра дисплея из текущей позиции в предопределенном порядке в новую позицию в предопределенном порядке в ответ на команду оператора.

6. Способ по п.1, содержащий фиксацию неактивного кадра дисплея в текущей позиции в предопределенном порядке в ответ на команду оператора.

7. Носитель хранения, содержащий инструкции, которые при исполнении позволяют системе мультимедийной конференции

декодировать множество мультимедийных потоков для события мультимедийной конференции;

обнаруживать участника в декодированном мультимедийном потоке в качестве активного говорящего участника;

отображать декодированный мультимедийный поток с активным говорящим участником на активный кадр дисплея для визуализации на дисплее и другие декодированные мультимедийные потоки на неактивные кадры дисплея для визуализации на дисплее одновременно с активным кадром дисплея;

генерировать визуальную композицию со списком участников, причем композиция содержит множество позиций в предопределенном порядке, причем первая позиция зарезервирована для активного кадра дисплея, а неактивные кадры дисплея помещены в остальных позициях; и

аннотировать участника в активном и неактивном кадре дисплея с идентифицирующей информацией для участника в ответ на прием команды оператора,

причем инструкции, которые позволяют системе мультимедийной конференции аннотировать участника, содержат инструкции для определения идентифицирующего местоположения для помещения идентифицирующей информации для участника в активном или неактивном кадре дисплея, и для аннотирования участника в активном или неактивном кадре дисплея с помощью идентифицирующей информации в определенном идентифицирующем местоположении.

8. Носитель по п.7, дополнительно содержащий инструкции, которые при исполнении позволяют системе генерировать визуальную композицию со списком участников, имеющим активный кадр дисплея в первой позиции предопределенного порядка.

9. Носитель по п.7, дополнительно содержащий инструкции, которые при исполнении позволяют системе генерировать визуальную композицию со списком участников, имеющим неактивный кадр дисплея во второй позиции предопределенного порядка, причем неактивный кадр дисплея имеет видео содержание для участника, соответствующего пульту управления встречи, генерирующему визуальную композицию.

10. Носитель по п.7, дополнительно содержащий инструкции, которые при исполнении позволяют системе перемещать неактивный кадр дисплея из текущей позиции в предопределенном порядке в новую позицию в предопределенном порядке в ответ на команду оператора.

11. Устройство пульта управления встречей системы мультимедийной конференции, содержащее

дисплей;

компонент визуальной композиции, действующий на процессорном блоке для генерации визуальной композиции на дисплее для события мультимедийной конференции, причем компонент визуальной композиции содержит

модуль видео декодера, действующий для декодирования множества мультимедийных потоков для события мультимедийной конференции;

модуль детектора активного говорящего участника, коммуникативно связанный с модулем видео декодера, причем модуль детектора активного говорящего участника действует для обнаружения участника в декодированном мультимедийном потоке в качестве активного говорящего участника;

модуль администратора мультимедийных потоков, коммуникативно связанный с модулем детектора активного говорящего участника, причем модуль администратора мультимедийных потоков действует для отображения декодированного мультимедийного потока с активным говорящим участником на активный кадр дисплея для визуализации в визуальной композиции, а других декодированных мультимедийных потоков на неактивные кадры дисплея для визуализации в визуальной композиции одновременно с активным кадром дисплея; и

модуль генератора визуальной композиции, коммуникативно связанный с модулем администратора мультимедийных потоков, причем модуль генератора визуальной композиции действует для генерации визуальной композиции со списком участников, причем композиция содержит множество позиций в предопределенном порядке, причем первая позиция зарезервирована для активного кадра дисплея, а неактивные кадры дисплея помещены в остальных позициях;

модуль аннотации, коммуникативно связанный с модулем генератора визуальной композиции, причем модуль аннотации действует, чтобы принимать команду оператора, чтобы аннотировать участника в активном или неактивном кадре дисплея с помощью идентифицирующей информации для участника, определять идентифицирующее местоположение для помещения идентифицирующей информации и аннотировать участника с помощью идентифицирующей информации в идентифицирующем местоположении.

12. Устройство по п.11, в котором модуль генератора визуальной композиции действует для генерации визуальной композиции со списком участников, имеющим активный кадр дисплея в первой позиции предопределенного порядка.

13. Устройство по п.11, в котором модуль генератора визуальной композиции действует для генерирования визуальной композиции со списком участников, имеющим неактивный кадр дисплея во второй позиции предопределенного порядка, причем неактивный кадр дисплея имеет видео содержание для участника, соответствующего пульту управления встречи, генерирующему визуальную композицию.

14. Устройство по п.11, в котором модуль генератора визуальной композиции действует для приема команды оператора, чтобы переместить неактивный кадр дисплея из текущей позиции в предопределенном порядке в новую позицию в предопределенном порядке и переместить неактивный кадр дисплея в новую позицию в ответ на команду оператора.

Описание изобретения к патенту

Предпосылки изобретения

Система мультимедийной конференц-связи, как правило, позволяет множеству участников передавать и совместно использовать различные типы мультимедийного содержания на совместной в реальном времени встрече по сети. Система мультимедийной конференц-связи может отображать различные типы мультимедийного содержания с использованием различных окон или представлений графического пользовательского интерфейса (GUI). Например, одно представление GUI могло бы включать видео изображения участников, другое представление GUI могло бы включать слайды презентации, еще одно представление GUI могло бы включать текстовые сообщения между участниками и т.д. Таким способом различные географически различающиеся участники могут взаимодействовать и сообщать информацию в виртуальной среде встречи подобно физической среде встречи, где все участники находятся в одной комнате.

В виртуальной среде встречи, однако, может быть трудно идентифицировать различных участников встречи. Эта проблема, как правило, возрастает, по мере того как число встречающихся участников увеличивается, таким образом потенциально приводя к беспорядку и неловкости среди участников. Кроме того, может быть трудно идентифицировать конкретного говорящего участника в любой данный момент времени, особенно когда множество участников говорят одновременно или в быстрой последовательности. Способы, направленные на улучшение методов идентификации в виртуальной среде встречи, могут улучшить пользовательский опыт и удобство.

Сущность изобретения

Различные варианты осуществления могут быть в принципе направлены на системы мультимедийной конференции. Некоторые варианты осуществления могут быть особенно направлены на способы, чтобы генерировать визуальную композицию для события мультимедийной конференции. Событие мультимедийной конференции может включать множество участников, некоторые из которых могут собираться в конференц-зале, в то время как другие могут участвовать в событии мультимедийной конференции из удаленного местоположения.

В одном варианте осуществления, например, устройство, такое как пульт управления (консоль) встречи, может включать в себя дисплей и компонент визуальной композиции, действующий для генерации визуальной композиции для события мультимедийной конференции. Компонент визуальной композиции может содержать модуль видео декодера, действующий, чтобы декодировать множество мультимедийных потоков для события мультимедийной конференции. Компонент визуальной композиции может дополнительно включать в себя модуль детектора активного говорящего участника, коммуникативно связанный с модулем видео декодера, причем модуль детектора активного говорящего участника действует, чтобы обнаруживать участника в декодированном мультимедийном потоке в качестве активного говорящего участника. Компонент визуальной композиции может дополнительно включать в себя модуль администратора мультимедийных потоков, коммуникативно связанный с модулем детектора активного говорящего участника, причем модуль администратора мультимедийных потоков действует, чтобы отобразить декодированный мультимедийный поток с активным говорящим участником на активный кадр дисплея, а другие декодированные мультимедийные потоки - на неактивные кадры дисплея. Компонент визуальной композиции может дополнительно включать в себя модуль генератора визуальной композиции, коммуникативно связанный с модулем администратора мультимедийных потоков, причем модуль генератора визуальной композиции действует для генерации визуальной композиции со списком участника, имеющим активные и неактивные кадры дисплея, помещенные в предопределенном порядке. Другие варианты осуществления описаны и заявлены.

Это краткое описание обеспечено, чтобы ввести выбор понятий в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Это краткое описание сущности не предназначено, чтобы идентифицировать ключевые признаки или существенные признаки заявленной сущности изобретения, и при этом оно не предназначено, чтобы использоваться для ограничения объема заявленной сущности изобретения.

Краткое описание чертежей

Фиг.1 иллюстрирует вариант осуществления системы мультимедийной конференц-связи.

Фиг.2 иллюстрирует вариант осуществления компонента визуальной композиции.

Фиг.3 иллюстрирует вариант осуществления визуальной композиции.

Фиг.4 иллюстрирует вариант осуществления логического потока.

Фиг.5 иллюстрирует вариант осуществления вычислительной архитектуры.

Фиг.6 иллюстрирует вариант осуществления изделия.

Подробное описание

Различные варианты осуществления включают в себя физические или логические структуры, конфигурированные, чтобы выполнять определенные операции, функции или услуги. Структуры могут включать в себя физические структуры, логические структуры или комбинацию обоих. Физические или логические структуры реализуются с использованием элементов аппаратных средств, элементов программного обеспечения или комбинации того и другого. Описания вариантов осуществления в отношении конкретных аппаратных средств или элементов программного обеспечения, однако, предусмотрены как примеры, а не ограничения. Решения использовать аппаратные средства или элементы программного обеспечения для практической реализации варианта осуществления завистят от ряда внешних факторов, таких как желательная скорость вычислений, уровни мощности, допуска по нагреву, бюджет цикла обработки, входные скорости данных, выходные скорости данных, ресурсы памяти, скорости шины данных и другие ограничения на проектирование или работу. Кроме того, физические или логические структуры могут иметь соответствующие физические или логические соединения, чтобы передавать информацию между структурами в форме электронных сигналов или сообщений. Соединения могут включать в себя проводные и/или беспроводные соединения, как это подходит для информации или конкретной структуры. Следует отметить, что любая ссылка на "один вариант осуществления" или "вариант осуществления" означает, что конкретный признак, структура или характеристика, описанные в связи с вариантом осуществления, включены, по меньшей мере, в один вариант осуществления. Появление фразы "в одном варианте осуществления" в различных местах в описании не обязательно означает, что все ссылаются на один и тот же вариант осуществления.

Различные варианты осуществления могут быть, в общем, направлены на системы мультимедийной конференц-связи, конфигурированные, чтобы обеспечить услуги встречи и взаимодействия множеству участников по сети. Некоторые системы мультимедийной конференц-связи могут быть разработаны, чтобы работать с различными пакетно-ориентированными сетями, такими как Интернет или Всемирная паутина ("веб"), чтобы обеспечивать сетевые услуги конференц-связи. Такое выполнение иногда упоминается как веб-системы конференц-связи. Пример веб-системы конференц-связи может включать систему MICROSOFT®OFFICE LIVE MEETING, созданную Microsoft Corporation, Редмонд, шт. Вашингтон. Другие системы мультимедийной конференц-связи могут предназначаться, чтобы работать для частной сети, бизнеса, организации или предприятия, и могут использовать сервер мультимедийной конференц-связи, такой как MICROSOFT OFFICE COMMUNICATIONS SERVER, созданный Microsoft Corporation, Редмонд, шт. Вашингтон. Однако понятно, что выполнение не ограничено этими примерами.

Система мультимедийной конференц-связи может включать, среди других элементов сети, сервер мультимедийной конференц-связи или другое устройство обработки, выполненное с возможностью предоставления веб-услуг конференц-связи. Например, сервер мультимедийной конференц-связи может включать в себя, среди других элементов сервера, серверный компонент встречи, действующий, чтобы управлять и смешивать различные типы мультимедийного содержания для события встречи и взаимодействия, такого как веб-конференция. Событие встречи и взаимодействия может относиться к любому событию мультимедийной конференции, предлагающему различные типы мультимедийной информации в среде реального времени, и иногда упоминается здесь как просто "событие встречи", "мультимедийное событие" или "мультимедийное событие конференции".

В одном варианте осуществления, система мультимедийной конференц-связи может далее включать в себя одно или более вычислительных устройств, осуществленных как пульты управления (консоли) встречи. Каждый пульт управления встречи может быть выполнен с возможностью принимать участие в мультимедийном событии путем соединения с сервером мультимедийной конференции. Различные типы мультимедийной информации от различных пультов управления встречи могут быть получены сервером мультимедийной конференции во время мультимедийного события, который, в свою очередь, распределяет мультимедийную информацию некоторым или всем другим пультам управления встречи, участвующим в событии мультимедийной конференции. Также, любой данный пульт управления встречи может иметь дисплей с множеством представлений мультимедийного содержания для различных типов мультимедийного содержания. Таким способом различные географически различающиеся участники могут взаимодействовать и сообщать информацию в виртуальной среде встречи, подобной физической среде встречи, где все участники находятся в одной комнате.

В виртуальной среде встречи может быть трудно идентифицировать различных участников встречи. Участники в событии мультимедийной конференции, как правило, перечисляются в представлении GUI с помощью списка участников. Список участников может иметь некоторую идентифицирующую информацию для каждого участника, включая имя, местоположение, изображение, название и т.д. Участники и идентифицирующая информация для списка участников, как правило, получаются из пульта управления встречи, используемого, чтобы присоединиться к событию мультимедийной конференции. Например, участник, как правило, использует пульт управления встречи, чтобы присоединиться к виртуальному конференц-залу для события мультимедийной конференции. Перед присоединением участник предоставляет различные типы идентифицирующей информации, чтобы выполнить операции аутентификации с сервером мультимедийной конференц-связи. Как только сервер мультимедийной конференц-связи аутентифицирует участника, участнику разрешают доступ к виртуальному конференц-залу, и сервер мультимедийной конференц-связи добавляет идентифицирующую информацию к списку участников.

Идентифицирующая информация, отображаемая списком участников, однако, как правило, является отдельной от любого видео содержания фактических участников события мультимедийной конференции. Например, список участников и соответствующая идентифицирующая информация для каждого участника, как правило, показываются в отдельном представлении GUI от других представлений GUI с мультимедийным содержанием. Нет никакого прямого отображения между участником из списка участников и изображением участника в содержании потокового видео. Следовательно, иногда становится трудным отобразить видео содержание для участника в представлении GUI на конкретный набор идентифицирующей информации в списке участников.

Кроме того, может быть трудно идентифицировать конкретного активного говорящего участника в любой данный момент времени, особенно когда множество участников говорят одновременно или в быстрой последовательности. Эта проблема усугубляется, когда нет никакой прямой связи между идентифицирующей информацией для участника и видео содержанием для участника. Наблюдатель может оказаться не в состоянии быстро идентифицировать, какое конкретное представление GUI имеет в текущий момент активного говорящего участника, что препятствует естественной беседе с другими участниками виртуального конференц-зала.

Чтобы решить эти и другие проблемы, некоторые варианты осуществления направлены на способы генерации визуальной композиции для события мультимедийной конференции. Более конкретно, определенные варианты осуществления направлены на способы генерации визуальной композиции, которые обеспечивают более естественное представление для участников встречи в цифровой области. Визуальная композиция интегрирует и агрегирует различные типы мультимедийного содержания, связанного с каждым участником события мультимедийной конференции, включая видео содержание, аудио содержание, идентифицирующую информацию и т.д. Визуальная композиция представляет интегрированную и агрегированную информацию таким способом, который позволяет наблюдателю сосредотачиваться на конкретной области визуальной композиции, чтобы собрать специфическую для участника информацию для одного участника, и другой конкретной области, чтобы собрать специфическую для участника информацию для другого участника, и т.д. Этим способом наблюдатель может фокусироваться на интерактивных частях события мультимедийной конференции, вместо того, чтобы тратить время на сбор информации об участниках из разных источников. В результате, метод визуальной композиции может улучшить доступность, масштабируемость, модульность, расширяемость или способность к взаимодействию для оператора, устройства или сети.

Фиг.1 иллюстрирует блок-схему для системы 100 мультимедийной конференц-связи. Система 100 мультимедийной конференц-связи может представлять общую системную архитектуру, подходящую для реализации различных вариантов осуществления. Система 100 мультимедийной конференц-связи может включать в себя множество элементов. Элемент может содержать любую физическую или логическую структуру, выполненную с возможностью осуществления определенных операций. Каждый элемент может быть осуществлен как аппаратные средства, программное обеспечение, или любая комбинация указанного, как это желательно для данного набора параметров проектирования или ограничений рабочих характеристик. Примеры элементов аппаратных средств могут включать в себя устройства, компоненты, процессоры, микропроцессоры, схемы, схемные элементы (например, транзисторы, резисторы, конденсаторы, катушки индуктивности и т.д.), интегральные схемы, специализированные (ориентированные на приложение) интегральные схемы (ASIC), программируемые логические устройства (PLD), процессоры цифрового сигнала (DSP), программируемую матрицу логических элементов (FPGA), блоки памяти, логические схемы, регистры, полупроводниковое устройство, чипы, микросхемы, наборы микросхем и т.д. Примеры программного обеспечения могут включать в себя любые компоненты программного обеспечения, программы, приложения, компьютерные программы, прикладные программы, системные программы, машинные программы, программное обеспечение операционной системы, связующее программное обеспечение, программируемое оборудование, программные модули, стандартные программы, подпрограммы, функции, методы, интерфейсы, интерфейсы программного обеспечения, интерфейсы приложения (API), наборы команд, вычислительный код, машинный код, сегменты кода, сегменты машинного кода, слова, значения, символы или любую комбинацию указанного. Хотя система 100 мультимедийной конференц-связи, как показано на Фиг. 1, имеет ограниченное число элементов в определенной топологии, понятно, что система 100 мультимедийной конференц-связи может включать в себя больше или меньше элементов в альтернативных топологиях, как это желательно для данного выполнения. Варианты осуществления не ограничены в этом контексте.

В различных вариантах осуществления система 100 мультимедийной конференц-связи может содержать или являться частью проводной системы связи, беспроводной системы связи или комбинацией обоих. Например, система 100 мультимедийной конференц-связи может содержать один или более элементов, выполненных с возможностью передачи информации по одному или более типам проводных линий связи. Примеры проводной линии связи могут включать в себя, без ограничения, провод, кабель, шину, печатную плату (PCB), Ethernet соединение, соединение равноправных узлов (P2P), объединительную плату, коммутатор, полупроводниковый материал, провод витой пары, коаксиальный кабель, волоконно-оптическое соединение и т.д. Система 100 мультимедийной конференц-связи также может содержать один или более элементов, выполненных с возможностью передачи информации по одному или более типам беспроводных линий связи. Примеры беспроводных линий связи могут включать в себя, без ограничения указанным, радио-канал, инфракрасный канал, радиочастотный (RF) канал, беспроводной канал высокой достоверности (Wi-Fi канал), часть спектра RF и/или один или более лицензируемых или нелицензированных диапазонов частот.

В различных вариантах осуществления система 100 мультимедийной конференц-связи может быть выполнена с возможностью передавать, управлять или обрабатывать различные типы информации, такие как мультимедийная информация и управляющая информация. Примеры мультимедийной информации могут включать в себя любое содержание представления данных, предназначенное для пользователя, такое как голосовая информация, видео информация, аудио информация, информация изображения, текстовая информация, числовая информация, информация приложения, буквенно-цифровые символы, графика и т.д. Мультимедийная информация может также иногда упоминаться как "мультимедийное содержание". Управляющая информация может относиться к любым командам представления данных, инструкциям или управляющим словам, предназначенным для автоматизированной системы. Например, управляющая информация может использоваться, чтобы маршрутизировать мультимедийную информацию через систему, чтобы устанавливать соединение между устройствами, инструктировать устройство обрабатывать мультимедийную информацию предопределенным способом и т.д.

В различных вариантах осуществления система 100 мультимедийной конференц-связи может содержать сервер 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может содержать любой логический или физический объект, который выполнен с возможностью устанавливать, координировать или управлять мультимедийным конференц-залом между пультами 110-1-m управления встречи по сети 120.

Сеть 120 может содержать, например, сеть с коммутацией пакетов, сеть с коммутацией каналов или комбинацию обоих типов сетей. В различных вариантах осуществления сервер 130 мультимедийной конференц-связи может содержать или быть осуществлен как любое обрабатывающее или вычислительное устройство, такое как компьютер, сервер, множество серверов или группа серверов, рабочая станция, миникомпьютер, мэйнфрейм (универсальный компьютер), суперкомпьютер и т.д. Сервер 130 мультимедийной конференц-связи может содержать или осуществлять общую или конкретную вычислительную архитектуру, подходящую для передачи и обработки мультимедийной информации. В одном варианте осуществления, например, сервер 130 мультимедийной конференц-связи может быть осуществлен с использованием вычислительной архитектуры, как описано со ссылкой на Фиг. 5. Примеры для сервера 130 мультимедийной конференц-связи могут включать в себя, без ограничения указанным, MICROSOFT OFFICE COMMUNICATIONS SERVER или MICROSOFT OFFICE LIVE MEETING сервер и т.д.

Конкретное выполнение для сервера 130 мультимедийной конференц-связи может изменяться в зависимости от набора протоколов связи или стандартов, которые будут использоваться для сервера 130 мультимедийной конференц-связи. В одном примере сервер 130 мультимедийной конференц-связи может быть осуществлен в соответствии с наборами стандартов и/или вариантов протоколов инициирования сессии (SIP) Рабочей группы Управления многосторонней мультимедийной сессией (MMUSIC) Целевой группы поддержки инженерной разработки Интернета (IETF). SIP является предложенным стандартом для инициирования, модификации и завершения интерактивной пользовательской сессии, которая использует мультимедийные элементы, такие как видео, голос, мгновенный обмен сообщениями, онлайн-игры и виртуальную реальность. В другом примере сервер 130 мультимедийной конференц-связи может быть осуществлен в соответствии с набором стандартов и/или вариантов Международного Телекоммуникационного Союза (ITU) H.323. Стандарт H.323 определяет блок многоточечного управления (MCU), чтобы координировать операции вызова конференц-связи. В частности, MCU включает в себя многоточечный контроллер (МС), который обрабатывает сигнализацию H.245, и один или более многоточечных процессоров (МР), чтобы смешивать и обрабатывать потоки данных. Как стандарт SIP, так и стандарт H.323 являются, по существу, протоколами сигнализации для операций вызова мультимедийной конференц-связи для передачи голоса по Интернет-протоколу (VoIP) или пакетной передачи голоса (VOP). Понятно, что другие протоколы сигнализации могут быть реализованы для сервера 130 мультимедийной конференц-связи, однако все они будут находиться в пределах объема вариантов осуществления изобретения.

В обычной операции, система 100 мультимедийной конференц-связи может использоваться для вызовов мультимедийной конференц-связи. Вызовы мультимедийной конференц-связи, как правило, связаны с передачей голоса, видео и/или информации данных между множеством конечных точек. Например, общественная или частная пакетная сеть 120 может использоваться для вызовов аудио конференц-связи, вызовов видео конференц-связи, вызовов аудио/видео конференц-связи, совместного использования и редактирования документа и т.д. Пакетная сеть 120 может также быть связана с коммутируемой телефонной сетью общего пользования (PSTN) через один или более подходящих шлюзов VoIP, предназначенных для выполнения преобразований между информацией коммутации каналов и пакетной информацией.

Чтобы установить вызов мультимедийной конференц-связи через пакетную сеть 120, каждый пульт 110-1-m управления встречи может соединяться с сервером 130 мультимедийной конференц-связи через пакетную сеть 120 с использованием различных типов проводных или беспроводных линий связи, работающих на переменных скоростях соединения связи или с различной шириной полосы, например, телефонного соединения PSTN с низкой шириной полосы, модемного соединения DSL или кабельного модемного соединения со средней шириной полосы или интранет-соединения с высокой шириной полосы по локальной сети (LAN).

В различных вариантах осуществления сервер 130 мультимедийной конференц-связи может устанавливать, координировать и управлять вызовом мультимедийной конференц-связи между пультами 110-1-m управления встречи. В некоторых вариантах осуществления вызов мультимедийной конференц-связи может содержать основанный на Интернет-технологии вызов мультимедийной конференц-связи с использованием приложения веб-конференц-связи, которое обеспечивает полные способности сотрудничества. Сервер 130 мультимедийной конференц-связи действует в качестве центрального сервера, который управляет и распределяет мультимедийную информацию на конференции. Он получает мультимедийную информацию от различных пультов 110-1-m управления встречи, выполняет операции по смешиванию для множества типов мультимедийной информации и направляет мультимедийную информацию некоторым или всем из других участников. Один или более пультов 110-1-m управления встречи может присоединиться к конференции, соединяясь с сервером 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может осуществлять различные методы управления доступом, чтобы аутентифицировать и добавлять пульты 110-1-m управления встречи безопасным и управляемым способом.

В различных вариантах осуществления, система 100 мультимедийной конференц-связи может содержать одно или более вычислительных устройств, реализованных как пульты 110-1-m управления (консоли) встречи, чтобы соединяться с сервером 130 мультимедийной конференц-связи через одно или более соединений связи через сеть 120. Например, вычислительное устройство может реализовывать клиентское приложение, которое может принять множество пультов управления встречи, каждый из которых представляет отдельную конференцию в то же самое время. Точно так же клиентское приложение может принимать множество аудио, видео потоков и потоков данных. Например, видео потоки от всех или подмножества участников могут отображаться как мозаика на дисплее участника с главным окном с видео для текущего активного говорящего участника, и панорамным представлением других участников в других окнах.

Пульты 110-1-m управления встречи могут содержать любой логический или физический объект, который предназначен для того, чтобы участвовать или вступать в вызов мультимедийной конференц-связи, которым управляет сервер 130 мультимедийной конференц-связи. Пульты 110-1-m управления встречи могут быть реализованы как любое устройство, которое включает в себя, в его наиболее канонической форме, обрабатывающую систему, включающую в себя процессор и память, один или более компонентов ввода/вывода (I/O) мультимедийных данных и беспроводное и/или проводное сетевое соединение. Примеры мультимедийных компонентов ввода/ вывода могут включать в себя аудио компоненты ввода/вывода (например, микрофоны, громкоговорители), видео компоненты ввода/вывода (например, видеокамера, дисплей), осязательные компоненты ввода/вывода (например, вибраторы), компоненты ввода/вывода пользовательских данных (например, клавиатура, панель большого пальца, клавишная панель, сенсорный экран) и т.д. Примеры пультов 110-1-m управления встречи могут включать в себя телефон, VoIP или VOP телефон, пакетный телефон, предназначенный для работы по PSTN, Интернет-телефон, видео телефон, мобильный телефон, персональный цифровой помощник (PDA), комбинацию мобильного телефона и PDA, мобильное вычислительное устройство, смартфон, односторонний пейджер, двусторонний пейджер, устройство обмена сообщениями, компьютер, персональный компьютер (PC), настольный компьютер, ноутбук, портативный компьютер, сетевое устройство и т.д. В некотором выполнении пульты 110-1-m управления встречи могут быть осуществлены с использованием общей или определенной вычислительной архитектуры, подобной вычислительной архитектуре, описанной со ссылкой на Фиг. 5.

Пульты 110-1-m управления встречи могут содержать или реализовывать соответствующие клиентские компоненты 112-1-n встречи. Клиентские компоненты 112-1-n встречи могут быть разработаны, чтобы взаимодействовать с серверным компонентом 132 встречи сервера 130 мультимедийной конференц-связи, чтобы устанавливать, координировать или управлять событием мультимедийной конференц-связи. Например, клиентские компоненты 112-1-n встречи могут содержать или реализовывать соответствующие приложения и органы управления пользовательского интерфейса, чтобы позволить соответствующим пультам 110-1-m управления встречи участвовать в веб-конференции, обеспеченной сервером 130 мультимедийной конференц-связи. Это может включать в себя оборудование ввода (например, видеокамеру, микрофон, клавиатуру, мышь, контроллер и т.д.), чтобы захватить мультимедийную информацию, предоставленную оператором пульта 110-1-m встречи, и оборудование вывода (например, дисплей, громкоговоритель и т.д.), чтобы воспроизвести мультимедийную информацию операторами других пультов 110-1-m управления встречи. Примеры клиентских компонентов 112-1-n управления встречи могут включать в себя, без ограничения указанным, основанную на Windows консоль (пульт управления) встречи MICROSOFT OFFICE COMMUNICATOR или MICROSOFT OFFICE LIVE MEETING и т.д.

Как показано в проиллюстрированном варианте осуществления на Фиг.1, система 100 мультимедийной конференции может включать в себя конференц-зал 150. Предприятие или бизнес, как правило, используют конференц-залы, чтобы проводить встречи. Такие встречи включают в себя события мультимедийной конференции, в которых участники находятся внутри конференц-зала 150, и удаленные участники находятся вне конференц-зала 150. Конференц-зал 150 может иметь различные вычислительные и коммуникационные ресурсы, чтобы поддерживать события мультимедийной конференции и предоставлять мультимедийную информацию между одним или более удаленных пультов 110-2-m управления встречи и локальным пультом 110-1 управления встречи. Например, конференц-зал 150 может включать в себя локальный пульт 110-1 управления встречи, расположенный внутри конференц-зала 150.

Локальный пульт 110-1 управления встречи может быть связан с различными мультимедийными устройствами ввода и/или мультимедийными устройствами вывода, способными захватывать, передавать или воспроизводить мультимедийную информацию. Мультимедийные устройства ввода могут содержать любое логическое или физическое устройство, выполненное с возможностью захвата или приема в качестве входа мультимедийной информации от операторов в конференц-зале 150, включая устройства аудио ввода, устройства видео ввода, устройства ввода изображения, текстовые устройства ввода и другое мультимедийное оборудование ввода. Примеры мультимедийных устройств ввода могут включать в себя, без ограничения указанным, видеокамеры, микрофоны, наборы микрофонов, телефоны конференции, доски, интерактивные доски, компоненты голос-текст, компоненты текст-голос, системы голосовой идентификации, указывающие устройства, клавиатуры, сенсорные экраны, планшетные компьютеры, устройства распознавания рукописного ввода и т.д. Пример видеокамеры может включать в себя круговую камеру, такую как MICROSOFT ROUNDTABLE, созданную Microsoft Corporation, Редмонд, шт. Вашингтон. MICROSOFT ROUNDTABLE - это устройство видеоконференции с 360-градусной камерой, которая предоставляет удаленным участникам встречи панорамное видео всех участников, сидящих вокруг стола переговоров. Мультимедийные устройства вывода могут включать в себя любое логическое или физическое устройство, выполненное с возможностью воспроизведения или отображения в качестве вывода мультимедийной информации от операторов удаленных пультов 110-2-m управления встречи, включая устройства аудио вывода, устройства видео вывода, устройства вывода изображения, текстовые устройства вывода и другое мультимедийное оборудование вывода. Примеры мультимедийных устройств вывода могут включать в себя, без ограничения указанным, электронные дисплеи, видео проекторы, громкоговорители, блоки вибрации, принтеры, факсимильные аппараты и т.д.

Локальный пульт 110-1 управления встречи в конференц-зале 150 может включать в себя различные мультимедийные устройства ввода, выполненные с возможностью захвата мультимедийного содержания из конференц-зала 150, включающего участников 154-1-р, и потоковой передачи мультимедийного содержания на сервер 130 мультимедийной конференц-связи. В проиллюстрированном варианте осуществления, показанном на Фиг.1, локальный пульт 110-1 управления встречи включает в себя видеокамеру 106 и множество микрофонов 104-1-r. Видеокамера 106 может захватить видео содержание, включая видео содержание участников 154-1-р, присутствующих в конференц-зале 150, и осуществить потоковую передачу видео содержания на сервер 130 мультимедийной конференц-связи через локальный пульт 110-1 управления встречи. Точно так же множество микрофонов 104-1-r может захватить аудио содержание, включая аудио содержание от участников 154-1-р, присутствующих в конференц-зале 150, и осуществить потоковую передачу аудио содержания на сервер 130 мультимедийной конференц-связи через локальный пульт 110-1 управления встречи. Локальный пульт управления встречи может также содержать различные устройства мультимедийного вывода, такие как дисплей 116 или видео проектор, чтобы показать одно или более представлений GUI с видео содержанием или аудио содержанием от всех участников, использующих пульты 110-1-m управления встречи, полученных через сервер 130 мультимедийной конференц-связи.

Пульты 110-1-m управления встречи и сервер 130 мультимедийной конференц-связи могут передавать мультимедийную информацию и управляющую информацию с использованием различных мультимедийных соединений, установленных для данного события мультимедийной конференции. Мультимедийные соединения могут быть установлены с использованием различных VoIP протоколов сигнализации, таких как серия протоколов SIP. Серия протоколов SIP является протоколом управления (сигнализации) уровня приложения для создания, изменения и завершения сессии с одним или более участниками. Эти сессии включают мультимедийные интернет-конференции, вызовы интернет-телефонии и распределение мультимедиа. Участники сессии могут осуществлять связь через групповую передачу или через сетку одноадресных соотношений, или комбинацию указанного. SIP разработан как часть полной IETF архитектуры мультимедийных данных и управления, в настоящее время включающей протоколы, такие как протокол резервирования ресурсов (RSVP) (IEEE RFC 2205) для резервирования ресурсов сети, транспортный протокол в реальном времени (RTP) (IEEE RFC 1889) для транспортирования данных в реальном времени и обеспечения обратной связи по качеству обслуживания (QOS), протокол потоковой передачи в реальном времени (RTSP) (IEEE RFC 2326) для управления доставкой потоковых мультимедийных данных, протокол объявления сессии (SAP) для уведомления о мультимедийных сессиях через многоадресную передачу, протокол описания сессии (SDP) (IEEE RFC 2327) для описания мультимедийных сессий и т.д. Например, пульты 110-1-m управления встречи могут использовать SIP в качестве канала сигнализации для установки мультимедийных соединений и RTP в качестве мультимедийного канала, чтобы транспортировать мультимедийную информацию по мультимедийным соединениям.

В общей операции устройство 108 планирования может использоваться, чтобы генерировать резервирование события мультимедийной конференции для системы 100 мультимедийной конференц-связи 100. Устройство 108 планирования может включать в себя, например, вычислительное устройство, имеющее соответствующее аппаратное и программное обеспечение, чтобы планировать события мультимедийной конференции. Например, устройство 108 планирования может содержать компьютер, использующий прикладное программное обеспечение MICROSOFT OFFICE OUTLOOK®, созданное Microsoft Corporation, Редмонд, шт. Вашингтон. Прикладное программное обеспечение MICROSOFT OFFICE OUTLOOK включает программное обеспечение передачи сообщений и клиентское программное обеспечение взаимодействия, которое может использоваться, чтобы планировать событие мультимедийной конференции. Оператор может использовать MICROSOFT OFFICE OUTLOOK, чтобы преобразовать запрос планирования в событие MICROSOFT OFFICE LIVE MEETING, которое посылается списку участников, приглашенных на встречу. Запрос графика может включать гиперссылку на виртуальный зал события мультимедийной конференции. Приглашенный может кликнуть на гиперссылку, и пульт 110-1-m управления встречи запускает web-браузер, соединяется с сервером 130 мультимедийной конференц-связи и присоединятся к виртуальному залу. Находясь там, участники могут представить презентацию из слайдов, аннотировать документы или организовать мозговой штурм на встроенной доске, в числе других инструментов.

Оператор может использовать устройство 108 планирования, чтобы генерировать резервирование события мультимедийной конференции для события мультимедийной конференции. Резервирование события мультимедийной конференции может включать в себя список приглашенных на встречу для события мультимедийной конференции. Список приглашенных на встречу может включать в себя список людей, приглашенных на событие мультимедийной конференции. В некоторых случаях, список приглашенных на встречу может включать только людей, приглашенных и принятых для мультимедийного события. Клиентское приложение, такое как почтовый клиент для Microsoft Outlook, направляет запрос резервирования на сервер 130 мультимедийной конференц-связи. Сервер 130 мультимедийной конференц-связи может получить резервирование события мультимедийной конференции и извлечь список приглашенных на встречу и ассоциированную информацию для приглашенных на встречу из сетевого устройства, такого как каталог 160 ресурсов предприятия.

Каталог 160 ресурсов предприятия может содержать сетевое устройство, которое публикует общедоступный каталог операторов и/или сетевых ресурсов. Обычный пример сетевых ресурсов, публикуемых каталогом 160 ресурсов предприятия, включает сетевые принтеры. В одном варианте осуществления, например, каталог 160 ресурсов предприятия может быть осуществлен как MICROSOFT ACTIVE DIRECTORY®. Активный каталог - это реализация услуг каталога облегченного протокола службы каталогов (LDAP), чтобы обеспечить услуги централизованной аутентификации и авторизации для сетевых компьютеров. Активный каталог также позволяет администраторам назначать политику, развертывать программное обеспечение и применять критические обновления для организации. Активный каталог хранит информацию и параметры настройки в центральной базе данных. Сети активного каталога могут варьироваться от малой установки с несколькими сотнями объектов до большой установки с миллионами объектов.

В различных вариантах осуществления каталог 160 ресурсов предприятия может содержать идентифицирующую информацию для различных приглашенных на встречу для события мультимедийной конференции. Идентифицирующая информация может включать в себя любой тип информации, обеспечивающий возможность уникальной идентификации каждого из приглашенных на встречу. Например, идентифицирующая информация может включать в себя, без ограничения указанным, имя, местоположение, контактную информацию, номера счетов, профессиональную информацию, организационную информацию (например, название), персональную информацию, информацию соединения, информацию о присутствии, сетевой адрес, адрес управления доступом к среде передачи (MAC), адрес Интернет-протокола (IP), номер телефона, адрес электронной почты, адрес протокола (например, адрес SIP), идентификаторы оборудования, конфигурации аппаратных средств, конфигурации программного обеспечения, проводные интерфейсы, беспроводные интерфейсы, поддерживаемые протоколы и другую желаемую информацию.

Сервер 130 мультимедийной конференц-связи может получить резервирование события мультимедийной конференции, включая список приглашенных на встречу, и извлекает соответствующую идентифицирующую информацию из каталога 160 ресурсов предприятия. Сервер 130 мультимедийной конференц-связи может использовать список приглашенных на встречу и соответствующую идентифицирующую информацию, чтобы способствовать автоматической идентификации участников для события мультимедийной конференции. Например, сервер 130 мультимедийной конференц-связи может отправить список приглашенных на встречу и сопровождающую идентифицирующую информацию на пульты 110-1-m управления встречи для использования при идентификации участников в визуальной композиции для события мультимедийной конференции.

Возвращаясь снова к пультам 110-1-m управления встречи, каждый из пультов 110-1-m управления встречи может включать в себя или реализовывать соответствующие компоненты 114-1-t визуальной композиции. Компоненты 114-1-t визуальной композиции могут в общем случае действовать, чтобы генерировать и отображать визуальную композицию 108 для события мультимедийной конференции на дисплее 116. Хотя визуальная композиция 108 и дисплей 116 показаны как часть пульта 110-1 управления встречи, в качестве примера, но не ограничения, понятно, что каждый из пультов 110-1-m управления встречи может включать в себя электронный дисплей, подобный дисплею 116 и способный предоставлять визуальную композицию 108 для каждого оператора пультов 110-1-m управления встречи.

В одном варианте осуществления, например, локальный пульт 110-1 управления встречи может включать в себя дисплей 116 и компонент 114-1 визуальной композиции, действующий для генерации визуального компонента 108 для события мультимедийной конференции. Компонент 114-1 визуальной композиции может включать в себя различные элементы аппаратных средств и/или элементы программного обеспечения, предназначенные для генерации визуальной композиции 108, которая обеспечивает более естественное представление для участников встречи (например, 154-1-р) в цифровой области. Визуальная композиция 108 интегрирует и агрегирует различные типы мультимедийного содержания, связанного с каждым участником события мультимедийной конференции, включая видео содержание, аудио содержание, идентифицирующую информацию и т.д. Визуальная композиция представляет интегрированную и агрегированную информацию таким способом, который позволяет наблюдателю фокусироваться на конкретной области визуальной комбинации, чтобы собрать специфическую для участника информацию для одного участника, и на другой конкретной области, чтобы собрать специфическую для участника информацию для другого участника, и т.д. Таким способом наблюдатель может сосредоточиться на интерактивных частях события мультимедийной конференции, вместо того, чтобы затрачивать время на сбор информации из разных источников. Пульты 110-1-m управления встречи, вообще, и компонент 114 визуальной композиции, в частности, могут быть описаны более подробно со ссылкой на Фиг.2.

Фиг.2 иллюстрирует блок-схему для компонентов 114-1-t визуальной композиции. Компонент 114 визуальной композиции может включать в себя множество модулей. Модули могут быть осуществлены с использованием элементов аппаратных средств, элементов программного обеспечения или комбинации элементов аппаратных средств и элементов программного обеспечения. Хотя компонент 114 визуальной композиции, как показано на Фиг.2, имеет ограниченное число элементов в определенной топологии, понятно, что компонент 114 визуальной композиции может включать в себя больше или меньше элементов в альтернативных топологиях, как желательно для данного выполнения. Варианты осуществления не ограничены в этом контексте.

В проиллюстрированном варианте осуществления, показанном на Фиг.2, компонент 114 визуальной композиции включает в себя модуль 210 видео декодера. Видео декодер 210 может в общем случае декодировать мультимедийные потоки, принимаемые от различных пультов 110-1-m управления встречи через сервер 130 мультимедийной конференц-связи. В одном варианте осуществления, например, модуль 210 видео декодера может быть выполнен с возможностью получения входных мультимедийных потоков 202-1-f от различных пультов 110-1-m управления встречи, участвующих в событии мультимедийной конференции. Модуль 210 видео декодера может декодировать входные мультимедийные потоки 202-1-f в цифровое или аналоговое видео содержание, подходящее для отображения на дисплее 116. Далее, модуль 210 видео декодера может декодировать входные мультимедийные потоки 202-1-f в различные пространственные разрешения и временные разрешения, подходящие для дисплея 116 и кадров дисплея, используемых визуальной композицией 108.

Компонент 114-1 визуальной композиции может содержать модуль 220 детектора активного говорящего участника (ASD), коммуникативно связанный с модулем 210 видео декодера. Модуль ASD 220 может в принципе обнаруживать, являются ли какие-либо участники в декодированных мультимедийных потоках 202-1-f активными говорящими участниками. Различные методы обнаружения активного говорящего участника могут быть реализованы для модуля ASD 220. В одном варианте осуществления, например, модуль ASD 220 может обнаружить и измерить голосовую энергию в декодированном мультимедийном потоке, ранжировать измерения от самой высокой голосовой энергии до самой низкой голосовой энергии и выбрать декодированный мультимедийный поток с самой высокой голосовой энергией как представляющий текущего активного говорящего участника. Однако могут использоваться другие методы ASD, и варианты осуществления не ограничены в этом контексте.

В некоторых случаях, однако, возможно, что входной мультимедийный поток 202-1-f содержит более чем одного участника, например, входной мультимедийный поток 202-1 от локального пульта 110-1 управления встречи, расположенного в конференц-зале 150. В этом случае модуль ASD 220 может быть выполнен с возможностью обнаруживать доминирующих или активных говорящих участников из числа участников 154-1-р, находящихся в конференц-зале 150, с использованием аудио (локализация источника звука) и видео (образы движения и пространственные образы) признаков. Модуль ASD 220 может определить доминирующего говорящего участника в конференц-зале 150, когда несколько человек говорят в то же самое время. Он также обеспечивает компенсацию для фоновых шумов и твердых поверхностей, которые отражают звук. Например, модуль ASD 220 может получить входы от шести отдельных микрофонов 104-1-r, чтобы дифференцировать между различными звуками и изолировать доминирующий посредством процесса, называемого формированием луча. Каждый из микрофонов 104-1-r встроен в различную часть пульта 110-1 управления встречи. Несмотря на скорость звука, микрофоны 104-1-r могут принимать голосовую информацию от участников 154-1-р в различных временных интервалах друг относительно друга. Модуль ASD 220 может использовать эту разницу во времени, чтобы идентифицировать источник голосовой информации. Как только источник голосовой информации идентифицирован, контроллер для локального пульта 110-1 управления встречи может использовать визуальные сигналы от видеокамеры 106-1-р, чтобы точно указать, увеличить и сфокусироваться на лице доминирующего говорящего участника. Этим способом модуль ASD 220 локального пульта 110-1 управления встречи изолирует единственного участника 154-1-р из конференц-зала 150 в качестве активного говорящего участника на стороне передачи.

Компонент 114-1 визуальной композиции может содержать модуль администратора мультимедийных потоков (MSM) 230, коммуникативно связанный с модулем ASD 220. Модуль MSM 230 может в принципе отображать декодированные мультимедийные потоки на различные кадры дисплея. В одном варианте осуществления, например, модуль MSM 230 может быть выполнен с возможностью отображения декодированного мультимедийного потока с активным говорящим участником на активный кадр дисплея, а других декодированных мультимедийных потоков - на неактивные кадры дисплея.

Компонент 114-1 визуальной композиции может содержать модуль генератора визуальной композиции (VCG) 240, коммуникативно связанный с модулем MSM 230. Модуль VCG 240 может в принципе воспроизводить или генерировать визуальную композицию 108. В одном варианте осуществления, например, модуль VCG 240 может быть выполнен с возможностью генерировать визуальную композицию 108 со списком участников, имеющим активные и неактивные кадры дисплея, помещенные в предопределенном порядке. Модуль VCG 240 может выводить сигналы 206-1-g визуальной композиции на дисплей 116 через контроллер видео графики и/или модуль GUI операционной системы для данного пульта 110-1-m управления встречей.

Компонент 114-1 визуальной композиции может содержать модуль 250 аннотации, коммуникативно связанный с модулем VCG 240. Модуль 250 аннотации может в принципе аннотировать участников с помощью идентифицирующей информации. В одном варианте осуществления, например, модуль 250 аннотации может быть выполнен с возможностью принимать команду оператора, чтобы аннотировать участника активного или неактивного кадра дисплея с помощью идентифицирующей информации. Модуль 250 аннотации может определить идентифицирующее местоположение, чтобы поместить идентифицирующую информацию. Модуль 250 аннотации может затем аннотировать участника идентифицирующей информацией в идентифицирующем местоположении.

Фиг.3 иллюстрирует более подробно представленную визуальную композицию 108. Визуальная композиция 108 может содержать различные кадры 330-1-a упорядоченные в определенной мозаике или в шаблоне дисплея для представления наблюдателю, такому как оператор пульта 110-1-m управления встречи. Каждый кадр дисплея 330-1-а предназначен для воспроизведения или отображения мультимедийного содержания из мультимедийных потоков 202-1-f, таких как видео содержание и/или аудио содержание из соответствующего мультимедийного потока 202-1-f, отображенного на кадр 330-1-а дисплея модулем MSM 230.

В проиллюстрированном варианте осуществления, показанном на Фиг.3, например, визуальная композиция 108 может содержать кадр 330-6 дисплея, содержащий главную область просмотра, чтобы отображать данные приложения, такие как слайды 304 презентации из прикладного программного обеспечения презентации. Далее, визуальная композиция 108 может включать в себя список 306 участников, содержащий кадры дисплея от 330-1 до 330-5. Понятно, что визуальная композиция 108 может включать в себя больше или меньше кадров 330-1-s дисплея переменных размеров и альтернативных конфигураций, как желательно для данного выполнения.

Список 306 участников может содержать множество кадров дисплея от 330-1 до 330-5. Кадры дисплея от 330-1 до 330-5 могут обеспечивать видео содержание и/или аудио содержание участников 302-1-b из различных мультимедийных потоков 202-1-f, передаваемых пультами 110-1-m управления встречи. Различные кадры 330-1 дисплея из списка 306 участников могут быть расположены в предопределенном порядке от верха визуальной композиции 108 к низу визуальной композиции 108, например, как кадр 330-1 дисплея в первом положении около верха, кадр 330-2 дисплея во втором положении, кадр 330-3 дисплея в третьем положении, кадр 330-4 дисплея в четвертом положении, и кадр 330-5 дисплея в пятом положении около низа. Видео содержание участников 302-1-b, показанное кадрами дисплея от 330-1 до 330-5, может быть воспроизведено в различных форматах, таких как очертания "головы-и-плеч" (например, с фоном или без какого-либо фона), прозрачные объекты, которые могут накладываться на другие объекты, прямоугольные области в перспективе, панорамные виды и т.д.

Предопределенный порядок для кадров 330-1-b списка 306 участников не обязательно является статичным. В некоторых вариантах осуществления, например, предопределенный порядок может изменяться по ряду причин. Например, оператор может вручную конфигурировать часть или все из предопределенного порядка, основываясь на личном предпочтении. В другом примере компонент 114-1-t визуальной композиции может автоматически изменять предопределенный порядок, основываясь на участниках, присоединяющихся или покидающих данное событие мультимедийной конференции, модификации размеров дисплея для кадров 330-1-а дисплея, изменениях в пространственном или временном разрешении для видео содержания, воспроизводимого для кадров 330-1-а дисплея, числе участников 302-1-b, показываемых в пределах видео содержания для кадров 330-1-а дисплея, различных событиях мультимедийной конференции и т.д.

В одном варианте осуществления компонент 114-1-t визуальной композиции может автоматически изменять предопределенный порядок на основе методов ASD, как реализуется модулем ASD 220. Так как активный говорящий участник для некоторых событий мультимедийной конференции обычно изменяется с некоторой частотой, для наблюдателя может быть трудно установить, какой из кадров 330-1-а дисплея содержит текущего активного говорящего участника. Чтобы решить эту и другие проблемы, список 306 участников может иметь предопределенный порядок кадров 330-1-а дисплея с первым положением в предопределенном порядке, зарезервированным для активного говорящего участника 320.

Модуль VCG 240 может действовать, чтобы генерировать визуальную композицию 108 со списком 306 участников, имеющим активный кадр 330-1 дисплея в первом положении предопределенного порядка. Активный кадр дисплея может относиться к кадру 330-1-a дисплея, конкретно предназначенному для отображения активного говорящего участника 320. В одном варианте осуществления, например, модуль VCG 240 может быть выполнен с возможностью перемещения положения в пределах предопределенного порядка для кадра 330-1-a дисплея, имеющего видео содержание для участника, назначенного в качестве текущего активного говорящего участника на первое положение в предопределенном порядке. Например, предположим, что участник 302-1 из первого мультимедийного потока 202-1, как показано в первом кадре 330-1 дисплея, определяется как активный говорящий участник 320 в первом временном интервале. Далее предположим, что модуль ASD 220 обнаруживает, что активный говорящий участник 320 изменяется от участника 302-1 к участнику 302-4 из четвертого мультимедийного потока 202-4, как показано в четвертом кадре 330-4 дисплея во втором временном интервале. Модуль VCG 240 может переместить четвертый кадр 330-4 дисплея из четвертого положения в предопределенном порядке в первое положение в предопределенном порядке, зарезервированное для активного говорящего участника 320. Модуль VCG 240 может затем переместить первый кадр 330-1 дисплея из первого положения в предопределенном порядке в четвертое положение в предопределенном порядке, только что освобожденное четвертым кадром 330-4 дисплея. Это может быть желательно, например, чтобы осуществить визуальные эффекты, такие как показ перемещения кадров 330-1-a дисплея во время операций переключения, тем самым предоставляя зрителю визуальный сигнал того, что активный говорящий участник 320 изменился.

Вместо того, чтобы переключать положения для кадров 330-1-a дисплея в пределах предопределенного порядка, модуль MSM 230 может быть выполнен с возможностью переключения мультимедийных потоков 202-1-f, отображенных на кадры 330-1-a дисплея, имеющие видео содержание для участника, назначенного в качестве текущего активного говорящего участника 320. Используя предыдущий пример, вместо того, чтобы переключать положения для кадров 330-1, 330-4 дисплея в ответ на изменение в активном говорящем участнике 320, модуль MSM 230 может переключить соответствующие мультимедийные потоки 202-1, 202-4 между кадрами 330-1, 330-4 дисплея. Например, модуль MSM 230 может обеспечить то, что первый кадр 330-1 дисплея будет отображать видео содержание из четвертого мультимедийного потока 202-4, а четвертый кадр 330-4 дисплея будет отображать видео содержание из первого мультимедийного потока 202-1.

Это может быть желательным, например, чтобы уменьшить количество вычислительных ресурсов, требуемых для изменения структуры кадров 330-1-а, тем самым высвобождая ресурсы для других операций видео обработки.

Модуль VCG 240 может действовать, чтобы генерировать визуальную композицию 108 со списком 306 участников, имеющим неактивный кадр 330-2 дисплея во втором положении предопределенного порядка. Неактивный кадр дисплея может относиться к кадру 330-1-а дисплея, который не предназначается для отображения активного говорящего участника 320. Неактивный кадр 330-2 дисплея может иметь видео содержание для участника 302-2, соответствующего пульту 110-1-m управления встречи, генерирующему визуальную композицию 108. Например, наблюдатель визуальной композиции 108, как правило, является участником встречи в событии мультимедийной конференции. Следовательно, один из входных мультимедийных потоков 202-1-f включает в себя видео содержание и/или аудио содержание для наблюдателя. Наблюдателям может быть желательным просматривать самих себя, чтобы гарантировать, что используются надлежащие методы презентации, оценивать невербальные коммуникации, сигнализируемые наблюдателем, и т.д. Следовательно, тогда как первое положение в предопределенном порядке списка 306 участников включает в себя активного говорящего участника 320, второе положение в предопределенном порядке списка 306 участников может включать видео содержание для наблюдающей стороны. Подобно активному говорящему участнику 320, наблюдающая сторона, как правило, остается во втором положении предопределенного порядка, даже когда другие кадры 330-1, 330-3, 330-4 и 330-5 дисплея перемещаются в пределах предопределенного порядка. Это гарантирует непрерывность для наблюдателя и уменьшает потребность в сканировании других областей визуальной композиции 108.

В некоторых случаях, оператор может вручную конфигурировать часть или весь предопределенный порядок, основываясь на личных предпочтениях. Модуль VCG 240 может действовать, чтобы принимать команду оператора, чтобы переместить неактивный кадр 330-1-а дисплея из текущего положения в предопределенном порядке в новое положение в предопределенном порядке. Модуль VCG 240 может затем переместить неактивный кадр 330-1-а в новое положение в ответ на команду оператора. Например, оператор может использовать устройство ввода, такое как мышь, сенсорный экран, клавиатура и т.д., чтобы управлять указателем 340. Оператор может выполнить операцию «переместить-и-оставить» над кадрами 330-1-а дисплея, чтобы вручную сформировать любой желаемый порядок кадров 330-1-а дисплея.

В дополнение к отображению аудио содержания и/или видео содержания для входных мультимедийных потоков 202-1-f, список 306 участников может также использоваться, чтобы отображать идентифицирующую информацию для участников 302-1-b. Модуль 250 аннотации может действовать, чтобы принимать команду оператора, чтобы аннотировать участника 302-1-b в активном кадре дисплея (например, кадре 330-1 дисплея) или неактивном кадре дисплея (например, кадрах дисплея от 330-2 до 330-5) с идентифицирующей информацией. Например, предположим, что оператор пульта 110-1-m управления встречи, имеющего дисплей 116 с визуальной композицией 108, желает просмотреть идентифицирующую информацию для некоторых или всех участников 302-1-b, показанных в кадрах 330-1-а дисплея. Модуль 250 аннотации может получить идентифицирующую информацию 204 от сервера 130 мультимедийной конференц-связи и/или из каталога 160 ресурсов предприятия. Модуль 250 аннотации может определить идентифицирующее местоположение 308, чтобы поместить идентифицирующую информацию 204, и аннотировать участника идентифицирующей информацией в идентифицирующем местоположении 308. Идентифицирующее местоположение 308 должно быть в относительно непосредственной близости от соответствующего участника 302-1-b. Идентифицирующее местоположение 308 может содержать положение в пределах кадра 330-1-а дисплея, чтобы аннотировать идентифицирующую информацию 204. В приложении идентифицирующая информация 204 должна быть достаточно близкой к участнику 302-1-b, чтобы облегчить соединение между видео содержанием для участника 302-1-b и идентифицирующей информацией 204 для участника 302-1-b с точки зрения человека, наблюдающего визуальную композицию 108, уменьшая или избегая возможности частичного или полного закрытия видео содержания для участника 302-1-b. Идентифицирующее местоположение 308 может быть статическим местоположением или может динамически изменяться согласно факторам, таким как размер участника 302-1-b, перемещение участника 302-1-b, изменения в фоновых объектах в кадре 330-1-а дисплея и т.д.

В некоторых случаях модуль VCG 240 (или модуль GUI для OS) может использоваться, чтобы генерировать меню 314, имеющее опцию, чтобы открыть отдельный GUI вид 316 с идентифицирующей информацией 204 для выбранного участника 302-1-b. Например, оператор может использовать устройство ввода, чтобы управлять указателем 340, чтобы зависнуть над данным кадром дисплея, таким как кадр 330-4 дисплея, и меню 314 будет автоматически или с активацией открывать меню 314. Одна из опций может включать "карту открытого контакта" или некоторый подобный символ, который при выборе открывает GUI вид 316 с идентифицирующей информацией 350. Идентифицирующая информация 350 может быть той же самой или подобной идентифицирующей информации 204, но, как правило, содержит более подробную идентифицирующую информацию для целевого участника 302-1-b.

Динамические модификации для списка 306 участников обеспечивают более эффективный механизм, чтобы взаимодействовать с различными участниками 302-1-b в виртуальном конференц-зале для события мультимедийной конференции. В некоторых случаях, однако, оператору или наблюдателю может быть желательным фиксировать неактивный кадр 330-1-а дисплея в текущем положении в предопределенном порядке, вместо того, чтобы неактивный кадр 330-1-а дисплея или видео содержание для неактивного кадра 330-1-а дисплея перемещалось в пределах списка 306 участников. Это может быть желательно, например, если наблюдателю желательно легко определять местонахождение и наблюдать конкретного участника в течение некоторого или всего события мультимедийной конференции. В таких случаях оператор или наблюдатель может выбрать неактивный кадр 330-1-а дисплея, чтобы оставаться в его текущем местоположении в предопределенном порядке для списка 306 участников. В ответ на прием команды оператора модуль VCG 240 может временно или постоянно назначить выбранный неактивный кадр 330-1-а выбранному положению в пределах предопределенного порядка. Например, оператору или зрителю может быть желательно назначить кадр 330-3 дисплея третьему положению в предопределенном порядке. Визуальный индикатор, такой как пиктограмма 306 скрепки может указать, что кадр 330-3 дисплея назначен третьему положению и будет оставаться в третьем положении, пока не будет освобожден.

Операции для вышеописанных вариантов осуществления могут быть дополнительно описаны со ссылкой на один или более логических потоков. Понятно, что репрезентативные логические потоки не должны обязательно выполняться в представленном порядке или в любом конкретном порядке, если иное не указано. Кроме того, различные действия, описанные относительно логических потоков, могут быть выполнены последовательным или параллельным способом. Логические потоки могут быть осуществлены, используя один или более элементов аппаратных средств и/или элементов программного обеспечения описанных вариантов осуществления или альтернативных элементов, как это желательно для заданного набора ограничений проектирования и рабочих характеристик. Например, логические потоки могут быть осуществлены как логика (например, инструкции компьютерной программы) для выполнения логическим устройством (например, компьютером общего назначения или специализированным компьютером).

Фиг.4 иллюстрирует один вариант осуществления логического потока 400. Логический поток 400 может быть репрезентативным для некоторых или всех операций, выполняемых согласно одному или более вариантам осуществления, описанным здесь.

Как показано на Фиг.4, логический поток 400 может декодировать множество мультимедийных потоков для события мультимедийной конференции в блоке 402. Например, модуль 210 видео декодера может принимать множество кодированных мультимедийных потоков 202-1-f и декодировать мультимедийные потоки 202-1-f для отображения посредством визуальной композиции 108. Кодированные мультимедийные потоки 202-1-f могут содержать отдельные мультимедийные потоки или смешанные мультимедийные потоки, объединенные сервером 130 мультимедийной конференц-связи.

Логический поток 400 может обнаружить участника в декодированном мультимедийном потоке как активного говорящего участника в блоке 404. Например, модуль ASD 220 может обнаружить, что участник 302-1-b в декодированном мультимедийном потоке 202-1-f является активным говорящим участником 320. Активный говорящий участник 320 может и, как правило, часто изменяется в течение данного события мультимедийной конференции. Следовательно, различные участники 302-1-b могут назначаться в качестве активного говорящего участника 320 в течение времени.

Логический поток 400 может отобразить декодированный мультимедийный поток с активным говорящим участником на активный кадр дисплея, а другие декодированные мультимедийные потоки на неактивные кадры дисплея в блоке 406. Например, модуль MSM 230 может отобразить декодированный мультимедийный поток 202-l-f с активным говорящим участником 320 на активный кадр 330-1 дисплея, а другие декодированные мультимедийные потоки на неактивные кадры 330-2-а дисплея.

Логический поток 400 может генерировать визуальную композицию со списком участников, имеющим активные и неактивные кадры дисплея, помещенные в предопределенном порядке в блоке 408. Например, модуль VCG 240 может генерировать визуальную композицию 108 со списком 306 участников, имеющим активный кадр 330-1 дисплея и неактивные кадры 330-2-а дисплея, помещенные в предопределенном порядке. Модуль VCG 240 может изменить предопределенный порядок автоматически в ответ на изменяющиеся условия, или оператор может вручную изменить предопределенный порядок, как желательно.

Фиг.5 далее иллюстрирует более подробную блок-схему вычислительной архитектуры 510, подходящей для реализации пультов 110-1-m управления встречи или сервера 130 мультимедийной конференц-связи. В базовой конфигурации вычислительная архитектура 510, как правило, содержит, по меньшей мере, один блок 532 обработки и память 534. Память 534 может быть реализована с использованием любых машиночитаемых или считываемых компьютером носителей, способных хранить данные, включая энергозависимую и энергонезависимую память. Например, память 534 может включать в себя постоянное ЗУ (ROM), ЗУ произвольного доступа (RAM), динамическое RAM (DRAM), DRAM двойной скорости передачи данных (DDRAM), синхронное DRAM (SDRAM), статическое RAM (SRAM), программируемое ROM (PROM), стираемое программируемое ROM (EPROM), электрически стираемое программируемое ROM (EEPROM), флэш-память, полимерное ЗУ, такое как сегнетоэлектрическое полимерное ЗУ, ЗУ на элементах Овшинского, ЗУ на фазовых переходах или сегнетоэлектрическое ЗУ, "окись кремния-окись азота-кремниевое" (SONOS) ЗУ, магнитные или оптические карты, или любой другой тип носителей, подходящих для хранения информации. Как показано на Фиг.5, память 534 может хранить различные программы, такие как одно или более приложений 536-1-t и сопровождающие данные. В зависимости от реализации, примеры приложений 536-1-t могут включать в себя серверный компонент 132 встречи, клиентские компоненты 112-1-n встречи или компонент 114 визуальной композиции.

Вычислительная архитектура 510 может также иметь дополнительные функции и/или функциональность вне ее базовой конфигурации. Например, вычислительная архитектура 510 может включать в себя сменное ЗУ 538 и несменное ЗУ 540, которые могут также содержать различные типы машиночитаемых или считываемых компьютером носителей, как описано выше. Вычислительная архитектура 510 может также иметь одно или более устройств 544 ввода, таких как клавиатура, мышь, перо, голосовое устройство ввода, устройство сенсорного ввода, устройства измерения, датчики и т.д. Вычислительная архитектура 510 может также включать в себя одно или более устройств 542 вывода, таких как дисплеи, громкоговорители, принтеры и т.д.

Вычислительная архитектура 510 может далее содержать одно или более коммуникационных соединений 546, которые позволяют вычислительной архитектуре 510 осуществлять связь с другими устройствами. Коммуникационные соединения 546 могут содержать различные типы стандартных коммуникационных элементов, таких как один или более коммуникационных интерфейсов, сетевые интерфейсы, карты сетевого интерфейса (NIC), радио, беспроводные передатчики/приемники (приемопередатчики), проводные и/или беспроводные коммуникационные среды, физические соединители и т.д. Коммуникационные среды, как правило, воплощают считываемые компьютером инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая или другой транспортный механизм, и включают в себя любые среды доставки информации. Термин "модулированный сигнал данных", означает сигнал, в котором одна или более из его набора характеристик установлены или изменяются так, чтобы кодировать информацию в сигнале. Посредством примера, но не ограничения, коммуникационные среды включают в себя проводные коммуникационные среды и беспроводные среды. Примеры проводных коммуникационных сред могут включать в себя провод, кабель, металлические выводы, печатные платы (PCB), объединительные платы, коммутаторы, полупроводниковый материал, провод витой пары, коаксиальный кабель, волоконную оптику, распространяющийся сигнал и т.д. Примеры беспроводных коммуникационных сред могут включать в себя акустическую, радиочастотный (RF) спектр, инфракрасную и другие беспроводные среды. Термины «машиночитаемые носители» и «считываемые компьютером носители», как используется здесь, предназначаются, чтобы включать в себя как носители данных, так и коммуникационные среды.

Фиг.6 иллюстрирует диаграмму изделия производства 600, подходящего для того, чтобы хранить логику для различных воплощений, включая логический поток 400. Как показано, изделие 600 может содержать носитель 602 данных, чтобы хранить логику 604. Примеры носителя 602 данных могут включать в себя один или более типов считываемых компьютером носителей данных, способных хранить электронные данные, включая энергозависимую память или энергонезависимую память, сменную или несменную память, стираемую или нестираемую память, память с возможностью записи или перезаписи и т.д. Примеры логики 604 могут включать в себя различные элементы программного обеспечения, такие как компоненты программного обеспечения, программы, приложения, компьютерные программы, прикладные программы, системные программы, машинные программы, программное обеспечение операционной системы, промежуточное программное обеспечение, программируемое оборудование, программные модули, стандартные программы, подпрограммы, функции, методы, процедуры, интерфейсы программного обеспечения, интерфейсы приложения (API), наборы команд, компьютерный код, машинный код, сегменты кода, сегменты машинного кода, слова, значения, символы или любую комбинацию указанного.

В одном варианте осуществления, например, изделие 600 и/или считываемый компьютером носитель 602 данных могут хранить логику 604, содержащую исполняемые инструкции компьютерной программы, которые, при выполнении компьютером, заставляют компьютер выполнять способы и/или операции в соответствии с описанными вариантами осуществления. Исполняемые инструкции компьютерной программы могут включать в себя любой подходящий тип кода, такого как исходный код, скомпилированный код, интерпретируемый код, исполняемый код, статический код, динамический код и т.п. Исполняемые инструкции компьютерной программы могут быть осуществлены в соответствии с предопределенным компьютерным языком, способом или синтаксисом, чтобы инструктировать компьютер выполнять определенную функцию. Инструкции могут быть осуществлены, используя любой подходящий язык программирования низкого уровня, высокого уровня, объектно-ориентированный язык, визуальный, компилированный и/или интерпретируемый язык программирования, такой как C, C++, Java, BASIC, Perl, Matlab, Pascal, Visual BASIC, ассемблер и другие.

Различные варианты осуществления могут быть реализованы с использованием элементов аппаратных средств, элементов программного обеспечения или комбинации того и другого. Примеры элементов аппаратных средств могут включать в себя любой из примеров, как ранее упомянуто для логического устройства, и дополнительно включая микропроцессоры, схемы, схемные элементы (например, транзисторы, резисторы, конденсаторы, катушки индуктивности и т.д.), интегральные схемы, логические схемы, регистры, полупроводниковое устройство, чипы, микросхемы, наборы микросхем и т.д. Примеры элементов программного обеспечения могут включать в себя любые компоненты программного обеспечения, программы, приложения, компьютерные программы, прикладные программы, системные программы, машинные программы, программное обеспечение операционной системы, связующее программное обеспечение, программируемое оборудование, программные модули, стандартные программы, подпрограммы, функции, методы, процедуры, интерфейсы программного обеспечения, интерфейсы приложения (API), наборы команд, вычислительный код, машинный код, сегменты кода, сегменты машинного кода, слова, значения, символы или любую комбинацию указанного. Определение того, будет ли вариант осуществления реализован с использованием элементов аппаратных средств и/или элементов программного обеспечения, может изменяться в соответствии с любым рядом факторов, таких как желательный вычислительный уровень, уровни мощности, допуска по нагреву, бюджет цикла обработки, скорости входных данных, скорости выходных данных, ресурсы памяти, скорости шины данных и другие ограничения проектирования или рабочих характеристик, как желательно для данной реализации.

Некоторые варианты осуществления могут быть описаны с использованием терминов "соединен" и "связан" наряду с их производными. Эти термины не обязательно должны трактоваться как синонимы друг для друга. Например, некоторые варианты осуществления могут быть описаны с использованием термина "соединен" и/или "связан", чтобы указать, что два или более элемента находятся в прямом физическом или электрическом контакте друг с другом. Термин "связан", однако, может также подразумевать, что два или более элементов не находятся в прямом контакте друг с другом, но все равно взаимодействуют друг с другом.

Следует отметить, что реферат раскрытия предусмотрен в соответствии с 37 C.F.R., Раздел 1.72(b), требующим, чтобы реферат обеспечил возможность читателю быстро установить сущность технического раскрытия. При этом следует понимать, что он не будет использоваться, чтобы интерпретировать или ограничивать объем или смысл пунктов формулы изобретения. Кроме того, что касается предшествующего подробного описания, можно видеть, что различные признаки сгруппированы в единственном варианте осуществления с целью упрощения раскрытия. Этот метод раскрытия не должен интерпретироваться как отражение намерения, что заявленные варианты осуществления требуют большего количества особенностей, чем явно выражено в каждом пункте формулы изобретения. Скорее, как отражается в последующих пунктах формулы изобретения, сущность изобретения заключается в менее чем всех признаках единственного раскрытого варианта осуществления. Таким образом, следующие пункты формулы изобретения настоящим включены в подробное описание, причем каждый пункт самостоятельно определяет отдельный вариант осуществления. В приложенных пунктах формулы изобретения термины "включающий в себя" и "в котором" используются в качестве простых эквивалентов соответствующих терминов "содержащий" и "в чем", соответственно. Кроме того, термины "первый", "второй", "третий" и т.д. использованы просто как обозначения и не предназначены, чтобы накладывать числовые требования к их объектам.

Хотя сущность изобретения описана языком, определенным для структурных признаков и/или методологических действий, следует иметь в виду, что сущность изобретения, определенная в приложенных пунктах формулы изобретения, не должна ограничиваться конкретными признаками или действиями, описанными выше. Скорее конкретные признаки и действия, описанные выше, раскрыты как примерные формы реализации пунктов формулы изобретения.