способ создания эффекта виртуального присутствия с комбинированным видеоизображением

Формула изобретения

Способ создания эффекта виртуального присутствия в одном помещении взаимно удаленных участников видеоконференцсвязи, отличающийся тем, что получают первое изображение помещения, в котором находится данный участник видеоконференцсвязи, получают изображение помещений, в которых находятся удаленные участники видеоконференцсвязи, с удаленными участниками видеоконференцсвязи, выделяют из них вторые изображения, которые содержат изображение удаленных участников видеоконференцсвязи, получают третье изображение путем совмещения первого изображения и второго изображения, при этом расположение вторых изображений относительно первого изображения выбирают из условий создания наиболее реалистичного эффекта виртуального присутствия, и демонстрируют третье изображение данному участнику видеоконференцсвязи.

Описание изобретения к патенту

Область техники

Изобретение относится к методам создания эффекта «виртуального присутствия». Эффект виртуального присутствия может достигаться в системах видеотелефонной или видеоконференцсвязи, которые относятся в свою очередь к технике связи и телекоммуникаций.

Уровень техники

Коммерческие образцы систем видеоконференцсвязи (ВКС) появились в середине 80-х годов, в частности благодаря разработкам компании PictureTel.

Известные системы ВКС обеспечивают одновременную передачу видеоизображения, звука и документальной информации между двумя и более абонентами (участниками) по существующим цифровым телефонным сетям (ISDN) или более современным сетям на базе протокола IP.

В случае, когда участников более 2, используются 2 основных режима отображения: режим «активного участника», когда на экране виден только говорящий в данный момент (активный) участник сеанса видеоконференцсвязи; режим «постоянного присутствия», когда одновременно видны все удаленные участники сеанса видеоконференцсвязи.

Режим «постоянного присутствия» более органичен для восприятия, так как близок по формату к обычному совещанию, когда участники находятся в одном помещении, например переговорной комнате, и непрерывно видят друг друга. В простейшем случае режим «постоянного присутствия» реализуют путем разбиения экрана (или нескольких экранов) ВКС на прямоугольные, часто равные между собой, области и выводят изображения удаленных участников отдельно в каждую экранную область. Очевидно, что такой широко используемый в настоящее время метод далек от совершенства, так как изображение на экране мало похоже на привычный прототип - вид участников совещания в переговорной комнате. Следует отметить, что при большом количестве участников возможна комбинация режимов «постоянного присутствия» и «активного участника».

Для увеличения реалистичности, т.е. создания иллюзии того, что все удаленные участники находятся в одном помещении, была выдвинута концепция «виртуального присутствия» или «телеприсутствия».

Участников, находящихся в рассматриваемом помещении видеоконференцсвязи (студии), называют локальными, а находящихся в студиях удаленных относительно рассматриваемой - удаленными.

Для обеспечения эффекта «виртуального присутствия» (ВП) выполняют, в частности, следующие условия (в одновременно или отдельно): совпадение направления взгляда (удаленных и локальных участников); соответствие положения и размеров изображений удаленных участников по отношению к локальным участникам; идентичность видимого на экране интерьера (удаленного и локального).

Совпадение направление взгляда удаленных и локальных участников (условно друг на друга), повышает эмоциональный контакт и интерактивность между собеседниками в процессе разговора благодаря известному психологическому эффекту "eye contact" - «контакт глаз».

Совпадение положения и размеров также является важным, так как для полноты эффекта ВП желательно, чтобы участники отображались в натуральную величину и в соответствующем реальной переговорной комнате интерьере, например за столом переговоров.

Помимо удаленных участников на устройстве отображения обычно видны элементы интерьера удаленной или удаленных студий видеоконференцсвязи. Очевидно, что для создания эффекта ВП важным становится идентичность видимого на экране интерьера удаленной студии и интерьера локальной студии. Желательно добиваться полной идентичности элементов интерьера (отделки стен, мебели, освещения и т.д.) частей локальной и удаленной студии, попадающих в поле зрения видеокамер. Тем не менее, эта задача до настоящего времени не имела эффективного технического решения.

Аналог - система Cisco Telepresence («Сети», 2006, № 17, статья «Расстояния не имеют значения») представляет собой усовершенствованную систему ВКС, которая, в отличие от известных, позволяет создать иллюзию присутствия удаленных абонентов в одном помещении. Этот эффект "виртуального" присутствия значительно повышает комфортность общения и, соответственно, эффективность переговоров.

Помещение для работы системы оборудовано следующими компонентами: стол переговоров, терминал ВКС с одним или несколькими мониторами и видеокамерой, установленными определенным образом, а также высококачественной системой приема и воспроизведения речи.

Эффект ВП создается следующим способом: с одной стороны стола переговоров размешаются места локальных абонентов, с противоположной стороны стола, в предполагаемом месте размещения удаленных абонентов, устанавливаются 1 или несколько мониторов и видеокамер. При установлении сеанса связи удаленные абоненты изображаются на одном или нескольких мониторах в натуральную величину.

Как видно, система Cisco Telepresence успешно решает задачу соответствия положения и размеров изображений.

Задача соответствия видимого на экране интерьера в данной системе решается путем создания физически одинаковых студий ВП, что значительно удорожает саму систему, требует специализированного помещения, ограничивает абонентов в выборе отделки и обстановки.

Задача совпадения направления взгляда в данной системе не решена, так как система имеет в каждой студии единственную видеокамеру и, соответственно, единую точку «взгляда» для всех удаленных участников.

Аналог, выбранный в качестве прототипа, описан в патенте США № 4400724 "Virtual space teleconference system".

За счет применения, помимо мест реальных участников, расположенной на столе совещаний системы из N устройств отображения и N видеокамер, образующих N мест «суррогатных» участников, данное изобретение решает две задачи ВП: совпадение направление взгляда (удаленных и локальных участников); соответствие положения и размеров изображений (удаленных участников по отношению к локальным участникам);

Однако третья задача - идентичность видимого на экране интерьера (удаленного и локального) не рассматривается.

Целью предлагаемого технического решения является создание эффекта виртуального присутствия с комбинированным видеоизображением, реалистичного эффекта виртуального присутствия без необходимости применения студий видеоконференцсвязи с идентичным интерьером.

Поставленная цель достигается за счет того, что в способе создания эффекта виртуального присутствия в одном помещении взаимно удаленных участников видеоконференцсвязи получают первое изображение, содержащее изображение помещения, в котором находится данный участник видеоконференцсвязи, получают изображение помещений, в которых находятся удаленные участники видеоконференцсвязи, с удаленными участниками видеоконференцсвязи, выделяют из них вторые изображения, которые содержат изображение удаленных участников видеоконференцсвязи, получают третье изображение путем совмещения первого изображения и второго изображения, оптимизируют третье изображение по критерию реалистичности, демонстрируют третье изображение данному участнику видеоконференцсвязи.

Раскрытие изобретения

Для создания реалистичного эффекта ВП используют передачу видеоизображения, звука и документальной информации.

Методы передачи звука и документальной информации при создании эффекта ВП функционируют способом, известным в системах ВКС (как было показано в п.2.1), поэтому для раскрытия метода создания эффекта «виртуального присутствия» с комбинированным видеоизображением достаточно рассмотреть только передачу и формирование видеоизображения в процессе проведения сеанса ВКС или видеотелефонной связи.

Условимся называть помещение, где производят просмотр изображения системы ВКС с эффектом ВП локальной студией, а помещение (или помещения), где производят видеосъемку участников ВКС с эффектом ВП, - удаленной студией (или удаленными студиями).

В рассматриваемом случае помещение включает следующие элементы: строительная оболочка (пол, стены, потолок); предметное наполнение (оборудование, мебель, элементы отделки); функциональные приборы (освещение, кондиционирование, связь).

Для организации двустороннего сеанса ВКС с эффектом ВП выполняют описанные ниже действия, принимая каждую студию как локальную, так и удаленную по отношению ко всем остальным студиям.

Метод создания эффекта виртуального присутствия с комбинированным видеоизображением позволяет эффективно решить задачу расположения удаленных участников в интерьере локальной студии и идентичности видимой на экране части интерьера удаленной (удаленных) студий и интерьера локальной студии.

Метод создания эффекта виртуального присутствия с комбинированным видеоизображением отличается тем, что реальные (физически существующие) интерьеры и обстановка локальной студии и удаленных студий могут не совпадать.

Сущность метода создания эффекта виртуального присутствия с комбинированным видеоизображением состоит в том, что на устройствах отображения, находящихся в локальной студии, демонстрируют изображение удаленного или удаленных участников, совмещенное с изображением локальной студии. Для этого из полного изображения той части удаленной студии, которая находится в поле зрения средств захвата изображения, выделяют второе изображение. Под вторым изображением в данной заявке понимают изображение удаленного участника или удаленных участников, выделенное из полного изображения той части удаленной студии, которая находится в поле зрения средств захвата изображения. Под первым изображением в данной заявке понимается изображение помещения, в котором находится данный участник видеоконференцсвязи, т.е. изображение соответствующей части локальной студии. Путем совмещения первого изображения и второго изображения получают третье изображение. При этом для получения третьего изображения накладывают второе изображение (выделенное изображение удаленного (удаленных) участников) на первое изображение. Третье изображение оптимизируют по критерию реалистичности. При этом второе изображение (изображения удаленного (удаленных) участников) располагают относительно первого изображения (соответствующего фрагмента изображения локальной студии) исходя из условий создания наиболее реалистичного эффекта ВП, например условия совпадения направления взгляда.

Третье изображение (изображение удаленных участников, совмещенное с изображением локальной студии) может состоять из нескольких взаимно перекрывающихся планов. В частности, из трех планов: задний план - часть первого изображения, т.е. часть локальной студии, служащая фоном, средний план - второе изображение, т.е. изображение удаленного участника, передний план - другая часть первого изображения, т.е. элементы предметного наполнения локальной студии, которые могут частично перекрывать изображение удаленного участника и фон.

Удаленные участники могут быть разбиты на группы, и третье изображение, т.е. совмещенное изображение удаленных участников и изображение локальной студии, может быть получено отдельно для каждого участника каждой группы и продемонстрировано на отдельном средстве отображения в локальной студии.

В качестве эквивалентного изображению локальной студии, т.е. первому изображению, могут быть использованы: снятое и записанное цифровыми методами изображение реальной локальной студии; изображение, полученное методами художественной графики; обработанное цифровыми методами указанное изображение реальной локальной студии с удалением или добавлением отдельных элементов; изображение, полученное методами компьютерного моделирования, сходное зрительно с изображением реальной студии; снятое и записанное цифровыми методами изображение, полученное с использованием художественной графики, сходное зрительно с изображением реальной студии.

Краткое описание чертежей

Реализация способа поясняется чертежами, где фиг.1 и фиг.1а - схема по варианту 1 с выделением второго изображения удаленного абонента и наложение на первое изображение локальной студии средствами удаленной студии; фиг.2 - схема по варианту 2 с выделением второго изображения удаленного абонента и наложение на первое изображение локальной студии средствами локальной студии; фиг.3 - схема по варианту 3 с выделением второго изображения удаленного абонента средствами удаленной студии и наложение на первое изображение локальной студии средствами локальной студии.

Осуществление изобретения

Рассмотрим процесс передачи и формирования видеоизображения участника для создания эффекта ВП в одном из направлений - из удаленной студии ВКС в локальную студию ВКС - представленный следующей цепью передачи и формирования видеоизображения:

Удаленная студия ВКС с удаленным абонентом (абонентами) -> среда передачи ->локальная студия ВКС с локальным абонентом (абонентами).

В общем случае оборудование локальной и удаленной студии ВКС, реализующее метод создания эффекта виртуального присутствия с комбинированным видеоизображением, может включать следующие элементы: интерьер удаленной студии ВКС (мебель, отделка) для комфортного размещения участника (участников) сеанса ВКС 1; видеокамеры для съемки удаленного участника в интерьере удаленной студии 2; средство, обеспечивающее формирование изображения локальной студии, включая видеокамеру или электронный фотоаппарат 8 и/или компьютер с заранее подготовленным или принятым в процессе сеанса ВКС изображением 10; средства отображения, включая: электронно-лучевые мониторы, плазменные панели, жидкокристаллические экраны, экраны прямой и обратной проекции 3; средства выделения изображения удаленного участника (абонентов) из изображения интерьера удаленной студии 4; наложение выделенного изображения удаленного участника на интерьер локальной студии 5; средства кодирования/декодирования изображения и сопряжения с оборудованием передачи информации 6; интерьер локальной студии (мебель, отделка) для комфортного размещения участника (участников) ВКС 9; средства хранения изображения 10.

Среда передачи 7 включает известное сетевое и каналообразующее оборудование, необходимое для передачи кодированного изображения ВКС между студиями. В качестве среды передачи информации может быть использована в частности сеть IP, ISDN или любая другая сеть, пригодная для передачи видеоизображения в реальном времени и обеспечивающая необходимую пропускную способность.

Направление формирования и передачи полного видеоизображения из удаленной студии ВП в локальную студию показано сплошной линией.

Направление передачи первого изображения (части интерьера локальной студии ВП), необходимого для формирования третьего (полного) изображения, показано пунктирной линией.

Возможны три варианта реализации способа создания эффекта виртуального присутствия с комбинированным видеоизображением:

1. Выделение изображения удаленного участника (второго изображения) и наложение на изображение локальной студии (первое изображение) средствами удаленной студии (фиг.1, фиг.1а).

Выделение изображения удаленного участника (второго изображения) производят средствами 4 удаленной студии. При этом используются известные методы выделения изображения, в частности метод «Chromo key». Выделенное второе изображение удаленного участника накладывают на элементы первого изображения интерьера локальной студии 9, необходимые для замены изображения в поле зрения удаленной видеокамеры 2 средствами 5 удаленной студии. Первое изображение локальной студии создается средствами 8 и непрерывно передается в удаленную студию во время сеанса (фиг.1).

Возможен вариант, когда изображение локальной студии (первое изображение) передается в удаленную студию перед проведением сеанса ВК или постоянно хранится средствами 10 удаленной студии (фиг.1а).

2. Выделение изображения удаленного участника (второго изображения) и наложение на изображение локальной студии (первое изображение) средствами локальной студии (фиг.2)

Выделение изображения удаленного участника (второго изображения) производят средствами 4 локальной студии. При этом используют известные методы выделения изображения, в частности метод «Chromo key». Выделенное изображение удаленного участника (второе изображение) накладывают на элементы первого изображения интерьера локальной студии 9, необходимые для замены изображения в поле зрения удаленной видеокамеры 2 средствами 5 локальной студии. Указанные элементы изображения локальной студии (первого изображения) могут быть подготовлены заранее или получены в процессе сеанса средствами 8.

3. Выделение изображения удаленного участника (второго изображения) средствами удаленной студии и наложение на изображение локальной студии (первое изображение) средствами локальной студии (фиг.3).

Выделение изображения удаленного участника (второго изображения) производят средствами 4 удаленной студии. При этом используют известные методы выделения изображения, в частности метод «Chromo key». Выделенное изображение удаленного участника (второе изображение) накладывают на элементы первого изображения интерьера локальной студии 9, необходимые для замены изображения в поле зрения удаленной видеокамеры 2 средствами 5 локальной студии. Указанные элементы изображения локальной студии (первого изображения) могут быть подготовлены заранее или получены в процессе сеанса средствами 8.

Таким образом, введение указанных в формуле предлагаемого изобретения отличительных признаков обеспечивает достижение заявленного технического результата.