устройство и способ обработки информации и система обработки информации

Формула изобретения

1. Система обработки информации, содержащая:

первое и второе устройства обработки информации, каждое их которых включает в себя

средство разделения для сегментирования исходного изображения на одну или более областей и выделения заданной одной области из одной или более сегментированных областей исходного изображения в качестве частичного изображения, имеющего размер указанной области изображения,

средство передачи для передачи частичного изображения, выделяемого из исходного изображения средством разделения, на устройство обработки информации, являющееся другой стороной связи,

средство запроса для выполнения запроса подающему устройству, выполненному с возможностью подачи фонового изображения, подлежащего синтезу с частичным изображением, на передачу фонового изображения на устройство обработки информации, являющееся другой стороной связи;

средство приема частичного изображения для приема указанного частичного изображения, когда исходное изображение сегментировано на одну или более областей, а заданная одна область выделена из одной или более сегментированных областей исходного изображения в качестве частичного изображения, имеющего размер указанной области изображения, и частичное изображение передано устройством обработки изображения, являющимся другой стороной связи,

средство приема фонового изображения для приема фонового изображения, подаваемого от подающего устройства,

первое средство синтезирования для синтезирования частичного изображения, выделяемого из исходного изображения средством разделения, и фонового изображения, принимаемого средством приема фонового изображения, и генерирования тем самым первого комбинированного изображения,

второе средство синтезирования для синтезирования частичного изображения, принимаемого средством приема частичного изображения, и фонового изображения, принимаемого средством приема фонового изображения, и генерирования тем самым второго комбинированного изображения, и

средство управления отображением для управления отображением изображения, содержащего первое комбинированное изображение и второе комбинированное изображение, так, чтобы первое комбинированное изображение, являющееся передаваемым изображением, и второе комбинированное изображение, являющееся принимаемым изображением, отображались на одном экране; и

подающее устройство, выполненное с возможностью подачи фонового изображения на первое и второе устройство обработки информации в ответ на запросы от первого и второго устройства обработки информации,

при этом первое комбинированное изображение, являющееся передаваемым изображением в устройстве обработки информации, являющемся другой стороной связи, и второе комбинированное изображение, являющееся принимаемым изображение в устройстве обработки информации, являющемся другой стороной связи, выполнены с возможностью отображения на одном экране.

2. Система обработки информации по п.1, в котором частичное изображение является изображением, содержащим объект, являющийся преобладающим элементом связи с использованием изображений.

3. Система обработки информации по п.1, дополнительно содержащее средство хранения для хранения фонового изображения, принимаемого средством приема фонового изображения,

при этом первое средство синтезирования выполнено с возможностью синтезировать частичное изображение и фоновое изображение, хранящееся в средстве хранения, и генерировать тем самым первое комбинированное изображение.

4. Способ обработки информации системой обработки информации, содержащий этапы, на которых:

с помощью каждого из первого и второго устройства обработки информации, сегментируют исходное изображение на одну или более областей и выделяют заданную одну область из одной или более сегментированных областей исходного изображения в качестве частичного изображения, имеющего размер указанной области изображения,

передают частичное изображение, выделенное из исходного изображения, на устройство обработки информации, являющееся другой стороной связи,

выполняют запрос подающему устройству, подающему фоновое изображение, подлежащее синтезу с частичным изображением, на передачу фонового изображения на устройство обработки информации, являющееся другой стороной связи;

когда исходное изображение сегментировано на одну или более областей, а заданная одна область выделена из одной или более сегментированных областей исходного изображения в качестве частичного изображения, имеющего размер указанной области изображения, и частичное изображение передано устройством обработки изображения, являющимся другой стороной связи, принимают частичное изображение,

принимают фоновое изображение, подаваемое от подающего устройства,

синтезируют частичное изображение, выделенное из исходного изображения, и принятое фоновое изображение, и генерируют тем самым первое комбинированное изображение,

синтезируют принятое частичное изображение и принятое фоновое изображение, и генерируют тем самым второе комбинированное изображение,

управляют отображением изображения, содержащего первое комбинированное изображение и второе комбинированное изображение, так, чтобы первое комбинированное изображение, являющееся передаваемым изображением, и второе комбинированное изображение, являющееся принимаемым изображением, отображались на одном экране; и

с помощью подающего устройства, подают фоновое изображение на первое и второе устройство обработки информации в ответ на запрос от первого и второго устройства обработки информации,

при этом первое комбинированное изображение, являющееся передаваемым изображением в устройстве обработке информации, являющемся другой стороной связи, и второе комбинированное изображение, являющееся принимаемым изображением в устройстве обработки информации, являющемся другой стороной связи, отображаются на одном экране.

Описание изобретения к патенту

Область техники

Настоящее изобретение относится к устройству и способу обработки информации и системе обработки информации и, более конкретно, к устройству и способу обработки информации и системе обработки информации, которые могут осуществлять интерактивную связь с улучшенным качеством изображения и сохранять реалистичные ощущения даже на полосе частот восходящей линии связи.

Уровень техники

В соответствии с настоящим уровнем техники, широко распространено соединение по технологии ADSL (Asymmetric Digital Subscriber Line - Асимметричная Цифровая Абонентская Линия).

Сетевая среда для общего соединения по технологии ADSL будет описана с использованием фиг.1.

Клиентское устройство 1 и клиентское устройство 2 связаны через сеть 3 посредством соединения по технологии ADSL с сетью 3. Например, в случае, когда клиентское устройство 1 и клиентское устройство 2 осуществляют интерактивную связь, клиентское устройство 1 передает данные в сеть 3. То есть, данные передаются от клиентского устройства 1 в сеть 3 по восходящей линии связи. Клиентское устройство 2 принимает данные, переданные клиентским устройством 1, через сеть 3. То есть данные передаются из сети 3 на клиентское устройство 2 по нисходящей линии связи. Таким образом, клиентское устройство 2 может получать данные, передаваемые клиентским устройством 1.

Аналогично, при связи в обратном направлении клиентское устройство 2 передает данные в сеть 3. То есть данные передаются от клиентского устройства 2 в сеть 3 по восходящей линии связи. Клиентское устройство 1 принимает данные, передаваемые клиентским устройством 2, через сеть 3. То есть данные передаются из сети 3 на клиентское устройство 1 по нисходящей линии связи. Таким образом, клиентское устройство 1 может получать данные, передаваемые клиентским устройством 2 (например, см. Патентную Литературу 1).

В случае ADSL-соединения ширина полосы частот для стороны (нисходящий поток), передающей данные по нисходящей линии связи, устанавливается шире, а ширина полосы частот для стороны (восходящий поток), передающей данные по восходящей линии связи, устанавливается узкой. Далее, полоса частот связи на стороне нисходящей линии связи называется "полосой частот нисходящей линии связи". Кроме того, полоса частот связи на стороне восходящей линии связи называется "полосой частот восходящей линии связи".

Патентная литература

Патентная Литература 1: JP-A-2001-236292

Раскрытие изобретения

Однако в вышеописанной сетевой среде для общего соединения по ADSL в случае, когда осуществляется видеосвязь или видеочат, ширина полосы частот для восходящей линии связи значительно ограничена по сравнению с полосой нисходящей линии связи. Соответственно, скорость кодирования со сжатием передаваемых данных становится низкой. Необходимо заметить, что видеосвязь или видеочат в дальнейшем называется "связью с использованием изображений".

Вследствие этого, в случае, когда пользователь полностью кодирует со сжатием зафиксированные камерой изображения и передает их по восходящей линии связи, может возникнуть сложность в том, что лица людей, как преобладающие элементы в коммуникации, не будут получены в необходимом качестве другой стороной.

Кроме того, желательно не только улучшить качество вышеописанных изображений лиц людей, но и других изображений, передаваемых на полосе частот восходящей линии связи.

Настоящее изобретение было выполнено с учетом вышеописанных проблем для улучшения качества видеоизображения и сохранения реалистичных ощущений даже на полосе частот восходящей линии связи.

Средство решения задачи

Первое устройство обработки информации согласно объекту изобретения включает в себя средство разделения для сегментирования исходного изображения на один или более участков и выделения заданного одного участка из одного или более сегментированных участков исходного изображения в качестве частичного изображения, имеющего размер указанного участка изображения, средство передачи для передачи частичного изображения, выделяемого из исходного изображения средством разделения, на другое устройство обработки информации, и запрашивающее средство для осуществления запроса к подающему узлу, выполненному с возможностью подавать фоновое изображение, синтезируемое с частичным изображением, на передачу фонового изображения указанному другому оборудованию обработки информации.

Частичное изображение является изображением, содержащим объект, являющийся преобладающим элементом коммуникации.

Первый способ обработки информации согласно объекту настоящего изобретению является способом, соответствующим вышеописанному устройству обработки информации согласно объекту настоящего изобретения.

В первом устройстве и способе обработки информации, являющимися объектами настоящего изобретения, при помощи устройства обработки информации или компьютера, управляющего устройством обработки информации, исходное изображение сегментируют на один или более участков и один заданный участок из одного или более сегментированных участков выделяют из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, частичное изображение, выделенное из исходного изображения, передают на другое устройство обработки информации и осуществляют запрос к подающему устройству, которое подает фоновое изображение, синтезируемое с частичным изображением, на передачу фонового изображения указанному другому устройству обработки информации.

Второе устройство обработки информации согласно настоящему изобретению включает в себя средство приема частичного изображения для приема частичного изображения, когда исходное изображение сегментировано на один или более участков, заданный один участок из одного или более участков выделен из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, причем частичное изображение передается другим устройством обработки информации, и средство синтезирования для синтезирования частичного изображения, принимаемого средством приема частичного изображения, с заданным фоновым изображением, и, таким образом, генерирования комбинированного изображения.

Дополнительно обеспечивается средство управления отображением для управления отображением изображения, содержащего комбинированное изображение, синтезируемое средством синтезирования.

Частичное изображение является изображением, содержащим объект, являющийся преобладающим элемент связи с использованием изображений.

Дополнительно обеспечивается средство приема фонового изображения для приема фонового изображения, когда фоновое изображение подается от подающего устройства, причем средство синтезирования выполнено с возможностью синтезирования частичного изображения и фонового изображения, принимаемого средством приема фонового изображения, и, таким образом, генерирования комбинированного изображения.

Дополнительно обеспечивается средство хранения для хранения фонового изображения, принимаемого средством приема фонового изображения, причем средство синтезирования выполнено с возможностью синтезировать частичное изображение и фоновое изображение, хранящееся в средстве хранения, и, таким образом, генерировать комбинированное изображение.

Второй способ обработки информации, согласно объекту настоящего изобретения, является способом, соответствующим вышеописанному устройству обработки информации согласно объекту настоящего изобретения.

Во втором способе и устройстве обработки информации, как объектах настоящего изобретения, при помощи устройства обработки информации или компьютера, управляющего устройством обработки информации, когда исходное изображение сегментировано на один или более участков, заданный один участок из одного или более сегментированных участков выделяют из исходного изображения в качестве частичного изображения, имеющего размер участка изображения, другим устройством обработки информации, и частичное изображение передают, частичное изображение принимают и принятое частичное изображение и заданное фоновое изображение синтезируют, и, таким образом, генерируют комбинированное изображение.

Система обработки информации согласно настоящему изобретению включает в себя первое устройство обработки информации, включающее в себя средство разделения для сегментирования исходного изображения, являющегося объектом, подлежащим передаче от первого устройства обработки информации на второе устройство обработки информации, на один или более участков и выделение из исходного изображения заданного одного участка из одного или более сегментированных участков в качестве частичного изображения, имеющего размер изображения, средство передачи для передачи частичного изображения, выделяемого из исходного изображения средством разделения, на второе устройство обработки информации, и запрашивающее средство для осуществления запроса подающему узлу, выполненному с возможностью подачи фонового изображения, подлежащего синтезированию с частичным изображением, на передачу фонового изображения на второе устройство обработки информации, причем подающее устройство выполнено с возможностью подавать фоновое изображение на второе устройство обработки информации в ответ на запрос от первого устройства обработки информации, и второе устройство обработки информации, включающее в себя средство приема частичного изображения для приема частичного изображения, передаваемого первым устройством обработки информации, средство приема фонового изображения для приема фонового изображения, подаваемого подающим средством, и средство синтезирования для синтезирования частичного изображения, принимаемого средством приема частичного изображения, с фоновым изображением, принимаемым средством приема фонового изображения, и, таким образом, генерирования комбинированного изображения.

В системе обработки информации, как объекте настоящего изобретения, первым устройством обработки информации исходное изображение сегментируется на один или более участков, и один заданный участок из одного или более сегментированных участков выделяется из исходного изображения в качестве частичного изображения, имеющего размер участка изображения частичное изображение, выделенное из исходного изображения средством разделения, передается на второе устройство обработки информации, и осуществляется запрос к подающему узлу, которое подает фоновое изображение, синтезируемое с частичным изображением, на подачу фонового изображения второму устройству обработки информации. Кроме того, фоновое изображение подается, посредством подающего узла, на второе устройство обработки информации в ответ на запрос от первого устройства обработки информации. Второе устройство обработки информации принимает частичное изображение, передаваемое от первого устройства обработки информации, принимает фоновое изображение от подающего узла и синтезирует частичное изображение, полученное средством приема частичного изображения, и фоновое изображение, полученное средством приема фонового изображения, и, таким образом, генерирует комбинированное изображение.

Преимущества изобретения

Как было описано выше, согласно настоящему изобретению может быть улучшено качество видеоизображения и сохранены реалистичные ощущения даже в полосы частот восходящей линии связи.

Краткое описание чертежей

Фиг.1 является схемой, поясняющей сетевую среду при использовании общего соединения по технологии ADSL.

Фиг.2 является функциональной блок-схемой, показывающей схему системы обработки информации, в которой применено настоящее изобретение.

Фиг.3 является функциональной блок-схемой, показывающей пример конфигурации клиентского устройства 11.

Фиг.4 является схемой для пояснения отображения изображения клиентским устройством, показанным на фиг.3.

Фиг.5 является функциональной блок-схемой, показывающей пример функциональной конфигурации модуля 32А создания частичного изображения, показанного на фиг.3.

Фиг.6 является функциональной блок-схемой, показывающей пример функциональной конфигурации модуля 32 В создания частичного изображения, показанного на фиг.5.

Фиг.7 является схемой для пояснения примера обработки блоком обработки разделения изображения, показанной на фиг.5.

Фиг.8 является схемой для пояснения примера обработки блоком обработки разделения изображения, показанной на фиг.5.

Фиг.9 является схемой для пояснения обработки, осуществляемой модулем синтезирования кадра видеоизображения, показанным на фиг.5 и 6.

Фиг.10 является блок-схемой для пояснения обработки интерактивной связи посредством клиентского устройства 11, показанного на фиг.3.

Фиг.11 является блок-схемой для пояснения обработки интерактивной связи посредством клиентского устройства 11, показанного на фиг.3.

Фиг.12 является блок-схемой, показывающей пример конфигурации компьютера, управляющего системой обработки информации, в которой применено настоящее изобретение.

Осуществление изобретения

Варианты осуществления изобретения

Фиг.2 является функциональной блок-схемой, показывающей схему системы обработки информации, в которой применена технология настоящего изобретения.

На фиг.2 блоки, окруженные пунктирными линиями, обозначают данные. Кроме того, пунктирными линиями показаны потоки данных. Необходимо заметить, что фактический маршрут передачи данных - это не сами пунктирные линии, а маршрут через сеть 13, что будет описано позже.

Система обработки информации, показанная в примере на фиг.2, включает в себя клиентские устройства 11А, 11В и потоковые серверы 12А, 12В, связанные через сеть 13.

Необходимо заметить, что клиентские устройства 11А, 11В и потоковые серверы 12А, 12В могут быть, соответственно, предусмотрены в количестве одного или более, и не ограничиваются примером, показанным на фиг.2.

Клиентское устройство 11А осуществляет связь с использованием изображений с клиентским устройством 11В через сеть 14.

Клиентское устройство 11А разделяет графические данные зафиксированных изображений, полученных от камеры (см. камеру 31 на фиг.3, которая будет описана позже), на первые данные изображения и вторые данные изображения. Первые данные изображения являются данными изображения для участка, являющегося преобладающим элементом связи с использованием захваченных изображений, например, людей. Необходимо заметить, что первые данные изображения в дальнейшем называются "первичные данные". Вторые данные изображения являются данными изображения для участка, отличного от первичных данных зафиксированных изображений, например, фоном, на котором расположены люди. Необходимо заметить, что вторые данные изображения далее называются "данными фонового изображения".

Клиентское устройство 11А кодирует со сжатием первичные данные 21А данных изображения зафиксированных изображений. Закодированные со сжатием первичные данные 21А передаются на клиентское устройство 11В через сеть 13.

Аналогично, клиентское устройство 11В кодирует со сжатием первичные данные 21В данных изображения зафиксированных изображений. Закодированные со сжатием первичные данные 21D передаются на клиентское устройство 11А через сеть 13

Потоковый сервер 12А подает вторичные данные 22А в качестве альтернативы данным фонового изображения, соответствующим первичным данным 21А, на клиентское устройство 11А и клиентское устройство 11В через сеть 13. Вторичные данные 22А данных изображения для неподвижного изображения или движущегося изображения, например, заранее сохраняются на потоковом сервере 12А. Необходимо заметить, что вторичные данные 22А закодированы со сжатием и сохранены.

Аналогично, потоковый сервер 12В передает вторичные данные 22В в качестве альтернативы данным фонового изображения, соответствующим первичным данным 21В, на клиентское устройство 11А и клиентское устройство 11В через сеть 13. Вторичные данные 22В графических данных для неподвижного изображения или движущегося изображения, например, заранее сохраняются на потоковом сервере 12В. Необходимо заметить, что вторичные данные 22В закодированы со сжатием и сохранены.

Клиентское устройство 11А принимает первичные данные 21В, передаваемые клиентским устройством 11В через сеть 13. Клиентское устройство 11А также принимает вторичные данные 22 В, передаваемые потоковым сервером 12В через сеть 13. Как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, клиентское устройство 11А выполняет декодирование с разуплотнением для соответствующих первичных данных 21В и вторичных данных 22 В. Кроме того, клиентское устройство 11А выполняет синтез декодированных и разуплотненных первичных данных 21В и вторичных данных 22В. Данные изображения, полученные при синтезе, являются данными изображения для последующего комбинированного изображения. То есть вместо исходных фоновых изображений, получают комбинированные данные изображения для изображений (в дальнейшем называемые "данными 23В частичного вида"), в которых синтезированы, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22В, в качестве фонового изображения, участки (например, люди), являющиеся преобладающим элементом связи, соответствующим первичным данным 21В. Данные 23В частичного вида отображаются в виде принятых изображений от клиентского устройства 11В, являющегося другой стороной связи, на мониторе клиентского устройства 11А (монитор 34 на фиг.3, который будет описан позже).

Клиентское устройство 11А хранит первичные данные 21А в качестве данных изображения, соответствующих его собственным изображениям. Клиентское устройство 11А также принимает вторичные данные 22А, передаваемые потоковым сервером 12А через сеть 13. Как было описано выше, первичные данные 21А и вторичные данные 22А закодированы со сжатием. Соответственно, клиентское устройство 11А выполняет декодирование с разуплотнением для соответствующих первичных данных 21А и вторичных данных 22А. Кроме того, клиентское устройство 11А выполняет синтез декодированных и разуплотненных первичных данных 21А и вторичных данных 22А. Данные изображения, полученные при синтезе, являются данными изображения для последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные данные изображения для изображений (в дальнейшем называемые "данными 23А частичного вида"), в которых синтезированы, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22А в качестве фонового изображения, участки (например, люди), являющиеся преобладающим элементом связи, соответствующим первичным данным 21А. Данные 23А частичного вида отображаются в качестве передаваемых изображений на клиентское устройство 11В, являющееся другой стороной связи, на мониторе клиентского устройства 11А (монитор 34 на фиг.3, который будет описан позже).

То есть клиентское устройство 11А может одновременно отображать на мониторе (монитор 34 на фиг.3, который будет описан позже) принятые изображения (данные 23В частичного вида) от клиентского устройства 11В, являющегося другой стороной связи, и передаваемые изображения (данные 23А частичного вида) на клиентское устройство 11В.

Клиентское устройство 11В принимает первичные данные 21А, передаваемые клиентским устройством 11А через сеть 13. Клиентское устройство 11В также принимает вторичные данные 22А, передаваемые потоковым сервером 12А через сеть 13. Как было указано выше, первичные данные 21А и вторичные данные 22А закодированы со сжатием. Соответственно, клиентское устройство 11В выполняет декодирование с разуплотнением для соответствующих первичных данных 21А и вторичных данных 22А. Кроме того, клиентское устройство 11В выполняет синтез декодированных и разуплотненных первичных данных 21А и вторичных данных 22А. Графические данные, полученные при синтезе, являются графическими данными последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные графические данные для изображений (в дальнейшем называемые "данными 23А частичного вида"), в которых синтезирована, с использованием неподвижных изображений или тому подобного, соответствующих вторичным данным 22А в качестве фонового изображения, часть (например, люди), как преобладающий элемент коммуникации, соответствующий первичным данным 21А. Данные 23А частичного вида отображаются как принятые изображения от клиентского устройства 11А, являющегося другой стороной связи, на мониторе клиентского устройства 11В (монитор 34 на фиг.3, который будет описан позже).

Клиентское устройство 11В хранит первичные данные 21В как графические данные, соответствующие его собственным изображениям. Клиентское устройство 11В также принимает вторичные данные 22В, передаваемые потоковым сервером 12В через сеть 13. Как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, клиентское устройство 11В выполняет декодирование с разуплотнением для соответствующих первичных данных 21В и вторичных данных 22В. Кроме того, клиентское устройство 11В выполняет синтез декодированных и разуплотненных первичных данных 21В и вторичных данных 22В. Данные изображения, полученные при синтезе, являются графическими данными последующего комбинированного изображения. То есть вместо исходных фоновых изображений получают комбинированные графические данные для изображений (в дальнейшем называемые "данными 23В частичного вида"), в которых синтезирована, с использованием неподвижных изображений и т.п., соответствующих вторичным данным 22В в качестве фонового изображения, часть (например, люди), являющаяся преобладающим элементом коммуникации, соответствующим первичным данным 21В. Данные 23В частичного вида отображаются, в качестве передаваемых изображений на клиентское устройство 11А, являющееся другой стороной связи, на мониторе клиентского устройства 11В (монитор 34 на фиг.3, который будет описан позже).

Таким образом, клиентское устройство 11В также может одновременно отображать на мониторе (монитор 34 на фиг.3, который будет описан ниже) изображения (данные 23А частичного вида), принимаемые от клиентского устройства 11А, являющегося другой стороной связи, и изображения (данные 23 В частичного изображения), передаваемые на клиентское устройство 11А.

Пример конфигурации клиентского устройства

Далее будут подробно описаны клиентские устройства 11А и 11В.

Необходимо заметить, что в дальнейшем, в случае, когда нет необходимости различать клиентские устройства 11А и 11В, они будут в совокупности называться "клиентским устройством 11 .

Фиг.3 является функциональной блок-схемой, показывающей пример функциональной конфигурации клиентского устройства 11.

Фиг.4 является диаграммой, поясняющей пример отображения изображения клиентским устройством 11, показанным на фиг.3.

В примере на фиг.3 клиентское устройство 11 включает в себя камеру 31, модули создания частичного вида 32А и 32В, модуль 33 компоновки изображения и монитор 34. Необходимо заметить, что камера 31 и монитор 34 не являются неотъемлемыми компонентами клиентского устройства 11. То есть камера 31 и монитор 34 могут быть внешними устройствами, подключенными к клиентскому устройству 11.

Дальнейшее описание приведено для клиентского устройства 11А.

Камера 31 снимает изображения объектов (пользователя и т.д.) и передает результат (далее называемый "данные снятого изображения") в модуль 32А создания частичного вида.

Модуль 32А создания частичного вида разделяет данные снятого изображения на первичные данные 21А и данные фонового изображения. Кроме того, модуль 32А создания частичного вида кодирует со сжатием первичные данные 21А. Закодированные со сжатием первичные данные 21А передаются на клиентское устройство 11В через сеть 13.

Кроме того, модуль 32А создания частичного вида принимает вторичные данные 22А, передаваемые потоковым сервером 12А, показанным на фиг.2, через сеть 13.

В данном случае, как было описано выше, вторичные данные 22А закодированы со сжатием. Соответственно, модуль 32А создания частичного вида выполняет декодирование с разуплотнением закодированных со сжатием вторичных данных 22А.

Кроме того, модуль 32А создания частичного вида выполняет синтез первичных данных 21А и вторичных данных 22А и, таким образом, генерирует данные 23А частичного вида, как показано в верхней части фиг.4.

Как показано в верхней части фиг.4, первичные данные 21А являются графическими изображения для изображения, образованного удалением фонового изображения из снятого изображения, то есть являются частью, представляющей собой преобладающий элемент коммуникации (например, верхней частью тела некоторого человека в примере, показанном на фиг.4). Кроме того, вторичные данные 22А являются графическими данными неподвижного изображения или тому подобного, являющимися альтернативой исходному фоновому изображению (например, неподвижное изображение с заштрихованным узором, как показано в примере на фиг.4). Таким образом, данные 23А частичного вида являются графическими данными комбинированного изображения, в котором синтезированы часть, представляющая собой преобладающий элемент коммуникации (например, верхняя часть тела некоторого человека в примере, показанном на фиг.4) с неподвижным изображением или тому подобным, альтернативой исходному фоновому изображению (например, неподвижное изображение с заштрихованным узором, как показано в примере на фиг.4).

Модуль 32В создания частичного вида принимает первичные данные 21В, передаваемые клиентским устройством 11В, показанным на фиг.2, через сеть 13.

Кроме того, модуль 32В создания частичного вида принимает вторичные данные 22В, передаваемые потоковым сервером 12В, показанным на фиг.2, через сеть 13.

В данном случае, как было описано выше, первичные данные 21В и вторичные данные 22В закодированы со сжатием. Соответственно, модуль 32В создания частичного вида выполняет декодирование с разуплотнением закодированных со сжатием первичных данных 21В и вторичных данных 22В. Кроме того, модуль 32В создания частичного вида выполняет синтез первичных данных 21В и вторичных данных 22В и, таким образом, генерирует данные 23В частичного вида, как показано в нижней части фиг.4.

Как показано в нижней части фиг.4, первичные данные 21В являются графическими данными изображения, образованного удалением фонового изображения из полученного изображения, то есть являются частью, представляющей собой преобладающий элемент коммуникации (например, верхней частью тела некоторого человека в примере, показанном на фиг.4). Кроме того, вторичные данные 22В являются графическими данными неподвижного изображения или тому подобного, являющегося альтернативой исходному фоновому изображению (например, неподвижное изображение с решетчатой штриховкой, как показано в примере на фиг.4). Таким образом, данные 23В частичного вида являются графическими данными комбинированного изображения, в котором синтезирована часть, представляющая собой преобладающий элемент коммуникации (например, верхняя часть тела некоторого человека в примере, показанном на фиг.4) с неподвижным изображением или тому подобным, являющимся альтернативой исходному фоновому изображению (например, неподвижное изображение с решетчатой штриховкой, как показано в примере на фиг.4).

Модуль 33 компоновки изображения, показанный на фиг.3, управляет монитором 34 для отображения изображения, соответствующего данным 23А частичного вида, полученным от модуля 32А создания частичного вида, и изображения, соответствующего данным 23В частичного вида, полученным от модуля 32В создания частичного вида, на одном экране монитора 34, как показано на мониторе 34 в правой части фиг.4.

Необходимо заметить, что для простоты описания объяснение было сделано для клиентского устройства 11А. Очевидно, что клиентское устройство 11В также имеет соответствующие вышеописанные функции.

Таким образом, пользователь может осуществлять связь с использованием изображений, используя клиентское устройство 11А и клиентское устройство 11В и при этом, например, одновременно видеть свое собственное изображение и изображение другой стороны, передающееся по каналу связи.

Кроме того, клиентское устройство 11А, как передающая сторона, может выполнять управление изображением для вторичных данных 22А, являющихся альтернативой исходному фоновому изображению. Например, в случае, когда вторичные данные 22А являются неподвижными изображениями, клиентское устройство 11А может выполнять управление переключением страниц для показа последовательности неподвижных изображений и т.п. Кроме того, в случае, когда вторичные данные 22А являются движущимися изображениями, клиентское устройство может выполнять управление быстрой перемоткой вперед или быстрой перемоткой назад движущихся изображений и т.п.

На фиг.5 показан подробный пример функциональной конфигурации модуля 32А создания частичного вида клиентского устройства 11, показанного на фиг.3.

В примере на фиг.5 модуль 32А создания частичного вида включает в себя блоки, начиная с блока 41 ввода изображения и заканчивая блоком 53 синтеза кадра движущегося изображения.

Необходимо заметить, что для простоты нижеследующего описания, как и в случае с фиг.3, пояснения будут даны для модуля 32А создания частичного изображения клиентского устройства 11А. Очевидно, что модуль 32А создания частичного изображения клиентского устройства 11В имеет аналогичные функции, которые будут описаны ниже.

Блок 41 ввода изображения вводит данные снятого изображения от камеры 31 и подает их на блок 42 разделения изображения.

Блок 42 разделения изображения разделяет данные полученного изображения на первичные данные 21А (например, людей), являющиеся преобладающим элементом коммуникации, и данные фонового изображения для фоновых изображений. Выделенные первичные данные 21А подаются в блок 44 кодирования.

Необходимо заметить, что изображения, соответствующие первичным данным 21А сразу после разделения по-прежнему содержат фоновые части, отличные от изображений (например, людей), представляющих собой преобладающий элемент коммуникации. Соответственно, блок 42 разделения изображения выполняет замену фоновых частей, отличных от изображений (например, людей), представляющих собой преобладающий элемент коммуникации, в изображениях, соответствующих первичным данным 21А, сразу после разделения, изображением с ровной текстурой с меньшим числом высокочастотных компонентов. Подробности такой обработки будут описаны позже со ссылками на фиг.8.

Вышеописанная последовательность обработки, то есть разделение данных фонового изображения на первичные данные 21А и вторичные данные 22А для замены данных фонового изображения гладкой текстурой в дальнейшем будут называться "разделением изображения". Конкретные примеры разделения изображения будут описаны позже с использованием фиг.7 и 8.

Блок 43 кодирования включает в себя блок 44 распределения битов.

Блок 43 кодирования выполняет кодирование со сжатием первичных данных 21А, введенных от блока 42 разделения изображения. Закодированные со сжатием первичные данные 21А подаются в блок 45 передачи.

Кроме того, блок 43 кодирования подает первичные данные 21А в блок 46 преобразования размера изображения.

Блок 44 распределения битов выполняет адаптивное распределение битов в закодированных со сжатием первичных данных 21А.

Блок 45 передачи передает закодированные со сжатием первичные данные 21А на клиентское устройство 11 В через сеть 13.

Блок 46 преобразования размера изображения выполняет преобразование размера для первичных данных 21А от блока 43 кодирования. Первичные данные 21А с измененным размером изображения подаются на блок 53 синтезирования кадра движущегося изображения.

Вторичные данные 22А, передаваемые через сеть 13 потоковым сервером 12А, показанным на фиг.2, принимаются клиентским устройством 11 (например, клиентским устройством 11А).

Блок 47 обработки приема клиентского устройства 11А принимает вторичные данные 22А и подает их на коммутатор 49.

Блок 47 обработки приема позволяет блоку 48 локального накопления накапливать вторичные данные 22А в соответствии с необходимостью.

Блок 48 локального накопления содержится в клиентском оборудовании 11А или подключен как внешнее устройство. Блок 48 локального накопления заранее сохраняет вторичные данные 22А.

Например, блок 47 обработки приема выполняет заблаговременное накопление вторичных данных 22А в блоке 48 локального накопления, когда есть место в полосе частот связи сети 13.

Коммутатор 49 переключает вход либо на блок 47 обработки приема, либо на блок 48 локального накопления. Затем с блока, к которому было произведено переключение, вторичные данные 22А вводятся в коммутатор 49 со стороны блока 47 обработки приема или со стороны блока 48 локального накопления. Вторичные данные 22А, введенные в коммутатор 49, подаются в блок 50 счетчика данных. В этом случае блок 49 коммутатора переключается на блок 48 локального накопления для вывода вторичных данных 22А, и, таким образом, входящая полоса частот может быть использована более эффективно. Необходимо заметить, что для отображения на мониторе 34 после переключения блоком 49 коммутатора отображение может быть выполнено только из безопорных изображений закодированного со сжатием видео как файла.

Блок 50 счетчика данных вычисляет позицию продвижения считывания файла вторичных данных 22А от потокового сервера 12А. Таким образом, вторичные данные 22А, принимаемые через сеть 13, могут быть считаны как смещенные от начальной позиции копии файла потокового сервера 12А в блоке 48 локального накопления.

Вторичные данные 22А, выводимые от блока 50 счетчика данных, закодированы со сжатием. Соответственно, блок 51 декодирования выполняет декодирование и разуплотнение закодированных со сжатием вторичных данных 22А. Полученные вторичные данные 22А подаются в блок 52 преобразования размера изображения.

Блок 52 преобразования размера изображения выполняет преобразование размера для вторичных данных 22А от блока 51 декодирования. Вторичные данные 22А с измененным размером подаются в блок 53 синтезирования кадра движущегося изображения.

Блок 53 синтезирования кадра движущегося изображения выполняет процесс синтезирования первичных данных 21А от блока 46 преобразования размера изображения и вторичных данных 22А от блока 52 преобразования размера изображения в отношении каждого кадра. Полученные данные 23А частичного изображения подаются в блок 33 компоновки изображения.

На фиг.6 показан подробный пример функциональной конфигурации модуля 32В создания частичного изображения клиентского устройства 11А, показанного на фиг.3.

В примере на фиг.6, модуль 32В создания частичного изображения включает в себя блоки, начиная с блока 71 обработки приема и заканчивая блоком 77 синтеза кадра движущегося изображения.

Необходимо заметить, что далее, для простоты, как и при пояснении фиг.3, пояснение будет дано для модуля 32В создания частичного изображения клиентского устройства 11А. Очевидно, что модуль 32В создания частичного изображения клиентского устройства 11В имеет аналогичные функции, которые буду описаны ниже.

Первичные данные 21В, передаваемые через сеть 13 от клиентского устройства 11 (в данном примере, клиентское устройство 11В) на фиг.2, принимаются клиентским устройством 11 (в данном примере, клиентским устройством 11А).

Блок 71 обработки приема принимает первичные данные 21 В от клиентского устройства 11 В через сеть 13.

В данном случае, как было описано выше, первичные данные 21В закодированы со сжатием. Соответственно, блок 72 декодирования выполняет декодирование и разуплотнение закодированных со сжатием первичных данных 21В. Декодированные и разуплотненные первичные данные 21В подаются в блок 73 преобразования размера изображения.

Блок 73 преобразования размера изображения выполняет процесс преобразования размера первичных данных 21В от блока 72 декодирования. Первичные данные 21В с измененным размером изображения подаются в блок 77 синтеза кадра движущегося изображения.

Вторичные данные 22В, передаваемые через сеть 13 от потокового сервера 12В, показанного на фиг.2, принимаются клиентским устройством 11 (в данном примере, клиентским устройством 11А).

Блок 74 обработки приема принимает вторичные данные 22В, передаваемые от потокового сервера 12В через сеть 13.

В данном случае, как было описано выше, вторичные данные 22В закодированы со сжатием. Соответственно, блок 75 декодирования выполняет декодирование и разуплотнение закодированных со сжатием вторичных данных 22В. Декодированные и разуплотненные вторичные данные подаются на блок 76 преобразования размера изображения.

Блок 76 преобразования размера изображения выполняет процесс преобразования размера вторичных данных 22В от блока 75 декодирования. Вторичные данные 22В с измененным размером изображения подаются на блок 77 синтеза кадра движущегося изображения.

Блок 77 синтеза кадра движущегося изображения выполняет синтез первичных данных 21В от блока 73 преобразования размера изображения и вторичных данных 22В от блока 76 преобразования размера изображения в отношении каждого кадра. В результате, данные 23А частичного изображения подаются на блок 33 компоновки изображения.

Необходимо заметить, что клиентское устройство 11 может управлять воспроизведением файлов вторичных данных 22А и вторичных данных 22В для автоматического и неоднократного воспроизведения данных.

Пример процесса разделения изображения устройством обработки отображения изображения, в котором применено настоящее изобретение

Фиг.7 и 8 являются схемами для пояснения примеров процесса разделения изображения блоком 42 разделения изображения, показанным на фиг.5.

На фиг.7 показан пример данных 20А снятого изображения, выводимого от камеры 31, как результата формирования изображения объекта m камерой 31. То есть данные 20А снятого изображения на фиг.7(А) подаются в блок 42 разделения изображения через блок 41 ввода изображения.

Затем, блок 42 разделения изображения обнаруживает границу mb между частью, представляющую собой преобладающий элемент коммуникации (объект m в примере на фиг.7), и фоном снятого изображения, соответствующим данным 20А снятого изображения. Кроме того, блок 42 разделения изображения выделяет первичные данные 21А (см. фиг.7(С)) и данные фонового изображения из данных 20А снятого изображения в соответствии с границей mb.

Необходимо заметить, что изображение, показанное на фиг.7(С), то есть изображение, соответствующее первичным данным 21А, является, в своей основе, изображением части, выделенной пунктирной линией на снятом изображении, показанной на фиг.7(В). Однако, как было описано с использованием термина "в своей основе", изображение части, выделенной пунктирной линией на фиг.7(В), и изображение, соответствующее первичным данным 21А, показанное на фиг.7(С), отличаются. Это происходит потому, что первое из двух изображений все еще содержит фоновое изображение, отличающееся от изображения преобладающего элемента коммуникации (объект m в примере на фиг.7). Соответственно, необходимо, чтобы блок 42 разделения изображения вырезал графические данные, соответствующие первому изображению, из данных снятого изображения, и затем выполнял удаление фонового изображения (далее называемое "процесс удаления фона") из первого изображения (далее называемое "изображение вырезки").

На фиг.8 показан частный пример удаления фона.

В части А на фиг.8 показано изображение вырезки. Изображение вырезки сегментировано на изображение преобладающего элемента коммуникации (изображение mp объекта m на фиг.7) и фоновое изображение bp по границе mb.

Блок 42 разделения изображения выполняет обработку изображения сплошным заполнением фонового изображения bp в изображении вырезки, показанного на фиг.8(А), например, цветом с экстремальным значением в качестве значения цвета пикселя (например, черным). В результате, как показано на фиг.8(В), генерируются графические данные изображения, в котором фоновое изображение bp изменено на текстурное изображение tp в отношении изображения вырезки, показанного на фиг.8(А). Графические данные, соответствующие фиг.8(В), подаются от блока 42 разделения изображения в блок 43 кодирования.

Необходимо заметить, что в качестве первичных данных 21А, передаваемых на клиентское устройство 11В, являющееся принимающей стороной, могут быть использованы графические данные, соответствующие изображению до изменения на текстурное изображения tp, то есть изображение, содержащее фоновое изображение bp. В этом случае, в модуле 32В создания частичного изображения клиентского устройства 11В, являющегося принимающей стороной, как показано на фиг.6, когда закодированные со сжатием первичные данные 21А декодируются и разуплотняются в блоке 72 декодирования, получают данные изображения, соответствующие изображению вырезки, содержащему фоновое изображение bp. Соответственно, блок 77 создания кадра движущегося изображения и т.п. может выполнять обработку изображения сплошным заполнением фонового изображения bp изображения вырезки, показанного в части А на фиг.8, например, цветом с экстремальным значением в качестве значения цвета пикселя (например, черным). То есть, процесс добавления текстурного изображения tp к декодированным первичным данным 21А может быть выполнен принимающей стороной.

Пример процесса синтеза изображения в устройстве отображения изображения, в котором применено настоящее изобретение

Фиг.9 является схемой, поясняющей конкретный пример процесса синтеза изображения для синтеза первичных данных 21А и вторичных данных 22А блоком 53 синтеза кадра движущегося изображения. Необходимо заметить, что данный процесс синтеза изображения совпадает с процессом синтеза изображения для первичных данных и вторичных данных блока 77 синтеза кадра движущего изображения.

На фиг.9 изображение 1P, соответствующее первичным данным 21А (далее называемое "первичное изображение 1P"), заменено на изображении 2Р, соответствующем вторичным данным 22А. Первичное изображение 1P сегментировано на текстурное изображение tp, являющееся фоном, и изображение mp, являющееся преобладающим элементом коммуникации (изображение mp объекта m на фиг.7), что было пояснено с использованием фиг.8(В).

На фиг.9 направление строк развертки изображения показано пунктирными стрелками. Кроме того, на фиг.9 соответственно показаны начальная точка S области смещения, начальная точка Т первичного изображения 1P и конечная точка Р изображения вырезки.

Блок 53 синтеза кадра движущегося изображения реализует процесс синтеза с использованием значения пикселя текстурного изображения tp, заполненного сплошным образом экстремальными значениями (далее называемое "значение данных заполнения"), в качестве переключателя, и переключением значения данных заполнения (значение пикселя в первичных данных 21А) на значение пикселя вторичного изображения 2Р (значение пикселя во вторичных данных 22А) в направлении линии развертки.

А именно, когда развертка изображения выполняется в соответствии с направлением линии развертки, блок 53 синтеза кадра движущегося изображения распознает пиксель, не имеющий значение данных заполнения, например, первый пиксель, который не заполнен сплошным образом экстремальным значением, как IN (вход). Затем, блок 53 синтеза кадра движущегося изображения продолжает выполнять развертку и распознает пиксель, имеющий значение данных заполнения, например, первый пиксель, который заполнен сплошным образом экстремальным значением, как OUT (выход). Другими словами, блок 53 синтеза кадра движущегося изображения распознает линию области между IN и OUT как линию области изображения mp преобладающего элемента коммуникации (изображение mp объекта m на фиг.7).

Далее выполняется процесс заполнения, в направлении линии развертки, области после начальной точки Т первичного изображения 1P и перед конечной точкой Р первичного изображения 1P и после IN и до OUT соответствующими значениями пикселей первичных данных 21А. Область, заполняемая значениями пикселей первичных данных 21А, является областью изображения mp преобладающего элемента коммуникации (изображение mp объекта m на фиг.7). В дальнейшем данная область называется "областью первичных данных".

Кроме того, блок 53 синтеза кадра движущегося изображения выполняет процесс заполнения пикселей областей, отличных от области первичных данных, всеми значениями пикселей вторичных данных 22А.

Необходимо заметить, что в данном варианте осуществления блок 53 синтеза кадра движущегося изображения применяет, например, -смешение со свойствами, зависящими от направления, для значений пикселей первичных данных 21А и значений пикселей вторичных данных 22А при обработке пикселей вблизи границы mb.

Таким образом, блок 53 синтеза кадра движущегося изображения выполняет синтез первичных данных 21А и вторичных данных 22А.

Пример способа обработки в системе обработки информации, в которой применено настоящее изобретение

Далее будет описан, со ссылками на фиг.10 и 11, процесс обработки, когда клиентское устройство 11А и клиентское устройство 11В выполняют связь с использованием изображений через сеть 13 (далее называемую "обработкой интерактивной связи").

Необходимо заметить, что связь клиентского устройства 11А и клиентского устройства 11В с потоковым сервером 12В осуществляется так же, как и связь с потоковым сервером 12А и не показана на фиг.10 и 11. Соответственно, описание данной обработки будет опущено.

Кроме того, при обработке интерактивной связи базовые настройки связи адресов IP (протокол Интернет), имена пользователей и т.д. между клиентским устройством 11А и клиентским устройством 11 В выполняются через третий сервер (сетевой сервер и т.п.).

На этапе S1, показанном на фиг.10, клиентское устройство 11А делает запрос на начальное соединение клиентскому устройству 11В.

На этапе S2 клиентское устройство 11В отвечает на запрос о начальном соединении от клиентского устройства 11А.

На этапе S3 клиентское устройство 11А сообщает клиентскому устройству 11В параметры клиентского устройства 11А.

На этапе S4 клиентское устройство 11В сообщает клиентскому устройству 11А параметры клиентского устройства 11В.

В качестве параметра, например, может быть параметр, относящийся к процессу синтеза. В частности, например, в отношении смещения разности между левой верхней позицией первичного изображения 1P и левой верхней позицией вторичного изображения 2Р, описанные на фиг.9, XY-смещение или тому подобное, сообщается клиентским 11А устройством клиентскому устройству 11В в качестве параметра.

Клиентскому устройству 11А, 11В сообщаются параметры, определяющие начало синтеза, в отношении вторичных данных 22А, 22В, например, в позиции воспроизведения, определенной заранее, и они переходят в режим ожидания.

На этапе S5 клиентское устройство 11А сообщает клиентскому устройству 11В расположение потокового сервера 12А в качестве места назначения доставки вторичных данных 22А и т.п.

На этапе S6 клиентское устройство 11В отвечает на сообщение от клиентского устройства 11А.

На этапе S7 клиентское устройство 11В сообщает клиентскому устройству 11А расположение потокового сервера 12В в качестве места назначения доставки вторичных данных 22В и т.п.

На этапе S8 клиентское устройство 11А отвечает на сообщение от клиентского устройства 11В.

На этапе S9 клиентское устройство 11А делает запрос параметра к потоковому серверу 12А.

На этапе S10 клиентское устройство 11В делает запрос параметра к потоковому серверу 12А.

На этапе S11 потоковый сервер 11А пересылает параметр клиентскому устройству 11А.

На этапе S12 потоковый сервер 11А пересылает параметр клиентскому устройству 11В.

На этапе S13 клиентское устройство 11А делает запрос установки соединения к потоковому серверу 12А.

На этапе S14 клиентское устройство 11В делает запрос установки соединения к потоковому серверу 12А.

На этапе S15 потоковый сервер 11А отвечает на запрос установки соединения клиентскому устройству 11А. На этапе S16 потоковый сервер 11А отвечает на запрос установки соединения клиентскому устройству 11В.

На этапе S17 клиентское устройство 11А делает запрос потоковому серверу 12А на передачу вторичных данных 22А.

На этапе S18 потоковый сервер 12А передает на клиентское устройство 11А вторичные данные 22А блоками пакетов.

На этапе S19 клиентское устройство 11А делает запрос потоковому серверу 12А на прекращение связи.

На этапе S20 потоковый сервер 12А осуществляет ответ на запрос о прекращении связи клиентскому устройству 11А. Затем потоковый сервер 12А временно прекращает передачу пакетов вторичных данных 22А клиентскому устройству 11А.

На этапе S21 клиентское устройство 11А делает запрос потоковому серверу 12А на повторную передачу.

На этапе S22 потоковый сервер 12А передает на клиентское устройство 11А вторичные данные 22А блоками пакетов.

На этапе S23 клиентское устройство 11А передает потоковому серверу 12А запрос на прекращение связи.

На этапе S24 потоковый сервер 12А отвечает клиентскому устройству 11А на запрос о прекращении связи. Затем потоковый сервер 12А временно прекращает передачу вторичных данных 22А на клиентское устройство 11А.

На этапе S25 на фиг.11 клиентское устройство 11А делает запрос к потоковому серверу 12А на начало потоковой передачи.

На этапе S26 потоковый сервер 12А отвечает на запрос о начале потоковой передачи клиентскому устройству 11А.

На этапе S27 потоковый сервер 12А передает вторичные данные 22А блоками пакетов на клиентское устройство 11А.

На этапе S28 потоковый сервер 12А передает вторичные данные 22А блоками пакетов на клиентское устройство 11В.

На этапе S29 клиентское устройство 11А передает первичные данные 21А блоками пакетов на клиентское устройство 11В.

На этапе S30 клиентское устройство 11В передает первичные данные 21В блоками пакетов на клиентское устройство 11А.

На этапе S31 клиентское устройство 11А делает запрос потоковому серверу 12А на прекращение связи.

На этапе S32 потоковый сервер 12А осуществляет ответ на запрос о прекращении связи клиентскому устройству 11А. Затем потоковый сервер 11А временно прекращает передачу пакетов вторичных данных 22А клиентскому устройству 11А.

На этапе S33 клиентское устройство 11А делает запрос потоковому серверу 12А на повторную передачу.

На этапе S34 потоковый сервер 12А передает вторичные данные 22А блоками пакетов на клиентское устройство 11А.

На этапе S35, одновременно с обработкой этапа S34, потоковый сервер 12А передает вторичные данные 22А блоками пакетов на клиентское устройство 11В.

На этапе S36 клиентское устройство 11А делает запрос на возобновление потоковой передачи потоковому серверу 12А.

На этапе S37 потоковый сервер 12А отвечает на запрос о возобновлении потоковой передачи клиентскому устройству 11А.

На этапе S38 потоковый сервер 12А передает вторичные данные 22А блоками пакетов клиентскому устройству 11В.

На этапе S39 клиентское устройство 11А делает запрос на завершение соединения клиентскому устройству 11В.

На этапе S40 клиентское устройство 11В отвечает на запрос о завершении соединения клиентскому устройству 11А.

На этапе S41 клиентское устройство 11А делает запрос на завершение потоковой передачи потоковому серверу 12А.

На этапе S42 потоковый сервер 12А отвечает на запрос о завершении потоковой передачи клиентскому устройству 11А.

Этим завершается процесс обработки интерактивной связи.

Как было описано выше, потоковый сервер 12А и потоковый сервер 12В могут опознавать состояние графика во входящей полосе частот проверкой ответов клиентского устройства 11А и клиентского устройства 11В как источников передачи данных. В результате, если потоковый сервер 12А и потоковый сервер 12В определяют, что входящая полоса частот является недостаточной, серверы могут временно остановить передачу первичных данных 21А и вторичных данных 22А. Таким образом, может быть реализована обработка привилегированной передачи первичных данных 21А и первичных данных 21В на клиентское устройство 11А и клиентское устройство 11В.

Согласно настоящему изобретению, в случае, когда выполняется связь с использованием изображений, изображение преобладающего элемента коммуникации (например, изображение человека) и другие изображения (например, фоновое изображение) могут быть отделены друг от друга, и только изображение преобладающего элемента коммуникации может быть передано по восходящей линии связи. Кроме того, изображение, соответствующее фону, синтезируется загрузкой потоковых данных из сети, и, таким образом, объем данных в исходящем соединении с более узкой полосой частот связи может быть уменьшен и полоса частот нисходящей связи может быть использована. Следовательно, возможно выполнение интерактивной связи с использованием движущихся изображений высокого качества и высокого разрешения.

Кроме того, применение настоящего изобретения не ограничено вышеописанными примерами. Например, изобретение может применено в технической области синтезирования одноранговой связи, такой как видеочат и функция потоковой передачи видео по запросу.

Кроме того, согласно настоящему изобретению, часть, нежелательная для просмотра, такая как собственный фон, может быть скрыта от другой стороны связи с использованием изображений. Таким образом, может быть гарантирована защита персональной информации.

Дополнительно, вторичные данные, отображаемые как фон, произвольно выбираются пользователем и, таким образом, может быть создано виртуальное реалистическое ощущение.

Последовательность обработки, включающая обработку отображения в соответствии с вышеприведенным списком, может быть выполнена аппаратно или программно.

В случае, когда вышеописанная последовательность обработки выполняется программно, устройство обработки информации, в котором применено настоящее изобретение, может быть выполнено, например, содержащим компьютер, показанный на фиг.12. В качестве альтернативы, устройство обработки информации, в котором применено настоящее изобретение, может управляться компьютером, показанным на фиг.12.

На фиг.12, ЦП 101 (центральный процессор) выполняет различные типы обработки в соответствии с программами, записанными в ПЗУ 102 (постоянное запоминающее устройство), или программами, загруженными из запоминающего устройства 108 в ОЗУ 103 (оперативное запоминающее устройство). Кроме того, в ОЗУ 103 надлежащим образом хранятся данные, необходимые ЦП 101 для выполнения различных типов обработки.

ЦП 101, ПЗУ 102 и ОЗУ 103 взаимосвязаны через шину 104. К шине 104 также подключен интерфейс 105 ввода/вывода.

К интерфейсу 105 ввода/вывода подключен модуль 106 ввода, включающий в себя клавиатуру, мышь и т.д., модуль 107 вывода, включающий в себя дисплей и т.п., запоминающее устройство 108, включающее в себя жесткий диск и т.п. и модуль 109 связи, включающий в себя модем, терминальный адаптер и т.п. Модуль 109 связи управляет связью с другими устройствами (не показаны) через сеть, которая включает в себя сеть Интернет.

При необходимости, к интерфейсу 105 ввода/вывода подключен привод 110, в которой надлежащим образом установлен сменный носитель 111, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковая память, и программы, считываемые с него, устанавливаются на запоминающее устройство 108.

В случае, когда последовательность обработки выполняется программно, программы, образующие программное обеспечение, устанавливаются из сети или с носителя записи на компьютер, встроенный в специализированную аппаратуру, или на универсальный компьютер, который может выполнять различные функции с помощью установки различных программ.

Носитель записи, содержащий программы, включает в себя не только сменный носитель 111 (пакет программ на носителе), включающий в себя магнитный диск (включая гибкий диск), оптический диск (включая CD-ROM (компакт-диск без возможности перезаписи), DVD (цифровой диск универсального назначения)), магнитооптический диск (включая MD (мини-диск)) или полупроводниковую память с записанными программами, который распространяется, для поставки программ зрителю, отдельно от основного блока устройства, но и также ПЗУ 102 с записанными программами, которое заранее встроено в основной блок устройства и поставляется зрителю, и жесткий диск, содержащийся в запоминающем устройстве 108 и т.п.

Необходимо заметить, что в данном описании изобретения этапы описания программ, записанных на носитель записи, очевидно, включают в себя выполнение обработки во временном ряду в соответствующем порядке, и дополнительно включают в себя обработку, не обязательно выполняемую во временном ряду, а выполняемую параллельно или индивидуально.

Кроме того, в данном описании изобретения система относится ко всему оборудованию, включающему в себя множество устройств и модулей обработки.

Промышленная применимость

Настоящее изобретение применимо к приему-передаче, выполняемой, например, при осуществлении видеосвязи.

Список номеров ссылочных позиций

1, 2, 11А, 11В клиентское устройство

3, 13 сеть

12А, 12В потоковый сервер

31 камера

32А, 32В модуль создания частичного изображения

33 модуль конфигурации экрана

34 монитор

41 блок ввода изображения

42 блок разделения изображения

43 блок кодирования

44 блок распределения битов

45 блок обработки передачи

46, 52, 73, 76 блок преобразования размера изображения

47, 71, 74 блок обработки приема

48 блок локального накопления

49 блок коммутации

49 блок счетчика данных

51, 72, 75 блок декодирования

53, 77 блок синтеза кадра движущегося изображения

101 ЦП

102 ПЗУ

103 ОЗУ

104 шина

105 интерфейс ввода/вывода

106 модуль ввода

107 модуль вывода

108 запоминающее устройство

109 модуль связи

110 привод

111 сменный носитель.