устройство управления видеоизображением и способ управления видеоизображением

Формула изобретения

1. Устройство управления видеоизображением, предназначенное для обеспечения видеочата, содержащее первый модуль управления отображением и второй модуль управления отображением, соединенные друг с другом, причем первый модуль управления отображением выполнен с возможностью отображения первых видеоданных в первом видеоокне первого модуля управления отображением и одновременного отображения в этом же первом видеоокне вторых видеоданных, полученных от второго модуля управления отображением, а второй модуль управления отображением выполнен с возможностью отображения вторых видеоданных во втором видеоокне второго модуля управления отображением и одновременного отображения в этом же втором видеоокне первых видеоданных, полученных от первого модуля управления отображением.

2. Устройство по п.1, в котором первый модуль управления отображением содержит: блок получения видеоданных, выполненный с возможностью получения первых видеоданных от источника видео; первый буфер видеоданных, выполненный с возможностью буферизации первых видеоданных от источника видео; блок управления передачей видеоданных, соединенный с первым буфером видеоданных и вторым модулем, управления отображением и выполненный с возможностью управления передачей данных первого буфера видеоданных; блок управления видеоизображением, соединенный с блоком управления передачей видеоданных и выполненный с возможностью отображения первых видеоданных в первом видеоокне.

3. Устройство по п.2, в котором первый модуль управления отображением дополнительно содержит: второй буфер видеоданных, соединенный со вторым модулем управления отображением и выполненный с возможностью получения вторых видеоданных от второго модуля управления отображением и буферизации вторых видеоданных, и блок управления приемом видеоданных, соединенный со вторым буфером видеоданных и блоком управления видеоизображением и выполненный с возможностью управления приемом данных второго буфера видеоданных, причем блок управления видеоизображением выполнен также с возможностью отображения первых видеоданных и вторых видеоданных в первом видеоокне.

4. Устройство по п.3, дополнительно содержащее: модуль приема рабочей команды, выполненный с возможностью приема рабочей команды, и модуль анализа рабочей команды, выполненный с возможностью анализа рабочей команды и направления управляющего сигнала в первый модуль управления отображением или во второй модуль управления отображением в соответствии с результатами анализа; причем блок управления передачей видеоданных выполнен с возможностью управления, в случае необходимости, направлением первых видеоданных во второй модуль управления отображением по управляющему сигналу, и блок управления приемом видеоданных выполнен с возможностью управления, в случае необходимости, приемом вторых видеоданных из второго модуля управления отображением по управляющему сигналу.

5. Устройство по любому из пп.2, 3 или 4, в котором блок управления видеоизображением содержит: подблок формирования видеоокна, выполненный с возможностью формирования окна видеоотображения; подблок декодирования кадра видеоданных первого изображения, выполненный с возможностью получения первых видеоданных, и подблок обработки видеоданных первого изображения, выполненный с возможностью обработки первых видеоданных и направления первых видеоданных в подблок хранения видеоокна в блоке управления видеоизображением, причем подблок декодирования кадра видеоданных первого изображения соединен с блоком управления передачей видеоданных; подблок декодирования кадра видеоданных второго изображения, выполненный с возможностью получения и обработки вторых видеоданных, и подблок обработки видеоданных второго изображения, выполненный с возможностью направления вторых видеоданных в подблок хранения видеоокна, причем подблок декодирования кадра видеоданных второго изображения соединен с блоком управления приемом видеоданных; и подблок хранения видеоокна, выполненный с возможностью хранения окна видеоотображения первых видеоданных и вторых видеоданных.

6. Устройство по п.2, в котором источником видео является сеть или устройство получения видеоданных.

7. Способ управления видеоизображением, предназначенный для обеспечения видеочата, включающий следующие этапы: получение первых видеоданных от первого источника видео, получение вторых видеоданных от второго источника видео и отображение первых видеоданных и вторых видеоданных в одном окне, причем первые видеоданные отображают в виде основной картинки в зоне основной картинки, предварительно заданной в указанном одном окне, а вторые видеоданные отображают в виде фрагментной картинки в зоне фрагментной картинки, предварительно заданной в указанном одном окне.

8. Способ по п.7, дополнительно включающий этапы: получение рабочей команды, анализ рабочей команды и определение, на основании рабочей команды, режима отображения первых видеоданных и вторых видеоданных в указанном одном окне.

9. Способ по п.7, в котором отображение первых видеоданных и вторых видеоданных в одном окне включает этапы: одновременное декодирование первого кадра видеоданных, соответствующего первым видеоданным, и второго кадра видеоданных, соответствующего вторым видеоданным, и формирование и отображение первого видеоизображения и второго видеоизображения, соответственно, в зоне основной картинки и в зоне фрагментной картинки, предварительно заданным в указанном одном окне.

10. Способ по п.9, дополнительно включающий этап управления отображением фрагментной картинки с учетом информации об изменении формы и/или изменении зоны фрагментной картинки.

Описание изобретения к патенту

Уровень техники

Во время сеанса видеочата используются, как правило, два видеоокна -одно удаленное, обеспечивающее отображение удаленных видеоизображений, а второе - локальное, обеспечивающее отображение локальных видеоизображений. Удаленные видеоданные, которые поступают из сети, отображаются в удаленном окне, а видеоданные, поступающие от устройства получения локальных видеоданных, например от видеокамеры, отображаются в локальном окне. На фиг.1 показаны две стрелки, направленные в разные стороны, которые обозначают удаленное видеоизображение и локальное видеоизображение, соответственно.

Во время видеочата можно использовать видеорежим PIP (видеорежим «картинка в картинке»), согласно которому в видеоокне отображаются обе стороны чата, при этом одна из сторон отображается в виде основной картинки, имеющей размер видеоокна, а вторая - в виде фрагментной картинки заданного размера, накладывающейся на основную картинку. Таким образом пользователь может одновременно просматривать как свое, так и удаленное видеоизображения в одном и том же окне. Этот режим РIР проиллюстрирован на фиг.2.

Согласно известному уровню техники режим РIР реализуется во время сеанса видеочата путем наложения окон. Более конкретно, одно окно видеоотображения уменьшается до заданного размера, тогда как размер второго окна остается прежним, при этом уменьшенное окно накладывается на то, размер которого не изменился. В этих условиях окно с неизменяемым размером образует основную картинку режима РIР, а уменьшенное окно - фрагментную картинку режима PIP. В результате визуально обеспечивается эффект «картинка в картинке».

Однако при реализации режима PIP за счет наложения окон можно обеспечить лишь только сам PIP-эффект без каких-либо дополнительных опций вроде спецэффекта изменения формы фрагментной картинки. Поскольку происходит наложение окон, может случиться так, что между основной и фрагментной картинками будут накладываться окна других программ, что негативно отразится на качестве отображения режима PIP и сделает режим PIP нестабильным. В режиме PIP окно, предназначенное для отображения фрагментной картинки, является уменьшенным. Данное обстоятельство делает невозможным просмотр видеоконтента в этой фрагментной картинке при исходном размере окна.

Сущность изобретения

В настоящем изобретении предложены устройство и способ управления видеоизображением, лишенные недостатков известных технических решений, состоящих в слишком примитивной методике отображения и нестабильности изображения при реализации режима PIP для проведения сеансов видеочата.

Техническая сущность предлагаемого решения описана ниже.

Устройство управления видеоизображением, предназначенное для обеспечения видеочата, содержит первый модуль управления отображением и второй модуль управления отображением, соединенные друг с другом,

причем первый модуль управления отображением выполнен с возможностью отображения первых видеоданных в первом видеоокне первого модуля управления отображением и одновременного отображения в этом же первом видеоокне вторых видеоданных, полученных от второго модуля управления отображением,

а второй модуль управления отображением выполнен с возможностью отображения вторых видеоданных во втором видеоокне второго модуля управления отображением и одновременного отображения в этом же втором видеоокне первых видеоданных, полученных от первого модуля управления отображением.

Способ управления видеоизображением, предназначенный для обеспечения видеочата, включает в себя следующие этапы: получение первых видеоданных от первого источника видео; получение вторых видеоданных от второго источника видео; и отображение первых видеоданных и вторых видеоданных в одном окне,

причем первые видеоданные отображают в виде основной картинки в зоне основной картинки, предварительно заданной в указанном одном окне, а вторые видеоданные отображают в виде фрагментной картинки в зоне фрагментной картинки, предварительно заданной в указанном одном окне.

Настоящее изобретение обеспечивает синхронную передачу удаленных видеоданных и локальных видеоданных в модуль управления удаленным отображением и в модуль управления локальным отображением. Вследствие синхронной обработки данных удаленное видеоизображение и локальное видеоизображение синхронно отображаются в удаленном видеоокне или в локальном видеоокне, обеспечивая таким образом отображение различных режимов PIP. Оба видеоизображения путем обработки данных отображаются в одном и том же видеоокне, что позволяет избежать неблагоприятных эффектов, обуславливаемых наложением окон. Кроме того, изобретение позволяет обрабатывать спецэффекты для фрагментной картинки, вследствие чего предотвращается негативное воздействие на основную картинку, возникающее в процессе изменения формы или смещения фрагментной картинки.

Краткое описание чертежей

Фиг.1 схематически иллюстрирует обычный режим отображения картинки видеочата, при этом две направленные в разные стороны стрелки обозначают, соответственно, удаленное изображение и локальное изображение;

фиг.2 схематически иллюстрирует традиционный режим PIP отображения видеочата, при этом две направленные в разные стороны стрелки обозначают, соответственно, удаленное изображение и локальное изображение;

фиг.3, включающая в себя фиг.3а-фиг.3е, схематически иллюстрирует предложенный режим PIP отображения видеочата, при этом две направленные в разные стороны стрелки обозначают, соответственно, удаленное изображение и локальное изображение;

фиг.4 изображает структурную схему предложенного устройства управления картинкой видеочата.

Подробное описание изобретения

В рамках настоящего изобретения предложено устройство управления видеоизображением, обеспечивающее различные режимы РIР. Это устройство позволяет эффективно управлять обменом информацией и процессами отображения между сетевыми видеоданными и локальными видеоданными в режиме РIР, а также добиваться различных эффектов отображения в режиме РIР (см. фиг.3а-3е), что позволяет работать в режиме РIР с большей гибкостью и при более высоком качестве.

Структурная схема заявленного устройства управления видеоизображением приведена на фиг.4. Как следует из этой схемы, заявленное устройство управления видеоизображением, обеспечивающее множество эффектов РIР, содержит два управляющих модуля, а именно модуль управления удаленным отображением и модуль управления локальным отображением. Кроме того, это устройство содержит модуль приема пользовательской рабочей команды и модуль анализа пользовательской рабочей команды. После приема пользовательской рабочей команды модуль приема пользовательской рабочей команды пересылает эту команду в модуль анализа пользовательской рабочей команды, который выполняет анализ этой рабочей команды и после этого выдает соответствующую управляющую команду.

Имеется блок получения удаленных видеоданных, который получает кадр удаленных видеоданных из сети, соединенной с терминалом, буферизует кадр удаленных видеоданных в буфере удаленных видеоданных, предписывает блоку управления передачей удаленных видеоданных принять кадр удаленных видеоданных из буфера удаленных видеоданных и направляет этот кадр видеоданных в блок управления удаленным видеоизображением. По аналогии с вышесказанным, предусмотрен блок получения локальных видеоданных, который получает кадр видеоданных от устройства получения видеоданных, соединенного с терминалом, буферизует кадр видеоданных в буфере локальных видеоданных, предписывает блоку управления передачей локальных видеоданных принять кадр видеоданных из буфера и направляет этот кадр видеоданных в блок управления локальным видеоизображением.

Модуль управления удаленным отображением и модуль управления локальным отображением должны одновременно получать видеоданные друг от друга, что требует эффективного управления передачей видеоданных для осуществления различных режимов РIР. Из сказанного вытекает следующее.

Модуль управления удаленным отображением и модуль управления локальным отображением дополнительно содержат соответствующую зону буферизации данных и логическое управляющее устройство. Кроме того, в состав модуля управления удаленным отображением входят буфер локальных видеоданных и блок управления приемом локальных видеоданных. Блок управления приемом локальных видеоданных выполнен с возможностью управления, в случае необходимости, приемом локальных видеоданных. Блок управления передачей удаленных видеоданных дополнительно включает модуль управления передачей данных, предназначенный для управления, в случае необходимости, передачей скопированных удаленных видеоданных в модуль управления локальным отображением. В блоке управления удаленным видеоизображением удаленное видеоизображение от блока управления передачей удаленных видеоданных и локальное видеоизображение от блока управления приемом локальных видеоданных комбинируются в РIР-изображение, которое отображается в удаленном видеоокне.

По аналогии с вышесказанным, модуль управления локальным отображением дополнительно содержит буфер удаленных видеоданных и блок управления приемом удаленных видеоданных. Блок управления приемом удаленных видеоданных выполнен с возможностью управления, в случае необходимости, приемом удаленных видеоданных. Блок управления передачей локальных видеоданных дополнительно включает модуль управления передачей данных выполненный с возможностью управления, в случае необходимости, передачей скопированных локальных видеоданных в модуль управления удаленным отображением. В блоке управления локальным видеоизображением удаленное видеоизображение от блока управления

приемом удаленных видеоданных и локальное видеоизобажение от блока управления передачей локальных видеоданных комбинируются в РIР-изображение, которое отображается в локальном видеоокне. Таким образом, это логическое управляющее устройство осуществляет передачу данных, обеспечивая видеоизображение в режиме РIР.

Модуль анализа рабочей команды создает рабочую команду режима, а также устанавливает соотношение между каждым логическим управляющим устройством и рабочей командой, чтобы управлять данными и осуществлять переключение между разными режимами РIР в соответствии с этой рабочей командой. Рабочая команда представляет собой тип режима РIР, который пользователь посылает в систему, - например, режим не-РIР, режим PIP 1, режим РIР 2.

В режиме не-РIР ни одно из логических управляющих устройств не является активным. В результате, передача данных не происходит, так что в локальном видеоокне отображается только локальное видеоизображение, тогда как в удаленном видеоокне отображается только удаленное видеоизображение. Если же режим РIР применен, и РIР необходимо отобразить в удаленном окне, то блок управления приемом удаленных видеоданных, входящий в состав модуля управления удаленным отображением, разрешает прием данных этого модуля управления удаленным отображением, а блок управления передачей локальных видеоданных, входящий в состав модуля управления локальным отображением, разрешает передачу данных этого модуля управления локальным отображением. Иначе говоря, активизируется передача данных из модуля управления локальным отображением в модуль управления удаленным отображением. Благодаря этому модуль управления удаленным отображением может получать локальные видеоданные из модуля управления локальным отображением и получать удаленные видеоданные из сети, а следовательно, происходит отображение режима РIР в удаленном видеоокне под управлением блока управления удаленным видеоизображением.

Как следует из фиг.5, блок управления удаленным видеоизображением или блок управления локальным видеоизображением содержит: подблок формирования видеоокна, подблок хранения видеоокна, подблок декодирования видеоданных и подблок обработки видеоданных. Причем имеются по два подключенных параллельно комплекта подблоков декодирования видеоданных и подблоков обработки видеоданных, предназначенных для отображения, соответственно, основной картинки и фрагментной картинки. Подблок формирования видеоокна выполнен с возможностью формирования видеоокна, а подблок хранения видеоокна - с возможностью хранения видеоокна, видеоданных для основной картинки и видеоданных для фрагментной картинки.

В удаленном видеоокне и локальном видеоокне происходит включение в алгоритм обработки информации о местоположении, соответственно, основной картинки и фрагментной картинки. Если для фрагментной картинки требуется особая обработка типа изменения формы или смещения, то в алгоритм обработки предварительно включают соответствующий вспомогательный алгоритм, относящийся к изменению формы.

Структурная схема, показанная на фиг.4, соответствует предпочтительному варианту осуществления изобретения. Согласно изобретению управление отображением в режиме РIР можно также осуществлять лишь в одном из видеоокон - либо в удаленном, либо в локальном. При этом уменьшаются, во-первых, виды команд режима, а во-вторых, количество модулей. Так, например, в случае отображения РIР только в удаленном видеоокне можно обойтись без буфера удаленных видеоданных и блока управления приемом удаленных видеоданных, входящего в состав модуля управления локальным отображением.

Как следует из фиг.3а-3е, существуют три режима выбора окна РIР, а именно отображение РIР в удаленном окне, отображение РIР в локальном окне или отображение РIР в обоих этих окнах. При отображении РIР удаленную сторону можно выбирать в качестве основной картинки, а локальную сторону - в качестве фрагментной картинки, или наоборот.

Помимо перечисленных выше вариантов для осуществления режима РIР можно также применить обычный режим отображения, представленный на фиг.1.

В приведенной ниже таблице 1 указаны соотношения команд для различных режимов отображения.

Таблица 1: соотношения команд для разных режимов отображения
Команда режима	Модуль управления удаленным отображением	Модуль управления локальным отображением	Примечания
Выдача	Прием	Основная картинка	Выдача	Прием	Основная картинка
не-РIР	Нет	Нет	-	Нет	Нет	-	Обычное отображение (показанона фиг.1)
Режим РIР1	Нет	Да	Удаленный	Да	Нет	-	РIР отображается в удаленном окне, при этом основное окно соответствует удаленной стороне (показано на фиг.3а)
Режим РIР2	Нет	Да	Локальный	Да	Нет	-	РIР отображается в удаленном окне. при этом основное окно соответствует локальной стороне(показано на фиг.3b)
Режим РIР3	Да	Нет	-	Нет	Да	Удаленный	РIР отображается в локальном окне. при этом основное окно соответствует удаленной стороне(показано на фиг.3 с)
Режим РIР4	Да	Нет	-	Нет	Да	Локальный	РIР отображается в локальном окне. при этом основное окно соответствует локальной стороне(показано на фиг.3(1)
Режим РIР5	Да	Да	Удаленный	Да	Да	Локальный	РIР отображается в обоих окнах(показано на фиг.3е)

Как следует из таблицы 1, модуль управления удаленным отображением может получать удаленные видеоданные, при этом локальные видеоданные передаются в модуль управления удаленным отображением из модуля управления локальным отображением. Таким образом, режим PIP может быть осуществлен в удаленном окне. Аналогично, модуль управления локальным отображением может получать локальные видеоданные, при этом удаленные видеоданные передаются в модуль управления локальным отображением из модуля управления удаленным отображением. Таким образом, режим РIР может быть осуществлен и в локальном окне.

Однако вследствие того, что потоки данных относятся к двум цепочкам приема данных и не могут быть реализованы методами простого управления, требуется создавать команду режима. Модуль анализа рабочей команды пользователя выполняет разбор пользовательской команды и выдает команду логического управления одновременно в соответствующие функциональные блоки двух управляющих модулей в соответствии с режимом, который задал пользователь. Таким образом выполняется передача и обработка данных.

Согласно рассмотренному выше устройству управления видеоизображением модуль управления удаленным видеоизображением для основной картинки и модуль управления локальным видеоизображением для основной картинки декодируют, соответственно, кадр удаленных видеоданных и кадр локальных видеоданных после одновременного получения этих двух кадров данных. С учетом заданного алгоритма, один из двух кадров видеоданных - кадр удаленных видеоданных или кадр локальных видеоданных - отображается в виде основной картинки, а другой - в виде фрагментной картинки. Фрагментная картинка формируется в заданной зоне видеоокна основной картинки и отображается синхронно с этой картинкой. Если устройство управления видеоизображением инициировано пользователем, то по умолчанию отображение конфигурируется в виде отображения не-PIP. Этому соответствует показанный на фиг.6 алгоритм управления, реализуемый для основной картинки модулем управления удаленным видеоизображением или модулем управления локальным видеоизображением. Процесс инициирования подблока декодирования видеоданных основной картинки и подблока обработки видеоданных основной картинки с целью покадровой обработки видеоданных включает в себя следующие этапы:

S101 - формирование видеоокна в заданной ячейке памяти отображения;

S102 - прием кадра видеоданных, направляемого модулем управления приемом данных;

S103 -декодирование кадра видеоданных;

S104 - формирование и отображение декодированных данных в окне видеоотображения с учетом заданного увеличения;

S105-возврат к S102.

Этапы с S101 по S105 выполняются циклическим образом. Вся основная картинка отображается в видеоокне в результате взаимодействия подблока формирования видеоокна, подблока декодирования кадра видеоданных для основной картинки и подблока обработки кадра видеоданных для основной картинки.

Модуль управления удаленным видеоизображением для основной картинки или модуль управления локальным видеоизображением для основной картинки осуществляет управление отображением режима РIР после приема от пользователя команды на переключение режимов отображения. Если тип управляющей команды обеспечивает отображение удаленных видеоданных в основной картинке удаленного видеоокна и отображение локальных видеоданных в фрагментной картинке удаленного видеоокна, то алгоритм управления (показан на фиг.7) включает в себя следующие этапы:

S201 - подблок декодирования кадра видеоданных для основной картинки и подблок декодирования кадра видеоданных для фрагментной картинки принимают соответствующую управляющую команду;

S202 - подблок декодирования кадра видеоданных для основной картинки получает по одному кадру кадры удаленных видеоданных, а подблок декодирования кадра видеоданных для фрагментной картинки получает по одному кадру кадры локальных видеоданных;

S203 - подблок декодирования кадра видеоданных для основной картинки и подблок декодирования кадра видеоданных для фрагментной картинки синхронно декодируют кадры локальных видеоданных и кадры удаленных видеоданных;

S204 - подблок обработки кадра видеоданных для основной картинки и подблок обработки кадра видеоданных для фрагментной картинки формируют, соответственно, основную картинку и фрагментную картинку в заданных зонах видеоокна и синхронно отображают их;

после чего процесс возвращается к этапу S202.

Информация о размере и местоположении видеоокна основной картинки, информация о местоположении фрагментной картинки и алгоритм управления для таких спецэффектов, как изменение формы или смещение, предварительно задаются в алгоритме обработки. Поскольку основная и фрагментная картинки синхронно отображаются в одном и том же видеоокне, такие спецэффекты, как изменение формы или смещение фрагментной картинки не оказывают негативного воздействия на качество отображения основной картинки.

В случае если предварительно задан алгоритм обработки для изменения формы фрагментной картинки, то на этапе S204 происходит инициирование этого алгоритма для выполнения соответствующей обработки видеоданных для фрагментной картинки. Синхронное отображение основной и фрагментной картинок, а также изменение формы фрагментной картинки могут быть осуществлены на этапе S204 с использованием технологии обработки видеоизображений, известной под названием DirectX, или иных методов, которые хорошо знакомы специалистам данной области техники, а потому в данной заявке не поясняются.

При приеме от пользователя команды на переключение в режим не-PIP процесс возвращается к этапу S102 для выполнения очередного цикла управления.

Выше приведено описание только для случая с одним алгоритмом обработки отображения РIР. Алгоритмы обработки для других режимов PIP выглядят таким же образом, поэтому в настоящей заявке они не рассматриваются.

Выше описаны предпочтительные варианты данного изобретения. Их не следует рассматривать как ограничение патентных притязаний изобретения. Все модификации, замены и улучшения данного изобретения, при условии, что они отвечают его сути, должны расцениваться, как попадающие в объем его правовой охраны.