способ, устройство для сбора данных о наблюдении видеоинформации и последующей передачи этих данных в центральное устройство обработки данных

Формула изобретения

1. Способ сбора и обработки данных наблюдения, связанных со способом наблюдения пользователями просматриваемой видеоинформации, причем указанные данные наблюдения передаются по телекоммуникационной сети (3) на центральную станцию (2) управления, где они подвергаются последующей обработке, при этом видеоинформация посредством виртуального дисплея (41) отображения изображения на сетчатку проецируется непосредственно на сетчатку (51) глаз пользователя, при проецировании видеоинформации определяются данные о направлении визирования пользователем наблюдаемой видеоинформации с помощью модуля (411) определения положения глаз пользователя дисплея (41) путем определения текущих положений глаз пользователя и данные наблюдения совместно по меньшей мере с упомянутыми данными о направлении визирования передаются в центральную станцию (2) управления, отличающийся тем, что данные текущих положений глаз сравниваются с предварительно определенными значениями и на основе результата этого сравнения инициируются процедура заказа или передача информации.

2. Способ по п.1, отличающийся тем, что данные наблюдения сохраняют в центральной станции (2) управления.

3. Способ по п.1 или 2, отличающийся тем, что данные наблюдения включают в себя идентификационные данные пользователя.

4. Способ по любому из пп.1-3, отличающийся тем, что данные наблюдения включают в себя идентификационные данные видеоинформации.

5. Способ по любому из пп.1-4, отличающийся тем, что данные наблюдения включают в себя данные времени.

6. Способ по любому из пп.1-5, отличающийся тем, что телекоммуникационная сеть (3) представляет собой мобильную сеть радиосвязи.

7. Устройство (4) для сбора и обработки данных наблюдения, связанных со способом наблюдения пользователями просматриваемой видеоинформации, причем видеоинформация воспроизводится посредством дисплея (41) устройства (4), которое содержит модуль (42) передачи обратных сообщений, который передает данные наблюдения в блок оценки (2, 44), причем дисплей (41) представляет собой виртуальный дисплей отображения изображения на сетчатку, который проецирует видеоинформацию непосредственно на сетчатку (51) глаз пользователя, виртуальный дисплей (41) отображения изображения на сетчатку содержит модуль (411) определения положений глаз пользователя, который при проецировании видеоинформации определяет данные о направлении визирования пользователем просматриваемой видеоинформации путем определения текущих положений глаз пользователя, и причем модуль (42) передачи обратных сообщений выполнен с возможностью передачи данных наблюдения совместно по меньшей мере с упомянутыми данными о направлении визирования в блок оценки (2, 44), отличающееся тем, что устройство (4) содержит средство (44) для сравнения данных текущих положений глаз с предварительно определенными значениями и для инициирования на основе результата сравнения процедуры заказа или передачи информации.

8. Устройство (4) по п.7, отличающееся тем, что модуль (42) передачи обратных сообщений выполнен таким образом, что он передает данные наблюдения в центральную станцию (2) управления через телекоммуникационную сеть (3).

9. Устройство (4) по п.7 или 8, отличающееся тем, что устройство (4) содержит модуль идентификации (45), соотнесенный с пользователем, включающий в себя идентификационные данные пользователя, причем данные наблюдения включают в себя идентификационные данные пользователя.

10. Устройство (4) по любому из пп.7-9, отличающееся тем, что устройство (4) содержит модуль идентификации (46) видеоинформации, определяющий идентификационные данные видеоинформации, причем данные наблюдения включают в себя идентификационные данные видеоинформации.

11. Устройство (4) по любому из пп.7-10, отличающееся тем, что устройство (4) содержит модуль (43) определения времени, который определяет текущее время, причем данные наблюдения включают в себя данные времени.

12. Устройство (4) по любому из пп.7-11, отличающееся тем, что устройство (4) выполнено в виде мобильного аппарата, телекоммуникационная сеть (3) представляет собой сеть мобильной радиосвязи, посредством которой устройство (4) может осуществлять связь.

Описание изобретения к патенту

Изобретение относится к способу и устройству для сбора и обработки данных наблюдения. В особенности настоящее изобретение относится к способу и устройству для сбора и обработки данных наблюдения, которые связаны со способом наблюдения пользователями просматриваемой видеоинформации.

В настоящее время осуществляется сбор статистики и оценка данных, относящихся к способу просмотра видеоинформации телезрителями, особенно в целях маркетинга, с одной стороны, чтобы выяснить, какие программы, соответственно какие телевизионные передающие станции, как часто и кем просматриваются, а с другой стороны, чтобы из полученных данных о телезрителях получить качественную оценку транслируемых программ. В патентной заявке WO 94/15417, например, описано мобильное устройство сбора данных, которое в целях маркетинговых исследований контролирует использование телевизионной аппаратуры пользователем и собирает соответствующие данные. Обычные устройства и способы сбора данных в общем случае не подходят для того, чтобы определять способ просмотра пользователями плоскости изображения, т.е. статистически определять способ просмотра индивидуальными пользователями и/или группами пользователей при наблюдении конкретных движущихся и/или неподвижных объектов видеоинформации.

В патентной заявке WO 90/02453 описана система и способ контроля телезрителей. Согласно WO 90/02453 световые лучи, которые отражаются от глаз зрителя, который находится в пределах определенной области просмотра перед телевизионным устройством, принимаются соответствующим приемником, который размещен, например, на телевизионном устройстве. В приемнике с помощью принятых отраженных световых лучей определяется, смотрит ли соответствующий зритель на телевизионный экран. Данные о времени просмотра и выбранном телевизионном канале согласно WO 90/02453 запоминаются и передаются по телефонной сети в центральную станцию управления. Система согласно WO 90/02453 ограничена сбором данных о телезрителях только в пределах определенной области наблюдения и может только обнаружить, смотрит ли зритель на экран или нет; так что, например, невозможно получить данные об областях изображения или об объектах изображения на телевизионном экране, которые рассматриваются зрителем.

Задачей настоящего изобретения является создание нового улучшенного способа и нового улучшенного устройства, а также новой улучшенной системы для сбора и обработки данных о просмотре, которые позволяют осуществить сбор данных о способе наблюдения пользователями при просмотре видеоинформации.

Согласно предложенному изобретению эта задача решается в особенности признаками, указанными в независимых пунктах формулы изобретения. Другие предпочтительные варианты осуществления изобретения охарактеризованы в зависимых пунктах формулы изобретения и в описании.

Указанный результат достигается в заявленном изобретении в особенности тем, что при просмотре видеоинформации, например неподвижных или движущихся изображений передаваемых телевизионных программ, воспроизведении сохраненных последовательностей видеоданных, изображений или графиков данные о направлении визирования пользователем наблюдаемой видеоинформации определяются тем, что видеоинформация проецируется виртуальным дисплеем отображения изображений непосредственно на сетчатку глаз пользователя и при этом определяются текущие положения глаз пользователя, причем данные наблюдения, которые содержат по меньшей мере эти данные о направлении визирования изображения пользователем, передаются на блок оценки, например, посредством телекоммуникационной сети в центральной станции управления. Преимущество данного способа заключается в том, что направления визирования пользователем рассматриваемой видеоинформации могут определяться без учета перемещений головы пользователя по горизонтали или по вертикали. Кроме того, обеспечивается возможность централизованного определения данных наблюдения, относящихся к способам просмотра пользователями видеоинформации, в частности, могут определяться данные о том, какие части изображений воспроизводимой видеоинформации просматриваются пользователями. Собранные данные наблюдения на центральной станции управления могут затем подвергаться дальнейшей оценке или могут, в особенности на уровне отдельных пользователей, использоваться для ввода интерактивных процессов, например диалогов при опросах или при заказах товаров, и/или управления этими процессами.

В предпочтительном варианте осуществления данные текущего положения глаз сравниваются с предварительно определенными значениями, например, в устройстве с дисплеем или на центральной станции управления и на основе результатов этого сравнения, например, в устройстве с дисплеем или на центральной станции управления инициируются предварительно определенные события, например процедура заказа или передача информации, в особенности видеоинформации. Это имеет то преимущество, что тем самым могут быть реализованы графические пользовательские интерфейсы, которые могут управляться пользователем без использования рук, а только за счет изменения положения его глаз.

В одном из вариантов осуществления данные наблюдения, передаваемые в центральную станцию управления, включают в себя данные идентификации пользователя, получаемые, например, из SIM-карт (карт модулей идентификации пользователей), которые соответствующим образом соотнесены с пользователями. Это делает возможным осуществлять оценки и применения собранных данных наблюдения, как упомянуто выше, на уровне индивидуальных пользователей, не требуя совместного использования дополнительной известной информации о соответствующем пользователе при оценке и дальнейшем применении собранных данных наблюдения.

В одном из вариантов осуществления данные наблюдения, передаваемые на центральную станцию управления, включают в себя идентификационные данные видеоинформации. Это особенно полезно в том случае, когда источник видеоинформации и центральная станция управления реализованы не совместно, так что собранные данные наблюдения при их оценке и дальнейшем применении могут быть соотнесены с соответствующей видеоинформацией.

В одном из вариантов осуществления данные наблюдения, передаваемые на центральную станцию управления, включают в себя данные времени. В зависимости от вида видеоинформации, например при передаче видеоинформации посредством телевизионных программ, упомянутые данные времени могут использоваться для того, чтобы собранные данные наблюдения при их оценке и дальнейшем применении соотнести с соответствующей видеоинформацией.

В одном из вариантов осуществления собранные и переданные данные наблюдения сохраняются в центральной станции управления, например в банке данных наблюдения, благодаря чему полученные данные наблюдения в последующие моменты времени могут быть предоставлены в распоряжение, например, для статистических оценок.

В одном из вариантов осуществления телекоммуникационная сеть представляет собой сеть мобильной радиосвязи, такую как сеть стандарта GSM (Глобальная мобильная система связи), или UMTS (Универсальная мобильная телекоммуникационная система), или иная, например спутниковая мобильная сеть радиосвязи. Это имеет то преимущество, что сбор данных наблюдения для индивидуальных пользователей при просмотре ими видеоинформации может проводиться независимо от стационарных подключений к сетевому оборудованию.

Ниже на примере описан возможный вариант осуществления заявленного изобретения. Пример выполнения иллюстрируется единственным прилагаемым чертежом.

На чертеже показана блок-схема системы, на которой схематично изображена центральная станция управления, которая через телекоммуникационную сеть связана с устройством, в особенности коммуникационным оконечным устройством, которое имеет видеодисплей, проецирующий видеоданные на сетчатку глаз пользователя, и модуль определения положения глаз пользователя, который определяет текущие положения глаз пользователя.

На чертеже ссылочной позицией 4 обозначено устройство, в особенности коммуникационное оконечное устройство, например стационарное коммуникационное оконечное устройство 4, такое как телефон или персональный компьютер с функциями осуществления связи, который через стационарную сеть 3, например коммутируемую телефонную сеть общего пользования, цифровую сеть с комплексными услугами (ISDN), сеть протокола Интернет (IP), глобальную сеть (WAN) или локальную сеть (LAN) может обмениваться данными с центральной станцией 2 управления, или мобильное коммуникационное оконечное устройство 4, т.е. мобильный аппарат 4, например мобильный телефон или портативный или карманный компьютер с телекоммуникационными функциями, который через мобильную сеть радиосвязи, например GSM или UMTS, или иную, например спутниковую мобильную сеть радиосвязи, может обмениваться данными с центральной станцией управления с использованием, например, сообщений службы коротких сообщений (СКС), сообщений неструктурированных данных дополнительных услуг (НДДУ), услуг общей пакетной радиосвязи (ОПР) или в соответствии с подходящим протоколом по используемому каналу.

Центральная станция 2 управления основана, например, на обычном коммуникационном сервере, который имеет коммуникационный модуль 21, использующий необходимые компоненты аппаратных средств и программного обеспечения для осуществления связи через телекоммуникационную сеть 3 с коммуникационными оконечными устройствами 4. Центральная станция 2 управления связана с телекоммуникационной сетью 3 непосредственно или через соответствующие сетевые узлы, такие как центр коммутации мобильных устройств (ЦКМ), и содержит банк 24 данных, который реализован на том же или на отдельном компьютере.

Как показано на чертеже, коммуникационное оконечное устройство 4 содержит видеодисплей 41, который отображает видеоинформацию путем проецирования соответствующих сигналов изображения на сетчатку 51 глаза 5 пользователя коммуникационного оконечного устройства 4. Видеоинформация представляет собой, например, неподвижные или движущиеся изображения передаваемых телевизионных программ или воспроизводимые сохраненные последовательности видеоданных или графику, которые получают, например, от центральной станции 2 управления или от другого источника 6 видеоданных, связанного с коммуникационным оконечным устройством через контактный интерфейс видеоданных, например от телевизионного приемника, от устройства воспроизведения видеоданных, например видеомагнитофона, или от устройства воспроизведения цифровой видеоинформации, записанной на носителях данных.

Видеодисплей 41, который может проецировать сигналы изображения непосредственно на сетчатку 51 глаза наблюдателя, т.е. так называемый виртуальный дисплей отображения изображений на сетчатку, описан в международных заявках WO 94/09472 и WO 97/37339. Такие виртуальные дисплеи отображения изображений на сетчатку могут снабжаться видеоданными через интерфейс видеоданных, например, в форме сигнала RGB (красный-зеленый-синий), сигнала стандарта NTSC (Национальный комитет стандартов США по телевидению), сигнала видеографического стандарта VGA (адаптер видеографики) или другого форматированного цветного или монохроматического видеосигнала или графического сигнала. Специалисту должно быть понятно, что описанные в упомянутых международных заявках WO 94/09472 и WO 97/37339 виртуальные дисплеи отображения изображений на сетчатку и интерфейсы видеоданных можно предпочтительным образом согласовывать таким образом, чтобы можно было эффективно принимать и другие форматы телевизионных сигналов и особенно цифровых видеоданных. Посредством не изображенного на чертеже модуля интерфейса телевизионные сигналы и видеоданные могут также согласовываться соответствующим образом с интерфейсом видеосигналов, причем соответствующие принимаемые видеоданные преобразуются таким образом, что они могут подаваться на интерфейс видеосигналов.

Видеодисплей 41 и другие компоненты коммуникационного оконечного устройства 4 могут быть реализованы в общем корпусе или в отдельных корпусах, причем видеодисплей 41, размещенный в первом корпусе, например, посредством проводного или беспроводного интерфейса, соединяется с компонентами во втором корпусе.

Как показано схематично на чертеже, видеодисплей 41 содержит модуль 411 определения положения глаз пользователя, который определяет текущее положение глаз наблюдателя при просмотре видеоинформации и передает полученные данные через вышеупомянутые интерфейсы или через дополнительный проводной или беспроводный интерфейс в модуль 42 передачи обратного сообщения о положении глаз пользователя коммуникационного оконечного устройства 4. Модуль определения положения глаз пользователя, который определяет текущее положение глаз наблюдателя на основе положения зрачка 52 глаза наблюдателя, также описан в вышеупомянутой международной заявке WO/09472 и может быть дополнительно модифицирован специалистом таким образом, чтобы полученные данные положения глаз пользователя были доступными через соответствующий интерфейс для компонентов вне видеодисплея 41. В зависимости от выполнения можно предоставлять данные для положений обоих глаз.

Модуль 42 передачи обратных сообщений коммуникационного оконечного устройства 4, например запрограммированный модуль программного обеспечения, выполняемый на процессоре коммуникационного оконечного устройства 4, передает полученные данные текущего положения глаз наблюдателя, в необходимом случае вместе с другими данными наблюдения, на блок оценки, например запрограммированный модуль программного обеспечения в коммуникационном оконечном устройстве 4, или с помощью услуг связи коммуникационного оконечного устройства 4 через телекоммуникационную сеть 2 в центральную станцию 2 управления. В центральной станции 2 управления переданные данные наблюдения вместе с данными текущих положений глаз пользователя принимаются коммуникационным модулем 21 и передаются на модуль 23 обработки.

В зависимости от вариантов выполнения и применения коммуникационное оконечное устройство 4 включает в себя дополнительные модули 43, 44, 45, 46, которые дополняют данные наблюдения другими данными.

Модуль 43 определения времени определяет текущее время и передает определенное текущее время в модуль 42 передачи обратных сообщений, откуда оно вместе с определенными данными текущего положения глаз пользователя в данных наблюдения передается к центральной станции 2 управления. Дополнительно к фиксации моментов времени определенных положений глаз пользователя данные времени могут дополнительно применяться также для того, чтобы идентифицировать наблюдаемую в данный момент времени видеоинформацию, например, когда известен просматриваемый в данный момент времени телевизионный канал.

Модуль 44 ввода позволяет пользователю ввести пользовательские данные и передать их посредством модуля 42 передачи обратных сообщений вместе с данными наблюдения или отдельно в центральную станцию 2 управления. Пользовательские данные представляют собой, например, качественные данные, например число по шкале оценки, или команды, или ответы, которые передаются в центральную станцию 2 управления. Модуль 44 ввода, включает в себя, например, элементы обслуживания и соответствующие запрограммированные функции программного обеспечения, которые могут принимать пользовательские данные, введенные с помощью упомянутых элементов обслуживания. Модуль 44 ввода может также представлять собой запрограммированный модуль программного обеспечения, который, например, к заданным моментам времени или в ответ на предварительно определенные сигналы или команды, которые передаются на коммуникационное оконечное устройство 4 от источника 6 видеоданных или от центральной станции 2 управления, передает на центральную станцию 2 управления полученные данные текущих положений глаз пользователя в качестве пользовательских данных, или в зависимости от функционирования вышеупомянутого блока оценки полученные данные текущих положений глаз пользователя сравнивает с предварительно определенными значениями положения или со значениями положения, переданными от источника 6 видеоданных или от центральной станции 2 управления в коммуникационное оконечное устройство 4, и на основе этого сравнения выполняет операции, соответствующие значениями данных положения, вводит события и/или инструкции, ответы или оценки в качестве пользовательских данных передает на центральную станцию 2 управления. Операция сравнения может также проводиться на центральной станции 2 управления, что пояснено более подробно ниже. Такой модуль 44 ввода позволяет, следовательно, использовать виртуальный дисплей 41 отображения изображений на сетчатку, соответственно коммуникационное оконечное устройство 4 с виртуальным дисплеем 41 отображения изображений на сетчатку, в качестве графического пользовательского интерфейса (ГПИ), который может управляться пользователем путем изменения положения его глаз, при этом ГПИ-объекты областей изображения, которые соответствуют упомянутым изменениям положения глаз пользователя, посредством виртуального дисплея отображения изображений на сетчатку проецируются на сетчатку глаз пользователя. Соответствующая видеоинформация для такого графического пользовательского интерфейса может также передаваться, например, от центральной станции 2 управления к коммуникационному оконечному устройству 4.

Модуль 45 идентификации, например SIM-карта, содержит идентификационные данные пользователя, например Международные идентификационные данные мобильного абонента (МИМА) или персональный биометрический код, или соответствующий ключ, который может передаваться на центральную станцию 2 управления вместе с другими данным наблюдения. Это полезно особенно в том случае, когда в центральной станции 2 управления данные наблюдения подвергаются дальнейшей обработке или оценке на уровне индивидуального пользователя или если на центральной станции 2 управления для дальнейшей обработки данных наблюдения из банка абонентских данных добавляются дополнительные конкретные пользовательские данные, например информация об имени или адресе абонента.

Модуль 46 идентификации видеоданных, например запрограммированный модуль программного обеспечения, определяет для текущей видеоинформации идентификационные данные видеоинформации, например текущий телевизионный канал, название видеофильма с текущим последовательным номером текущего видеокадра или другие данные, и передает полученные идентификационные данные видеоинформации в модуль 42 передачи обратных сообщений для передачи вместе с другими данными наблюдения в центральную станцию 2 управления.

С помощью модуля 23 обработки центральной станции 2 управления, например запрограммированного модуля программного обеспечения, принятые данные наблюдения оцениваются и/или запоминаются в банке 24 данных наблюдения. Непосредственная оценка принятых данных наблюдения в модуле 23 обработки целесообразна в особенности в том случае, если на основе содержащихся в них данных текущего положения глаз пользователя должны инициироваться предварительно определенные события. Например, коммуникационное оконечное устройство 4 с виртуальным дисплеем 41 отображения изображений на сетчатку, как упомянуто выше, может использоваться в качестве графического пользовательского интерфейса, который управляется пользователем путем изменения положения его глаз. Тем самым положения глаз пользователя, соответствующие предварительно определенной области воспроизводимой видеоинформации, инициируют определенные события в центральной станции 2 управления. Например, посредством модуля 23 обработки могут вводиться процедуры заказа товаров и/или услуг или информация, в частности, видеоинформация может передаваться через телекоммуникационную сеть 3 на коммуникационное оконечное устройство 4 для воспроизведения с помощью дисплея 41, посредством чего могут быть реализованы ГПИ-приложения типа "клиент/сервер". Сохраненные данные наблюдения могут в последующие моменты времени оцениваться статистически. Например, можно исследовать, какие пользователи и сколько пользователей просматривают определенные области изображения воспроизводимой видеоинформации и соответственно не просматривают их, что, например, может быть интересным для оценки рекламных фильмов. В другом варианте модуль 23 обработки при оценке положений глаз пользователя дополнительно может принимать во внимание содержащиеся в видеоинформации идентифицированные объекты изображения, так что можно анализировать корреляцию положений глаз с этими идентифицированными объектами. Для осуществления этого последнего варианта может, например, быть предпочтительным, соответствующую видеоинформацию предварительно анализировать в процессе работы с помощью подходящих средств обработки изображений таким образом, чтобы их содержание могло быть описано в абстрактной форме, например, с помощью обозначений объектов, векторов и/или значений координат. Такие абстрактные описания содержания могут, например, сохраняться вместе с соответствующими видеоданными в банке 24 данных и подаваться на модуль 23 обработки. Собранные данные наблюдения могут, например, сохраняться и затем оцениваться на уровне конкретного пользователя в виде пользовательского профиля.

Кроме того, следует указать на то, что в устройстве 4 виртуальный дисплей 41 отображения изображений на сетчатку вместе с модулем 44 ввода может применяться при функционировании блока оценки в качестве графического пользовательского интерфейса, не требуя для этого обмена данными с центральной станцией 2 управления. Это имеет преимущество, заключающееся в том, что устройство 4 может управляться без использования других элементов обслуживания или без использования рук, что может быть особенно полезным для компьютеров, не имеющих функций передачи информации.

Заинтересованному пользователю могут продаваться или сдаваться внаем вышеописанные укомплектованные устройства 4, в особенности коммуникационные оконечные устройства 4. Определенный экономический интерес может представлять продажа наборов необходимых компонентов для оснащения стандартного коммуникационного оконечного устройства таким образом, чтобы получить устройство 4, в особенности описанное коммуникационное оконечное устройство 4, которое предпочтительно также содержит носитель данных с сохраненными на нем запрограммированным модулем 42 передачи обратных сообщений, запрограммированным модулем 44 ввода, запрограммированным модулем 46 идентификации видеоинформации и в необходимом случае - модулем 43 определения времени. Заинтересованным провайдерам могут также предлагаться по лицензии системы в целом или продаваться носители данных, которые содержат запрограммированный коммуникационный модуль 21, модуль 23 обработки и в необходимом случае - банк 24 данных наблюдения, чтобы использовать обычный коммуникационный сервер, который содержит требуемые для коммуникационного модуля 21 аппаратные средства, в качестве описанной центральной станции 2 управления.

Список обозначений

1 - система

2 - центральная станция управления

3 - телекоммуникационная сеть (сеть мобильной радиосвязи)

4 - устройство (коммуникационное оконечное устройство, мобильный аппарат)

5 - глаз

6 - источник видеоинформации

21 - коммуникационный модуль

23 - модуль обработки

24 - банк видеоданных (банк данных наблюдения)

41 - видеодисплей (виртуальный дисплей отображения изображения на сетчатку)

42 - модуль передачи обратных сообщений

43 - модуль определения времени

44 - модуль ввода

45 - модуль идентификации (SIM-карта)

46 - модуль идентификации видеоинформации

51 -сетчатка

52 - зрачок

411 - модуль определения положения глазт