способ и устройство для генерирования регистрационной записи события

Формула изобретения

1. Способ генерирования регистрационной записи событий для игровых событий, ассоциированных с физическим объектом, присутствующим в спортивном событии, способ, содержащий этапы, на которых:

отслеживают, в пределах последовательности видеоизображений, особенности изображения, которые соответствуют соответствующим физическим объектам в спортивном событии;

отображают на устройстве отображения, последовательность видеоизображений, включающую отслеживаемые особенности изображения;

выбирают из отслеживаемых особенностей изображения первую отображаемую особенность изображения, которая соответствует одному из физических объектов, для обозначения этого физического объекта в качестве выбранного физического объекта, при этом при выборе выделяют первую особенность изображения;

отображают, при выборе первой особенности изображения, заданный список событий возможных игровых событий, рядом с выделенной, выбранной первой особенностью изображения и наложенным на отображаемую последовательность видеоизображений; выбирают игровое событие из отображаемого заданного списка событий возможных игровых событий, для ассоциирования с выбранным физическим объектом в соответствии с выбором пользователем вручную игрового события;

ассоциируют выбранное игровое событие с выбранным физическим объектом для генерирования регистрационной записи события для этого физического объекта.

2. Способ по п.1, в котором:

отслеживают путем выполнения анализа последовательности видеоизображений положения в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в последовательности видеоизображений;

детектируют возникновение игрового события в зависимости от изменения направления движения игрового объекта путем анализа данных движения; и

помечают флагом одно или больше видеоизображений, для которых детектировали возникновение игрового события, для обозначения того, что эти видеоизображения содержат возникновение игрового события.

3. Способ по п.2, в котором детектируют возникновение игрового события, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

4. Способ по п.2, в котором:

детектируют путем анализа последовательности видеоизображений положения игрового объекта относительно выбранного физического объекта; и

выбирают игровое событие из заданного списка событий в соответствии с детектированным положением игрового объекта относительно выбранного физического объекта.

5. Способ по п.2, в котором:

детектируют относительное расстояние между игровым объектом и каждым из физических объектов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из физических объектов;

анализируют данные расстояния, чтобы детектировать, который из физических объектов находился ближе всего к игровому объекту, когда детектировали возникновение игрового события; и

ассоциируют это игровое событие с физическим объектом, который детектировали, как находившийся ближе всего к игровому объекту, когда произошло игровое событие.

6. Способ по п.2, в котором:

последовательно отображают последовательность видеоизображений;

устанавливают паузу при последовательном отображении последовательности видеоизображений на видеоизображении, которое было помечено флагом, как содержащее возникновение игрового события; и

отображают первое свойство изображения вместе с заданным списком событий так, чтобы пользователь мог выбрать соответствующее игровое событие из заданного списка событий для ассоциирования с выбранным физическим объектом.

7. Способ по п.1, в котором каждый физический объект ассоциируют с уникальными данными идентификации, которые позволяют уникально идентифицировать данный физический объект.

8. Носитель данных, содержащий сохраненные на нем считываемые компьютером инструкции, которые при их загрузке в компьютер конфигурируют компьютер для выполнения способа по п.1.

9. Устройство для генерирования регистрационной записи событий для игровых событий, ассоциированных с физическим объектом во время спортивного события, содержащее:

устройство отслеживания, предназначенное для отслеживания в последовательности видеоизображений особенностей изображения, которые соответствуют соответствующим физическим объектам в спортивном событии;

устройство отображения, предназначенное для отображения последовательности видеоизображений, включающей отслеживаемые особенности изображения;

селектор особенности изображения, предназначенный для выбора из отслеживаемых особенностей изображения первой отображаемой особенности изображения, которая соответствует одному из физических объектов, для обозначения этого физического объекта в качестве выбранного физического объекта, при этом при выборе первую особенность изображения выделяют;

селектор игрового события, предназначенный для выбора игрового события из отображаемого заданного списка событий возможных игровых событий для ассоциирования с выбранным физическим объектом в соответствии с выбором пользователем вручную игрового события;

устройство ассоциирования, предназначенное для ассоциирования выбранного игрового события с выбранным физическим объектом, для генерирования регистрационной записи событий для этого физического объекта;

в котором, при выборе первой особенности изображения заданный список событий возможных игровых событий отображают на устройстве отображения рядом с выделенной, выбранной первой особенностью изображения и наложенным на отображаемую последовательность видеоизображений.

10. Устройство по п.9, в котором:

устройство отслеживания во время работы отслеживает, путем анализа последовательности видеоизображений, положение в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в пределах последовательности видеоизображений; и

устройство содержит:

детектор, предназначенный для детектирования возникновения игрового события, в зависимости от изменения направления движения игрового объекта, путем анализа данных движения; и

устройство установки флага, предназначенное для установки флага для одного или больше видеоизображений, в которых детектировали возникновение игрового события, для обозначения, что эти видеоизображения содержат возникновение игрового события.

11. Устройство по п.10, в котором детектируют возникновение игрового события, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

12. Устройство по п.10, в котором:

устройство отслеживания во время работы детектирует, путем анализа последовательности видеоизображений, положение игрового объекта относительно выбранного физического объекта; и

селектор игрового события во время работы выбирает игровое событие из заданного списка событий в соответствии с детектированным положением игрового объекта относительно выбранного физического объекта.

13. Устройство по п.10, в котором:

устройство отслеживания во время работы: детектирует относительное расстояние между игровым объектом и каждым из физических объектов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из физических объектов; и анализирует эти данные расстояния для детектирования, какой из физических объектов находился ближе всего к игровому объекту, когда детектировали возникновение игрового события; и

устройство ассоциирования, во время работы, ассоциирует игровое событие с физическим объектом, которого детектировали как находившегося ближе всего к игровому объекту, когда возникло игровое событие.

14. Устройство по п.10, содержащее:

дисплей для последовательного отображения последовательности видеоизображений;

в котором устройство выполнено с возможностью:

установки паузы при последовательном отображении последовательности видеоизображений на видеоизображении, которое было помечено флагом, как содержащее возникновение игрового события; и

обеспечения отображения на дисплее первой особенности изображения вместе с заданным списком событий так, чтобы пользователь мог выбрать соответствующее игровое событие из заданного списка событий для ассоциирования с выбранным физическим объектом.

15. Устройство по п.9, в котором каждый физический объект ассоциируют с уникальными идентификационными данными, которые позволяют уникально идентифицировать физический объект.

16. Графический интерфейс пользователя, предназначенный для генерирования регистрационной записи событий для игровых событий, ассоциированных с физическими объектами спортивного события, причем впоследствии событие ассоциируют с этим физическим объектом, содержащий:

особенности изображения в одном кадре из последовательности кадров, которые соответствуют соответствующим физическим объектам спортивного события;

устройство отображения, предназначенное для отображения последовательности видеоизображений, включающей отслеживаемые особенности изображения;

селектор особенности изображения, предназначенный для выбора из отображаемых особенностей изображения, первой особенности изображения, которая соответствует одному из физических объектов, для обозначения этого физического объекта как выбранного физического объекта, при этом при выборе первую особенность изображения выделяют;

селектор игрового события, предназначенный для выбора игрового события из отображаемого заданного списка событий возможных игровых событий, для ассоциирования с выбранным физическим объектом в соответствии с выбором пользователем вручную игрового события;

в котором при выборе первой особенности изображения, заданный список событий возможных игровых событий, отображают на устройстве отображения рядом с выделенной, выбранной первой особенностью изображения и наложенным на отображаемую последовательность видеоизображений.

17. Устройство для генерирования регистрационной записи событий для игровых событий, ассоциированных с физическим объектом спортивного события, содержащее:

средство для отслеживания, в пределах последовательности видеоизображений, особенностей изображения, которые соответствуют соответствующим физическим объектам спортивного события;

средство для отображения последовательности видеоизображений, включающей отслеживаемые особенности изображения;

средство для выбора из отслеживаемых особенностей изображения первой отображаемой особенности изображения, которая соответствует одному из физических объектов, для обозначения этого физического объекта в качестве выбранного физического объекта, при этом при выборе первую особенность изображения выделяют;

средство для выбора игрового события из отображаемого заданного списка событий возможных игровых событий, для ассоциирования с выбранным физическим объектом в соответствии с выбором пользователем вручную игрового события;

средство для ассоциирования выбранного игрового события с выбранным физическим объектом, для генерирования регистрационной записи событий для этого физического объекта;

в котором при выборе первой особенности изображения заданный список событий возможных игровых событий отображают на устройстве отображения рядом с выделенной, выбранной первой особенностью изображения и наложенным на отображаемую последовательность видеоизображений.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для генерирования регистрационной записи события.

Уровень техники

В области широковещательной передачи спортивных состязаний, например, в ходе репортажа с футбольных матчей, комментаторы обычно визуально идентифицируют игроков по отснятому во время матча видеоматериалу или в ходе игры, находясь в определенной точке наблюдения на стадионе таким образом, который позволяет собирать статистические данные о каждом игроке во время матча. Кроме того, для программ, освещающих события, информация о положении каждого игрока на игровом поле и его действиях на игровом поле может быть собрана оператором по видеозаписям, сделанным в ходе матча, который использует соответствующие средства для просмотра и редактирования.

Однако просмотр и редактирование записанных видеоматериалов требуют значительного времени и дорого стоят, а также подвержены ошибкам оператора. Хотя автоматизированные системы можно использовать для помощи оператору при отслеживании каждого игрока с использованием технологий распознавания образов, выполняемых для отснятого в ходе матча видеоматериала, но для автоматизированных систем может быть затруднительно регистрировать событие, если игрок участвовал в таком игровом событии, как удар ногой по мячу, блокирование другого игрока и т.п.

Кроме того, данные с аннотациями, относящимися к положению игроков в течение игры, можно использовать для воссоздания матча, используя трехмерное виртуальное моделирование. Однако для того, чтобы модель выглядела реалистичной, данные, относящиеся к типу игрового события, должны быть введены в устройство, выполняющее моделирование, таким образом, чтобы моделируемые игроки могли выполнять соответствующие игровые действия в соответствии с реальными событиями во время матча.

В некоторых системах, таких как описаны в публикации WO-A-02/071334, используется множество камер для отслеживания участников спортивного события, такого как футбольный матч. Данные положения, генерируемые системой, могут быть снабжены аннотациями для соответствующей игры, выполненными с помощью оператора, с использованием отдельного списка, который отображается отдельно от видеозаписи матча.

Однако, когда речь идет о множестве событий, может потребоваться значительное время для того, чтобы оператор мог выполнить большое количество аннотаций для видеозаписи, поскольку он должен выбирать игрока из списка и визуально подтверждать на видеозаписи, какое событие следует связать с этим игроком. В настоящем изобретении делается попытка устранить или уменьшить описанные выше проблемы.

Сущность изобретения

В первом аспекте предложен способ генерирования регистрационной записи игровых событий, ассоциированных с элементом, присутствующим на спортивном событии, - способ, при котором:

отслеживают в пределах последовательности видеоизображений особенности изображения, которые соответствуют соответствующим элементам в спортивном событии;

выбирают из отслеживаемых особенностей изображения первую особенность изображения, которая соответствует одному из элементов, для назначения этого элемента в качестве выбранного элемента;

выбирают игровое событие из списка событий, содержащего возможные игровые события, для ассоциирования с выбранным элементом; и

ассоциируют выбранное игровое событие с выбранным элементом для генерирования регистрационной записи события для этого элемента.

В соответствии с этим, путем отслеживания особенностей изображения, соответствующих, например, игрокам во время игры в футбол, и выбора особенности изображения, соответствующей требуемому игроку, оператор может выбирать соответствующее игровое событие (такое как удар ногой или удар головой) из списка событий для ассоциирования с этим игроком. Кроме того, особенность изображения, соответствующая игроку, может быть автоматически выбрана, например, с помощью рабочей станции, обрабатывающей содержание, и соответствующего события из списка событий, ассоциированного с этим игроком. Поэтому стоимость и трудозатраты, связанные с разметкой отснятого видеоматериала для генерирования статистических данных о матче, можно уменьшить. Кроме того, например, полученную в результате регистрационную запись событий можно использовать как входные данные 3D-моделирования, содержащего данные отслеживания игроков и мяча, связанные с реальным футбольным матчем, улучшая, таким образом, 3D-моделирование реального матча; при этом модель игрока, таким образом, может быть выполнена с повторением мимики и действий, связанных с игровым событием.

Способ также содержит: отображение в последовательности видеоизображений первой особенности изображения вместе со списком событий; и

выбор игрового события из списка событий в соответствии с выбором пользователя вручную игрового события.

Это помогает пользователю в выборе события и также ускоряет обработку составления аннотации.

Список событий может отображаться, по существу, рядом с первой особенностью изображения.

Это позволяет пользователю сконцентрироваться на области экрана, где отображается видеоизображение. Это также ускоряет процесс составления аннотации.

Способ также может содержать действия, при которых: отслеживают с помощью анализа последовательности видеоизображений положения в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в последовательности видеоизображений;

детектируют возникновение игрового события в зависимости от изменения направления движения игрового объекта путем анализа данных движения; и

помечают флагом одно или больше видеоизображений, для которых детектировали возникновение игрового события, для обозначения, что эти видеоизображения содержат возникновение игрового события.

Таким образом, становится возможным быстрее автоматически детектировать место, где произошло событие, что позволяет пользователю быстрее перейти к соответствующим кадрам.

Игровое событие может быть детектировано, как происшедшее, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

Способ может содержать действия, при которых: детектируют, путем анализа последовательности видеоизображений положения игрового объекта относительно выбранного элемента; и

выбирают игровое событие из списка событий в соответствии с детектированным положением игрового объекта относительно выбранного элемента.

Это, в частности, полезно как помощь при выборе соответствующих событий. Например, в описанном ниже варианте воплощения, направленном на игру в футбол, возможно, информация о том, что событие произошло, когда игровой объект (например, мяч) находился на высоте приблизительно на уровне головы, означает, что событие, вероятно, представляет собой событие удара по мячу головой.

Способ может содержать действия, при которых: детектируют относительное расстояние между игровым объектом и каждым из элементов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из элементов;

анализируют данные расстояния, чтобы детектировать, который из элементов находился ближе всего к игровому объекту, когда детектировали возникновение игрового события; и

ассоциируют это игровое событие с элементом, который детектировали, как находившийся ближе всего к игровому объекту, когда произошло игровое событие. Это также может помочь при автоматизации регистрации события. Способ также может содержать действия, при которых: последовательно отображают последовательность видеоизображений;

устанавливают паузу при последовательном отображении последовательности видеоизображений на видеоизображении, которое было отмечено флагом, как содержащее возникновение игрового события; и

отображают первое свойство изображения вместе со списком событий так, чтобы пользователь мог выбрать соответствующее игровое событие из списка событий для ассоциирования с выбранным элементом.

Это, в свою очередь, может помочь ускорению процесса регистрации события.

Каждый элемент может быть ассоциирован с уникальными данными идентификации, которые позволяют уникально идентифицировать данный элемент.

Также предусмотрена компьютерная программа, содержащая считываемые компьютером инструкции, которые при их загрузке в компьютер конфигурируют этот компьютер для выполнения способа.

В другом аспекте предложено устройство для генерирования регистрационной записи игровых событий, ассоциированных с элементом во время спортивного события, устройство, содержащее:

средство отслеживания, предназначенное для отслеживания в последовательности видеоизображений особенностей изображения, которые соответствуют соответствующим элементам в спортивном событии;

средство выбора особенности изображения, предназначенное для выбора из отслеживаемых особенностей изображения первой особенности изображения, которая соответствует одному из элементов, для обозначения этого элемента в качестве выбранного элемента;

средство выбора игрового события, предназначенное для выбора игрового события из списка событий возможных игровых событий для ассоциирования с выбранным элементом; и

средство ассоциирования, предназначенное для ассоциирования выбранного игрового события с выбранным элементом, для генерирования регистрационной записи событий для этого элемента.

Такое устройство также содержит средство для отображения, в пределах последовательности видеоизображений, первой особенности изображения вместе со списком событий; и

в котором средство выбора игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором вручную пользователем игрового события.

В еще одном дополнительном аспекте предложено устройство для генерирования регистрационной записи игровых событий, ассоциированных с элементом в спортивном событии, - устройство, содержащее:

устройство отслеживания, предназначенное для отслеживания в последовательности видеоизображений особенностей изображений, которые соответствуют соответствующим элементам спортивного события;

селектор особенностей изображения, предназначенный для выбора из отслеживаемых особенностей изображения, первой особенности изображения, которая соответствует одному из элементов, для того, чтобы обозначить этот элемент как выбранный элемент;

селектор игрового события, предназначенный для выбора игрового события из списка событий возможных игровых событий, для ассоциирования с выбранным элементом; и

устройство ассоциирования, предназначенное для ассоциирования выбранного игрового события с выбранным элементом, для генерирования регистрационной записи событий для этого элемента.

Такое устройство также содержит устройство отображения, предназначенное для отображения, в пределах последовательности видеоизображений, первой особенности изображений вместе со списком событий; и

в котором селектор игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором пользователя вручную игрового события.

Список событий может отображаться, по существу, рядом с первой особенностью изображения.

Устройство отслеживания во время работы может отслеживать, путем анализа, последовательности видеоизображений, положение в каждом видеоизображении игрового объекта, ассоциированного со спортивным событием, для генерирования данных движения, которые относятся к направлению движения игрового объекта в пределах последовательности видеоизображений; и

устройство может дополнительно содержать:

детектор, предназначенный для детектирования возникновения игрового события, в зависимости от изменения в направлении движения игрового объекта, путем анализа данных движения; и

устройство установки флага, предназначенное для установки флага для одного или больше видеоизображений, в которых детектируется возникновение игрового события, который обозначает, что эти видеоизображения содержат возникновение игрового события.

Возможно детектирование возникновения игрового события, если изменение направления движения игрового объекта больше, чем заданное пороговое значение.

Устройство отслеживания во время работы может детектировать, путем анализа последовательности видеоизображений, положение игрового объекта относительно выбранного элемента; и

селектор игрового события может во время работы выбирать игровое событие из списка событий в соответствии с детектированным положением игрового объекта относительно выбранного элемента.

Устройство отслеживания во время работы может детектировать относительное расстояние между игровым объектом и каждым из элементов для генерирования данных расстояния, которые относятся к расстоянию между игровым объектом и каждым из элементов; и анализировать эти данные расстояния так, чтобы детектировать, какой из элементов находился ближе всего к игровому объекту, когда было детектировано возникновение игрового события; и

устройство ассоциирования во время работы может ассоциировать игровое событие с элементом, который был детектирован как расположенный ближе всего к игровому объекту, когда произошло игровое событие.

Устройство может содержать:

устройство отображения, предназначенное для последовательного отображения последовательности видеоизображений;

в котором устройство выполнено с возможностью:

устанавливать паузу при последовательном отображении последовательности видеоизображений на видеоизображении, которое было помечено флагом, как содержащее возникновение игрового события; и

обеспечивать отображение устройством отображения первой особенности изображения вместе со списком событий таким образом, что пользователь может выбрать соответствующее игровое событие из списка событий для ассоциирования с выбранным элементом.

Каждый элемент может быть ассоциирован с уникальными идентифицирующими данными, которые позволяют уникально идентифицировать этот элемент.

В дополнительном аспекте предложен графический интерфейс пользователя, предназначенный для генерирования регистрационной записи событий для игровых событий, ассоциированных с элементами спортивного события, при этом событие последовательно ассоциируют с элементом, интерфейс, содержащий:

особенности изображения, в пределах одного кадра последовательности кадров, которые соответствуют соответствующим элементам спортивного события;

селектор особенности изображения, предназначенный для выбора из отображаемых особенностей изображения первой особенности изображения, которая соответствует одному из элементов, для обозначения этого элемента как выбранного элемента;

селектор игрового события, предназначенный для выбора игрового события из списка событий, содержащего возможные игровые события, для ассоциирования с выбранным элементом;

устройство отображения, предназначенное для отображения, в пределах последовательности видеоизображений, первой особенности изображения вместе со списком событий; и

в котором селектор игрового события во время работы выбирает игровое событие из списка событий в соответствии с выбором пользователем вручную игрового события.

Различные дополнительные аспекты и свойства настоящего изобретения определены в приложенной формуле изобретения.

Краткое описание чертежей

Описанные выше и другие преимущества и свойства изобретения будут понятны из следующего подробного описания иллюстративных вариантов воплощения, которое следует читать совместно с приложенными чертежами, на которых:

на фиг.1 показана схема системы отслеживания объекта, используемая в устройстве и способе регистрации событий в соответствии с вариантом воплощения настоящего изобретения;

на фиг.2 показана блок-схема последовательности операций способа отслеживания объекта, используемая в устройстве и способе регистрации события в соответствии с вариантами воплощения настоящего изобретения;

на фиг.3А и 3В показаны схемы отслеживания объекта, используемые в устройстве и способе регистрации события в соответствии с вариантом воплощения настоящего изобретения;

на фиг.4А представлена иллюстрация видеоизображения, снятого по сцене, которая представляет футбольный матч с отслеживаемыми игроками;

на фиг.4В представлено линейное изображение, которое эквивалентно и технически идентично фиг.4А;

на фиг.5А представлена иллюстрация видеоизображения, которое было обработано в системе отслеживания объекта для получения модели фонового изображения, путем определения среднего значения, и на фиг.5С показана модель фонового изображения, с учетом дисперсии;

на фиг.5В представлено линейное изображение, которое эквивалентно и технически идентично фиг.5А, и на фиг.5D показано линейное изображение, которое эквивалентно и технически идентично фиг.5С;

на фиг.6А представлена иллюстрация видеоизображения, которое было обработано в системе отслеживания объекта для представления отслеживаемых положений игроков;

на фиг.6В представлено линейное изображение, которое эквивалентно и технически идентично фиг.6А;

на фиг.7А представлена иллюстрация двух видеоизображений, которые были сняты двумя различными камерами, по одной с каждой стороны игровой площадки, и иллюстрация виртуального представления футбольного матча, в котором положение игроков отслеживается относительно времени;

на фиг.7В показано линейное изображение, которое эквивалентно и технически идентично фиг.7А;

на фиг.8 представлено видеоизображение футбольного матча, на котором отслеживаемые игроки помечены метками;

на фиг.9 показано трехмерное представление виртуальной модели футбольного матча, в котором можно изменять точку просмотра матча;

на фиг.10 схематично показана блок-схема системы для получения виртуальной модели футбольного матча, в которой игра представлена синтезированными элементами, доступными для устройств-клиентов через Интернет;

на фиг.11 показана схема изображения футбольной площадки вместе со списком событий, который позволяет ассоциировать игровое событие с игроком, в соответствии с вариантом воплощения настоящего изобретения;

на фиг.12 показана блок-схема последовательности операций способа генерирования регистрационной записи событий в соответствии с вариантом воплощения настоящего изобретения;

на фиг.13 показана блок-схема последовательности операций способа детектирования игрового события в соответствии с вариантом воплощения настоящего изобретения; и

на фиг.14 показан график xy векторов движения, используемый для детектирования изменения направления движения объекта в соответствии с вариантом воплощения настоящего изобретения.

Подробное описание изобретения

Раскрыты способ и устройство для генерирования регистрационной записи событий. В следующем описании представлено множество конкретных деталей для того, чтобы обеспечить полное понимание вариантов воплощения настоящего изобретения. Однако для специалиста в данной области техники должно быть понятно, что данные конкретные детали не обязательно должны быть выполнены на практике настоящего изобретения. Наоборот, специфичные детали, известные специалисту в данной области техники, исключены с целью ясности представления вариантов воплощения.

На фиг.1 показана схема системы отслеживания объектов, используемая в устройстве и способе регистрации событий, в соответствии с вариантами воплощения настоящего изобретения. В представленном на фиг.1 варианте воплощения отслеживаемые объекты являются футбольными игроками (не показаны) на футбольной площадке 30. Видеоизображения (1920 на 1080 пикселей) высокой четкости (HD) площадки 30 снимают с помощью одной или больше камер высокой четкости. Хотя варианты воплощения настоящего изобретения можно использовать для отслеживания объектов в видеоизображениях, снятых более чем одной камерой, в некоторых примерах используется только одна камера. Следует понимать, что камеры высокой четкости являются дорогостоящими, поэтому использование только одной камеры может уменьшить количество затрат, требуемых для воплощения системы, в которой используется настоящая технология. Однако использование только одной камеры обеспечивает только один двумерный вид сцены, на которой расположены объекты. В результате отслеживание объектов в пределах этой сцены, представленной видеоизображениями, может быть затруднено из-за возникновения препятствий при просмотре событий, при которых один объект закрывает другой, и т.п. Такой пример с одиночной камерой 20 показан на фиг.1, хотя, как представлено с помощью камер 22.1, 22.2, в случае необходимости, можно использовать две камеры, каждая из которых направлена на разные половины футбольной площадки.

В некоторых вариантах воплощения дополнительная камера 22.3 может использоваться в комбинации с камерой 20 и/или камерами 22.1 и 22.2, для детектирования положения объекта, такого как футбольный мяч, относительно футбольной площадки 30. Это будет более подробно описано ниже.

На фиг.1 видеокамера 20 расположена в фиксированной точке на футбольном стадионе и выполнена с возможностью передавать сигналы, представляющие видеоизображения, снятые камерой 20, в рабочую станцию 10 обработки содержания, которая осуществляет обработку изображения и другие операции для отслеживания положения игроков на игровой площадке относительно времени. Данные, представляющие положение игроков относительно времени, затем регистрируют таким образом, что могут быть сгенерированы метаданные и статистические данные матча, такие как длительность времени, которую конкретный игрок провел в конкретной части игрового поля, какое расстояние каждый игрок пробежал и т.п. Данные, представляющие положение игроков относительно времени, формируют данные пути для каждого игрока, которые относятся к пути, который прошел каждый игрок на видеоизображениях. Данные пути генерируют относительно трехмерной модели футбольной площадки (плоскость объекта) для того, чтобы представить информацию, ассоциированную с движением игроков относительно их положения на площадке, которая плохо видна на (двумерных) видеоизображениях. Такие сгенерированные данные пути можно затем использовать для улучшения ощущений зрителем при просмотре, когда отснятый материал футбольного матча передают через соответствующую среду зрителю, или для помощи тренеру во время тренировки футбольной команды. Отслеживание объектов, таких как игроки, на площадке 30 будет более подробно описано ниже.

В вариантах выполнения настоящего изобретения рабочая станция 10 обработки содержания использует процессор Cell, совместно разработанный компаниями Sony®, Toshiba® и IBM®. Параллельная структура процессора Cell делает его особенно пригодным для выполнения задачи обработки, связанной с интенсивной обработкой, такой как обработка изображений, распознавание изображений и отслеживание объектов. Однако для специалиста в данной области техники будет понятно, что любую соответствующую рабочую станцию и модуль обработки можно использовать для воплощения вариантов воплощения настоящего изобретения.

В соответствии с настоящей технологией видеоизображения, которые генерируют с использованием видеокамеры 20 высокой четкости, компонуют так, чтобы снять вид всей площадки таким образом, чтобы можно было отслеживать игроков на площадке. При этом всю площадку снимают из статического положения камеры 20, хотя, как отмечено выше, более чем одну камеру можно использовать для захвата изображения всей площадки. В одном примере, как отмечено выше, можно использовать две камеры 22.1, 22.2, каждая из которых направлена на разные половины площадки. В данном примере видеоизображения, генерируемые каждой камерой, можно объединять вместе с помощью рабочей станции 10 обработки содержания, как описано в заявке на патент Великобритании № 0624410.7 (опубликованной как GB 2444566), для формирования видеоизображения со сверхвысоким разрешением. При этом, после выполнения обработки объединения, выходной канал из кластера камеры можно рассматривать как одиночное изображение со сверхвысоким разрешением.

Компоновка со сверхвысоким разрешением имеет множество преимуществ, включающих в себя возможность выделения отдельных особенностей игрока, без необходимости использования оптического увеличения и поэтому без влияния на общее изображение стадиона. Кроме того, автоматическое отслеживание объекта облегчается, поскольку фоновое изображение события является статическим и поэтому можно отслеживать объект с более высоким разрешением экрана.

Отслеживание объекта, используемое в устройстве регистрации событий и в способе в соответствии с вариантами воплощения настоящего изобретения, будет описано ниже со ссылкой на фиг.2, 3 и 4.

На фиг.2 показана блок-схема последовательности операций способа отслеживания объекта. Для того чтобы отслеживать объект, строят модель фонового изображения из тех частей принимаемого видеоизображения, которые детектируют как остающиеся, по существу, статическими в течение заданного количества кадров. На первом этапе S30 видеоизображение, принимаемое камерой 20, которое представляет футбольную площадку, обрабатывают для построения модели фонового изображения. Модель фонового изображения строят для того, чтобы сформировать маску изображения переднего плана, которая способствует идентификации и отслеживанию отдельных игроков. Модель фонового изображения формируют на этапе S30, определяя для каждого пикселя среднее значение пикселей и дисперсию значений пикселя между последующими кадрами, для того, чтобы построить модель фонового изображения. Таким образом, в последующих кадрах, в случае, когда среднее значение пикселей незначительно изменяется, эти пиксели могут быть идентифицированы как пиксели фонового изображения, для того, чтобы идентифицировать маску изображения переднего плана.

Такая сегментация фонового изображения/изображения переднего плана представляет собой обработку, которая известна в области обработки изображений, и в настоящей технологии используют алгоритм, описанный в документе авторов Manzanera и Richefeu, под названием "A robust and Computationally Efficient Motion Detection Algorithm Based on - Background Estimation", опубликованном в трудах ICVGIP, 2004. Однако настоящую технологию не следует рассматривать как ограниченную этой известной технологией, и также известны другие технологии для генерирования маски переднего плана изображения относительно модели фонового изображения для использования при отслеживании.

Следует понимать, что в случае, когда поле обзора видеокамеры охватывает некоторую часть зрителей, предпочтительно, зрители не должны быть включены в модель фонового изображения, поскольку люди, составляющие зрителей, вероятно, находятся в движении. Это нежелательно, поскольку, вероятно, увеличивается нагрузка при обработке для процессора Cell при выполнении отслеживания объекта, а также не нужно, поскольку большинство спортивных вещательных станций вряд ли заинтересовано в отслеживании отдельных людей среди зрителей.

В раскрытой технологии отслеживания объекта модель фонового изображения строят в начале игры, и она может быть получена даже до того, как игроки выйдут на поле. Кроме того, модель фонового изображения периодически может быть повторно рассчитана в течение игры для учета любых изменений в условиях освещения, таких как тени, которые могут изменяться в ходе игры.

На этапе S40 модель фонового изображения вычитают из входящего изображения, поступающего из камеры, для идентификации областей, представляющих разницу. Таким образом, модель фонового изображения вычитают из изображения, и полученное в результате изображение используют для генерирования маски для каждого игрока. На этапе S45 создают пороговое значение относительно значений пикселя в версии изображения, которая была получена после вычитания модели фонового изображения. Модель фонового изображения генерируют таким образом, что вначале определяют среднее значение пикселей по последовательности кадров видеоизображений. По средним значениям каждого из пикселей можно рассчитать дисперсию каждого из пикселей по кадрам видеоизображений. Дисперсию пикселей затем используют для определения порогового значения, которое может изменяться для каждого пикселя по всем пикселям видеоизображений. Для пикселей, которые соответствуют частям изображения с высоким значением дисперсии, таким как части, включающие в себя зрителей, пороговое значение может быть установлено равным высокому значению, тогда как части изображения, которые соответствуют игровой площадке, будут иметь более низкое пороговое значение, поскольку цвет и содержание площадки остаются, по существу, одинаковыми, за исключением присутствующих игроков. Таким образом, пороговое значение позволяет определять, будут ли присутствовать элементы на переднем плане изображения, и поэтому маска переднего плана изображения может быть соответствующим образом идентифицирована. На этапе S50 используют вероятность формы на основе корреляции со средней моделью формы человека для выделения формы из маски изображения на переднем плане. Кроме того, особенности цветов выделяют из изображения, чтобы сформировать цветную маску вероятности, для того чтобы идентифицировать игрока, например, по цвету майки игроков. Таким образом, цвета маек каждой команды можно использовать для различения игроков друг от друга. С этой целью рабочая станция 10 обработки содержания генерирует шаблоны цветов в зависимости от известных наборов цветов команд каждой футбольной команды. Таким образом, требуется цвет маек каждой команды, цвет маек вратарей и цвет маек судей. Однако следует понимать, что можно использовать другие соответствующие шаблоны цветов и/или процессы сопоставления шаблонов.

Возвращаясь к фиг.2, на этапе S50 рабочая станция 10 обработки содержания сравнивает каждый из пикселей каждого шаблона цветов с пикселями, соответствующими области майки в изображении игрока. Рабочая станция обработки содержания затем генерирует значение вероятности, которое обозначает степень схожести между пикселями шаблонов цветов и выбранными пикселями, для формирования вероятности цветов на основе расстояния в пространстве цветов оттенок-насыщенность-значение (HSV, ОНЗ) для этой команды и по моделям цветов игровой площадки. Кроме того, используют вероятность формы для локализации игроков, которая основана на корреляции со средней моделью формы человека. Кроме того, вероятность движения основана на расстоянии от положения, прогнозируемого с помощью рекурсивного блока оценки, работающего по принципу наименьших квадратов, используя параметры исходного положения, скорости и ускорения.

Формирование масок игроков иллюстрируется на фиг.3А. На фиг.3А показан вид 210 камеры футбольной площадки 30, генерируемый видеокамерой 20. Как уже пояснялось выше, футбольная площадка 30 формирует часть модели фонового изображения, в то время как игроки 230, 232, 234, 236, 238, 240 должны формировать часть маски изображения переднего плана, как описано выше. Прямоугольники вокруг игроков представлены пунктирными линиями вокруг каждого игрока.

Таким образом, этапы S30, S40, S45 и S50 выполняют в отношении обработки изображения камеры. После определения маски изображения переднего плана, выполняют отслеживание игроков после того, как вначале выполняют сортировку отслеживания игроков по степени близости к камере на этапе S55. Таким образом, игроков, которые идентифицированы как расположенные ближе всего к камере, обрабатывают первыми для того, чтобы устранить этих игроков из процесса отслеживания. На этапе S60 положения игроков обновляют для обеспечения максимальных вероятностей формы, цвета и движения. На этапе S70 строят маску препятствий, которая исключает уже известные области изображения, которые будут закрыты другими расположенными ближе игроками. Это обеспечивает то, что игроки, полностью или частично закрытые другими игроками, могут быть сопоставлены только с видимыми областями изображения. Маска препятствий улучшает надежность отслеживания, поскольку она уменьшает влияние объединения дорожек (из-за которого по двум дорожкам отслеживают одного и того же игрока после события перекрытия). Особая проблема возникает, когда множество целей выглядят одинаково, поскольку их невозможно (трудно) распознать по цвету. Маска препятствий позволяет назначать пиксели расположенных ближе игроков и исключать их для расположенных дальше игроков, предотвращая сопоставление обеих дорожек с одинаковым набором пикселей и поддерживая, таким образом, их отдельные идентичности.

Затем следует процесс отслеживания каждого игрока путем выделения особенностей, представленных в изображении камеры, и отображения их на трехмерную модель, как показано на фиг.3А и 3В. Таким образом, для соответствующего положения в двумерном изображении, полученном камерой, назначают трехмерное положение для игрока, что обеспечивает максимальные вероятности формы, цвета и движения. В качестве краткого пояснения, выбор и отображение игрока из двумерного изображения на трехмерную модель будет модифицирован в случае детектирования события перекрытия. Для помощи при отображении из двумерного изображения в трехмерную модель на этапе S65, отслеживаемых игроков инициализируют с тем, чтобы пики значений вероятности формы и цвета отображались на наиболее соответствующий выбор игроков. Следует подчеркнуть, что инициализацию, которую выполняют на этапе S65, выполняют только один раз, типично в начале процесса отслеживания. Для хорошей инициализации системы игроки должны быть хорошо разделены. После инициализации любые ошибки при отслеживании игроков исправляются автоматически в соответствии с существующей технологией, в которой не требуется вмешательство вручную.

Для того, чтобы выполнить отслеживание в трехмерной модели на основе положений двумерного изображения, осуществляют преобразование с использованием матрицы Р проекции. Отслеживание требует, чтобы положения в двумерном изображении можно было сопоставить с положениями на трехмерной модели. Такое преобразование осуществляют с помощью матрицы (Р) проекции. Точка в двумерном пространстве соответствует линии в трехмерном пространстве:

Точка в двумерном пространстве соответствует линии в трехмерном пространстве, поскольку третье измерение, которое представляет собой расстояние от камеры, не известно, и поэтому должна выглядеть, соответственно, как линия через трехмерную модель. Высоту объектов (игроков) можно использовать для определения расстояния от камеры. Точку в трехмерном пространстве получают путем выбора точки вдоль линии, которая расположена на фиксированной высоте над известным уровнем от земли (средний рост человека). Матрицу Р проекции получают априори, один раз для каждой камеры перед матчем, с использованием процесса калибровки камеры, в ходе которой физические характеристики игровой площадки, такие как углы 31А, 31В, 31С, 31D игровой площадки 30 используют для определения параметров камеры, что позволяет упростить отображение двумерного положения идентифицированных игроков на трехмерную модель. Это выполняют с помощью известной технологии, в которой используются установленные способы. Что касается физических параметров, матрица Р проекции включает в себя степень оптического увеличения камеры, точку фокусирования, трехмерное положение и трехмерный вектор поворота (куда она направлена).

Алгоритм отслеживания, выполняемый на этапе S60, является масштабируемым и может работать для одной или больше камер, и требует только, чтобы все точки на площадке были видимы, по меньшей мере, для одной камеры (с достаточным разрешением).

В дополнение к установке соответствия цветов и формы, этап S60 включает в себя обработку, в ходе которой движение отслеживаемого игрока также включают для того, чтобы с большей вероятностью правильно идентифицировать каждого из игроков. Таким образом, соответствующее движение игроков между кадрами можно определять как в отношении соответствующего движения, так и направления. Таким образом, относительное движение можно использовать для последующих кадров, для получения области поиска, для идентификации определенного игрока. Кроме того, как показано на фиг.3В, трехмерная модель футбольной площадки может быть дополнена линиями 30.1, 32.1, 34.1, 36.1, 38.1, 240.1, которые расположены относительно графического обозначения положения игроков для отображения относительного направления движения игроков на футбольной площадке.

На этапе S70, после того, как относительное положение игроков будет идентифицировано в трехмерной модели, это положение, соответственно, проецируют обратно на вид двумерного изображения футбольной площадки, и относительную границу проецируют вокруг игрока, идентифицированного по его положению в трехмерной модели. Кроме того, на этапе S70, относительную границу вокруг игрока затем добавляют к маске перекрытия для этого игрока.

На фиг.3В показан вид в плане виртуальной модели 220 футбольной площадки. В технологии, показанной на фиг.3В, игроки 230, 232 и 234 (с левой стороны площадки) были идентифицированы с помощью рабочей станции 10 обработки содержания, как игроки, на которых надеты футбольные майки разного цвета, отличающиеся от игроков 236, 238 и 240 (с правой стороны площадки), что обозначает, что они принадлежат разным командам. Различение игроков, таким образом, позволяет более просто детектировать каждого игрока после события перекрытия, поскольку их можно легко различать друг от друга по цвету их одежды.

Возвращаясь снова к фиг.2, на этапе, S60, положение каждого игрока отслеживают с использованием известных технологий, таких как фильтрация Кальмана, хотя следует понимать, что можно использовать другие соответствующие технологии. Таким образом, отслеживание происходит, как в поле 210 видимости камеры, так и виртуальной модели 220. В описанной технологии прогнозирование скорости осуществляют с помощью рабочей станции 10 обработки содержания, используя положения игроков в виртуальной модели 220, с тем чтобы облегчить отслеживание каждого игрока в поле 210 видимости камеры.

Этапы S60 и S70 повторяют до тех пор, пока все игроки на поле не будут обработаны, как представлено ромбом S75 принятия решения. Таким образом, если не все игроки были обработаны, затем обработка переходит на этап S60, тогда как, если обработка была закончена, она прекращается на этапе S80.

Как показано на фиг.2, иллюстрируемый способ включает в себя дополнительный этап S85, который может потребоваться, если изображения формируют более чем одной камерой. При этом этапы S30-S80 обработки могут быть выполнены для видеоизображений от каждой камеры. При этом каждый из игроков будет обработан с вероятностью детектирования каждой камеры. Поэтому, в соответствии с этапом S85, положение каждого из игроков оценивают в соответствии с вероятностью для каждого игрока для каждой камеры, и положение игрока оценивают по наибольшей из вероятностей, обеспечиваемой каждой камерой, так, чтобы положение с наибольшей вероятностью для каждого игрока было идентифицировано как положение для этого игрока.

Если определяют, что возникла ошибка при отслеживании игроков на футбольной площадке, тогда дорожка для каждого игрока может быть повторно инициализирована на этапе S90. Детектирование ошибки при отслеживании выполняют, когда вероятность детектирования определенного игрока относительно низка для определенной дорожки и, в соответствии с этим, дорожку повторно инициализируют.

Результат выполнения способа, представленного на фиг.2, состоит в том, чтобы сгенерировать данные пути для каждого игрока, которые представляют положение игрока на каждом кадре видеоизображения, которое представляет путь этого игрока в ходе всего матча. Таким образом, данные пути представляют положение относительно времени.

На фиг.4А, 5А, 5С и 6А представлены примерные иллюстрации кадров примерных видеоизображений футбольного матча, в котором использовали настоящую технологию для отслеживания игроков и сформировали трехмерную модель футбольного матча как виртуальную модель. Для того, чтобы украсить описание и помочь в понимании, на фиг.4В, 5В, 5D и 6В представлены, соответственно, линейные изображения, соответствующие фигурам 4А, 5А, 5С и 6А. Линейные изображения эквивалентны и технически идентичны иллюстрируемым кадрам. Они были включены для помощи в понимании, если при последующем копировании заявки иллюстрации, представленные на фиг.4А, 5А, 5С и 6А, станут нечеткими. На фиг.4А представлена примерная иллюстрация видеоизображения футбольного матча, полученного одной камерой высокой четкости. На фиг.5А представлена иллюстрация видеоизображения фиг.4А, на которой изображение было обработано для получения только фонового изображения, используя средние значения каждого пикселя, и на фиг.5С представлена иллюстрация видеоизображения фиг.4А, на которой изображение было обработано для получения фонового изображения только с использованием дисперсии каждого пикселя в изображении. На соответствующих линейных чертежах, показанных на фиг.5D, можно видеть, что зрители формируют наибольшую дисперсию фонового изображения (показанную точками на фиг.5D). На фиг.6А представлена иллюстрация результата отслеживания, в результате которого получают ограниченный прямоугольник вокруг каждого игрока в соответствии примером, показанным на фиг.3А.

На фиг.7А представлена соответствующая иллюстрация, в которой использовали две камеры (такие как камеры 22.1, 22.2), для генерирования видеоизображений, каждое из которых расположено соответственно, для просмотра разной половины площадки. Как на левой, так и на правой половине игроков отслеживают, как представлено с помощью окружающих прямоугольников, которые были наложены на изображение каждого игрока.

В нижней половине фиг.7А сгенерирована виртуальная модель футбольного матча для представления положения игроков, пронумерованных в соответствии с их положением на площадке, в том виде, как они просматриваются камерами на двумерных видеоизображениях в верхней половине фиг.7А. Таким образом, вид трехмерный модели футбольного матча соответствует иллюстрации виртуальной модели, показанной на фиг.3В. И снова, для того, чтобы украсить описание и улучшить понимание, линейное изображение, соответствующее фиг.7А, представлено на фиг.7В. Это линейное изображение эквивалентно и технически идентично иллюстративным кадрам и было включено для помощи в понимании, если при последующем копировании заявки иллюстрация на фиг.7А станет нечеткой.

В соответствии с настоящей технологией, информация отслеживания, которую генерируют в отношении трехмерной модели по двумерному изображению футбольного матча, как описано выше, может быть добавлена к видеоизображениям, снятым видеокамерой. Такой пример показан на фиг.8. Как показано на фиг.3В, трехмерная модель футбольной площадки используется с тем, чтобы помочь при отслеживании и детектировании игроков на футбольной площадке. После того, как относительное положение игроков будет детектировано по трехмерной модели, маску для этого игрока затем проецируют на двумерное изображение и используют с тем, чтобы помочь при детектировании и отслеживании игроков на двумерном изображении. Однако, после того, как положение игрока будет идентифицировано с относительно высокой вероятностью, положение этого игрока на двумерном видеоизображении камеры становится известным. В соответствии с этим, график, иллюстрирующий идентичность этого игрока, оценка которой была получена алгоритмом отслеживания, может быть наложен на реальное видеоизображение, поступающее из камеры, с помощью рабочей станции 10 обработки содержания. Таким образом, как показано на фиг.8, для каждого из игроков 300, 302, 304, 306 предусматривается соответствующая этикетка 308, 310, 312, 314, которую затем используют для того, чтобы следить за этим игроком на площадке, чтобы отслеживать идентичность этого игрока.

Также в виде изображения, на фиг.8, показаны два набора выделенных изображений 320, 322. Каждая из сторон на футбольной площадке представлена одним из наборов выделенных изображений 320, 322. Каждое изображение представляет собой изолированный участок изображения, предоставленного из камеры 20, который ограничен так, чтобы в максимально возможной степени изолировать данного игрока на футбольной площадке. Таким образом, после идентификации каждого из игроков изображение этого игрока из видеоизображения может быть выделено и может отображаться с другими игроками в каждом из наборов, соответствующих каждой из команд на футбольной площадке. Такое представление выделенных изображений может обеспечить автоматическую изоляцию вида конкретного игрока, без необходимости использования отдельной камеры для отслеживания игрока во время футбольного матча. Таким образом, одну камеру можно использовать для съемки изображения всей футбольной площадки, и каждого из игроков можно отслеживать в ходе матча, как если бы множество камер использовали для отслеживания каждого игрока. В результате, может быть достигнуто существенное уменьшение стоимости и сложности системы.

Как пояснялось выше, со ссылкой на фиг.3А и 3В, при обработке отслеживания каждого из игроков используют трехмерную модель футбольной площадки для того, чтобы помочь при идентификации игроков и их местоположения. После сбора информации, связанной с оценкой положения игроков, и отслеживания этой информации между каждым из кадров видеоизображений (данные пути объекта), становится возможным сформировать виртуальное представление видеоизображений в реальном масштабе времени путем синтеза изображения каждого из игроков и представления этих игроков на трехмерной модели. Кроме того, относительное положение в виде модели или синтезированное положение камеры в пределах виртуального пространства можно регулировать, используя известные технологии, для адаптации относительного вида трехмерной модели футбольной площадки. Таким образом, для каждого из положений игроков относительно времени, которое определяют по виду изображения, формируемого камерой, возможно повторно сформировать виртуальный трехмерный вид этого реально снятого футбольного матча из требуемого положения камеры.

Как представлено в примере, показанном на фиг.9, трехмерная модель была синтезирована путем применения данных пути для каждого игрока в трехмерной модели (как показано на фиг.3В и 8), и игроки были представлены по модели каждого игрока в положении, которое изменяется с течением времени. Кроме того, поскольку вид трехмерной модели может изменяться, относительное положение камеры может изменяться для того, чтобы обеспечить вид матча в положении, где в действительности камера отсутствует. Таким образом, в качестве примера, если был назначен штрафной удар, как показано на фиг.9, относительное положение камеры может быть предусмотрено, из положения позади ворот, для того, чтобы предоставить вид штрафного удара из положения, где в действительности камера отсутствует.

Это достигается, как описано выше, с помощью матрицы Р проекции и отображения относительного положения в трехмерном пространстве положения камеры по углам площадки. Кроме того, после оценки относительной ориентации каждого игрока, как описано выше, затем для относительной ориентации также могут быть предусмотрены данные пути каждого игрока, и синтезированная модель игрока может отображаться с такой ориентацией, которая будет изменяться с течением времени. Таким образом, для ориентации игрока, идентифицированной как часть обработки отслеживания, описанной выше, будут предусмотрены данные пути для генерирования трехмерной модели футбольного матча, и такие данные ориентации используют для изменения ориентации игрока в модели, соответствующей реальному изображению.

Дополнительная технология представлена на фиг.10. Как отмечено выше, возможно синтезировать трехмерную виртуальную модель реального футбольного матча, используя информацию отслеживания (данные пути объекта), генерируемую с использованием алгоритма отслеживания, и применяя синтезированные представления каждого из игроков в комбинации с их относительной ориентацией, как обозначено линиями ориентации на фиг.3В, для того чтобы сгенерировать представление фактически сыгранного реального футбольного матча. В действительности, это представляет собой форму сжатия, поскольку видеоизображения в реальном масштабе времени представляют в виде синтезированной формы в трех измерениях, путем замены отслеживаемого положения игроков на футбольной площадке синтезированными моделями. При этом представление футбольного матча в соответствии с трехмерной виртуальной моделью можно передавать в виде потоковой передачи данных через Интернет в устройства - клиенты. Такая компоновка показана на фиг.10, где рабочая станция 10 обработки содержания принимает данные из хранилища 400 данных, эти данные предоставляют заранее сгенерированные синтезированные представления футбольных игроков. Представления также могут включать в себя информацию, относящуюся к позе, отношению или манере поведения каждого из игроков, для того, чтобы увеличить виртуальное представление футбольного матча. Таким образом, данные пути, полученные в процессе отслеживания, описанном выше, могут быть дополнены и могут включать в себя информацию, относящуюся к позе, отношению или манере поведения игрока, и эту информацию используют для выбора соответствующей синтезированной модели игрока.

После приема синтезированного представления из хранилища 400 данных рабочая станция 10 обработки содержания может генерировать трехмерное виртуальное представление футбольного матча и, в случае необходимости, передавать данные, представляющие трехмерную виртуальную модель, в устройство 410 последующей обработки. Процессор 410 последующей обработки можно использовать для упаковки информации, ассоциированной с трехмерной виртуальной моделью футбольного матча, для ее потоковой передачи в сервер 420 распространения.

На фиг.10 каждый из множества процессоров 422 клиента могут запрашивать определенный вид трехмерной виртуальной модели футбольной площадки путем выбора опций, относящихся к предпочтительной команде или предпочтительному виду определенного игрока, которые затем подают в сервер 420 распределения. Сервер 420 распределения может затем быть выполнен с возможностью потоковой передачи данных, представляющих трехмерную виртуальную модель футбольного матча в соответствии с предпочтительными опциями, предусмотренными терминалами 422 - клиентами. Терминалы 422 - клиенты затем могут воспроизводить свой предпочтительный вид трехмерной виртуальной модели, фактически предоставляя сжатую версию реально снятых видеоизображений, полученных с помощью камеры 20. Таким образом, данные для воссоздания трехмерной модели футбольного матча могут быть переданы в виде потоковой передачи в устройства - клиенты, которые обеспечивают узкополосную версию реального или близкого к реальному футбольного матча. Такие данные могут просто включать в себя данные пути объекта, предоставляющие отслеживание положения каждого игрока относительно времени, и могут включать в себя ориентацию каждого игрока. Трехмерная модель футбольной площадки может быть сгенерирована программным приложением в терминалах - клиентах, которые загружают синтезированные модели игроков и применяют данные пути для формирования трехмерной модели футбольного матча. В качестве альтернативы, трехмерную модель можно использовать для создания компьютерной игры, которая воспроизводит или воссоздает реальный матч.

Варианты воплощения настоящего изобретения, в которых регистрационную запись событий, содержащую ассоциацию между игроком и событием, таким как удар ногой по мячу, будут описаны ниже со ссылкой на фиг.11-14. Для ясности представления следует понимать, что объекты отслеживания не обязательно могут представлять собой игроков в игре, но также могут относиться к судьям, мячу или другим элементам игры или к действительным участникам события, например, в конном спорте или в ходе автогонок. Поэтому термин «игрок» следует рассматривать, как синоним термина участник.

Путем генерирования регистрационной записи событий, данные для восстановления трехмерной модели футбольной площадки, как описано выше, могут быть дополнены данными, относящимися к действиям, выполняемым игроками, улучшая, таким образом, реалистичность модели. Кроме того, данные, сохраненные в регистрационной записи событий, можно использовать для генерирования статистики матча и т.п., для анализа после матча и для помощи при тренировке игроков. Как правило, регистрационную запись событий генерируют, используя воспроизведение после матча видеосъемки самого матча, хотя в некоторых вариантах воплощения, регистрационная запись событий может генерироваться, по существу, в режиме реального времени, как будет описано ниже.

На фиг.11 схематично показано изображение футбольной площадки вместе со списком событий, который позволяет ассоциировать игровое событие с игроком. В частности, на фиг.11 представлено множество игроков (510а, 510b, 510с, 510d, 510e и 510f) на футбольной площадке 30, вместе с футбольным мячом 520. Прямоугольник 530 выбора игрока показан вокруг игрока 510e. Прямоугольник 530 выбора игрока ассоциирован со списком событий, который представляет список возможных событий, которые могут быть ассоциированы с игроком. Например, список 540 событий представляет возможные события, такие как "Вести мяч", "Удар головой", "Удар левой ногой", "Удар правой ногой", "Нарушение правил игры" и "Подножка", хотя следует понимать, что список событий может содержать любое соответствующее событие для ассоциирования с игроком.

В одном варианте воплощения список 540 событий позволяет оператору назначать или ассоциировать событие с игроком для определенного кадра или кадров изображения. Способ, с помощью которого это достигается, будет описан ниже со ссылкой на фиг.12.

На фиг.12 показана блок-схема последовательности операций способа генерирования регистрационной записи событий в соответствии с вариантом воплощения настоящего изобретения.

На этапе s100 рабочая станция 10 обработки содержания отслеживает, в пределах последовательности видеоизображений, особенности изображения, соответствующие игрокам, как описано выше со ссылкой на фиг.1-8. Последовательность видеоизображений может последовательно отображаться и воспроизводиться для оператора, с использованием соответствующего дисплея таким образом, что события могут быть ассоциированы с игроками, когда определенные события происходят во время игры. События могут быть ассоциированы с игроками либо пользователем вручную, который ассоциирует или назначает событие для игрока, автоматически с помощью рабочей станции 10, обрабатывающей, содержание, которая детектирует события и ассоциируют событие с игроком, или с использованием комбинации этих двух подходов.

На этапе s105 выбирают особенность изображения, соответствующую игроку (такому как игрок 510е). В варианте воплощения оператор может выбирать игрока, отмечая особенность изображения, соответствующую игроку, которого он желает выбрать (например, игрока 510е), используя соответствующее устройство ввода пользователя, такое как мышь. Однако следует понимать, что другие соответствующие устройства ввода можно использовать для обеспечения возможности для оператора выбирать особенность изображения, соответствующую игроку.

Рабочая станция 10 обработки содержания затем назначает этого игрока в качестве выбранного игрока и обеспечивает отображение с выделением выбранного игрока (например, игрока 510е), обеспечивая отображение с помощью прямоугольника 530 выбора игрока вокруг изображения выбранного игрока. Оператор может, таким образом, визуально подтверждать, что игрок, которого он отметил, был назначен как выбранный игрок. Однако для специалиста в данной области техники, конечно, будет понятно, что можно использовать другие соответствующие способы выделения выбранного игрока.

В одном варианте воплощения, для выбора игрока, оператор может установить воспроизведение видеоизображений на паузу, когда он замечает, что произошло игровое событие (такое как удар левой или правой ногой), таким образом, что игрока можно ассоциировать с этим событием. В качестве альтернативы, рабочая станция 10 обработки содержания может детектировать возникновение игрового события и может устанавливать на паузу последовательное отображение видеоизображения таким образом, что пользователь можно назначить или ассоциировать событие с игроком. Способ, с помощью которого детектируют возникновение события, будет описан более подробно ниже со ссылкой на фиг.13.

В другом варианте воплощения рабочая станция 10 обработки содержания во время работы выбирает, на этапе s105, особенность изображения, соответствующую игроку, в соответствии с детектированием возникновения события и положением мяча 520 относительно игроков. Это более подробно описано ниже со ссылкой на фиг.13.

Как только игрок был выбран на этапе s105, игровое событие выбирают из списка 540 событий на этапе s110. В варианте воплощения, показанном на фиг.11, рабочая станция 10 обработки содержания обеспечивает отображение списка 540 событий, в ассоциации с прямоугольником 530 выбора игрока. Оператор затем может выбрать соответствующее событие, которое требуется ассоциировать с игроком, из списка 540 событий. Например, игрок 510е, возможно, только что ударил по мячу 520, и, таким образом, оператор может выбрать "Удар левой ногой" из списка 540 событий, как показано с помощью серого выделения. Таким образом, для того, чтобы обеспечивать для оператора возможность быстрого выбора соответствующего события из списка 540 событий, список 540 событий может отображаться, по существу, рядом с прямоугольником 530 выбора игрока, например, на видеоизображении, или рядом с особенностью изображения, соответствующей этому игроку. Это предпочтительно обеспечивает возможность увеличить скорость размещения аннотаций на отснятом материале, например, футбольного матча, с использованием данных событий, поскольку для оператора список событий будет расположен близко к игроку 510е. Однако следует понимать, что список 540 событий может отображаться любым соответствующим образом.

В одном варианте воплощения рабочая станция 10 обработки содержания, во время работы, выбирает событие из списка 540 событий, как будет описано ниже со ссылкой на фиг.13. В этом случае, список 540 событий не требуется отображать. В качестве альтернативы, список 540 событий может отображаться для информирования оператора о том, что событие было детектировано, и какое событие было ассоциировано с каким игроком. Это обеспечивает для оператора возможность изменить выбор, если он считает, что рабочая станция 10 обработки содержания неправильно ассоциировала событие с игроком или что неправильное событие было ассоциировано с этим игроком.

С этой целью оператор может вводить соответствующие входные команды (например, выбирая функцию паузы в графическом интерфейсе пользователя) в рабочую станцию 10 обработки содержания, для обеспечения отображения списка 540 событий таким образом, что оператор получает возможность выбирать игрока и соответствующее событие, как описано выше.

Как только игровое событие будет выбрано на этапе s110 из списка 540 событий, рабочая станция 10 обработки содержания ассоциирует выбранное игровое событие с выбранным игроком для генерирования регистрационной записи событий. Регистрационная запись событий содержит данные, относящиеся к времени, в которое произошло событие, уникальные идентифицирующие данные, которые уникально идентифицируют игрока, ассоциацию между игроком и событием и тип события. Пример регистрационной записи событий представлен ниже.

Время	Идентификатор игрока	Тип события
00:10:35	Игрок 1	Удар левой ногой
00:10:48	Игрок 2	Удар головой
00:11:05	Игрок 1	Удар правой ногой
00:11:07	Игрок 2	Ведение мяча
00:11:26	Игрок 3	Подножка

В примере, представленном выше, время регистрируют от начала матча, хотя следует понимать, что можно использовать любой другой соответствующий способ записи времени, в которое произошло событие. Кроме того, следует понимать, что события не должны ограничиваться игровыми событиями, показанными в списке 540 событий и, что можно использовать другие события, такие как "гол", "пасс", "рывок" или события, соответствующие этому виду спорта, или события, с которыми ассоциирован список событий. Кроме того, если событие не представлено в списке 540 событий, оператор может вручную ввести тип события, используя соответствующий интерфейс пользователя, такой как клавиатуру. Однако это может замедлить аннотацию отснятого материала матча, и поэтому список 540 событий обычно содержит игровые события, которые обычно происходят во время футбольного матча.

Вариант воплощения, в котором детектируют игровое событие с помощью рабочей станции 10 обработки содержания, будет описан ниже со ссылкой на фиг.13.

На фиг.13 показана блок-схема последовательности операций способа детектирования игрового события в соответствии с вариантом воплощения настоящего изобретения. Рабочая станция обработки содержания детектирует возникновение события, путем отслеживания движения мяча 520 и детектирования, когда происходит изменение направления движения мяча 520. Например, если игрок выполняет удар по мячу 520, тогда направление движения мяча 520, например, изменяется с перемещения влево на перемещение вправо, когда его рассматривают с точки обзора камеры 20.

В соответствии с этим, рабочая станция 10 обработки содержания во время работы отслеживает мяч 520 на этапе s200, используя обработку отслеживания, аналогичную описанной выше. Положение мяча используют для генерирования данных движений и данных пути, которые сопоставляют путь мяча 520 в соответствии с временем. Для того чтобы помочь при отслеживании мяча 520, рабочая станция 10 обработки содержания может также использовать видеоизображения, снятые камерой 22.3, для триангуляционного определения положения мяча 520, используя известные технологии. Такой подход является полезным, если мяч 520 находится далеко от камеры 20, что означает, что разрешающая способность камеры 20 вряд ли будет достаточной для детектирования размера мяча и, следовательно, обеспечивается возможность точного расчета расстояния от мяча 520 до камеры 20. Поэтому в варианте воплощения используют стереоскопическую пару камер, таких как камеры 20 и 22.3, для детектирования положения мяча 520, используя известные технологии. Однако следует понимать, что любое другое соответствующее количество камер можно использовать для обеспечения для рабочей станции 10 обработки содержания возможности детектировать положение мяча 520.

На этапе s205 рабочая станция 10 обработки содержания детектирует, изменил ли направление мяч 520, анализируя данные движения для мяча. Если изменение в направлении движения мяча не было детектировано, то обработка возвращается на этап s200, на котором отслеживается положение мяча 520. Однако, если рабочая станция обработки содержания детектирует, что направление движения мяча 520 изменилось, тогда обработка переходит на этап s210.

Как описано выше, обработка отслеживания генерирует векторы движения для мяча 520, которые сопоставляют с различием в положении мяча 520 между последовательными кадрами изображения. Поэтому, в варианте воплощения настоящего изобретения, рабочая станция 10 обработки содержания во время работы детектирует изменение направления движения мяча 520, отображая график направления движения мяча для каждой плоскости координат (например: в виде зависимости горизонтального компонента х от вертикального компонента y (график xy); горизонтального компонента х от компонента z глубины (график xz); и вертикального компонента y от компонента z глубины (график yz)). Однако следует понимать, что другие графики можно использовать и, что другие системы координат, такие как цилиндрические полярные координаты и сферические полярные координаты, соответственно, можно использовать для представления векторов движения.

Для ясности следует понимать, что термины "график" и "отображение на графике" не следует рассматривать, как означающие, что графики также требуется отображать. В настоящем описании эти термины относятся к генерированию значения данных таким образом, чтобы дополнительные манипуляции с данными можно было осуществлять в отмеченных на графиках точках, как описано ниже.

Примерный график xy четырех векторов v ₁, v₂, v₃ и v₄ движения представлен на фиг.14. Рабочая станция 10 обработки содержания во время работы ассоциирует генерируемые векторы движения друг с другом для генерирования данных пути. В примере, показанном на фиг.14, данные пути содержат векторы v₁, v ₂, v₃ и v₄ движения. Рабочая станция 10 обработки содержания, во время работы, может рассчитывать угол между каждым вектором v₁, v₂, v ₃ и v₄ движения и линией, проходящей через начало вектора движения и параллельно оси X, для генерирования углов ₁, ₂, ₃ и ₄. Углы ₁, ₂, ₃ и ₄, таким образом, представляют абсолютные углы относительно фиксированного опорного направления.

Рабочая станция 10 обработки содержания затем сравнивает угол относительно оси Х для этого вектора движения с углом, ассоциированным с предыдущим вектором движения. Изменение направления движения объекта соответствует разности угла между одним вектором движения и следующим вектором движения. Другими словами, направление движения мяча аналогично углу, ассоциированному с вектором движения, как представлено на фиг.14.

Те кадры, на которых происходит изменение направления движения мяча 520, вероятно, содержат игровое событие. Поэтому видеоизображения, которые детектируют как ассоциированные с изменением направления движения мяча 520, детектируют и помечают флагом, с помощью рабочей станции 10 обработки содержания на этапе s210, как содержащее события.

В примере, показанном на фиг.14, угол ₁ равен углу ₂. Поэтому не детектируется изменение направления движения объекта между v₁ и v₂, и, следовательно, кадры, ассоциированные с этими векторами движения, маловероятно, содержат событие. Однако в примере, показанном на фиг.14, ₂ не совпадает с ₃, и поэтому происходит изменение направления движения между v₂ и v₃, которое будет детектировано рабочей станцией 10, и, поэтому кадры, ассоциированные с этими векторами v₂ и v, движения, вероятно, содержат событие.

В некоторых вариантах воплощения каждый кадр, в котором детектируют изменение направления движения мяча 520, помечают флагом, как содержащее события. Однако, если изменение направления относительно мало (например, между v₂ и v₃), возможно, что мяч 520 просто отклонился от игрока или отклонился во время полета или был закручен. Поэтому, в некоторых вариантах воплощения, рабочая станция 10 обработки содержания только тогда детектирует событие, если изменение направления движения мяча 520 (то есть, угол между вектором движения и осью X) больше, чем заданное пороговое значение. В случае необходимости, событие детектируют, если происходит изменение знака абсолютного угла, под которым направлен вектор движения, относительно опорного направления.

Это представлено на фиг.14 с помощью векторов v₃ и v₄ движения. В данном примере отрицательный угол ₄ больше, чем положительный угол ₃ (где положительное значение принимают как отклонение против часовой стрелки от оси X, и отрицательное значение принимают как отклонение по часовой стрелке от оси X), а также углы имеют разные знаки. Поэтому видеоизображения, ассоциированные с векторами v₃ и v₄ движения, будут детектированы рабочей станцией 10, как содержащие события. Рабочая станция 10 затем помечает флагами эти видеоизображения, как содержащие события.

Обработка составления графика и детектирования углов, описанная выше, осуществляется для каждого графика (xy, xz и yz). Рабочая станция детектирует событие, как описано выше, всякий раз, когда происходит изменение направления движения мяча 520, как обозначено на любом одном из трех графиков. В качестве альтернативы, говорят, что событие произошло, только в том случае, если существует корреляция между графиками, например изменение направления движения обозначено, как на графике xy, так и на графике xz.

Следует понимать, что любое соответствующее количество и типы графиков можно использовать для детектирования изменения направления движения мяча 520. Кроме того, следует понимать, что угол, рассчитанный для каждого вектора движения, не обязательно должен представлять абсолютное значение, но может представлять собой относительный угол относительно предыдущего вектора движения, как представлено углами ₁, ₂ и ₃ на фиг.14. Поэтому, в данном примере, изменение направления соответствует относительному углу между двумя последовательными векторами движения, не равному 180°.

Вернемся снова к фиг.13, в варианте воплощения, устройство обработки содержания, также во время работы, автоматически ассоциирует детектируемое игровое событие с игроком. Такая технология относится к тому факту, что игрок, который бьет ногой или бьет головой мяч (то есть, участвует в событии), вероятно, будет представлять собой ближайшего игрока к мячу и, поэтому этого игрока следует ассоциировать с этим событием.

Для достижения этого, как только будут установлены флаги на видеоизображениях, детектированных как содержащие события, рабочая станция 10 обработки содержания, во время работы, детектирует, на этапе s215, относительное расстояние между мячом 520 и каждым из игроков, для генерирования данных расстояния, содержащих значения расстояния для каждого игрока, которые относятся к расстоянию между мячом 520 и соответствующими игроками. Как правило, это выполняется только для тех видеоизображений или кадров, которые были помечены как содержащие события, для уменьшения используемых ресурсов обработки. Однако расстояние между игроками и мячом 520 также может быть рассчитано для каждого видеоизображения, для генерирования регистрационной записи расстояния между игроками и мячом 520 для каждого кадра или изображения.

Затем, на этапе s220, рабочая станция 10 анализирует данные расстояния, для детектирования, кто из игроков находился ближе всего к мячу 520, когда было детектировано игровое событие на этапах s205 и s210. Как правило, данные анализируют для детектирования самого меньшего значения расстояния, и рабочая станция выбирает это значение, как соответствующее ближайшему игроку, хотя следует понимать, что можно использовать другие соответствующие технологии.

На этапе s225, рабочая станция 10 обработки содержания ассоциирует игровое событие для этого кадра с игроком, ассоциированным с самым малым значением расстояния. Эта ассоциация может быть затем сохранена в регистрационной записи событий, как описано выше.

В некоторых вариантах воплощения рабочая станция 10 обработки содержания также может детектировать тип события, путем детектирования относительного положения мяча 520 относительно тела игрока. Например, изменение направления мяча рядом с головой игрока, вероятно, соответствует удару головой, в то время как изменение направления мяча рядом с ногами игрока, вероятно, соответствует удару ногой. Поэтому рабочая станция 10 анализирует видеоизображения, снятые, например, камерами 20 и 22.3, для детектирования относительной высоты мяча 520 относительно игровой площадки 30 и/или игрока, которого детектировали как находящегося ближе всего к мячу, когда произошло событие (как описано выше со ссылкой на этапы s215-s225), используя известные технологии, такие как триангуляция. Как правило, соответствие между относительной высотой мяча 520 относительно игрока и событие, ассоциированное с этой высотой, сохраняют в справочной таблице. Поэтому рабочая станция выбирает соответствующее игровое событие из списка 540 событий в соответствии с детектированным положением мяча 520 относительно игрока, и данными, сохраненными в справочной таблице.

В соответствии с этим, игровые события могут быть ассоциированы с игроками, по существу, в режиме реального времени без вмешательства оператора, что могло бы привести к ненужным задержкам при размещении аннотаций в отснятом материале.

В других вариантах воплощения, когда последовательность видеоизображений представляют для оператора для размещения аннотаций, рабочая станция 10 обработки содержания может устанавливать паузу во время воспроизведения видеоизображений на тех видеоизображениях, которые помечены флагами, как содержащее возникновения игрового события. Рабочая станция 10 затем обеспечивает отображение списка событий, вместе с особенностью изображения, соответствующей игроку, который был детектирован как ассоциированный с этим событием, и/или с прямоугольником 530 выбора игрока. Оператор может затем выбрать соответствующее событие из списка 540 события, как описано выше. И снова это может улучшить скорость, с которой отснятый материал размечают, поскольку оператору не требуется просматривать весь отснятый материал, а всего лишь нужно помечать те кадры, которые рабочая станция 10 обработки содержания пометила флагом.

Кроме того, в случае, когда рабочая станция 10 обработки содержания автоматически ассоциировала определенный тип события с определенным игроком, рабочая станция 10 может устанавливать воспроизведение в режим паузы на видеоизображениях таким образом, что оператор может проверять, что тип события был правильно ассоциирован с этим игроком. В противном случае оператор может выбирать правильного игрока, отмечая, например, особенность изображения, соответствующую этому игроку, и выбирая правильное игровое событие из списка 540 события, как описано выше.

Следует понимать, что описанная выше технология для автоматического детектирования события, типа события и ассоциирования этого события с игроком, в общем, ограничено событиями, в которых игрок входит в контакт с мячом, например, во время блокировки, удара головой, удара ногой и т.п. Однако другие игровые события, такие как нарушение правил или рывок, не обязательно связаны с мячом 520. Поэтому описанные выше технологии выбора вручную события и автоматическое детектирование и/или выбор события могут быть скомбинированы соответствующим образом. Кроме того, следует понимать, что, если список 540 события не содержит требуемое событие, тогда оператор может ввести тип события, используя соответствующее устройство ввода данных, такое как клавиатура, совместно с соответствующим графическим интерфейсом пользователя, таким как диалоговое окно. Кроме того, следует понимать, что этапы, представленные на фиг.13, не обязательно должны выполняться последовательно и, что, например, этапы s215-s225 могут быть выполнены параллельно с этапами s200-s210.

Другие технологии отслеживания мяча 520 также можно использовать, что обеспечивает для оператора возможность устанавливать теги в точках, в которых мяч входит в контакт с игровой площадкой 30 и, предполагая отсутствие закручивания, ветра или других малоразличимых движений, которые могут влиять на мяч, он может помечать верхнюю точку параболы, по которой летит мяч 520, находясь в воздухе. Эти данные можно затем использовать как данные пути для мяча и также их можно ассоциировать с данными в регистрационной записи событий для помощи при трехмерном моделировании матча.

Как можно понимать, различные модификации могут быть выполнены в вариантах воплощения, описанных выше, без выхода за пределы объема настоящего изобретения, который определен в приложенной формуле изобретения. Например, хотя примерные варианты воплощения были представлены со ссылкой на футбольный матч, следует понимать, что любое другое спортивное событие или развлекательное событие, такое как театральное представление, можно просматривать с применением технологий, раскрытых выше. Кроме того, другие процессоры, кроме процессора Cell, можно использовать для выполнения этой технологии. Обработка в соответствии с настоящей технологией может быть воплощена в форме компьютерного программного продукта, содержащего инструкции, выполняемые с помощью процессора, сохраненные на носителе данных, таком как гибкий диск, оптический диск, жесткий диск, ППЗУ, ОЗУ, запоминающее устройство типа флэш или любая комбинация этих или других носителей данных, или может быть передана с использованием сигналов данных по сети, такой как Ethernet, беспроводная сеть, Интернет, или с использованием любой комбинации этих или других сетей.

Хотя иллюстративные варианты воплощения изобретения были подробно описаны здесь со ссылкой на приложенные чертежи, следует понимать, что изобретение не ограничивается этими точными вариантами воплощения, и что различные изменения и модификации могут быть воплощены здесь специалистом в данной области техники, без выхода за пределы объема и сущности изобретения, которые определены в приложенной формуле изобретения.