устройство и способ управления отображением

Формула изобретения

1. Устройство управления отображением, содержащее:

средство кластеризация, выполненное с возможностью определения модели кластеризации и величины характерного признака каждого кадра изображения информационного содержания - объекта воспроизведения, выполнения для каждого кадра изображения информационного содержания кластеризации в любое множество кластеров на основании модели кластеризации и величины характерного признака каждого кадра изображения информационного содержания, и вывода, информации кластеризации, представляющей результат кластеризации;

средство классификации сцены, выполненное с возможностью классификации на основании информации кластеризации, в отношении каждого из упомянутого множества кластеров, кадра изображения информационного содержания, принадлежащего упомянутому кластеру, в сцену, которая представляет собой группу из одного или больше кадров изображения информационного содержания, непрерывных по времени;

средство формирования миниатюрного изображения, выполненное с возможностью формирования миниатюрного изображения упомянутой сцены; и

средство управления отображением, выполненное с возможностью отображения миниатюрного изображения упомянутой сцены в устройстве дисплея, выполненном с возможностью отображения изображения.

2. Устройство управления отображением по п.1, в котором упомянутое средство кластеризации использует модель перехода состояния, включающую в себя состояние и переход состояния, для того, чтобы выполнять для кадра изображения упомянутого информационного содержания кластеризации в кластер, соответствующий упомянутому состоянию.

3. Устройство управления отображением по п.2, в котором упомянутое средство управления отображением генерирует карту модели, которая представляет собой двумерную карту, где состояния расположены так, чтобы состояния, переход состояния которых может взаимно быть выполнен, были расположены рядом друг с другом, и выполняет управление отображением для отображения двумерной карты для размещения и отображения, в положении каждого состояния упомянутой карты модели миниатюрного изображения сцены, включающего в себя кадр изображения информационного содержания, принадлежащий кластеру, соответствующего его состоянию.

4. Устройство управления отображением по п.3, дополнительно содержащее: средство управления, выполненное с возможностью управления воспроизведением упомянутого содержания; в котором упомянутое средство управления отображением отображает кадр изображения информационного содержания - объект воспроизведения, который представляет собой кадр изображения информационного содержания, предназначенный для воспроизведения, в положении состояния, соответствующего кластеру, которому принадлежит упомянутый кадр изображения информационного содержания - объект воспроизведения упомянутой карты модели.

5. Устройство управления отображением по п.4, в котором упомянутое средство управления воспроизводит на основе инструкции, введенной для инструктирования состояния на упомянутой карте модели, упомянутое содержание с кадром изображения информационного содержания, принадлежащим кластеру, соответствующему состоянию, переданному во время упомянутого ввода инструкции, как упомянутый кадр изображения информационного содержания - объект воспроизведения.

6. Устройство управления отображением по п.3, в котором упомянутое средство управления отображением получает расстояние между состояниями от одного состояния в другое состояние упомянутой модели перехода состояния, на основе вероятности перехода состояния для перехода состояния из упомянутого одного состояния в упомянутое другое состояние, получает координаты состояния, которые представляет собой координаты положений упомянутых состояний на упомянутой карте модели таким образом, что разность между евклидовым расстоянием от упомянутого одного состояния в упомянутое другое состояние и упомянутым расстоянием между состояниями мала, и генерирует упомянутую карту модели, в которой упомянутые состояния, которые соответствуют друг другу, располагают в положениях упомянутых координат состояния.

7. Устройство управления отображением по п.6, в котором упомянутое средство управления отображением получает упомянутые координаты состояния для минимизации функции ошибки отображения Сэммона в пропорции к статистической ошибке между упомянутым евклидовым расстоянием и упомянутым расстоянием между состояниями, и выполняет расчет упомянутой функции ошибки путем установки евклидового расстояния от упомянутого одного состояния в упомянутое другое состояние для расстояния, равным упомянутому расстоянию между состояниями от упомянутого одного состояния в упомянутое другое состояние, в случае, когда евклидово расстояние от упомянутого одного состояния до упомянутого другого состояния больше, чем заданное пороговое значение.

8. Устройство управления отображением по п.2, в котором упомянутое средство управления отображением выполняет управление отображением для отображения состояния для размещения и отображения миниатюрного изображения сцены, включающей в себя кадр изображения информационного содержания, принадлежащий соответствующему кластеру в прямоугольной области кластера, получаемой путем разделения на секции экрана отображения упомянутого устройства дисплея в соответствии с кластером, соответствующим состоянию упомянутой модели перехода состояния.

9. Устройство управления отображением по п.8, дополнительно содержащее: средство управления, выполненное с возможностью воспроизведения на основе инструкции, введенной для инструктирования, упомянутой области кластера упомянутого содержания, причем кадр изображения информационного содержания, принадлежащий кластеру, соответствует области кластера, получившей инструкцию в результате ввода упомянутой инструкции, как кадр изображения информационного содержания - объект воспроизведения, который представляет собой кадр изображения информационного содержания, предназначенный для воспроизведения.

10. Устройство управления отображением по п.2, дополнительно содержащее: средство управления, выполненное с возможностью управления воспроизведением упомянутого содержания; в котором упомянутое средство управления отображением выполняет управление отображением при отображении двух областей для отображения миниатюрных изображений сцены, включающей в себя кадр изображения информационного содержания - объект воспроизведения, который представляет собой кадр изображения информационного содержания, предназначенный для воспроизведения, и кадр изображения информационного содержания, принадлежащий кластеру, которому принадлежит упомянутый кадр изображения информационного содержания - объект воспроизведения.

11. Устройство управления отображением по п.10, в котором упомянутое средство управления выполняет воспроизведение на основе инструкции, введенной для инструктирования упомянутого миниатюрного изображения, упомянутого содержания с кадром сцены, представляемого миниатюрным изображением, получившим инструкцию в результате ввода упомянутой инструкции, как упомянутый кадр изображения информационного содержания - объект воспроизведения.

12. Устройство управления отображением по п.2, дополнительно содержащее: средство управления, выполненное с возможностью управления воспроизведением упомянутого содержания; в котором упомянутое средство управления отображением выполняет отображение в 5 областях для отображения кадра изображения информационного содержания - объекта воспроизведения, который предназначен для воспроизведения кадра изображения информационного содержания, миниатюрного изображения сцены, включающей в себя кадр изображения информационного содержания, принадлежащий кластеру, которому принадлежит упомянутый кадр изображения информационного содержания - объект воспроизведения, миниатюрного изображения сцены, включающей в себя кадр изображения информационного содержания, принадлежащий кластеру, которому принадлежит кадр сцены, следующий непосредственно после сцены, включающей в себя упомянутый кадр изображения информационного содержания - объект воспроизведения, миниатюрного изображения сцены, включающей в себя кадр изображения информационного содержания, принадлежащий кластеру, которому принадлежит кадр сцены, следующий непосредственно перед сценой, включающей в себя упомянутый кадр изображения информационного содержания - объект воспроизведения, и миниатюрного изображения всех сцен упомянутого содержания.

13. Устройство управления отображением по п.12, в котором упомянутое средство управления выполняет воспроизведение на основе инструкции, введенной для инструктирования упомянутого миниатюрного изображения, упомянутого содержания с кадром сцены, представляемого миниатюрным изображением, получившим инструкцию в результате ввода упомянутой инструкции, как упомянутый кадр изображения информационного содержания - объект воспроизведения.

14. Устройство управления отображением по п.2, дополнительно содержащее: средство управления, выполненное с возможностью управления воспроизведением упомянутого содержания; в котором упомянутое средство управления отображением выполняет управление отображением при отображении временной последовательности для отображения кадра изображения информационного содержания - объекта воспроизведения, который представляет собой кадр изображения информационного содержания, предназначенный для воспроизведения, и также отображением миниатюрного изображения сцены, включающим в себя упомянутый кадр изображения информационного содержания - объект воспроизведения, миниатюрных изображений одной или больше сцен после сцены, включающей в себя упомянутый кадр изображения информационного содержания - объект воспроизведения, и миниатюрных изображений одной или больше сцен перед сценой, включающей в себя упомянутый кадр изображения информационного содержания - объект воспроизведения, путем их расположения в виде массива во временной последовательности.

15. Устройство управления отображением по п.14, в котором упомянутое средство управления выполняет воспроизведение на основе инструкции, введенной для инструктирования упомянутого миниатюрного изображения, упомянутого содержания с кадром сцены, представляемого миниатюрным изображением, получившим инструкцию в результате ввода упомянутой инструкции, как упомянутый кадр изображения информационного содержания - объект воспроизведения.

16. Устройство управления отображением по п.2, в котором упомянутое средство управления отображением выполняет управление отображением для плоского отображения, для отображения миниатюрных изображений всех сцен упомянутого содержания путем размещения их в виде массива во временной последовательности.

17. Устройство управления отображением по п.16, дополнительно содержащее: средство управления, выполненное с возможностью управления воспроизведением упомянутого содержания; в котором упомянутое средство управления отображением отображает кадр изображения информационного содержания - объект воспроизведения, который представляет собой кадр изображения информационного содержания, предназначенный для воспроизведения в положении миниатюрного изображения сцены, включающей в себя упомянутый кадр изображения информационного содержания - объект воспроизведения.

18. Устройство управления отображением по п.17, в котором упомянутое средство управления выполняет воспроизведение на основе инструкции, введенной для инструктирования упомянутого миниатюрного изображения, упомянутого содержания с кадром сцены, представляемого миниатюрным изображением, получившим инструкцию в результате ввода упомянутой инструкции, как упомянутый кадр изображения информационного содержания - объект воспроизведения.

19. Способ управления отображением, содержащий следующие этапы, выполняемые с устройством управления отображением:

определяют модель кластеризации и величину характерного признака каждого кадра изображения информационного содержания - объекта воспроизведения,

выполняют для каждого кадра изображения информационного содержания кластеризацию в любой из множества кластеров на основании модели кластеризации и величины характерного признака каждого кадра изображения информационного содержания, и

выводят информацию кластеризации, представляющей результат кластеризации;

на основании информации кластеризации разделяют в отношении каждого из упомянутого множества кластеров кадр изображения информационного содержания, принадлежащий упомянутому кластеру, на сцену, которая представляет собой группу из одного или больше кадров изображения информационного содержания, непрерывных по времени;

формируют миниатюрное изображение упомянутой сцены; и

отображают миниатюрное изображение упомянутой сцены в устройстве дисплея для отображения изображения.

20. Носитель записи, содержащий записанную на нем программу, обеспечивающую использование компьютера в качестве:

средства кластеризации, выполненного с возможностью определения модели кластеризации и величины характерного признака каждого кадра изображения информационного содержания - объекта воспроизведения, выполнения для каждого кадра изображения информационного содержания кластеризации в любое множество кластеров на основании модели кластеризации и величины характерного признака каждого кадра изображения информационного содержания, и вывода, информации кластеризации, представляющей результат кластеризации;

средства классификации сцены, выполненного с возможностью разделения на основании информации кластеризации, в отношении каждого из упомянутого множества кластеров, кадра изображения информационного содержания, принадлежащего упомянутому кластеру, на сцену, которая представляет собой группу из одного или больше кадров изображения информационного содержания, непрерывных по времени;

средства формирования миниатюрного изображения, выполненного с возможностью формирования миниатюрного изображения упомянутой сцены; и

средства управления отображением, выполненного с возможностью отображения миниатюрного изображения упомянутой сцены в устройстве дисплея, выполненном с возможностью отображения изображения.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к устройству управления отображением, способу управления отображением и программе, в частности к устройству управления отображением, способу управления отображением и программе, с помощью которых можно легко распознавать, например, общий смысл такого содержания.

Уровень техники

В последние годы, большое количество содержания, то есть, движущихся изображений получило распространение на сайтах Интернета, таких как YouTube и т.д., например, помимо содержания, распределяемого в телевизионных широковещательных передачах. Поэтому, важно разработать технологию, которая позволила бы пользователям легко распознавать общий смысл (что находится в нем) такого содержания, так, чтобы пользователь, который просматривает и слушает содержание, мог определять, стоит ли или нет каждое содержание его просмотра и прослушивания.

Что касается технологии распознавания общего смысла содержания, существует способ отображения миниатюрного изображения содержания.

В качестве способа отображения миниатюрного изображения содержания, например, существует способ детектирования заданного кадра, такого как кадр через каждый фиксированный интервал или тому подобное, изображения содержания, генерирования миниатюрного изображения путем уменьшения этого кадра, и его отображения.

Кроме того, в качестве способа отображения миниатюрного изображения содержания, например, существует способ детектирования переключения между коммерческой и фактической программой (программой, представленной в блоке телевизионных программ в газетах), переключения между человеком или объектом на изображении, или тому подобное при смене сцены, генерирования миниатюрного изображения путем уменьшения кадра, следующего непосредственно после смены его сцены и его отображения (например, см. PTL 1).

Кроме того, что касается способа отображения миниатюрного изображения содержания, существует способ генерирования миниатюрного изображения путем уменьшения изображения, представляющего, с последующим приращением названий, его название (содержания) и его отображения (например, см. PTL 2).

Следует отметить, что в способе отображения миниатюрного изображения кадра через каждый фиксированный интервал изображения содержания можно последовательно отображать аналогичные миниатюрные изображения.

Кроме того, в способе для детектирования при смене сцены и отображении миниатюрного изображения кадра, следующего непосредственно после изменения его сцены, существует потребность подготовки алгоритма для детектирования изменения его сцены для каждого детектируемого изменения сцены.

В частности, например, для детектирования переключения между рекламой и фактической программой, при изменении сцены существует необходимость подготовки алгоритма детектирования изменения сцены с этой целью, и для детектирования переключения между человеком и объектом в изображении, в качестве изменения сцены, также необходимо подготовить алгоритм детектирования изменения сцены.

Кроме того, в способе отображения миниатюрного изображения с последовательным приращением названий, может быть трудно распознать общий смысл содержания только по миниатюрному изображению с последовательным приращением названий.

Список литературы

Патентная литература

PTL 1: Публикация № 2008-312183 находящейся на экспертизе заявки на японский патент

PTL 2: Публикация № 2009-047721 находящейся на экспертизе заявки на японский патент.

Сущность изобретения

Техническая задача

Как описано выше, в качестве способа отображения миниатюрных изображений были предложены различные типы способов, но с учетом дальнейшего увеличения содержания, которое, как ожидается, будет предложено в будущем, существует потребность новом способе отображения миниатюрных изображений.

Настоящее изобретение было разработано с учетом такой ситуации, и обеспечивает новый способ отображения миниатюрных изображений, обеспечивая, таким образом, возможность легко распознавать общий смысл содержания.

Решение задачи

Устройство или программа управления отображением в соответствии с аспектом настоящего изобретения представляет собой устройство или программу управления отображением, обеспечивающие использование компьютера в качестве устройства управления отображением, включающего в себя: средство кластеризации, выполненное с возможностью выполнения для каждого кадра содержания кластеризации в любое множество кластеров; средство классификации сцены, выполненное с возможностью классификации, в отношении каждого из множества кластеров кадра, принадлежащего кластеру, в сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени; средство формирования миниатюрного изображения, выполненное с возможностью формирования миниатюрного изображения сцены; и средство управления отображением, выполненное с возможностью отображения миниатюрного изображения сцены в устройстве дисплея, которое выполнено с возможностью отображения изображения.

Способ управления отображением в соответствии с аспектом настоящего изобретения представляет собой способ управления отображением, включающий в себя следующие этапы, выполняемые в устройстве управления отображением: выполняют для каждого кадра содержания кластеризацию в любой из множества кластеров; разделяют в отношении каждого из множества кластеров кадр, принадлежащий кластеру, на сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени; формируют миниатюрное изображение сцены; и отображают миниатюрное изображение сцены в устройстве дисплея для отображения изображения.

Что касается аспекта настоящего изобретения, каждый кадр содержания подвергают кластеризации в любой из множества кластеров, и в отношении каждого из множества кластеров, кадр, принадлежащий кластеру, классифицируют в сцену, которая представляет собой группу из одного или больше кадров, непрерывных по времени. Затем формируют миниатюрное изображение сцены, и отображают миниатюрное изображение сцены.

Следует отметить, что устройство управления отображением может представлять собой отдельное устройство или может представлять собой внутренний блок, формирующий единое устройство.

Кроме того, может быть предусмотрена программа, передаваемая через среду передачи или записанная на носитель записи.

Предпочтительные эффекты изобретения

В соответствии с аспектом настоящего изобретения может быть легко распознан общий смысл содержания.

Краткое описание чертежей

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства записи, в котором применяется настоящее изобретение.

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации модуля 12 обучения модели содержания.

На фиг.3 показана схема, иллюстрирующая пример НММ.

На фиг.4 показана схема, иллюстрирующая пример НММ.

На фиг.5 показана схема, иллюстрирующая пример НММ.

На фиг.6 показана схема, иллюстрирующая пример НММ.

На фиг.7 показана схема, предназначенная для описания обработки выделения величины характерного признака, выполняемой модулем 22 выделения величины характерного признака.

На фиг.8 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели содержания.

На фиг.9 показана блок-схема, иллюстрирующая пример конфигурации модуля 14, представляющего структуру содержания.

На фиг.10 показана схема, для описания общего смысла в процессе представления структуры содержания.

На фиг.11 показана схема, иллюстрирующая пример карты модели.

На фиг.12 показана схема, иллюстрирующая пример карты модели.

На фиг.13 показана блок-схема последовательности операций, предназначенная для описания обработки представления структуры содержания с помощью модуля 14 представления структуры содержания.

На фиг.14 показана блок-схема, иллюстрирующая пример конфигурации модуля 15 генерирования дайджеста.

На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации модуля 51 обучения детектора кульминационного момента.

На фиг.16 показана схема, предназначенная для описания обработки модуля 65 генерирования метки кульминационного момента.

На фиг.17 показана блок-схема последовательности операций, предназначенная для описания обработки обучения детектора кульминационного момента с помощью модуля 51 обучения детектора кульминационного момента.

На фиг.18 показана блок-схема, иллюстрирующая пример конфигурации модуля 53 детектирования кульминационного момента.

На фиг.19 показана схема, предназначенная для описания примера содержания дайджеста, который генерирует модуль 79 генерирования содержания дайджеста.

На фиг.20 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационного момента модулем 53 детектирования кульминационного момента.

На фиг.21 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационной сцены.

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации модуля 16 генерирования альбома.

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации модуля 101 генерирования исходного альбома.

На фиг.24 показана схема, иллюстрирующая пример интерфейса пользователя для пользователя, который устанавливает состояние карты модели.

На фиг.25 показана блок-схема последовательности операций, для описания обработки генерирования исходного альбома с помощью модуля 101 генерирования исходного альбома.

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации модуля 103 генерирования зарегистрированного альбома.

На фиг.27 показана блок-схема последовательности операций для описания обработки генерирования зарегистрированного альбома с помощью модуля 103 генерирования зарегистрированного альбома.

На фиг.28 показана схема, предназначенная для описания обработки генерирования зарегистрированного альбома.

На фиг.29 показана блок-схема, иллюстрирующая первый пример конфигурации системы сервер-клиент.

На фиг.30 показана блок-схема, иллюстрирующая второй пример конфигурации системы сервер-клиент.

На фиг.31 показана блок-схема, иллюстрирующая третий пример конфигурации системы сервер-клиент.

На фиг.32 показана блок-схема, иллюстрирующая четвертый пример конфигурации системы сервер-клиент.

На фиг.33 показана блок-схема, иллюстрирующая пятый пример конфигурации системы сервер-клиент.

На фиг.34 показана блок-схема, иллюстрирующая шестой пример конфигурации системы сервер-клиент.

На фиг.35 показана блок-схема, иллюстрирующая пример конфигурации другого варианта осуществления устройства записи, в котором применяется настоящее изобретение.

На фиг.36 показана блок-схема, иллюстрирующая пример конфигурации модуля 201 обучения модели содержания.

На фиг.37 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 221 выделения величины характерного признака звука.

На фиг.38 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 221 выделения величины характерного признака звука.

На фиг.39 показана схема, предназначенная для описания обработки выделения величины характерного признака с помощью модуля 224 выделения величины характерного признака объекта.

На фиг.40 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели содержания звука с помощью модуля 201 обучения модели содержания.

На фиг.41 показана блок-схема последовательности операций, предназначенная для описания обработки обучения, модели содержания объекта, с помощью модуля 201 обучения модели содержания.

На фиг.42 показана блок-схема, иллюстрирующая пример конфигурации модуля 204 генерирования дайджеста.

На фиг.43 показана блок-схема, иллюстрирующая пример конфигурации модуля 291 обучения детектора кульминационного момента.

На фиг.44 показана блок-схема последовательности операций, предназначенная для описания обработки обучения детектора кульминационного момента с помощью модуля 291 обучения детектора кульминационного момента.

На фиг.45 показана блок-схема, иллюстрирующая пример конфигурации модуля 293 детектирования кульминационного момента.

На фиг.46 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационного момента, выполняемой модулем 293 детектирования кульминационного момента.

На фиг.47 показана блок-схема, иллюстрирующая пример конфигурации модуля 203 генерирования альбома.

На фиг.48 показана блок-схема, иллюстрирующая пример конфигурации модуля 371 генерирования исходного альбома.

На фиг.49 показана схема, иллюстрирующая пример интерфейса пользователя для пользователя, который устанавливает состояние карты модели.

На фиг.50 показана блок-схема, иллюстрирующая пример конфигурации модуля 373 генерирования зарегистрированного альбома.

На фиг.51 показана блок-схема последовательности операций, для описания обработки генерирования зарегистрированного альбома с помощью модуля 373 генерирования зарегистрированного альбома.

На фиг.52 показана схема для описания обработки генерирования зарегистрированного альбома.

На фиг.53 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления системы дисплея, в которой применяется настоящее изобретение.

На фиг.54 показана блок-схема последовательности операций, предназначенная для описания обработки управления отображением миниатюрных изображений.

На фиг.55 показана блок-схема, иллюстрирующая пример конфигурации модуля 611 кластеризации.

На фиг.56 показана схема, иллюстрирующая пример отображения двумерной (2D) карты.

На фиг.57 показана схема, иллюстрирующая другой пример отображения двумерной карты.

На фиг.58 показана схема, иллюстрирующая еще один другой пример отображения двумерной карты.

На фиг.59 показана схема, иллюстрирующая пример отображения дисплея состояния.

На фиг.60 показана схема, иллюстрирующая другой пример отображения дисплея состояния.

На фиг.61 показана схема, иллюстрирующая пример отображения дисплея с 2 областями.

На фиг.62 показана схема, иллюстрирующая пример отображения дисплея с 5 областями.

На фиг.63 показана схема, иллюстрирующая пример отображения дисплея временной последовательности.

На фиг.64 показана схема, иллюстрирующая пример отображения плоского дисплея.

На фиг.65 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели кластеризации, в случае, когда модель кластеризации представляет собой НММ.

На фиг.66 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации в случае, когда модель кластеризации представляет собой НММ.

На фиг.67 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, когда НММ используется как модель кластеризации.

На фиг.68 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели кластеризации в случае, когда модель кластеризации представляет собой новую векторную квантованную модель.

На фиг.69 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации в случае, когда модель кластеризации представляет собой новую векторную квантованную модель.

На фиг.70 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, в случае, когда новая векторная квантованная модель используется как модель кластеризации.

На фиг.71 показана блок-схема последовательности операций, предназначенная для описания обработки кластеризации, в случае, когда модель кластеризации представляет собой новую GMM.

На фиг.72 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию, в случае, когда новая GMM используется как модель кластеризации.

На фиг.73 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления компьютера, в котором применяется настоящее изобретение.

Подробное описание изобретения

<Устройство обработки информации для кульминационных сцен>

Вначале будет представлено описание в отношении устройства обработки информации для кульминационных сцен, которое обеспечивает получение дайджеста, в котором сцены, в отношении которых у пользователя есть интерес, собраны как кульминационные сцены, которые можно легко получить.

Например, что касается технологии детектирования кульминационной сцены, для детектирования кульминационной сцены из содержания, такого как кинофильм, телевизионная широковещательная программа или тому подобное, существует технология, использующая преимущества опыта и знаний эксперта (дизайнера), технология, в которой используется преимущества статистического обучения, в котором используются обучающие выборки, и т.д.

В технологии, в которой используются преимущества опыта и знаний эксперта, детектор для детектирования события, которое происходит в кульминационной сцене, и детектор для детектирования сцены, определенной по ее событию (сцена, в которой происходит событие) разрабатывают на основе опыта и знаний эксперта. Кульминационный момент сцены, таким образом, детектируют, используя эти детекторы.

В технологии, в которой используются преимущества статистического обучения, при котором используется обучающая выборка, требуется детектор для детектирования кульминационной сцены (детектор кульминационного момента) и детектор для детектирования события, которое происходит в кульминационной сцене (детектор события), который использует обучающую выборку. Кульминационный момент сцены, таким образом, детектируют, используя эти детекторы.

Кроме того, в технологии детектирования кульминационной сцены выделяют величину характерного признака изображения или звука содержания, и детектируют кульминационный момент сцены, используя величину его характерного признака. Что касается величины характерного признака, для детектирования кульминационной сцены, обычно используют величину характерного признака, настроенного индивидуально на жанр содержания, в котором требуется детектировать кульминационный момент сцены.

Например, в технологии детектирования кульминационной сцены Wang и др., и Duan и др., из видеоизображения игры в футбол, выделяют величину многомерного характерного признака для детектирования такого события, как "свисток", "аплодисменты" или тому подобное, с учетом линий на поле для игры в футбол, траектории движения футбольного мяча, движения всего экрана, и MFCC (коэффициенты косинусного преобразования Фурье для частот чистых тонов) звука, и величину характерного признака, комбинируемую на этой основе, используют для выполнения детектирования игровой сцены в футболе, такой как "наступательная игра", "нарушение правил" и т.д.

Кроме того, например, Wang и др. предложили технологию детектирования кульминационной сцены, в которой сортировщик типа изображения, в котором используется величина характерного признака по гистограмме цветов, идентификатор места расположения игры, в котором используется детектор линии, детектор символа повторного изображения, детектор степени волнения спортивного комментатора, детектор свистка и т.д. разрабатывают по видеоизображению игры в футбол, временную взаимосвязь между ними подвергают моделированию, используя байесовскую сеть, составляя, таким образом, детектор кульминационного момента для игры в футбол.

Что касается технологии детектирования кульминационной сцены, в дополнение, например, к Публикации № 2008-185626 находящейся на экспертизе заявки на японский на патент (ниже также называется PTL 1), была предложена технология, в которой используется величина характерного признака, для представлений нарастания звука (подбадривания), используемая для детектирования кульминационной сцены содержания.

В описанных выше технологиях детектирования кульминационной сцены, кульминационная сцена (или событие) может быть детектирована в отношении содержания, принадлежащего определенному жанру, но при этом трудно детектировать соответствующую сцену, как кульминационную сцену в отношении содержания, принадлежащего другим жанрам.

В частности, например, в технологии детектирования кульминационной сцены в соответствии с PTL 1, кульминационную сцену детектируют в соответствии с правилом, состоящим в том, что сцена, включающая в себя одобрительные возгласы, представляет собой кульминационную сцену, но жанры содержания, в которых сцена, включающая в себя одобрительные возгласы, представляет собой кульминационную сцену, ограничены. Кроме того, в технологии детектирования кульминационной сцены в соответствии с PTL 1, трудно детектировать, как объект, кульминационную сцену с содержанием, принадлежащим жанру, в котором сцена, в которой отсутствуют одобрительные возгласы, представляет собой кульминационную сцену.

В соответствии с этим, для того, чтобы выполнить детектирование кульминационной сцены с содержанием, принадлежащим другому жанру, в отличие от определенного жанра, в качестве объекта, используя технологию детектирования кульминационной сцены в соответствии с PTL 1, необходимо сконструировать величину характерного признака так, чтобы она подходила для этого жанра. Кроме того, конструирование правила для детектирования кульминационной сцены (или определения события), используя ее величину характерного признака, необходимо выполнить на основе опроса эксперта и т.д.

Поэтому, например, в Публикации № 2000-299829 находящейся на экспертизе заявки на японский (ниже также называется PTL 2), был предложен способ, в котором можно использовать величину характерного признака и пороговое значение, по которым детектируют сцену, которую обычно определяют, как кульминационная сцена, и кульминационную сцену детектируют с помощью пороговой обработки, используя величину характерного признака и ее пороговое значение.

Однако в последние годы, содержание стало диверсифицированным, при этом чрезвычайно трудно получить общее правило, например, такое как величина характерного признака, правило пороговой обработки и т.д., которое можно было бы использовать для детектирования сцены, пригодной в качестве кульминационной сцены в отношении всех элементов содержания.

В соответствии с этим, для детектирования сцены, пригодной для использования в качестве кульминационной сцены, например, существует потребность в разработке величины характерного признака и правил для детектирования кульминационной сцены для каждого жанра или тому подобное, адаптированной к ее жанру. Однако даже если бы такое правило было разработано, будет трудно детектировать то, что можно назвать кульминационной сценой - исключением, которая не следует этому правилу.

Что касается, например, содержания, такого как спортивная игра, например, сцены гола при игре в футбол, правило детектирования сцены, обычно называемой кульминационной сценой, может быть разработано с высокой точностью, используя знание эксперта.

Однако предпочтения пользователя в значительной степени изменяется от одного пользователя к другому. В частности, например, существуют отдельные пользователи, которые предпочитают "сцену, в которой тренер, управляющий игрой, сидит на скамейке", "сцену pickoff (бросок с помехой) в первую базу в бейсболе", "сцену вопроса и ответа программы викторины", и т.д., соответственно. В этом случае, не реально индивидуально настроить правило, адаптированное для предпочтений каждого из этих пользователей и внедрить их в систему детектирования, такую как AV (аудио- визуальное) устройство, для детектирования кульминационной сцены.

С другой стороны, вместо просмотра и прослушивания пользователем дайджеста, в котором собраны кульминационные сцены, детектированные в соответствии с фиксированным правилом, встроенным в систему детектирования, система детектирования изучает предпочтение каждого из пользователей, детектирует сцену, соответствующую его предпочтению (сцену, в которой пользователь заинтересован), в качестве кульминационной сцены, и предоставляет дайджест, в котором собраны такие кульминационные сцены, реализуя, таким образом, "персонализацию", в том виде, как она есть, при просмотре и прослушивании содержания, и расширение способов насладиться содержанием.

Устройство обработки информации, предназначенное для кульминационных сцен, было разработано с учетом такой ситуации, и позволяет пользователю легко получать дайджест, в котором собраны сцены, в которых заинтересован пользователь.

Во-первых, устройство обработки информации для кульминационных сцен представляет собой устройство обработки информации, включающее в себя:

средство выделения величины характерного признака, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, используемое для обучения детектора кульминации, который представляет собой модель детектирования сцены, в которой пользователь заинтересован, как кульминационной сцены;

средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки того, какая модель содержания, которая представляет собой модель вероятности перехода состояния, после упомянутого обучения, полученного путем выделения величины характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, используемое для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, и это состояние может продолжаться, и вероятностью наблюдения, что заданная величина наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величины характерного признака содержания, для обучения, при этом последовательность состояний максимальной вероятности, представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться для детектора, изучающего интерес;

средство генерирования метки кульминационного момента, выполненное с возможностью генерирования последовательности меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминации, представляющую, соответствует или нет сцена кульминационного момента операциям пользователя; и

средство обучения детектора кульминационного момента, выполненное с возможностью обучения детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, используя последовательность меток для обучения, которая является парой последовательности состояний максимальной вероятности, полученной из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента.

Во-вторых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство детектирования кульминационного момента, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектирования кульминационного момента, представляющего интерес, который представляет собой содержание, из которого должна быть детектирована кульминационная сцена,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания для детектирования кульминационного момента, представляющего интерес, будет наблюдаться в модели содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться последовательность меток для детектирования, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектирования кульминационного момента, представляющего интерес, в детекторе кульминационного момента, и последовательности меток кульминационного момента для метки кульминационного момента, представляющей, что она является кульминационной сценой или другой, чем кульминационная сцена,

для детектирования кадра кульминационной сцены из содержания для детектирования кульминационного момента, представляющего интерес, на основе вероятности наблюдения метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента, которая представляет собой последовательность состояний максимальной вероятности, полученную из последовательности меток для детектирования, и

для генерирования содержания дайджеста, который представляет собой дайджест содержания для детектирования кульминационного момента, представляющего интерес, используя кадр кульминационной сцены.

В-третьих, устройство обработки информации для кульминационных сцен представляет собой второе устройство обработки информации для кульминационных сцен, в котором в случае, когда для состояния в заданный момент времени последовательности состояний отношения кульминационного момента, разность между вероятностью наблюдения метки кульминационного момента, представляющей, что она является кульминационной сценой, и вероятностью наблюдения метки кульминационного момента, представляющей что она является другой, кроме кульминационной сцены, больше, чем заданное пороговое значение, средство детектирования кульминационного момента детектируют кадр содержания для детектирования кульминационного момента, представляющего интерес, в соответствии с состоянием в заданной точке времени, как кадр кульминационной сцены.

В-четвертых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания, среди состояний последовательности состояний максимальной вероятности кадра, соответствующего состоянию, которое соответствует состоянию, переданному по инструкции пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, в котором зарегистрирована кульминационная сцена.

В-пятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство расчета расстояния между состояниями, выполненное с возможностью получения расстояния между состояниями от одного состояния до другого состояния в модели содержания на основе вероятности перехода из одного состояния в другое состояние;

средство расчета координат, выполненное с возможностью получения, таким образом, уменьшенной разности между евклидовым расстоянием от одного состояния до другого состояния и расстоянием между состояниями на карте модели, которая представляет собой двумерную или трехмерную карту, где расположено состояние модели содержания, причем координаты состояния представляют собой координаты положения состояния на карте модели; и

средство управления отображением, выполненное с возможностью выполнения управления отображением для отображения карты модели, где состояния, которые соответствуют друг другу, расположены в положениях координат состояния.

В-шестых, устройство обработки информации для кульминационных сцен представляет собой пятое устройство обработки информации для кульминационных сцен, в котором средство расчета координат получает координаты состояния для сведения к минимуму функции ошибки отображения Сэммона в пропорции к статистической ошибке между евклидовым расстоянием и расстоянием между состояниями, и в случае, когда евклидово расстояние от одного состояния до другого состояния больше, чем заданное пороговое значение, устанавливает евклидово расстояние от одного состояния до другого состояния, как расстояние, равное расстоянию между состояниями от одного состояния до другого состояния, и выполняет расчет функции ошибки.

В-седьмых, устройство обработки информации для кульминационных сцен представляет собой пятое устройство обработки информации для кульминационных сцен, дополнительно, включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания среди состояний последовательности состояний максимальной вероятности кадра, соответствующего состоянию, которое соответствует состоянию на карте модели, по инструкции пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, в котором зарегистрирована кульминационная сцена.

В-восьмых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем разделения кадра на подобласти, которые представляют собой множество малых областей, выделения величины характерного признака каждого в каждой из множества подобластей, и комбинирования величины характерного признака для каждой из множества подобластей.

В-девятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем комбинирования среднего значения и дисперсии энергии, частоты пересечения нуля или центра тяжести спектра звука в пределах заданного времени, соответствующего кадру.

В-десятых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем детектирования области отображения объекта в пределах кадра, при разделении кадра на подобласти, которые представляют собой множество малых областей, выделения процента количества пикселей области отображения объекта в подобласти, как количество пикселей в каждой из множества подобластей, как величину характерного признака, и комбинирования величины характерного признака для каждой из множества подобластей.

В-одиннадцатых, устройство обработки информации для кульминационных сцен представляет собой первое устройство обработки информации для кульминационных сцен, дополнительно, включающее в себя:

средство обучения модели содержания, выполненное с возможностью генерирования модели содержания путем выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания, для обучения.

В-двенадцатых, способ обработки информации устройства обработки информации для кульминационных сцен представляет собой способ обработки информации, включающий в себя, в устройстве обработки информации:

этап выделения величины характерного признака, предназначенный для выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, предназначенное для использования для обучения детектора кульминационного момента, который представляет собой модель для детектирования сцены, в которой заинтересован пользователь, как кульминационной сцены;

этап оценки последовательности состояний максимальной вероятности, предназначенный для оценки с помощью модели содержания, которая представляет собой модель вероятности перехода состояния после упомянутого обучения, полученного в результате выделения величины характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, предназначенное для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятностью наблюдения, что заданное значение наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания для обучения, последовательность состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания для детектора, изучающего интерес;

этап генерирования метки кульминационного момента, предназначенный для генерирования последовательности меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминационного момента, представляющую, соответствует или нет кульминационная сцена операциям пользователя; и

этап обучения детектора кульминационного момента, предназначенный для выполнения обучения детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, использующую последовательность меток для обучения, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента.

В-тринадцатых, программа записанной на носителе записи обеспечивает использование компьютера в качестве устройства обработки информации для кульминационных сцен, включающая в себя:

средство выделения величины характерного признака, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, предназначенное для использования для обучения детектора кульминационного момента, который представляет собой модель, для детектирования сцены, в которой заинтересован пользователь, как кульминационной сцены;

средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки с помощью модели содержания, которая представляет собой модель вероятности перехода состояния после упомянутого обучения, полученного в результате выделения величины характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, предназначенное для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятностью наблюдения, что заданное значение наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания для обучения, последовательность состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания для обучения детектора, изучающего интерес;

средство генерирования метки кульминационного момента, выполненное с возможностью генерировать последовательность меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминационного момента, представляющую, соответствует или нет кульминационная сцена операциям пользователя; и

средство обучения детектора кульминационного момента, выполненное с возможностью выполнения обучения детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, использующую последовательность меток для обучения, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента.

В-четырнадцатых, устройство обработки информации для кульминационных сцен представляет собой устройство обработки информации, включающее в себя:

средство получения, выполненное с возможностью получения, с моделью содержания, которая представляет собой модель вероятности перехода состояния после упомянутого обучения, полученного в результате выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, предназначенное для использования для обучения детектора кульминационного момента, который представляет собой модель для детектирования сцены, представляющей интерес для пользователя, в качестве кульминационной сцены, выделения величины характерного признака каждого кадра изображения содержания для обучения, то есть, содержания, предназначенного для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятностью наблюдения, что заданное значение наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания для обучения, детектора кульминационного момента путем оценки последовательности состояний максимальной вероятности, то есть, последовательности состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания для детектора, изучающего интерес, генерируя последовательность меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминационного момента, представляющую, соответствует или нет кульминационная сцена операциям пользователя, и выполняя обучение детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, используя последовательность меток для обучения, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента;

средство выделения величины характерного признака, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектирования кульминационного момента, представляющего интерес, который представляет собой содержание, из которого должна быть детектирована кульминационная сцена;

первое средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, того, что величина характерного признака содержания для детектирования кульминационного момента, представляющего интерес, будет наблюдаться в модели содержания;

второе средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования, которая представляет собой пару из последовательности состояния максимальной вероятности, полученную из содержания для детектирования кульминационного момента, представляющего интерес, и последовательности меток кульминационного момента из меток кульминационного момента, представляющих что они являются кульминационной сценой или другой сценой, кроме кульминационной сцены, будет наблюдаться с помощью детектора кульминационного момента;

средство детектирования кульминационной сцены, выполненное с возможностью детектирования кадра кульминационной сцены из содержания для детектирования кульминационного момента, представляющего интерес, на основе вероятности наблюдений метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента, которая представляет собой последовательность состояний максимальной вероятности, полученную из последовательности меток для детектирования; и

средство генерирования содержания дайджеста, выполненное с возможностью генерирования содержания дайджеста, которое представляет собой дайджест содержания для детектирования кульминационного момента, представляющего интерес, используя кадр кульминационной сцены.

В-пятнадцатых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, в котором, в случае, когда разность между вероятностью наблюдения метки кульминационного момента, представляющей, что она является кульминационной сценой, и вероятностью наблюдения метки кульминационного момента, представляющей, что она является другой сценой, кроме кульминационной сцены, в состоянии в заданный момент времени последовательности состояний отношения кульминационного момента, будет больше, чем заданное пороговое значение, средство детектирования кульминационной сцены детектируют кадр содержания для детектирования кульминационного момента, представляющего интерес, соответствующего состоянию в заданный момент времени, как кадр кульминационной сцены.

В-шестнадцатых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания среди состояний последовательности состояний максимальной вероятности, кадра, соответствующего состоянию, которое соответствует состоянию, полученному как инструкция от пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, по которому зарегистрирована кульминационная сцена.

В-семнадцатых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, дополнительно включающее в себя:

средство расчета расстояния между состояниями, выполненное с возможностью получения расстояния между состояниями от одного состояния до другого состояния модели содержания на основе вероятности перехода состояния от одного состояния в другое состояние;

средство расчета координат, выполненное с возможностью получения координат состояния, которые представляют собой координаты положений состояния на карте модели для уменьшения ошибки между евклидовым расстоянием от одного состояния до другого состояния, и расстоянием между состояниями на карте модели, которая представляет собой двумерную или трехмерную карту, где расположено состояние модели содержаний; и

средство управления отображением, выполненное с возможностью выполнения управления отображением для отображения карты модели, где состояния, которые соответствуют друг другу, расположены в положениях координат состояния.

В-восемнадцатых, устройство обработки информации для кульминационных сцен представляет собой семнадцатое устройство обработки информации для кульминационных сцен, в котором средство расчета координат выполнено с возможностью получения координаты состояний для сведения к минимуму функции ошибки отображения Сэммона в пропорции к статистической ошибке между евклидовым расстоянием и расстоянием между состояниями, и в случае, когда евклидово расстояние от одного состояния до другого одного состояния больше, чем заданное пороговое значение, устанавливает евклидово расстояние от одного состояния до другого одного состояния, как расстояние, равное расстоянию между состояниями от одного состояния до другого состояния, и выполняет расчет функции ошибки.

В-девятнадцатых, устройство обработки информации для кульминационных сцен представляет собой семнадцатое устройство обработки информации для кульминационных сцен, дополнительно, включающее в себя:

средство генерирования альбома, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания,

для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания будет наблюдаться в модели содержания,

для выделения из содержания среди состояний последовательности состояний максимальной вероятности кадра, соответствующего состоянию, которое соответствует состоянию на карте модели, по инструкции пользователя, и

для регистрации кадра, выделенного из содержания, в альбоме, в котором зарегистрирована кульминационная сцена.

В-двадцатых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем разделения кадра на подобласти, которые представляют собой множество малых областей, выделения величины характерного признака каждой из множества подобластей, и комбинирования величины характерного признака для каждой из множества подобластей.

В-двадцать первых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем комбинирования среднего значения и дисперсии энергии, частоты пересечения нуля или центра тяжести спектра звука в течение заданного времени, соответствующего кадру.

В-двадцать вторых, устройство обработки информации для кульминационных сцен представляет собой четырнадцатое устройство обработки информации для кульминационных сцен, в котором величину характерного признака кадра получают путем детектирования области отображения объекта в пределах кадра, при разделении кадра на подобласти, которые представляют собой множество малых областей, выделения процента количества пикселей области отображения объекта в подобласти, как количество пикселей в каждой из множества подобластей, как величину характерного признака, и комбинирования величины характерного признака для каждой из множества подобластей.

В-двадцать третьих, способ обработки информации устройства обработки информации для кульминационных сцен представляет собой способ обработки информации, включающий в себя устройство обработки информации:

этап получения, выполненный с возможностью получения, с моделью содержания, полученной в результате выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, предназначенное для использования, для обучения детектора кульминационного момента, который представляет собой модель для детектирования сцены, представляющей интерес для пользователя, в качестве кульминационной сцены, выделения величины характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, предназначенное для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятностью наблюдения, что заданное значение наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания, для обучения, детектора кульминационного момента путем оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания для детектора, изучающего интерес, генерируя последовательность меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминационного момента, представляющую, соответствует или нет кульминационная сцена операциям пользователя, и выполняя обучение детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, используя последовательность меток для обучения, которая представляет собой пару из последовательности состояний максимальной вероятности, полученной из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента;

этап выделения величины характерного признака, выполненный с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектирования кульминационного момента, представляющего интерес, который представляет собой содержание, из которого должна быть детектирована кульминационная сцена;

первый этап оценки последовательности состояний максимальной вероятности, предназначенный для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания для детектирования кульминационного момента, представляющего интерес, будет наблюдаться в модели содержания;

второй этап оценки последовательности состояний максимальной вероятности, предназначенный для оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования, которая представляет собой пару из последовательности состояния максимальной вероятности, полученную из содержания для детектирования кульминационного момента, представляющего интерес, и последовательности меток кульминационного момента из меток кульминационного момента, представляющих, что они являются кульминационной сценой или другой сценой, кроме кульминационной сцены, будет наблюдаться с помощью детектора кульминационного момента;

этап детектирования кульминационной сцены, предназначенный для детектирования кадра кульминационной сцены из содержания, для детектирования кульминационного момента, представляющего интерес, на основе вероятности наблюдения метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента, которая представляет собой последовательность состояний максимальной вероятности, полученную из последовательности меток для детектирования; и

этап генерирования содержания дайджеста, предназначенный для генерирования содержания дайджеста, которое представляет собой дайджест содержания для детектирования кульминационного момента, представляющего интерес, используя кадр кульминационной сцены.

В-двадцать четвертых, программа, записанная на носителе записи, обеспечивает использование компьютера в качестве устройства обработки информации для кульминационных сцен, включающая в себя:

средство получения, выполненное с возможностью получения с моделью содержания, которая представляет собой модель вероятности перехода состояния после упомянутого обучения, полученного в результате выделения величины характерного признака каждого кадра изображения содержания для детектора, изучающего интерес, который представляет собой содержание, предназначенное для использования, для обучения детектора кульминационного момента, который представляет собой модель для детектирования сцены, представляющей интерес для пользователя, в качестве кульминационной сцены, выделения величины характерного признака каждого кадра изображения содержания, для обучения, то есть, содержания, предназначенного для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятностью наблюдения, что заданное значение наблюдения будет наблюдаться из этого состояния, и выполнения обучения модели вероятности перехода состояния, используя величину характерного признака содержания для обучения, детектора кульминационного момента путем оценки последовательности состояний максимальной вероятности, то есть последовательности состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания для детектора, изучающего интерес, генерируя последовательность меток кульминационного момента в отношении содержания для детектора, изучающего интерес, путем установки метки для каждого кадра содержания для детектора, изучающего интерес, используя метку кульминационного момента, представляющую, соответствует или нет кульминационная сцена операциям пользователя, и выполняя обучение детектора кульминационного момента, который представляет собой модель вероятности перехода состояния, используя последовательность меток для обучения, которая представляет собой пару из последовательности состояний максимальной вероятности, полученную из содержания для детектора, изучающего интерес, и последовательности меток кульминационного момента;

средство выделения величины характерного признака, выполненное с возможностью выделения величины характерного признака каждого кадра изображения содержания для детектирования кульминационного момента, представляющего интерес, который представляет собой содержание, из которого должна быть детектирована кульминационная сцена;

первое средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, того, что величина характерного признака содержания для детектирования кульминационного момента, представляющего интерес, будет наблюдаться в модели содержания;

второе средство оценки последовательности состояний максимальной вероятности, выполненное с возможностью оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования, которая представляет собой пару из последовательности состояния максимальной вероятности, полученную из содержания для детектирования кульминационного момента, представляющего интерес, и последовательности меток кульминационного момента из меток кульминационного момента, представляющих, что они являются кульминационной сценой или другой сценой, кроме кульминационной сцены, будет наблюдаться с помощью детектора кульминационного момента;

средство детектирования кульминационной сцены, выполненное с возможностью детектирования кадра кульминационной сцены из содержания для детектирования кульминационного момента, представляющего интерес, на основе вероятности наблюдений метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента, которая представляет собой последовательность состояний максимальной вероятности, полученную из последовательности меток для детектирования; и

средство генерирования содержания дайджеста, выполненное с возможностью генерирования содержания дайджеста, которое представляет собой дайджест содержания для детектирования кульминационного момента, представляющего интерес, используя кадр кульминационной сцены.

[Вариант осуществления устройства записи, в котором применяется устройство обработки информации в соответствии с настоящим изобретением]

На фиг.1 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления устройства записи, в котором применяется устройство обработки информации в соответствии с настоящим изобретением.

Устройство записи по фиг.1 представляет собой, например, устройство записи HD (на жестком диске) или тому подобное, и позволяет осуществлять видеозапись (запись) (сохранение) содержания различных типов, такого как телевизионные широковещательные программы, содержания, предоставляемого через сеть, такую как Интернет или тому подобное, содержания, снимаемого видеокамерой или тому подобное, и т.п.

В частности, на фиг.1, устройство записи выполнено из модуля 11 сохранения содержания, модуля 12 обучения модели содержания, модуля 13 содержания модели, модуля 14 представления структуры содержания, модуля 15 генерирования дайджеста и модуля 16 генерирования альбома.

В модуле 11 сохранения содержания содержится (записано) содержание, например, такое как телевизионная широковещательная программа. Накопитель содержания в модуле

11 сохранения содержания 11 составляет запись этого содержания, и записанные видеоданные содержания (содержание, сохраненное в модуле 11 сохранения содержания), воспроизводят, например, в соответствии с операциями пользователя.

Модуль 12 обучения модели содержания выполняет изучение (статистическое изучение) для структурирования содержания, сохраненного в модуле 11 сохранения содержания, самоорганизующимся способом в заданном пространстве величины характерного признака, для получения модели (ниже также называется моделью содержания), представляющей структуру (структуру временного пространства) содержания. Модуль 12 обучения модели содержания подает модель содержания, полученную как результат обучения, в модуль 13 сохранения модели.

Модуль 13 сохранения модели содержит модель содержания, подаваемую из модуля 12 обучения модели содержания.

Модуль 14 представления структуры содержания использует содержание, сохраненное в модуле 11 сохранения содержания, и модель содержания, сохраненную в модуле 13 сохранения модели, для формирования и представления описанной ниже карты модели, представляющей структуру содержания.

В модуле 15 генерирования дайджеста используется модель содержания, содержащаяся в модуле 13 сохранения модели, для детектирования сцены, в которой пользователь заинтересован, из содержания, сохраненного в модуле 11 сохранения содержания, как кульминационной сцены. После этого, модуль 15 генерирования дайджеста генерирует дайджест, в котором собраны кульминационные сцены.

Модуль 16 генерирования альбома использует модель содержания, сохраненную в модуле 13 сохранения модели, для детектирования сцен, в которых заинтересован пользователь, и генерирует альбом, собранный из этих сцен.

Следует отметить, что генерирование дайджеста модулем 15 генерирования дайджеста и генерирование альбома модулем 16 генерирования альбома похоже в том, что в результате детектируют сцену, в которой заинтересован пользователь, но способы (алгоритмы) детектирования их являются разными.

Кроме того, устройство записи по фиг.1 может быть выполнено без предоставления модуля 14 представления структуры содержания, и модуля 16 генерирования альбома и т.д.

В частности, например, когда обученная модель содержания уже была сохранена в модуле 13 сохранения модели, устройство записи может быть выполнено без предоставления модуля 12 обучения модели содержания.

Кроме того, например, что касается модуля 14, представления структуры содержания, модуля 15 генерирования дайджеста и модуля 16 генерирования альбома, устройство записи может быть выполнено путем предоставления только одного или двух блоков из них.

Теперь предположим, что, данные содержания, которое должно быть сохранено в модуле 11 сохранения содержания, включают в себя изображение, звук и необходимые текстовые данные (субтитры) (поток).

Кроме того, теперь предположим, что среди данных содержания только данные изображения используются для обработки обучения модели содержания, и обработки использования модели содержания.

Однако при обработке обучения модели содержания и обработке использования модели содержания данные звука или текстовые данные, кроме данных изображения, также могут использоваться, и в этом случае, может быть улучшена точность обработки.

Кроме того, при обработке обучения модели содержания и при обработке использования модели содержания могут использоваться только данные звука вместо изображений.

[Пример конфигурации модуля 12 обучения модели содержания]

На фиг.2 показана блок-схема, иллюстрирующая пример конфигурации модуля 12 обучения модели содержания по фиг.1.

Модуль 12 обучения модели содержания выделяет величину характерного признака каждого кадра изображения содержания, предназначенного для обучения, то есть, содержания, предназначенного для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, которое может продолжиться, и вероятности наблюдения, что заданное значение наблюдения можно будет наблюдать из этого состояния. Кроме того, модуль 12 обучения модели содержания использует величину характерного признака содержания для выполнения обучения модели вероятности перехода состояния.

В частности, модуль 12 обучения модели содержания выполнен из модуля 21 выбора содержания для обучения, модуля 22 выделения величины характерного признака, модуля 26 сохранения величины характерного признака и модуля 27 обучения.

Модуль 21 выбора содержания для обучения выбирает содержание, предназначенное для использования для обучения модели вероятности перехода состояния из содержания, сохраненного в модуле 11 сохранения содержания, как содержание для обучения, и подает его в модуль 22 выделения величины характерного признака.

Здесь модуль 21 выбора содержания для обучения, выбирает, например, одно или больше содержаний, принадлежащих к заданной категории, среди содержаний, сохраненных в модуле 11 сохранения содержания, как содержание для обучения.

Выражение "содержания, принадлежащие заданной категории", означает, что содержания имеют общую структуру, скрытую в них, например, такую как программы одного жанра, серию программ, программы, передаваемые каждую неделю или каждый день, или другие периодические программы (программы с одинаковым названием), или тому подобное.

То, что можно назвать грубой классификацией, такой как спортивные программы, новостные программы или тому подобное, например, можно использовать как жанр, но то, что можно назвать тонкой классификацией, такие как программы игры в футбол, программы игры в бейсбол, или тому подобное, например, являются предпочтительными.

Кроме того, например, программа игры в футбол также может быть классифицирована на содержание, принадлежащее разным категориям в зависимости от канала (станции широковещательной передачи).

Теперь предположим, что в устройстве записи по фиг.1 уже было установлено, какой вид категории используется, как категория содержания.

Кроме того, категория содержания, сохраненного в модуле 11 сохранения содержания, может быть распознана, например, по метаданным, таким как жанр или название программы, которые передают вместе с программой при телевизионной широковещательной передаче, представляют в информации о программе, которую предоставляет сайт Интернет, и т.д.

Модуль 22 выделения величины характерного признака выполняет обратное мультиплексирование содержания для обучения из модуля 21 выбора содержания для обучения, на данные изображения и аудиоданные, выделяет величину характерного признака каждого кадра изображения, и передает в модуль 26 сохранения величины характерного признака.

В частности, модуль 22 выделения величины характерного признака выполнен из модуля 23 разделения кадра, модуля 24 выделения величины характерного признака, и соединительного модуля 25.

Каждый кадр изображения содержания для обучения из модуля 21 выбора содержания для обучения, подают в модуль 23 разделения кадра во временной последовательности.

Модуль 23 разделения кадра последовательно отбирает кадр содержания для обучения подаваемый во временной последовательности из модуля 21 выбора содержания для обучения, как кадр, представляющий интерес. Затем модуль 23 разделения кадра разделяет кадр, представляющий интерес, на подобласти, которые представляют собой множество малых областей, и подает в модуль 24 выделения величины характерного признака подобласти.

Модуль 24 выделения величины характерного признака подобласти выделяет из каждой подобласти кадра, представляющего интерес, полученного из модуля 23 разделения кадра, величину характерного признака его подобласти (ниже также называется "величиной характерного признака подобласти"), и подает в соединительный модуль 25.

Соединительный модуль 25 объединяет величины характерного признака подобласти для подобластей кадра, представляющего интерес, из модуля 24 выделения величины характерного признака подобласти, и подает объединенный результат в модуль 26 сохранения величины характерного признака, как величину характерного признака кадра, представляющего интерес.

Модуль 26 сохранения величины характерного признака сохраняет величину характерного признака каждого кадра содержания для обучения, подаваемого из (соединительного модуля 25) модуля 22 выделения величины характерного признака, во временной последовательности.

Модуль 27 обучения использует величину характерного признака каждого кадра содержания для обучения, сохраненного в модуле 26 сохранения величины характерного признака, для выполнения обучения модели вероятности перехода состояния. Кроме того, модуль 27 обучения принимает модель вероятности перехода состояния после обучения, как модель содержания, и подает в модуль 13 сохранения модели в виде, скоррелированном с категорией содержания для обучения.

[Модель вероятности перехода состояния]

Далее приведено описание в отношении модели вероятности перехода состояния, которую обучает модуль 27 обучения по фиг.2, со ссылкой на фиг.3-фиг.6.

Что касается модели вероятности перехода состояния, например, можно использовать НММ (скрытую модель Маркова). В случае использования НММ, в качестве модели вероятности перехода состояния, выполняют обучение НММ, например, с помощью способа повторной оценки Баума-Вельха.

На фиг.3 показана схема, иллюстрирующая пример НММ типа слева направо.

Тип НММ слева направо представляет собой НММ, в которой состояния располагают по прямой линии в направлении слева направо, и которая может выполнять самостоятельный переход (переход из определенного ее состояния в состояние), и переход из определенного состояния в состояние, расположенное с правой стороны ее состояния. Тип НММ слева направо используется, например, для распознавания звука или тому подобное.

НММ на фиг.3 состоит из трех состояний s₁, s₂ и s₃, и выполнена с возможностью выполнения самостоятельного перехода, и перехода из определенного состояния в состояние, находящееся в непосредственной близости с права от него, как переход состояния.

Следует отметить, что НММ обусловлена исходной вероятностью _i состояния s₁, вероятностью a _ij перехода состояния и вероятностью b_i(о) наблюдения, что заданная величина о наблюдения будет наблюдаться из состояния s_i.

Здесь исходная вероятность _i представляет собой вероятность того, что состояние s_i представляет собой исходное состояние (первое состояние), и при использовании НММ типа слева направо, исходная вероятность _i состояния s_i с самой левой стороны установлена в 1,0, и исходная вероятность _i другого состояния s_i установлена в 0,0.

Вероятность a_ij перехода состояния представляет собой вероятность того, что переход будет выполнен из состояния s_i в состояние s_j.

Вероятность b_i(о) наблюдения представляет собой вероятность того, что величина о наблюдения будет наблюдаться из состояния s_i во время перехода состояния в состояние s_i . Что касается вероятности bi(o) наблюдения, в случае, когда величина о наблюдения является дискретным значением, применяется значение, используемое как вероятность (дискретное значение), но в случае, когда значение о наблюдения представляет собой непрерывное значение, например, используется функция распределения вероятности. В качестве функции распределения вероятности можно использовать гауссово распределение, определенное по среднему значению (вектору средних значений) и дисперсии (ковариационной матрице), или тому подобное.

На фиг.4 показана схема, иллюстрирующая пример НММ эргодического типа.

НММ эргодического типа представляет собой НММ без ограничений в отношении перехода состояния, то есть, НММ с возможностью перехода состояния из произвольного состояния s_i в произвольное состояние s_j.

НММ на фиг.4 состоит из трех состояний s₁, s₂ и s₃, и ему разрешено выполнять произвольный переход состояния.

НММ эргодического типа представляет собой НММ, в котором проявляется наивысшая гибкость перехода состояния, но когда количество состояний велико, может сходиться на локальном минимуме, в зависимости от исходных значений параметров (исходная вероятность _i, вероятность a_ij перехода состояния, вероятность b_i(o)) наблюдения НММ, которая не позволяет достичь соответствующих параметров.

Поэтому, здесь используется гипотеза, состоящая в том, что "большинство явлений в природе и камера, работающие в программной конфигурации, формирующей видеосодержание, могут быть представлены с разреженным соединением, таким как сеть малого мира", и использовать НММ, в которой переход состояния ограничен разреженной структурой, для обучения в модуле 27 обучения.

Здесь разреженная конфигурация представляет собой не плотный переход состояний, такой как НММ эргодического типа, в результате чего переход состояния из определенного состояния в произвольное состояние может быть выполнен, но конфигурация, в которой состояние, в которой может быть выполнен переход состояния из определенного состояния, чрезвычайно ограничена (структура перехода разреженного состояния).

Теперь предположим, что даже в разреженной структуре существует, по меньшей мере, один переход состояния в другое состояние, и также существует самостоятельный переход.

На фиг.5 показана схема, иллюстрирующая пример НММ, ограниченного двумерным соседством, которая представляет собой НММ, имеющую разреженную структуру.

В НММ, показанной в позиции А на фиг.5 и в позиции В на фиг.5, в дополнение к НММ, имеющим разреженную структуру, наложено ограничение, в соответствии с которым состояния, составляющие НММ, расположены в форме сетки на двумерной плоскости.

Здесь, в НММ, показанной в позиции А на фиг.5, переход состояния в другое состояние ограничен горизонтально соседним состоянием и вертикально соседним состоянием. В НММ, показанной в позиции В на фиг.5, переход состояния в другое состояние ограничен горизонтально соседним состоянием, вертикально соседним состоянием и наклонно соседним состоянием.

На фиг.6 показана схема, иллюстрирующая пример НММ, имеющей другую разреженную структуру, кроме НММ, ограниченной двумерным соседством.

В частности, в позиции А на фиг.6 показан пример НММ в соответствии с ограничениями трехмерной решетки. В позиции В на фиг.6 показан пример НММ в соответствии с ограничениями двумерного случайного перемещения. В позиции С на фиг.6 иллюстрируется пример НММ в соответствии с сетью малого мира.

С помощью модуля 27 обучения на фиг.2 выполняют обучение НММ, имеющей разреженную структуру, показанную на фиг.5 и фиг.6, состоящую, например, из 100 - нескольких сотен состояний, с помощью способа повторной оценки Баума-Вельха, используя величину характерного признака (выделяют из кадров) изображения, содержащегося в модуле 26 сохранения величины характерного признака.

НММ, которая представляет собой модель содержания, полученную в результате обучения в модуле 27 обучения получают в результате обучения, используя только (визуальную) величину характерного признака изображения для содержания, и, соответственно, она может называться визуальной НММ.

Здесь величина характерного признака, содержащаяся в модуле 26 сохранения величины характерного признака, которую используют для обучения НММ, представляет собой вектор, используемый как непрерывное значение, и что касается вероятности b_i(o) наблюдения НММ, используется функция распределения вероятности.

Следует отметить, что НММ описана, например, в "Fundamentals of Speech Recognition (First and Second), NTT ADVANCED TECHNOLOGY CORPORATION" coauthored by Laurence Rabiner and Biing-Hwang Juang, и в заявке № 2008-064993 на японский патент, ранее предложенной настоящим заявителем. Кроме того, использование НММ эргодического типа или НММ, имеющей разреженную структуру, описано, например, в заявке № 2008-064994 на японский патент, ранее предложенной настоящим заявителем.

[Выделение величины характерного признака]

На фиг.7 показана схема для описания обработки выделения величины характерного признака с помощью модуля 22 выделения величины характерного признака по фиг.2.

С помощью модуля 22 выделения величины характерного признака, каждый кадр изображения содержания для обучения по содержанию из модуля 21 выбора содержания для обучения подают в модуль 23 разделения кадра во временной последовательности.

Модуль 23 разделения кадра последовательно отбирает кадр содержания для обучения, подаваемый во временной последовательности из модуля 21 выбора содержания для обучения, как кадр, представляющий интерес, разделяет кадр, представляющий интерес, на множество подобластей R_k, и подает в модуль 24 выделения величины характерного признака подобласти.

Здесь, на фиг.7, кадр, представляющий интерес, в аналогично разделяют на 16 равных подобластей R₁, R₂, , R₁₆, с размещением по горизонтали × вертикали, как 4×4.

Следует отметить, что количество подобластей R_k во время разделения одного кадра на подобласти R_k не ограничено 16 с размещением 4×4. В частности, один кадр может быть разделен, например, на 20 подобластей R_k с размещением 5×4, на 25 подобластей R _k, с размещением 5×5, или тому подобное.

Кроме того, на фиг.7, один кадр делят (равномерно делят) на подобласти R_k, имеющие одинаковый размер, но размеры подобластей могут не быть одинаковыми. В частности, например, может быть принята компоновка, в которой центральный участок кадра разделяют на подобласти, имеющие малый размер, и периферийные участки (участки, расположенные рядом с кадром изображения, и т.д.) кадра разделяют на подобласти, имеющие большой размер.

Модуль 24 выделения величины характерного признака подобласти (фиг.2) выделяет величину f_k=FeatExt(R_k) характерного признака подобласти для каждой подобласти R_k кадра, представляющего интерес, из модуля 23 разделения кадра, и подает в соединительный модуль 25.

В частности, модуль 24 выделения величины характерного признака подобласти использует значения пикселя (например, компоненты RGB, компоненты YUV и т.д.) подобласти R_k для получения глобальной величины характерного признака подобласти R_k в качестве величины f_k характерного признака подобласти.

Здесь описанная выше "глобальная величина характерного признака подобласти R_k" означает величину характерного признака, например, такую как гистограмма, которую рассчитывают аддитивным способом, используя только значения пикселя, без использования информации о положениях пикселей, составляющих подобласть R _k.

Что касается глобальной величины характерного признака, можно использовать, например, величину характерного признака, называемую GIST. Подробно GIST описана, например, в A.Torralba, К.Murphy, W.Freeman, М.Rubin, "Context-based vis_ion system for place and object recognition", IEEE Int. Conf. Computer Vis_ion, vol.1, no.1, pp.273-280, 2003 A.

Следует отметить, что глобальная величина характерного признака не ограничена GIST. В частности, глобальная величина характерного признака должна представлять собой (устойчивую) величину характерного признака, которая является устойчивой в отношении визуального изменения, такого как локальное положение, яркость, точка обзора и т.д. (для поглощения изменения). Примеры такой величины характерного признака включают в себя HLCA (Локальная автокорреляция более высокого порядка), LBP (Локальные двоичные структуры) и гистограмму цветов.

Детали HLCA описаны, например, в N. Otsu, Т. Kurita, "A new scheme for practical flexible and intelligent vis_ion systems", Proc. IAPR Workshop on Computer Vis_ion, pp.431-435, 1988. Детали LBP описаны, например, в Ojala T, Pietikainen M & Maenpaa T, "Multiresolution gray-scale and rotation invariant texture class_ification with Local Binary Patterns", IEEE Transactions on Pattern Analys_i s and Machine Intelligence 24(7): 971-987 ("а" в Pietikainen и Maenpaa, более точно, представляет собой букву, в которой добавлены над "а").

Здесь глобальная величина характерного признака, такая как указаны выше GIST, LBP, HLCA, гистограмма цветов и т.д., имеет тенденцию, состоящую в том, что количество измерений является большим, и также имеет тенденцию того, что корреляция между измерениями высокая.

Поэтому, модуль 24 выделения величины характерного признака в подобласти (фиг.2) может выполнять, после кульминационного момента GIST или тому подобное из подобласти R_k, основной анализ компонента (РСА (основной анализ компонента)), такой, как его GIST или тому подобное. После этого, с помощью модуля 24 выделения величины характерного признака подобласти, количество измерений, таких как GIST или тому подобное, сжимают (ограничивают) так, что накопленная степень вклада становится высоким значением в определенной степени (например, значением, равным или больше, чем 95% или тому подобное), на основе результатов РСА, и результат сжатия может быть принят, как величина характерного признака подобласти.

В этом случае, проекционный вектор, проецируемый в пространстве РСА, где количество измерений, таких как GIST или тому подобное, сжимают, становится результатом сжатия, в котором количество измерений, таких как GIST или тому подобное, сжато.

Соединительный модуль 25 (фиг.2) соединяет величины f₁-f₁₆ характерного признака подобласти для подобласти R₁-R₁₆ кадра, представляющего интерес, из модуля 24 выделения величины характерного признака подобласти, и подает свой объединенный результат в модуль 26 сохранения величины характерного признака, как величину характерного признака кадра, представляющего интерес.

В частности, соединительный модуль 25 генерирует вектор с величинами f ₁-f₁₆ характерного признака подобласти как компоненты, путем соединения величин f₁-f₁₆ характерного признака подобласти из модуля 24 выделения величины характерного признака подобласти, и подает его вектор в модуль 26 сохранения величины характерного признака, как величину F_t характерного признака кадра, представляющего интерес.

Здесь, на фиг.7, кадр (кадр t) в точке времени t представляет собой кадр, представляющий интерес. "Точка времени t" представляет собой точку времени с опорной точкой вначале содержания, в качестве примера, и в настоящем варианте осуществления, кадр в точке времени t означает t-ый кадр от начала содержания.

С помощью модуля 22 выделения величины характерного признака по фиг.2, каждый кадр содержания для обучения последовательно отбирают, начиная от начала, как кадр, представляющий интерес, и величину F_t характерного признака получают, как описано выше. Затем величину F_t характерного признака каждого кадра содержания, для обучения подают и сохраняют из модуля 22 выделения величины характерного признака в модуль 26 сохранения величины характерного признака во временной последовательности (в состоянии, в котором поддерживается временной контекст).

Как описано выше, с помощью модуля 22 выделения величины характерного признака, получают глобальную величину характерного признака подобласти R_k, как величину f_k характерного признака подобласти, и вектор с величиной f_k характерного признака подобласти, как компоненты получают, как величину F _t характерного признака кадра.

В соответствии с этим, величина F_t характерного признака кадра становится устойчивой к локальному изменению (изменение, которое происходит в подобластях), но становится величиной характерного признака, которая является отличительной (свойство для перцептивного распознавания различия) в отношении изменения компоновки структур, используемых как весь кадр.

В соответствии с такой величиной F_t характерного признака, схожесть сцены (содержание) между кадрами может быть соответствующим образом определена. Например, сцена "пляжа" удовлетворяет, пока она включает в себя "небо" с верхней стороны кадра, "море" в середине и "пляж" с нижней стороны экрана, и, соответственно, то, в какой части "пляжа" присутствует человек, в какой части "неба" присутствует облако или тому подобное, не имеет какого-либо значения в отношении того, является или нет данная сцена сценой "пляжа". Величину F_t характерного признака адаптируют для определения схожести сцены (для классификации сцены) с такой точки зрения.

[Обработка обучения модели содержания]

На фиг.8 показана блок-схема последовательности операций для описания обработки (обработки обучения модели содержания), которую выполняет модуль 12 обучения модели содержания по фиг.2.

На этапе S11, модуль 21 выбора содержания для обучения выбирает одно или больше содержаний, принадлежащих заданной категории, среди содержаний, сохраненных в модуле 11 сохранения содержания, как содержания для обучения.

В частности, например, модуль 21 выбора содержания для обучения выбирает произвольное содержание, которое не было выбрано, как содержание для обучения еще среди содержания, сохраненного в модуле 11 сохранения содержания, как содержание для обучения.

Кроме того, модуль 21 выбора содержания для обучения распознают категорию одного содержания, выбранного, как содержание для обучения, и в случае, когда другое содержание, принадлежащее его категории, сохранено в модуле 11 сохранения содержания, дополнительно выбирает его содержание (другое содержание), как содержание для обучения.

Модуль 21 выбора содержания для обучения, подает содержание для обучения в модуль 22 выделения величины характерного признака, и обработка переходит с этапа S11 на этап S12.

На этапе S12, модуль 23 разделения кадра модуля 22 выделения величины характерного признака выбирает один из элементов содержания для обучения, который не был выбран, как содержание для обучения интереса (ниже также называется "содержанием, представляющим интерес") среди содержания для обучения из модуля 21 выбора содержания для обучения, в качестве содержания, представляющего интерес.

После этого, обработка переходит с этапа S12 на этап S13, где модуль 23 разделения кадра выбирает по времени ближайший предшествующий кадр, который не был выбран как кадр, представляющий интерес, среди кадров содержания, представляющего интерес, как кадр, представляющий интерес, и обработка переходит на этап S14.

На этапе S14, модуль 23 разделения кадра разделяет кадр, представляющий интерес, на множество подобластей, и подает в модуль 24 выделения величины характерного признака подобласти, и обработка переходит на этап S15.

На этапе S15, модуль 24 выделения величины характерного признака подобласти выделяет величину характерного признака подобласти каждой из множества подобластей из модуля 23 разделения кадра, и подает в соединительный модуль 25, и обработка переходит на этап S16.

На этапе S16, соединительный модуль 25 генерирует величину характерного признака кадра, представляющего интерес, путем соединения величины характерного признака подобласти каждой из множества подобластей, составляющей кадр, представляющий интерес, из модуля 24 выделения величины характерного признака подобласти, и обработка переходит на этап S17.

На этапе S17 модуль 23 разделения кадра определяет, были или нет выбраны все кадры содержания, представляющего интерес, как кадры, представляющие интерес.

В случае, когда на этапе S17 определяют, что имеются кадры среди кадров содержания, представляющего интерес, которые не были выбраны как кадр, представляющий интерес, обработка возвращается на этап S13, и после этого, та же обработка повторяется.

Кроме того, в случае, когда на этапе S17 определяют, что все кадры содержания, представляющего интерес, были выбраны как кадр, представляющий интерес, обработка переходит на этап S18, где соединительный модуль 25 подает и сохраняет (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, подученного в отношении содержания, представляющего интерес, в модуль 26 сохранения величины характерного признака.

После этого, обработка переходит с этапа S18 на этап S19, где модуль 23 разделения кадра определяет, были или нет выбраны все элементы содержания для обучения из модуля 21 выбора содержания для обучения, в качестве содержания, представляющего интерес.

В случае, когда на этапе S19 определяют, что среди элементов содержания для обучения имеется содержание для обучения, которое не было выбрано как содержание, представляющее интерес, обработка возвращается на этап S12, и после этого, та же обработка повторяется.

Кроме того, в случае, когда этапе S19 определяют, что все содержание для обучения было выбрано, как содержание, представляющее интерес, обработка переходит на этап S20, где модуль 27 обучения использует величину характерного признака содержания для обучения (временную последовательность величины характерного признака каждого кадра), сохраненную в модуле 26 сохранения величины характерного признака, для выполнения обучения НММ.

После этого, модуль 27 обучения выводит (подает) НММ после обучения в модуль 13 сохранения модели, как модель содержания, в виде, скоррелированном с категорией содержания для обучения, и заканчивает обработку обучения модели содержания.

Следует отметить, что обработка обучения модели содержания может быть начата в произвольные моменты времени.

В соответствии с описанной выше обработкой обучения модели содержания, с использованием НММ, структуру содержания (например, конфигурацию, сформированную по конфигурации программы, во время работы оператора и т.д.), скрытую в содержании для обучения, получают самоорганизующимся способом.

В результате этого, каждое состояние НММ, используемой как модель содержания, получаемая при обработке обучения модели содержания, соответствует элементу структуры содержания, получаемого в результате обучения, и переход состояния выражает временный переход между элементами структуры содержания.

Затем состояние модели содержания выражает группу кадров, имеющих близкое пространственное расстояние, и также аналогичный временной контекст в пространстве величины характерного признака (пространство величины характерного признака, выделенное в модуле 22 выделения величины характерного признака (фиг.2)) (то есть, "аналогичные сцены") при коллективном подходе.

Здесь, например, в случае, когда содержание представляет собой программу викторины, приблизительно, поток установок викторины, представление подсказки, ответ исполнителя и объявление правильного ответа используют как основной поток программы, и программа викторины развивается при повторе такого основного потока.

Описанный выше основной поток программы эквивалентен структуре содержания, и каждое из установок викторины, представления подсказки, ответа исполнителя и объявления правильного ответа эквивалентно элементу структуры содержания.

Кроме того, например, переход программы от установки викторины к представлению подсказки, или тому подобное, эквивалентен временному переходу между элементами структуры содержания.

[Пример конфигурации модуля 14 представления структуры содержания]

На фиг.9 показана блок-схема, иллюстрирующая пример конфигурации модуля 14 представления структуры содержания по фиг.1.

Как описано выше, модель содержания получает структуру содержания, скрытую в содержании для обучения, но модуль 14 представления структуры содержания представляет структуру его содержания пользователю визуальным образом.

В частности, модуль 14 представления структуры содержания выполнен из модуля 31 выбора содержания, модуля 32 выбора модели, модуля 33 выделения величины характерного признака, модуля 34 оценки последовательности состояний максимальной вероятности, модуля 35 генерирования информации изображения, обусловленного состоянием, модуля 36 расчета расстояния между состояниями, модуля 37 расчета координат, модуля 38 вычерчивания карты и модуля 39 управления отображением.

Модуль 31 выбора содержания выбирает содержание, среди элементов содержания, сохраненных в модуле 11 сохранения содержания, структура которых должна быть визуализована, как содержание для представления интереса (ниже также просто называется "содержанием, представляющим интерес"), например, в соответствии с операциями пользователя или тому подобное.

После этого, модуль 31 выбора содержания подает содержание, представляющее интерес, в модуль 33 выделения величины характерного признака и в модуль 35 генерирования информации изображения, обусловленного состоянием. Кроме того, модуль 31 выбора содержания распознает категорию содержания, представляющего интерес, и подает в модуль 32 выбора модели.

Модуль 32 выбора модели выбирает модель содержания по категории, соответствующей категории содержания, представляющей интерес (модель содержания, скоррелированная с категорией содержания, представляющего интерес), из модуля 31 выбора содержания, среди моделей содержания, сохраненных в модуле 13 сохранения модели, как модель, представляющую интерес.

После этого модуль 32 выбора модели подает модель, представляющую интерес, в модуль 34 оценки последовательности состояний максимальной вероятности, и в модуль 36 расчета расстояния между состояниями.

Модуль 33 выделения величины характерного признака выделяет величину характерного признака каждого кадра (изображения) содержания, представляющего интерес, подаваемого из модуля 31 выбора содержания, таким же образом, как и в модуле 22 выделения характерного признака по фиг.2, и подает (во временной последовательности) величину характерного признака каждого кадра содержания, представляющего интерес, в модуль 34 оценки последовательности состояний максимальной вероятности.

Модуль 34 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательности состояний, составляющих, так называемый, путь Витерби), который представляет собой последовательность состояний, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величины характерного признака содержания, представляющего интерес из модуля 33 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 32 выбора модели, например, в соответствии с алгоритмом Витерби.

После этого, модуль 34 оценки последовательности состояний максимальной вероятности подает последовательность состояний максимальной вероятности (ниже также называется "последовательностью состояния максимальной вероятности модели, представляющей интерес, соответствующей содержанию, представляющему интерес"), в случае, когда величина характерного признака содержания, представляющего интерес, наблюдается в модели, представляющей интерес, в модуль 35 генерирования информации изображения обусловленного состояния.

Теперь предположим, что состояние точки t во времени с началом последовательности состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес, в качестве опорной точки (t-oe состояние от вершины, составляющее последовательность состояний максимальной вероятности), представлено как s(t), и также количество кадров содержания, представляющего интерес, представлено, как Т.

В этом случае, последовательность состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес, представляет собой последовательность из Т состояний s(1), s(2), , s(T), и его t-oe состояние (состояние в точке времени t) s(t) соответствует кадру в точке времени t (кадр t) содержания, представляющего интерес.

Кроме того, если установить, что общее количество состояний модели, представляющей интерес, представлено как N, состояние s(t) в точке времени t представляет собой одно из N состояний s₁, s₂, , s_N.

Кроме того, к каждому из N состояний s₁, s₂, , s_N прикрепляют ID (идентификацию) состояния, которая представляет собой индекс для определения состояния.

Теперь, если упомянуть, что состояние s(t) в точке времени t последовательности состояний максимальной вероятности модели, представляющей интерес, в качестве содержания, представляющего интерес, представляет собой i-oe состояние, s_i из N состояний s₁-s_N, кадр в точке времени t соответствует состоянию s_i.

В соответствии с этим, каждый кадр содержания, представляющего интерес, соответствует одному из N состояний s₁-s_N.

Сущность последовательности состояний максимальной вероятности модели, представляющей интерес, как содержания, представляющего интерес, представляет собой последовательность ID состояния для одного состояния из N состояний s₁-s_N, соответствующих кадрам в каждой точке t времени содержания, представляющего интерес.

Последовательность состояний максимальной вероятности модели, представляющей интерес, как содержания, представляющего интерес, как описано выше, выражает, какого рода переход состояния для содержания, представляющего интерес, происходит в модели, представляющей интерес.

Модуль 35 генерирования информации изображения, обусловленного состоянием, выбирает кадр, соответствующий тому же состоянию среди содержания, представляющего интерес, из модуля 31 выбора содержания для каждого ID состояния среди состояний, составляющих последовательность состояний максимальной вероятности (последовательность ID состояний) из модуля 34 оценки последовательности состояний максимальной вероятности.

В частности, модуль 35 генерирования информации изображения, обусловленного состоянием, последовательно выбирает N состояний s₁-s_N модели, представляющей интерес, как состояние, представляющее интерес.

Теперь, если упомянуть, что состояние s_i, ID состояния которого представляет собой № i, было выбрано, как состояние, представляющее интерес, модуль 35 генерирования информации изображения, обусловленного состоянием, получает состояние, соответствующее состоянию, представляющему интерес (состояние, в котором ID состояния представляет № i) среди последовательности состояний максимальной вероятности, и сохраняет кадр, соответствующий его состоянию, так, чтобы он был скоррелирован с ID состояния для состояния, представляющего интерес.

После этого модуль 35 генерирования информации изображения, обусловленного состоянием, обрабатывает кадр, скоррелированный с ID состояния, для генерирования информации изображения, соответствующей ее ID состояния (ниже также называется "информацией изображения, обусловленного состоянием"), и подает в модуль 38 вычерчивания карты.

Здесь, что касается информации изображения, обусловленного состоянием, например, можно использовать неподвижные изображения, в которых миниатюрные изображения одного или больше кадров, скоррелированных с ID состояния, расположены в порядке временной последовательности (последовательность изображений), движущихся изображений (кинофильмов), где один или больше кадров, скоррелированных с ID состояния, уменьшают и располагают в порядке временной последовательности, или тому подобное.

Следует отметить, что модуль 35 генерирования информации изображения, обусловленного состоянием, не генерирует (не может генерировать), информацию изображения, обусловленного состоянием, в отношении ID состояния для состояния, которое не появляется в последовательности состояний максимальной вероятности среди ID состояний для N состояний s₁-s _N модели, представляющей интерес.

Модуль 36 расчета расстояния между состояниями получает расстояние d _ij* между состояниями от одного состояния s_i до другого состояния s_j модели, представляющей интерес, из модуля 32 выбора модели, на основе вероятности a_ij перехода состояния из одного состояния s_i в другое состояние s_j. Затем, после получения расстояния d _ij* между состояниями из произвольного состояния s _i в произвольное состояние s_j для N состояний модели, представляющей интерес, модуль 36 расчета расстояния между состояниями подает матрицу с N строками на N столбцов (матрицу расстояния между состояниями) с расстоянием d_ij* между состояниями, как компоненты, в модуль 37 расчета координат.

Теперь предположим, например, случай, когда вероятность a_ij перехода состояния выше, чем заданное пороговое значение (например, (1/N)×10_-2), модуль 36 расчета расстояния между состояниями устанавливает расстояние d_ij между состояниями, например, как 0,1 (малое значение), и в случае, когда вероятность a_ij перехода состояния равна или меньше, чем заданное пороговое значение, и устанавливает расстояние d_ij* между состояниями, например, равным 1,0 (большое значение).

Модуль 37 расчета координат получает координаты y_i состояния, которые представляют собой координаты положения состояния s_i на карте модели так, чтобы уменьшить ошибку между евклидовым расстоянием d _ij из одного состояния s_i до другого состояния s_j на карте модели, которая является двумерной или трехмерной картой, где расположены N состояний s₁-s _N модели, представляющей интерес, и расстояние d_ij * матрицы расстояний между состояниями из модуля 36 расчета расстояния между состояниями.

В частности, модуль 37 расчета координат получает координаты y_i состояния для сведения к минимуму функции Е ошибки отображения Сэммона в пропорции к статистической ошибке между евклидовым расстоянием d_ij и расстоянием d_ij* между состояниями.

Здесь отображение Сэммона представляет собой один из способов многомерного масштабирования, и его детали описаны, например, в публикации J.W.Sammon, JR., "А Nonlinear Mapping for Data Structure Analys_is", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969.

Используя отображение Сэммона, например, получают координаты y_i=(x_i ,y_i) состояния на карте модели, которая представляет собой двумерную карту, для сведения к минимуму функции Е ошибки по Выражению (1).

Выражение 1

Здесь, в Выражении (1), N представляет общее количество состояний модели, представляющей интерес, и i и j представляют собой индексы состояния, которые принимают целочисленное значение в диапазоне от 1 до N (и также используются как ID состояния в настоящем варианте осуществления).

d_ij* представляет собой элемент в i-ой строке в j-ом столбце матрицы расстояния межу состояниями и представляет расстояние между состояниями от состояния s_i до состояния s _j. d_ij представляет евклидово расстояние между координатами (координатами состояний) Y_i для положения состояния S_i и координатами Y_j для положения состояния s_j на карте модели.

Модуль 37 расчета координат получает координаты Y_i (i=1, 2 , N) состояния путем многократного применения способа градиента для сведения к минимуму функции Е ошибки в Выражении (1), и подает в модуль 38 вычерчивания карты.

Модуль 38 вычерчивания карты вычерчивает (график) карту модели, где (изображение) соответствующего состояния s_i расположено в координатах Y_i состояния, из модуля 37 расчета координат. Кроме того, модуль 38 вычерчивания карты вычерчивает сегмент линии, соединяющей состояния карты модели в соответствии с вероятностью перехода состояния между ее состояниями.

Кроме того, модуль 38 вычерчивания карты соединяет состояние s_i на карте модели с информацией изображения, обусловленного состоянием, соответствующей ID состояния для состояния s_i, информации изображения, обусловленного состоянием, полученной из модуля 35 генерирования информации изображения, обусловленного состоянием, и подает в модуль 39 управления отображением.

Модуль 39 управления отображением выполняет управление отображением для отображения карты модели из модуля 38 вычерчивания карты на непоказанном дисплее.

На фиг.10 показана схема для описания общего смысла обработки (обработки представления структуры содержания), которую выполняет модуль 14 представления структуры содержания по фиг.9.

В позиции А на фиг.10 иллюстрируется временная последовательность кадров содержания, выбранных как содержание, представляющее интерес (содержания для представления интереса) в модуле 31 выбора содержания.

В позиции В на фиг.10 иллюстрируется временная последовательность величины характерного признака временной последовательности кадров в позиции А на фиг.10, выделенной в модуле 33 выделения величины характерного признака.

В позиции С на фиг.10 иллюстрируется последовательность состояний максимальной вероятности, где будет наблюдаться временная последовательность величины характерного признака содержания, представляющего интерес в позиции В на фиг.10 (последовательность состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес) в модели, представляющей интерес, оцениваемой в модуле 34 оценки состояния максимальной вероятности.

Здесь последовательность состояний максимальной вероятности модели, представляющей интерес, как содержания, представляющего интерес, по существу, представляет собой, как описано выше, последовательность ID состояний. Затем ID t-ого состояния от начала последовательности состояний максимальной вероятности модели, представляющей интерес, как содержания, представляющего интерес, представляет собой ID состояния для состояния с величиной характерного признака t-ого кадра (в точке времени t) содержания, представляющего интерес, (ID состояния для состояния, соответствующего кадру t) в последовательности состояний максимальной вероятности.

В позиции D на фиг.10 иллюстрируется информация изображения, обусловленного состоянием, которая должна быть сгенерирована модуле 35 генерирования информации изображения, обусловленного состоянием.

В позиции D на фиг.10, в последовательности состояний максимальной вероятности, показанной в позиции С на фиг.10, кадр, соответствующий состоянию, в котором ID состояния равен "1", выбирают, и генерируют кинофильм или последовательность изображений, используемых как информация изображения, обусловленного состоянием, в соответствии с его ID.

На фиг.11 показана схема, иллюстрирующая пример карты модели, вычерчиваемой модулем 38 вычерчивания карты по фиг.9.

В карте модели по фиг.11 эллипс представляет состояние, и сегмент линии, соединяющей эллипсы (пунктирная линия), представляет переход состояния. Кроме того, цифра, предоставленная для эллипса, представляет ID состояния для, состояния представленного его эллипсом.

Модуль 38 вычерчивания карты модели вычерчивает, как описано выше, (график) карты модели, где (эллипс изображения (по фиг.11)) соответствующего состояния s_i расположен в положении координат Y_i, состояния, полученных в модуле 37 расчета координат.

Кроме того, модуль 38 вычерчивания карты вычерчивает сегмент линии, соединяющей состояния на карте модели, в соответствии с вероятностью перехода состояния между их состояниями. В частности, в случае, когда вероятность перехода состояния от состояния s_i в другое состояние s_j на карте модели больше, чем заданный порог, модуль 38 вычерчивания карты, вычерчивает сегмент линии, соединяющий состояние s_i с другим ее состоянием s _j.

Здесь, с помощью карты, модели, состояния и т.д. могут быть вычерчены с логическим выделением.

В частности, на карте модели по фиг.11, состояние s_i вычерчено в виде эллипса (включая в себя круг) или тому подобное, но эллипс или подобное, представляющий это состояние s_i , может быть вычерчен с изменением его радиуса или цвета в соответствии с дисперсией гауссова распределения, используемого как функция распределения вероятности, используемая как вероятность b _j(o) наблюдения его состояния s_i.

Кроме того, сегмент линии, соединяющий состояния карты модели в соответствии с вероятностью перехода состояния между его состояниями, может быть вычерчен с изменением ширины или цвета сегмента линии, в соответствии с величиной вероятности перехода состояния.

Следует отметить, что способ вычерчивания состояния и т.д. с выделением не ограничен вычерчиванием, как описано выше. Кроме того, выделение состояния или тому подобное не обязательно должно быть выполнено.

В частности, с помощью модуля 37 расчета координат по фиг.9, в случае, когда функция Е ошибки в Выражении (1) используется так, как она есть, и координаты Y_i состояния на карте модели получают так, чтобы свести к минимуму функцию Е ошибки, (представляющую эллипсы), состояния располагают в виде круговой структуры на карте модели, как показано на фиг.11.

Далее, в этом случае, состояния концентрируются в непосредственной близости (снаружи) (на внешней кромке) внешней окружности карты модели, что мешает просмотру пользователем мест положения состояний, и, соответственно, может ухудшить видимость.

Поэтому, с помощью модуля 37 расчета координат на фиг.9, координаты Y_i состояния на карте модели могут быть получены для коррекции функции Е ошибки в Выражении (1), для сведения к минимуму функции Е ошибки после коррекции.

В частности, модуль 37 расчета координат определяет, превышает или нет евклидово расстояние d_ij заданный порог THd (например, THd=1,0 или тому подобное).

Затем в случае, когда евклидово расстояние d_ij не превышает заданный порог THd, при расчете функции ошибки по Выражению (1), модуль 37 расчета координат использует евклидово расстояние d_ij в Выражении (1), как евклидово расстояние d _ij в том виде, как оно есть.

С другой стороны, в случае, когда евклидово расстояние d_ij больше, чем заданный порог THd, при расчета функции ошибки в Выражении (1), модуль 37 расчета координат использует расстояние d_ij * между состояниями (пусть d_ij=d_ij*) используется, как евклидово расстояние d_ij (евклидово расстояние d_ij устанавливают как расстояние, равное расстояние, равное расстоянию d_ij * между состояниями).

В этом случае, на карте модели, когда рассматривают два состояния s_i и s_j, евклидово расстояние d_ij между которыми близко в некоторой степени (не больше, чем порог THd), координаты Y_j и Y_j состояния изменяется так, чтобы они соответствовали евклидову расстоянию d_ij с расстоянием d_ij* между состояниями (так, чтобы евклидово расстояние d_ij приближалось к расстоянию d_ij* между состояниями).

С другой стороны, с картой модели, при учете двух состояний s_i и s_j, евклидово расстояние d_ij между которыми в определенной степени велико (больше, чем порог THd), состояние координат Y_i и Y_j, не меняется.

В результате этого, с двумя состояниями s_i и s _j, для которых евклидово расстояние d_ij велико в определенной степени, евклидово расстояние d_ij, остается все еще большим, таким образом, что как показано на фиг.11, состояния концентрируются в непосредственной близости к (внешней кромке) внешней окружности карты модели, в результате чего можно исключить ухудшение видимости.

На фиг.12 показана схема, иллюстрирующая пример карты модели, которую получают, используя функцию E ошибки после коррекции.

В соответствии с картой модели по фиг.12, можно видеть, что состояния не концентрируются в непосредственной близости к внешней окружности.

[Обработка представления структуры содержания]

На фиг.13 показана блок-схема последовательности операций, для описания обработки представления структуры содержания, которую выполняет модуль 14 представления структуры содержания на фиг.9.

На этапе S41, модуль 31 выбора содержания выбирает содержание, представляющее интерес (содержание для представления, представляющего интерес) среди элементов содержания, сохраненных в модуле 11 сохранения содержания, в соответствии, например, с операцией пользователя.

Затем модуль 31 выбора содержания передает содержание, представляющее интерес, в модуль 33 выделения величины характерного признака и в модуль 35 генерирования информации изображения, обусловленного состоянием. Кроме того, модуль 31 выбора содержания распознает категорию содержания, представляющего интерес, и передает в модель 32 выбора модели, и обработка переходит с этапа S41 на этап S42.

На этапе S42, модуль 32 выбора модели выбирает модель содержания, скоррелированную с категорией содержания, представляющего интерес, из модуля 31 выбора содержания, среди моделей содержания, сохраненных в модуле 13 сохранения, как модель, представляющую интерес.

Затем модуль 32 выбора модели передает модель, представляющую интерес, в модуль 34 оценки последовательности состояний максимальной вероятности и в модуль 36 расчета расстояния между состояниями, и обработка переходит с этапа S42 на этап S43.

На этапе S43, модуль 33 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания, представляющего интерес, из модуля 31 выбора содержания, и подает (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, в модуль 34 оценки последовательности состояний максимальной вероятности, и обработка переходит на этап S44.

На этапе S44, модуль 34 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности, в которой наблюдают величину характерного признака содержания, представляющего интерес, из модуля 33 выделения величины характерного признака (последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес) в модели, представляющей интерес, из модуля 32 выбора модели.

Затем модуль 34 оценки последовательности состояний максимальной вероятности передает последовательность состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес, в модуль 35 генерирования информации изображения, обусловленного состоянием, и обработка переходит с этапа S44 на этап S45.

На этапе S45, модуль 35 генерирования информации изображения, обусловленного состоянием, выбирает кадр, соответствующий тому же состоянию содержания, представляющего интерес, из модуля 31 выбора содержания, для каждого ID состояния для состояний, составляющих последовательность состояний максимальной вероятности (последовательность ID состояния) из модуля 34 оценки последовательности состояний максимальной вероятности.

Кроме того, модуль 35 генерирования информации изображения, обусловленного состоянием, сохраняет, таким образом, в корреляции с ID состояния, кадр, соответствующий состоянию его ID состояния. Кроме того, модуль 35 генерирования информации изображения, - обусловленного состоянием, обрабатывает кадр, скоррелированный с ID состояния, генерируя, таким образом, информацию изображения, обусловленного состоянием.

После этого модуль 35 генерирования информации изображения, обусловленного состоянием, подает информацию обусловленную состоянием, соответствующую ID состояния, в модуль 38 вычерчивания карты, и обработка переходит с этапа S45 на этап S46.

На этапе S46, модуль 36 расчета расстояния между состояниями получает расстояние d _ij* между состояниями из одного состояния s_i в другое состояние s_j модели, представляющей интерес, из модуля 32 выбора модели, на основе вероятности a_ij перехода состояния. После этого, после получения расстояния d_ij* между состояниями из произвольного состояния s_j в произвольное состояние s_j по N состояниям модели, представляющей интерес, модуль 36 расчета расстояния между состояниями подает матрицу расстояния между состояниями с ее расстоянием d_ij* между состояниями, как компонент, в модуль 37 расчета координат, и обработка переходит с этапа S46 на этап S47.

На этапе S47, модуль 37 расчета координат получает координаты Y_i=(x_i, y _i) состояния для минимизации функции Е ошибки в Выражении (1), которая представляет собой статистическую ошибку между евклидовом расстоянием d_ij из одного состояния s_i в другое состояние s_j, и расстоянием d_ij * между состояниями матрицы расстояния между состояниями из модуля 36 расчета расстояния матрицы расстояния на карте модели.

Затем модуль 37 расчета координат подает координаты Y_i=(x_i, y_i) состояния в модуль 38 вычерчивания карты, и обработка переходит с этапа S47 на этап S48.

На этапе S48, модуль 38 вычерчивания карты вычерчивает, например, (график) двумерной карты модели, где (изображение) соответствующее состояние s_i находится в положении координат Y_i=(x_i, y_i) состояния из модуля 37 расчета координат. Кроме того, модуль 38 вычерчивания карты вычерчивает сегмент линии, соединяющей состояния, в которых вероятности перехода состояния равны или больше заданного порога, на карте модели, и обработка переходит с этапа S48 на этап S49.

На этапе S49, модуль 38 вычерчивания карты соединяет состояние s_i на карте модели с информацией изображения обусловленного состоянием, в соответствующий ID состояния, для состояния s_i среди информации изображения, обусловленного состоянием, из модуля 35 генерирования информации изображения, обусловленного состоянием, и передает в модуль 39 управления отображением, и обработка продолжается на этапе S50.

На этапе S50, модуль 39 управления отображением выполняет управление отображением для отображения карты модели из модуля 38 вычерчивания карты на непоказанном дисплее.

Кроме того, модуль 39 управления отображением выполняет управление отображением для отображения информации, обусловленной состоянием, соответствующей ID состояния ее состояния (управление воспроизведением, для воспроизведения) в ответ на спецификацию состояния по карте модели в соответствии с операциями пользователя.

В частности, после выполнения операции пользователя для установления состояния на карте модели, модуль 39 управления отображением отображает информацию изображения, обусловленного состоянием, например, связанную с ее состоянием на не показанном дисплее, отдельно от карты модели.

Таким образом, пользователь может распознать изображение кадра, соответствующего состоянию на карте модели.

[Пример конфигурации модуля 15 генерирования дайджеста]

На фиг.14 показана блок-схема, иллюстрирующая пример конфигурации модуля 15 генерирования дайджеста по фиг.1.

Модуль 15 генерирования дайджеста выполнен из модуля 51 обучения детектора кульминационного момента, модуля 52 сохранения детектора, и модуля 53 детектирования кульминационного момента.

Модуль 51 обучения детектора кульминационного момента использует содержание, сохраненное в модуле 11 сохранения содержания, и модель содержания, сохраненную в модуле 13 сохранения модели, для выполнения обучения детектора кульминационного момента, который представляет собой модель для детектирования сцены, в которой пользователь заинтересован, как в кульминационной сцене.

Модуль 51 обучения детектора кульминационного момента подает детектор кульминационного момента после обучения в модуль 52 сохранения детектора.

Здесь, в качестве модели, используемой как детектор кульминационного момента, так же, как с моделью содержания, например, можно использовать НММ, которая представляет собой одну из моделей вероятности перехода состояния.

Модуль 52 сохранения детектора сохраняет детектор кульминационного момента из модуля 51 обучения детектора кульминационного момента.

Детектор 53 кульминационного момента использует детектор кульминационного момента, сохраненный в модуле 52 сохранения детектора, для детектирования кадра кульминационной сцены из содержания, сохраненного в модуле 11 сохранения содержания. Кроме того, детектор 53 кульминационного момента использует кадр кульминационной сцены для генерирования содержания дайджеста, которое представляет собой дайджест содержания, сохраненного в модуле 11 сохранения содержания.

[Пример конфигурации модуля 51 обучения детектора кульминационного момента]

На фиг.15 показана блок-схема, иллюстрирующая пример конфигурации модуля 51 обучения детектора кульминационного момента по фиг.14.

На фиг.15 модуль 51 обучения детектора кульминационного момента выполнен из модуля 61 выбора содержания, модуля 62 выбора модели, модуля 63 выделения величины характерного признака, модуля 64 оценки последовательности состояний максимальной вероятности, модуля 65 генерирования метки кульминационного момента, модуля 66 генерирования метки обучения и модуля 67 обучения.

Модуль 61 выбора содержания выбирает содержание, предназначенное для использования, для обучения детектора кульминационного момента среди содержания, сохраненного в модуле 11 сохранения содержания, как содержание для детектора, изучающего интерес (ниже просто называется "содержанием, представляющим интерес"), например, в соответствии с операцией пользователя.

В частности, модуль 61, выбора содержания выбирает, например, содержание, которое пользователь установил, как объект воспроизведения, среди записанных программ, которые представляют собой содержания, сохраненные в модуле 11 сохранения содержания, как содержание, представляющее интерес.

После этого, модуль 61 выбора содержания подает содержание, представляющее интерес, в модуль 63 выделения величины характерного признака, и также распознает категорию содержания, представляющего интерес, и подает в модуль 62 выбора модели.

Модуль 62 выбора модели выбирает модель содержания, скоррелированную с категорией содержания, представляющего интерес, из модуля 61 выбора содержания из моделей содержания, сохраненных в модуле 13 сохранения модели, как модель, представляющую интерес, и подает в модуль 64 оценки последовательности состояний максимальной вероятности.

Модуль 63 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания, представляющего интерес, подаваемого из модуля 61 выбора содержания, таким же образом, как и в модуле 22 выделения величины характерного признака по фиг.2, и подает (временную последовательность) величины характерного признака каждого кадра содержания, представляющего интерес, в модуль 64 оценки последовательности состояний максимальной вероятности.

Модуль 64 оценки последовательности состояний максимальной вероятности выполняет оценку так же, как и в модуле 34 оценки последовательности состояний максимальной вероятности по фиг.9, последовательности состояний максимальной вероятности, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 63 выделения величины характерного признака, будет наблюдаться (последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес) в модели, представляющей интерес, из модуля 62 выбора модели.

После этого, модуль 64 оценки последовательности состояний максимальной вероятности подает последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, в модуль 66 генерирования метки обучения.

Модуль 65 генерирования метки кульминационного момента следует операциям пользователя, для выполнения установки меток из меток кульминационного момента, представляющих является ли сцена кульминационной сценой, для каждого кадра содержания, представляющего интерес, выбранного в модуле 61 выбора содержания, генерируя, таким образом, последовательность кульминационного момента в отношении содержания, представляющего интерес.

В частности, содержание, представляющее интерес, выбранное модулем 61 выбора содержания, представляет собой, как описано выше, содержание, которое пользователь установил как объект воспроизведения, и изображение содержания, представляющего интерес, отображают на непоказанном дисплее (и также, звук выводят через не показанный громкоговоритель).

Когда сцену, представляющую интерес, отображают на дисплее, пользователь может ввести сообщение с тем, чтобы сделать эту сцену сценой, представляющей интерес, использую операцию с не показанным пультом дистанционного управления или тому подобное, и модуль 65 генерирования метки кульминационного момента генерирует метку кульминационного момента в соответствии с такими операциями пользователя.

В частности, например, если упомянуть, что операции пользователя в момент времени ввода сообщения, представляющего сцену, представляющую интерес, являются предпочтительными операциями, модуль 65 генерирования метки кульминационного момента генерирует, например, метку кульминационного момента, в соответствии с которой значение "0" представляет другую, кроме кульминационной сцены, для кадра, для которого не были выполнены предпочтительные операции.

Кроме того, модуль 65 генерирования метки кульминационного момента генерирует, например, метку кульминационного момента, значение которой равно "1", которая представляет кульминационную сцену для кадра, для которого были выполнены предпочтительные операции.

После этого, модуль 65 генерирования метки кульминационного момента передает последовательность меток кульминационного момента, которая представляет собой временную последовательность меток кульминационного момента, генерируемую в отношении содержания, представляющего интерес, в модуль 66 генерирования метки обучения.

Модуль 66 генерирования метки обучения генерирует последовательность меток для обучения, которая представляет собой пару последовательности ID состояний, то есть последовательности состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес (последовательность состояний максимальной вероятности, получаемых из содержания, представляющего интерес), из модуля 64 оценки последовательности состояний максимальной вероятности, и последовательности меток кульминационного момента из модуля 65 генерирования метки кульминационного момента.

В частности, модуль 66 генерирования метки обучения генерирует последовательность меток для обучения множества потоков, состоящих из пары ID потока в каждой точке t времени (ID состояния в состоянии, соответствующем кадру t) в отношении ID состояний, которые представляют собой последовательность состояний максимальной вероятности из модуля 64 оценки последовательности состояний максимальной вероятности, и последовательность меток кульминационного момента из модуля 65 генерирования метки кульминационного момента, и метку кульминационного момента (метки кульминационного момента для кадра t).

После этого модуль 66 генерирования метки обучения подает последовательность меток, для обучения, в модуль 67 обучения.

Модуль 67 обучения использует последовательность меток для обучения из модуля 66 генерирования метки обучения для выполнения, например, обучения детектора кульминационного момента, который представляет собой многопотоковую НММ эргодического типа, в соответствии со способом повторной оценки Баума-Вельха.

После этого, модуль 67 обучения подает и сохраняет детектор кульминационного момента после обучения в модуле 52 сохранения детектора, таким образом, скоррелированно с категорией содержания, представляющего интерес, выбранного в модуле 61 выбора содержания.

Здесь метка кульминационного момента, полученная в модуле 5 генерирования метки кульминационного момента, представляет собой двоичную метку (символ), значение которого равно "0" или "1", и представляет собой дискретное значение. Кроме того, последовательность состояний максимальной вероятности, получаемая из содержания, представляющего интерес, в модуле 64 оценки последовательности состояний максимальной вероятности, представляет собой последовательность ID состояний, и также имеет дискретное значение.

В соответствии с этим, последовательность меток для обучения, генерируемая как пара такой метки кульминационного момента, и последовательность состояний максимальной вероятности в модуле 66 генерирования метки обучения, также представляет собой (временную последовательность) дискретное значение. Таким образом, последовательность меток для обучения представляет собой дискретное значение, так, что вероятность b_j(o) наблюдения НММ, используемую как детектор кульминационного момента, по которому выполняют обучение в модуле 67 обучения, представляет собой величину (дискретную величину), которая сама по себе используется как вероятность.

Следует отметить, что при использовании многопотоковой НММ, для отдельной последовательности (потока) (ниже также называется "последовательностью компонентов") составляющей множество потоков, может быть установлен вес, который представляет собой степень для влияния ее последовательности компонентов на многопотоковую НММ (ниже также называется "весом последовательности").

Большой вес последовательности установлен для последовательности компонентов, которая должна быть выделена в момент времени обучения многопотоковой НММ, или во время распознавания, используя многопотоковую НММ (во время получения последовательности состояний максимальной вероятности), таким образом, что предварительное знание может быть предусмотрено для предотвращения попадания результата обучения многопотоковой НММ в локальное решение.

Следует отметить, что детали многопотоковой НММ описаны, например, в публикации SATOSHI TAMURA, KOJI IWANO, SADAOKI FURUI, "Multi-modal speech recognition using optical-flow analysis", Acoustical Society of Japan (ASJ), 2001 autumn lecture collected papers, 1-1-14, pp.27-28 (2001-10), и т.д.

Указанная выше литература представила пример использования многопотоковой НММ в области аудиовизуального распознавания речи. В частности, было приведено описание, в котором, когда отношение SN (Отношение сигнал-шум) звука низкое, обучение и распознавание выполняют для повышения степени влияния изображения, в большей степени, чем степени влияния звука, путем снижения веса последовательности для последовательности величины характерного признака звука.

Смысл в том, что многопотоковая НММ, отличающаяся от НММ, использующей одну последовательность, другую, чем множественный поток, состоит в том, что, как показано в Выражении (2), вероятность b_j (o_[1], o_[2] , o_[м]) наблюдений всего множества потока рассчитывают, используя вес W_m последовательности, установленный заранее, с учетом вероятности b_[m]j(o_[m] ) наблюдения каждой последовательности o_[m] компонентов, составляющих множественный поток.

Выражение 2

Здесь, в Выражении (2), М представляет собой число последовательностей o_[m] компонентов (количество потоков), составляющих множественный поток, последовательность веса W_m представляет последовательность веса последовательностей o_[m] компонентов для последовательности m-ого компонента, составляющей множественный поток.

Последовательность меток для обучения, которая представляет собой множественный поток, используемый для обучения в модуле 67 обучения на фиг.15, состоит из последовательностей двух компонентов из последовательности o_[v] ID состояния и последовательности o_[HL] метки кульминационного момента.

В этом случае, вероятность bj(o_[v], o_[HL]) наблюдения последовательности меток для обучения представлена Выражением (3).

Выражение 3

Здесь, в Выражении (3), b_[v] j(o_[v]) представляет вероятность наблюдения последовательности o_[v] ID состояния (вероятность наблюдения того, что значение o_[v] наблюдения будет наблюдаться в состоянии s_j), и b_[HL]j(о_[HL]) представляет вероятность наблюдения последовательности о_[HL] метки кульминационного момента. Кроме того, W представляет вес последовательности для последовательности ID o_[v], и 1 - W представляет вес последовательности для последовательности o_[HL] метки кульминационного момента.

Следует отметить, что при обучении НММ, используемой как детектор кульминационного момента, 0,5 можно использовать, например, как вес W последовательности.

На фиг.16 показана схема для описания обработки модуля 65 генерирования метки кульминационного момента по фиг.15.

Модуль 65 генерирования метки кульминационного момента генерирует метку кульминационного момента, значение которой равно "0" для кадра (точки во времени) содержания, представляющего интерес, для которого не были выполнены предпочтительные операции пользователя, что представляет то, что она является другой, а не кульминационной сценой/ Кроме того, модуль 65 генерирования метки кульминационного момента генерирует метку кульминационного момента, значение которой равно "1" для кадра содержания, представляющего интерес, для которого были выполнены предпочтительные операции пользователя, которая представляет то, что она является кульминационной сценой.

[Обработка обучения детектора кульминационного момента]

На фиг.17 показана блок-схема последовательности операций, предназначенная для описания обработки (обработки обучения детектора кульминационного момента,) которую выполняет модуль 51 обучения детектор кульминационного момента, показанный на в фиг.15.

На этапе S71 модуль 61 выбора содержания выбирает, например, содержание, для которого воспроизведение было установлено операциями пользователя, среди элементов содержания, сохраненных в модуле 11 сохранения содержания, как содержание, представляющее интерес (содержание для детектора, изучающего интерес).

Затем модуль 61 выбора содержания передает содержание, представляющее интерес, в модуль 63 выделения величины характерного признака, и также распознает категорию содержания, представляющего интерес, и подает в модуль 62 выбора модели, и обработка переходит с этапа S71 на этап S72.

На этапе S72, модуль 62 выбора модели выбирает модель содержания, скоррелированную с категорией содержания, представляющего интерес, из модуля 61 выбора содержания, среди моделей содержания, сохраненных в модуле 13 сохранения модели, в качестве модели, представляющей интерес.

Затем модуль 62 выбора модели передает модель, представляющую интерес, в модуль 64 оценки последовательности максимальной вероятности, и обработка переходит с этапа S72 на этап S73.

На этапе S73, модуль 63 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания, представляющего интерес, переданного из модуля 61 выбора содержания, передает (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, в модуль 64 оценки последовательности состояний максимальной вероятности, и обработка переходит на этап S74.

На этапе S74, модуль 64 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 63 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 62 выбора модели (последовательность состояний максимальной вероятности модели, представляющей интерес, в качестве содержания, представляющего интерес).

Затем модуль 64 оценки последовательности состояний максимальной вероятности передает последовательность. состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес, в модуль 66 генерирования метки обучения, и обработка переходит с этапа S74 на этап S75.

На этапе S75, модуль 65 генерирования метки кульминационного момента генерирует последовательность меток кульминационного момента в отношении содержания, представляющего интерес, выполняя установку меток, таких как метки кульминационного момента для каждого кадра содержания, представляющего интерес, выбранного в модуле 61 выбора содержания, в соответствии с операциями пользователя.

Затем модуль 65 генерирования метки кульминационного момента передает последовательность меток кульминационного момента, генерируемую в отношении содержания, представляющего интерес, для обучения, в модуль 66 генерирования метки обучения, и обработка переходит на этап S76.

На этапе S76, модуль 66 генерирования метки обучения генерирует метку обучения, которая представляет собой пару из последовательности ID состояния, которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес для содержания, представляющего интерес, из модуля 64 оценки последовательности состояний максимальной вероятности, и последовательности меток кульминационного момента из модуля 65 генерирования метки кульминационного момента.

Затем модуль 66 генерирования метки обучения передает последовательность меток для обучения, в модуль 67 обучения, и обработка переходит с S76 на этап S77.

На этапе S77, модуль 67 обучения использует последовательность меток для обучения из модуля 66 генерирования метки обучения, для выполнения обучения детектора кульминационного момента, который представляет собой НММ, и обработка переходит на этап S78.

На этапе S78, модуль 67 обучения подает и сохраняет детектор кульминационного момента после обучения в модуль 52 сохранения детектора в виде, скоррелированном с категорией содержания, представляющего интерес, выбранной в модуле 61 выбора содержания.

Как описано выше, детектор кульминационного момента получают путем выполнения обучения НММ, используя последовательность меток для обучения, которая представляет собой пару из последовательности ID состояния, которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, и последовательности меток кульминационного момента, генерируемой в соответствии с операциями пользователя.

В соответствии с этим, может быть выполнено определение путем ссылки на вероятность b_[HL]j (о_[HL]) наблюдения последовательности о_[HL] метки кульминационного момента каждого состояния детектора кульминационного момента, является или нет кадр, соответствующий состоянию o _[v], модели содержания, наблюдаемой в ее состоянии (высокая вероятность), сценой, в которой пользователь заинтересован (кульминационной сценой).

[Пример конфигурации модуля 53 детектирования кульминационного момента]

На фиг.18 показана блок-схема, иллюстрирующая пример конфигурации модуля 53 детектирования кульминационного момента по фиг.14.

На фиг.18 модуль 53 детектирования кульминационного момента выполнен из модуля 71 выбора содержания, модуля 72, выбора модели, модуля 73 выделения величины характерного признака, модуля 74 оценки последовательности состояний максимальной вероятности, модуля 75 генерирования метки детектирования, модуля 77 оценки последовательности состояний максимальной вероятности, модуля 78 детектирования кульминационной сцены, модуля 79 генерирования содержания дайджеста и модуля 80 управления воспроизведением.

Модуль 71 выбора содержания выбирает, например, содержание для детектирования кульминационного момента, представляющего интерес (ниже также просто называется "содержанием, представляющим интерес"), которое представляет собой содержание объекта, по которому должна быть детектирована кульминационная сцена, среди элементов содержания, сохраненных в модуле 11 сохранения содержания, например, в соответствии с операциями пользователя.

В частности, модуль 71 выбора содержания выбирает, например, содержание, указанное как содержание, из которого пользователь генерировал дайджест, как содержание, представляющее интерес. В качестве альтернативы, модуль 71 выбора содержания выбирает, например, произвольное содержание среди элементов содержания, из которых еще не был сгенерирован дайджест, как содержание, представляющее интерес.

После выбора содержания, представляющего интерес, модуль 71 выбора содержания передает свое содержание, представляющее интерес, в модуль 73 выделения величины характерного признака, и также распознает категорию содержания, представляющего интерес, и передает в модуль 72 выбора модели и в модуль 76 выбора детектора.

Модуль 72 выбора модели выбирает модель содержания, скоррелированную с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди моделей содержания, сохраненных в модуле 13 сохранения модели, как модель, представляющую интерес, и передает в модуль 74 оценки последовательности состояний максимальной вероятности.

Модуль 73 выделения величины характерного признака выделяет, таким же образом, как и в модуле 22 выделения величины характерного признака по фиг.2, величину характерного признака каждого кадра содержания, представляющего интерес, передаваемого из модуля 71 выбора содержания, и передает (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, в модуль 74 оценки последовательности состояний максимальной вероятности.

Модуль 74 оценки последовательности состояний максимальной вероятности выполняет оценку так же, как и в модуле 34 оценки последовательности состояний максимальной вероятности по фиг.9, последовательность состояний максимальной вероятности, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 73 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 72 выбора модели (последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес).

Затем модуль 74 оценки последовательности состояний максимальной вероятности передает последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес, в модуль 75 генерирования метки детектирования.

Модуль 75 генерирования метки детектирования генерирует последовательность меток для детектирования, которая представляет собой пару из последовательности ID содержания, которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес (последовательность состояний максимальной вероятности, полученных из содержания, представляющего интерес) из модуля 74 оценки последовательности состояний максимальной вероятности, и последовательности меток кульминационного момента, которые по отдельности представляют, что они отличаются от кульминационной сцены (или представляют собой кульминационную сцену).

В частности, модуль 75 генерирования метки детектирования генерирует последовательность меток кульминационного момента, имеющих такую же длину (длину последовательности), как и у последовательности состояний максимальной вероятности, из модуля 74 оценки последовательности состояний максимальной вероятности, которая представляет собой последовательность меток кульминационного момента, состоящую только из меток кульминационного момента, представляющих, что они являются другими, чем у кульминационной сцены, как фиктивную последовательность, в том виде, как она есть, которая должна быть передана в детектор кульминационного момента.

Кроме того, модуль 75 генерирования метки детектирования генерирует последовательность меток для детектирования множественного потока, состоящего из пары ID состояния, которая представляет собой последовательность состояний с максимальной вероятностью, из модуля 74 оценки последовательности состояний максимальной вероятности, ID состояния в каждой точке t времени (ID состояния для состояния, соответствующего кадру t) в последовательности меток кульминационного момента, используемой как фиктивная последовательность, и метки кульминационного момента (метки кульминационного момента, как для кадра t (здесь метка кульминационного момента представляет, что она не является кульминационной сценой)).

Затем модуль 75 генерирования метки детектирования передает последовательность меток для детектирования в модуль 77 оценки последовательности состояний максимальной вероятности.

Модуль 76 выбора модуля детектирования выбирает детектор кульминационного момента, скоррелированный с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди детекторов кульминационного момента, сохраненных в модуле 52 сохранения детектора, как детектор, представляющий интерес. После этого, модуль 76 выбора детектор получает детектор, представляющий интерес, среди детекторов кульминационного момента, сохраненных в модуле 52 сохранения детектора, и передает в модуль 77 оценки последовательности состояний максимальной вероятности, и в модуль 78 детектирования кульминационной сцены.

Модуль 77 оценки последовательности состояний максимальной вероятности, например, в соответствии с алгоритмом Витерби, выполняет оценку последовательности состояний максимальной вероятности (ниже также называется "последовательностью состояния отношения кульминационного момента"), которая приводит к переходу состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования из модуля 75 генерирования метки детектирования будет наблюдаться в НММ, которая представляет собой детектор интереса, из модуля 76 выбора детектора.

Затем модуль 77 оценки последовательности состояний максимальной вероятности передает последовательность состояний отношения кульминационного момента в модуль 78 детектирования кульминационной сцены.

Следует отметить, что последовательность меток для детектирования представляет собой множественный поток с последовательностью ID состояний o_[v], которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, и последовательностью огнь] метки кульминационного момента, используемой как фиктивная последовательность, как последовательность компонентов, и во время оценки последовательности состояний отношения кульминационного момента, вероятность b_j(o_[v], о_[HL] ) наблюдений последовательности меток для детектирования получают в соответствии с Выражением (3) так же, как и в случае последовательности меток для обучения.

Однако, что касается веса W последовательности для последовательности о_[v] ID состояния во время получения вероятность b_j(o _[v], о_[HL]) наблюдений последовательности меток для детектирования равна 1,0. В этом случае, вес W последовательности o_[v] ID состояния будет равен 0,0. Таким образом, в модуле 77 оценки последовательности состояния максимальной вероятности, оценку последовательности состояний отношения кульминационного момента выполняют при отборе только последовательности состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес, учитывая входную последовательность меток кульминационного момента, как фиктивную последовательность.

Модуль 78 детектирования кульминационной сцены распознает вероятность b_[HL]j(o_[HL]) наблюдения кульминационного момента метки о_[HL] каждого состояния для последовательности состояний максимальной вероятности (последовательность состояний отношения кульминационного момента), полученной из последовательности меток для детектирования, из модуля 77 оценки последовательности состояний максимальной вероятности, путем обращения к детектору, представляющему интерес, из модуля 76 выбора детектора.

Кроме того, модуль 78 детектирования кульминационной сцены детектирует кадр кульминационной сцены для содержания, представляющего интерес, на основе вероятности b_[HL]j(о_[HL]) наблюдения для метки о_[HL] кульминационного момента.

В частности, в случае, когда, в состоянии s_j в точке времени t для последовательности состояний отношения кульминационного момента, разность b_[HL]j(o_[HL]="1")-b _[HL]j(o_[HL]="0") между вероятностью b_[HL](о_[HL]="1") наблюдений метки кульминационного момента, представляющей, что она является кульминационной сценой, и вероятностью b_[HL]j(о_[HL]="0") наблюдений метки кульминационного момента, представляющей, что она является другой сценой, а не кульминационной сценой, больше, чем заданное пороговое значение THb (например, THb=0 и т.д.), модуль 78 детектирования кульминационной сцены детектирует кадр t содержания, представляющего интерес, соответствующего состоянию s_j в точке t времени, как кадр кульминационной сцены.

Затем модуль 78 детектирования кульминационной сцены устанавливает для содержания, представляющего интерес, в отношении кадра, представляющего собой кульминационную сцену, флаг кульминационного момента размером один бит, обозначающий, является ли данный кадр кадром кульминационной сцены, в значение, представляющее, что он является кульминационной сценой, например, "1". Кроме того, модуль 78 детектирования кульминационной сцены устанавливает для содержания, представляющего интерес, в отношении кадра, который является другим, чем кульминационная сцена, флаг кульминационного момента в значение, представляющее, что она является другой, чем кульминационная сцена, например, "0".

После этого модуль 78 детектирования кульминационной сцены передает (временную последовательность) флаг кульминационного момента каждого кадра содержания, представляющего интерес, в модуль 79 генерирования содержания дайджеста.

Модуль 79 генерирования содержания дайджеста выделяет кадр кульминационной сцены, определенный по флагу кульминационного момента из модуля 78 детектирования кульминационной сцены, среди кадров содержания, представляющих интерес, из модуля 71 выбора содержания. Кроме того, модуль 79 генерирования содержания дайджеста использует, по меньшей мере, кадр кульминационной сцены, выделенный из кадров содержания, представляющего интерес, для генерирования содержания дайджеста, которое представляет собой дайджест содержания, представляющего интерес, и подает в модуль 80 управления воспроизведением.

Модуль 80 управления воспроизведения выполняет управление воспроизведением для воспроизведения содержания дайджеста из модуля 79 генерирования содержания дайджеста.

На фиг.19 показан пример содержания дайджеста, которое генерирует модуль 79 генерирования содержания дайджеста по фиг.18.

В позиции А на фиг.19 иллюстрируется первый пример содержания дайджеста.

В позиции А на фиг.19, модуль 79 генерирования содержания дайджеста выделяет изображение кадра кульминационной сцены, и данные звука, соответствующие его изображению, из содержания, представляющего интерес, и генерирует содержание движущегося изображения, когда данные изображения и его данные звука комбинируют при поддержании временного контекста, как содержание дайджеста.

В этом случае, модуль 80 управления воспроизведения (фиг.18) отображает только изображение кадра кульминационной сцены с таким же размером (ниже также называется "полный размер"), как и в оригинальном содержании (содержании, представляющем интерес), и также выводит звук вместе с его изображением.

Следует отметить, что, в позиции на фиг.19, вместе с выделением изображения кадра кульминационной сцены из содержания, представляющего интерес, все кадры кульминационной сцены также могут быть выделены, или также может быть выполнено выделение кадров после прореживания, таким образом, как выделение одного кадра для каждого из двух кадров кульминационной сцены, или тому подобное.

В позиции A на фиг.19 иллюстрируется второй пример содержания дайджеста.

В позиции В на фиг.19 модуль 79 генерирования содержания дайджеста выполняет обработку прореживания кадров (например, обработку прореживания кадров для кульминационного момента в соотношении один кадр из 20 кадров) таким образом, чтобы среди кадров содержания, представляющего интерес, изображение кадра сцены не кульминационного момента просматривалось бы, как в режиме быстрой перемотки вперед во время просмотра и прослушивания, а также содержание, представляющее интерес, обрабатывают таким образом, чтобы звук вместе с изображением кадра сцены не кульминационного момента был приглушен, в результате чего генерируют содержание дайджеста.

В данном случае, в модуле 80 управления воспроизведением (фиг.18), в том, что касается кульминационной сцены, изображение отображают со скоростью 1x, и также выводят звук вместе с его изображением, но в отношении других сцен, которые не являются кульминационной сценой (сцена не кульминационного момента), изображение отображают в режиме быстрой перемотки вперед (например, 20x), и также, звук, вместе с его изображением не выводят.

Следует отметить, что, в позиции В на фиг.19, звук вместе с изображением сцены не кульминационного момента не выводят, но звук вместе с изображением сцены не кульминационного момента может быть выведен так же, как и звук для изображения кульминационной сцены. В этом случае, звук, вместе с изображением сцены не кульминационного момента может быть выведен с малой громкостью, и звук вместе с изображением кульминационной сцены может быть выведен с большой громкостью, соответственно.

Кроме того, в позиции В на фиг.19, изображение кульминационной сцены и изображение сцены не кульминационного момента отображают с одним и тем же размером (полный размер), но изображение сцены не кульминационного момента может отображаться с меньшим размером, чем размер изображения кульминационной сцены (например, размеры, полученные в результате уменьшения размеров ширины и длины изображения кульминационной сцены на 50%, соответственно, и т.д.) (или изображение кульминационной сцены может отображаться с большим размером, чем размер изображения сцены не кульминационного момента).

Кроме того, на фиг.19, в случае прореживания кадров, отношение прореживания кадров может быть установлено; например, пользователем.

[Обработка детектирования кульминационного момента]

На фиг.20 показана блок-схема последовательности операций, предназначенная для описания обработки (обработки детектирования кульминационного момента) модуля 53 детектирования кульминационного момента по фиг.18.

На этапе S81, модуль 71 выбора содержания, выбирает содержание, представляющее интерес, то есть, содержание, из которого должна быть детектирована кульминационная сцена (содержание для детектирования кульминационного момента, представляющего интерес) среди содержания, сохраненного в модуле 11 сохранения содержания.

После этого модуль 71 выбора содержания подает содержание, представляющее интерес, в модуль 73 выделения величины характерного признака. Кроме того, модуль 71 выбора содержания, распознает категорию содержания, представляющего интерес, и подает в модуль 72 выбора модели, и в модуль 76 выбора детектора, и обработка переходит с этапа S81 на этап S82.

На этапе S82 модуль 72 выбора модели выбирает модель содержания, коррелированную с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди моделей содержания, сохраненных в модуле 13 сохранения модели, как модель, представляющую интерес.

После этого, модуль 72 выбора модели передает модель, представляющую интерес, в модуль 74 оценки последовательности состояний максимальной вероятности, и обработка переходит с этапа S82 на этап S83.

На этапе S83, модуль 73 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания, представляющего интерес, переданного из модуля 71 выбора содержания, передает в модуль 74 оценки последовательности состояний максимальной вероятности, и обработка переходит на этап S84.

На этапе S84, модуль 74 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес), которая приводит к переходу состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 73 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 72 выбора модели.

Затем модуль 74 оценки последовательности состояний максимальной вероятности передает последовательность состояний максимальной вероятности модели, представляющей интерес, как содержание, представляющее интерес, в модуль 75 генерирования метки детектирования, и обработка переходит с этапа S84 на этап S85.

На этапе S85, модуль 75 генерирования метки детектирования генерирует последовательность меток кульминационного момента, состоящую из меток кульминационного момента (метки кульминационного момента, значения которых равны "0"), отдельно представляющих, что они представляют другую сцену, чем кульминационная сцена, например, как фиктивную последовательность меток кульминационного момента, и обработка переходит на этап S86.

На этапе S86, модуль 75 генерирования метки детектирования генерирует последовательность меток для детектирования, которая представляет собой пару из последовательности ID состояния, которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, и фиктивной последовательности меток кульминационного момента из модуля 74 оценки последовательности состояний максимальной вероятности.

После этого модуль 75 генерирования меток детектирования передает последовательность меток для детектирования в модуль 77 оценки последовательности максимальной вероятности, и обработка переходит с этапа S86 на этап S87.

На этапе S87 модуль 76 выбора детектора выбирает детектор кульминационного момента, скоррелированный с категорией содержания, представляющего интерес, для модуля 71 выбора содержания, среди детекторов кульминационного момента, сохраненных в модуле 52 сохранения детектора, как детектор, представляющий интерес. После этого модуль 76 выбора детектора получает детектор, представляющий интерес, среди детекторов кульминационного момента, сохраненных в модуле 52 сохранения детектора, подает в модуль 77 оценки последовательности состояний максимальной вероятности, и в модуль 78 детектирования кульминационной сцены, и обработка переходит с этапа S87 на этап S88.

На этапе S88, модуль 77 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательность состояний отношения кульминационного момента), приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования из модуля 75 генерирования меток детектирования будет наблюдаться в детекторе, представляющем интерес, из модуля 76 выбора детектора.

После этого модуль 77 оценки последовательности состояний максимальной вероятности подает последовательность состояний отношения кульминационного момента в модуль 78 детектирования кульминационной сцены, и обработка переходит с этапа S88 на этап S89.

На этапе S89, модуль 78 детектирования кульминационной сцены детектирует кульминационную сцену из содержания, представляющего интерес, на основе последовательности состояний отношения кульминационного момента из модуля 77 оценки последовательности состояний максимальной вероятности, и выполняет обработку детектирования кульминационной сцены для вывода флага кульминационного момента.

После этого, после завершения обработки детектирования кульминационной сцены, обработка переходит с этапа S89 на этап S90, где модуль 79 генерирования содержания дайджеста выделяет кадр кульминационной сцены, определенный по флагу кульминационного момента, который выводит модуль 78 детектирования кульминационной сцены из кадров содержания, представляющего интерес, из модуля 71 выбора содержания.

Кроме того, модуль 79 генерирования содержания дайджеста использует кадр кульминационной сцены, выделенный из кадров содержания, представляющего интерес, для генерирования содержания дайджеста содержания, представляющего интерес, передает в модуль 80 управления воспроизведением, и обработка переходит с этапа S90 на этап S91.

На этапе S91, модуль 80 управления воспроизведением выполняет управление воспроизведением для воспроизведения содержания дайджеста из модуля 79 генерирования содержания дайджеста.

На фиг.21 показана блок-схема последовательности операций, предназначенная для описания обработки детектирования кульминационной сцены, которую выполняет модуль 78 (фиг.18) детектирования кульминационной сцены на этапе S89 на фиг.20.

На этапе S101 модуль 78 детектирования кульминационной сцены устанавливает в 1 переменную t для подсчета точки во времени (количества кадров содержания, представляющего интерес), которая используется как исходное значение, и обработка переходит на этап S102.

На этапе S102 модуль 78 детектирования кульминационной сцены получает (распознает) состояние H(t)=s _j в точке t во времени (t-oe состояние от начала) последовательности состояний отношения кульминационного момента из модуля 77 оценки последовательности состояний максимальной вероятности, среди состояний s₁-s_N' в НММ, использующейся как детектор интереса (N', представляет общее количество состояний НММ, используемой как детектор интереса) из модуля 76 выбора детектора (фиг.18).

После этого обработка переходит с этапа S102 на этап S103, где модуль 78 детектирования кульминационной сцены получает вероятность наблюдения b_[HL]H(t)j (o_[HL]) метки кульминационного момента о_[HL] состояния H(t)=s_j в точке времени t из детектора интереса из модуля 76 выбора детектора, и обработка переходит на этап S104.

На этапе S104 модуль 78 детектирования кульминационной сцены определяет, представляет ли собой кадр или нет в точке времени t содержания, представляющего интерес, кульминационную сцену на основе вероятности b_[HL]H(t)j (o_[HL]) наблюдения метки о_[HL] кульминационного момента.

В случае, когда на этапе S104 определяют, что кадр в точке времени t содержания, представляющего интерес, представляет собой кульминационную сцену, то есть, например, в случае, когда, для вероятности b_[HL]H(t)j(o[hl]) наблюдения метки о_[HL] кульминационного момента, разность b_[HL]j(о_[HL]="1")-b_[HL] j(о_[HL]="0") между вероятностью b[hl]h(t)(0[hl]="1") наблюдения представления метки кульминационного момента, которая представляет собой кульминационную сцену, и вероятностью b _[HL]H(t)(о_[HL]="0") наблюдения метки кульминационного момента, представляющей, что она представляет другую сцену, кроме кульминационной сцены, больше, чем заданное пороговое значение THb, обработка переходит на этап S105, где модуль 78 детектирования кульминационной сцены устанавливает флаг F(t) кульминационного момента кадра в точке t времени для содержания, представляющего интерес, в значение "1", представляющее кульминационную сцену.

Кроме того, когда определяют на этапе S104, что кадр в точке t времени содержания, представляющего интерес, является другим, кроме кульминационной сцены, то есть, например, в случае, когда, для вероятности b _[HL]H(t)j(o_[HL]]) наблюдений метки о_[HL] кульминационного момента, разность между b_[HL]j(о _[HL]="1")-b_[HL]j(о_[HL]="0") между вероятностью b_[HL]H(t)(о_[HL]="1") наблюдения представления метки кульминационного момента, которая представляет собой кульминационную сцену, и вероятностью b _[HL]H(t)(о_[HL]="0") наблюдения, представляющей метку кульминационного момента, которая является другой, а не. кульминационной сценой, не больше, чем заданное пороговое значение ТНЬ, обработка переходит на этап S106, где модуль 78 детектирования кульминационной сцены устанавливает флаг F(t) кульминационного момента кадра в точке t времени содержания, представляющего интерес, в "0" для значения, которое представляет другую, а не кульминационную сцену.

После этапов S105 и S106, обработка в любом случае переходит на этап S107, где модуль 78 детектирования кульминационной сцены определяет, равна или нет переменная t общему количеству N_F кадров содержания, представляющего интерес.

Когда на этапе S107 определяют, что переменная t не равна общему количеству N _F кадров, обработка переходит на этап S108, где модуль 78 детектирования кульминационной сцены последовательно увеличивает переменную t на единицу, и обработка возвращается на этап S102.

Кроме того, в случае, когда на этапе S107 определяют, что переменная t равна общему количеству N_F кадров, то есть, в случае, когда для содержания, представляющего интерес, флаг F(t) кульминационного момента получают для каждого кадра с полученной величиной характерного признака, обработка переходит на этап S109, где модуль 78 детектирования кульминационной сцены выводит последовательность флага F(t) кульминационного момента содержания, представляющего интерес, в модуль 79 генерирования содержания дайджеста (фиг.18), как результат детектирования кульминационной сцены, и после чего происходит возврат обработки.

Как описано выше, модуль 53 (фиг.18) детектирования кульминационного момента выполняет оценку, с детектором кульминационного момента, последовательности состояний отношения кульминационного момента, которая является последовательностью состояния максимальной вероятности, в случае, когда наблюдают последовательность меток для детектирования, которая представляет собой пару из последовательности ID состояний, которая представляет собой последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес, и последовательности фиктивных меток кульминационного момента, и на основе вероятности наблюдения метки кульминационного момента каждого состояния ее последовательности состояний отношения кульминационного момента, детектируют кадр кульминационной сцены из содержания, представляющего интерес, и генерируют содержание дайджеста, используя ее кадр кульминационной сцены.

Кроме того, детектор кульминационного момента получают путем выполнения обучения НММ, используя последовательность меток для обучения, которая представляет собой пару из последовательности ID состояния, которая представляет собой последовательность состояний максимальной вероятности модели содержания, как содержания, и последовательности меток кульминационного момента, генерируемой в соответствии с операциями пользователя.

В соответствии с этим, даже в случае, когда содержание, представляющее интерес, для генерирования содержания дайджеста, не используется для обучения модели содержания или детектора кульминационного момента, если обучение модели содержания или детектора кульминационного момента выполняют, используя содержание, имеющее ту же категорию, что и содержание, представляющее интерес, дайджест (содержание дайджеста), генерируемый в результате сбора сцен, в которых заинтересован пользователь, как кульминационных сцен, может быть легко получен, используя модель содержания и ее детектор кульминационного момента.

[Пример конфигурации модуля 16 генерирования альбома]

На фиг.22 показана блок-схема, иллюстрирующая пример конфигурации модуля 16 генерирования альбома по фиг.1.

Модуль 16 генерирования альбома выполнен из модуля 101 генерирования исходного альбома, модуля 102 сохранения исходного альбома, модуля 103 генерирования зарегистрированного альбома, модуля 104 сохранения зарегистрированного альбома и модуля 105 управления воспроизведением.

Модуль 101 генерирования исходного альбома использует содержание, сохраненное в модуле 11 сохранения содержания, и модель содержания, сохраненную в модуле 13 сохранения модели, для генерирования описанного выше исходного альбома, и подает в модуль 102 сохранения исходного альбома.

Модуль 102 сохранения исходного альбома сохраняет исходный альбом из модуля 101 генерирования исходного альбома.

Модуль 103 генерирования зарегистрированного альбома использует содержание, сохраненное в модуле 11 сохранения содержания, модель содержания, сохраненную в модуле 13 сохранения модели, и исходный альбом, сохраненный в модуле 102 сохранения исходного альбома, для генерирования описанного ниже зарегистрированного альбома, и подает в модуль 104 сохранения зарегистрированного альбома.

Модуль 104 сохранения зарегистрированного альбома сохраняет зарегистрированный альбом из модуля 103 генерирования зарегистрированного альбома.

Модуль 105 управления воспроизведением выполняет управление воспроизведением для воспроизведения зарегистрированного альбома для сохранения в модуле 104 сохранения зарегистрированного альбома.

[Пример конфигурации модуля 101 генерирования исходного альбома]

На фиг.23 показана блок-схема, иллюстрирующая пример конфигурации модуля 101 генерирования исходного альбома по фиг.22.

На фиг.23 модуль 101 генерирования исходного альбома выполнен из модуля 111 выбора содержания, модуля 112 выбора модели, модуля 113 выделения величины характерного признака, модуля 114 оценки последовательности состояний максимальной вероятности, модуля 115 генерирования информации изображения, обусловленного состоянием, модуля 116 расчета расстояния между состояниями, модуля 117 расчета координат, модуля 118 вычерчивания карты, модуля 119 управления отображением, модуля 121 выбора состояния и модуля 122 регистрации выбранного состояния.

Модуль 111 выбора содержания - модуль 119 управления отображением, выполнены таким же образом, как и модуль 31 выбора содержания - модуль 39 управления отображением модуля 14 представления структуры содержания (фиг.9), и выполняют обработку представления структуры содержания, описанную на фиг.13.

Следует отметить, что модуль 118 вычерчивания карты передает, таким же образом, как и с модулем 38 вычерчивания карты по фиг.9, карту модели в модуль 119 управления отображением, и также в модуль 121 выбора состояния.

В случае, когда состояние на карте модели (фиг.11, фиг.12), отображаемой при обработке представления структуры содержания, было установлено с помощью операций пользователя, модуль 121 выбора состояния выбирает установленное его состояние, как выбранное состояние. Кроме того, модуль 121 выбора состояния обращается к карте модели из модуля 118 вычерчивания карты для распознавания ID состояния выбранного состояния, и передает в выбранный модуль 122 регистрации состояния.

Выбранный модуль 122 регистрации состояния генерирует пустой альбом, и регистрирует ID состояния выбранного состояния из модуля 121 выбора состояния, по его пустому альбому. После этого, модуль 122 регистрации выбранного состояния подает и сохраняет альбом, в котором был зарегистрирован ID состояния, в модуль 102 сохранения исходного альбома, в качестве исходного альбома.

Здесь альбом, который генерирует модуль 122 регистрации выбранного состояния, представляет собой склад для электронного хранения информации, в котором могут содержаться (храниться) данные, такие как неподвижные изображения (фотографии), движущиеся изображения, данные звука (музыка), и т.д.

Следует отметить, что пустой альбом представляет собой альбом, в котором ничего не зарегистрировано, и исходный альбом представляет собой альбом, в котором зарегистрировано ID состояния.

В модуле 101 генерирования исходного альбома, имеющего описанную выше конфигурацию, отображают карту модели (фиг.11, фиг.12), на непоказанном дисплее, с помощью выполняемой обработки представления структуры содержания (фиг.13). После этого, в случае, когда состояние на карте модели было установлено по операциям пользователя, ID состояния ее установленного состояния (выбранного состояния) регистрируют в (пустом) альбоме.

На фиг.24 показана схема, иллюстрирующая пример интерфейса пользователя, для пользователя, который устанавливает состояние на карте модели, которая отображается с помощью модуля 119 управления отображением, выполняя управление дисплеем.

На фиг.24 карту 132 модели, сгенерированную в модуле 118 вычерчивания карты, отображают в окне 131.

Состояние на карте 132 модели в пределах окна 131 может быть сфокусировано по указанию пользователя. Спецификация состояния пользователем может быть выполнена, например, путем отметки состояния, на которое требуется сфокусироваться, путем использовании устройства - указателя, такого как мышь или тому подобное, путем перемещения курсора, который перемещается в соответствии с операциями с устройством - указателем, в положение состояния, на котором требуется сфокусироваться, или тому подобное.

Кроме того, среди состояний на карте 132 модели, состояние, которое уже было выбранным состоянием, и состояние, которое еще не было выбранным состоянием, может отображаться в другом формате отображения, таком как другой цвет или тому подобное.

На нижнем участке окна 131 предусмотрено поле 133 ввода ID состояния, поле 134 ввода ID альбома, кнопка 135 регистрации, кнопка 136 окончания и т.д.

Среди состояний на карте 132 модели, ID состояния сфокусированного состояния отображают в поле 133 ввода ID состояния.

Следует отметить, что пользователь также может ввести ID состояния непосредственно в поле 133 ввода ID состояния.

ID альбома, который представляет собой информацию для определения альбома, для регистрации ID состояния выбранного состояния, отображают в поле 134 ввода ID альбома.

Следует отметить, что пользователь может выполнять операции в поле 134 ввода ID альбома, (например, может отмечать, используя устройство - указатель, такое как мышь или тому подобное), и ID альбома, который должен отображаться в поле 134 ввода ID альбома, изменяется в соответствии с операциями в поле 134 ввода ID альбома, выполняемыми пользователем. В соответствии с этим, пользователь может изменять альбом, в котором зарегистрирован ID состояния, путем выполнения операций с полем 134 ввода ID альбома.

Кнопку 135 регистрации задействуют в случае регистрации ID состояния для сфокусированного состояния (состояние, в котором ID состояния отображают в поле 133 ввода ID) в альбоме. То есть в случае, когда нажимают на кнопку 135 регистрации, выбирают (определяют) состояние фокусирования, как выбранное состояние.

На кнопку 136 окончания нажимают, например, когда выполняют редактирование отображение карты 132 модели (при закрытии окна 131), или тому подобное.

Окно 130 открывается, в случае, когда среди состояний на карте 132 модели, карту информации выбранного состояния, сгенерированную при обработке представления структуры содержания, связывают со сфокусированным состоянием. После этого информацию изображения, обусловленного состоянием, связывают с фокусированным состоянием, отображаемым в окне 130.

Следует отметить, что в окне 130 (далее, - не показанное окно, другое, чем окно 130), вместо информации изображения, обусловленного состоянием, связанного со сфокусированным состоянием, может отображаться информация изображения, обусловленного состоянием, связанного с каждым из сфокусированного состояния и состояния, близкого к сфокусированному состоянию, или информация изображения, обусловленного состоянием, связанного с каждым из всех состояний на карте 132 модели, по времени последовательно или в пространстве параллельно.

Пользователь может устанавливать произвольное состояние на карте 132 модели, отображаемой в окне 131, отмечая его или тому подобное.

После того, как пользователь установит состояние, модуль 119 управления отображением (фиг.23), отображает информацию изображения обусловленного состояния, связанную с состоянием, установленным пользователем, в окне 130.

Таким образом, пользователь может подтвердить изображение кадра, соответствующего состоянию на карте 132 модели.

В случае просмотра изображения, отображаемого в окне 130, имея интерес в отношении его изображения, и желая зарегистрироваться в альбоме, пользователь выполняет операцию с кнопкой 135 регистрации.

После выполнения операции с кнопкой 135 регистрации, модуль 121 выбора состояния (фиг.23) выбирает состояние на карте 132 модели, указанное пользователем в это время, как выбранное состояние.

Затем, после выполнения пользователем операций с кнопкой 136 окончания, модуль 121 выбора состояния передает ID состояния в выбранном состоянии, выбранном в настоящее время, в модуль 122 регистрации выбранного состояния (фиг.23).

Модуль 122 регистрации выбранного состояния регистрирует ID состояния в выбранном состоянии из модуля 121 выбора состояния в пустом альбоме, и сохраняет альбом, в котором ID состояния были зарегистрированы, в модуле 102 сохранения исходного альбома, в качестве исходного альбома. После этого, модуль 119 управления отображением (фиг.23) закрывает окна 131 и 141.

[Обработка генерирования исходного альбома]

На фиг.25 показана блок-схема последовательности операций, предназначенная для описания обработки (обработки генерирования исходного альбома), которую выполняет модуль 101 генерирования исходного альбома по фиг.23.

На этапе S121 модуль 111 выбора содержания или модуль 119 управления отображением выполняет такую же обработку представления структуры содержания (фиг.13), как и для модуля 31 выбора содержания, через модуль 39 управления отображением в модуле 14 представления структуры содержания (фиг.9). Таким образом, окно 131 (фиг.24), включающее в себя карту 132 модели, отображают на непоказанном дисплее.

Затем обработка переходит с этапа S121 на этап S122, где модуль 121 выбора состояния определяет, была ли выполнена операция пользователем для выполнения операций регистрации состояния.

В случае, когда на этапе S122 определяют, что были выполнены операции регистрации состояния, то есть, в случае, когда состояние на карте 132 модели было установлено пользователем, и была выполнена операция с кнопкой 135 регистрации (фиг.24) (окно 131), обработка переходит на этап S123, где модуль 121 выбора состояния выбирает состояние на карте 132 модели, установленной пользователем во время выполнения операции с кнопкой 135 регистрации, как выбранное состояние.

Кроме того, модуль 121 выбора состояния сохраняет ID состояния выбранного состояния в непоказанной памяти, и обработка переходит с этапа S123 на этап S124.

Кроме того, когда на этапе S122 определяют, что операция регистрации состояния не была выполнена, обработка пропускает этап S123 и переходит на этап S124.

На этапе S124, модуль 121 выбора состояния определяет, была ли выполнена пользователем операция окончания.

В случае, когда на этапе S124 определяют, что операция окончания не была выполнена, обработка возвращается на этап S122, и после этого, ту же обработку повторяют.

Кроме того, в случае, когда на этапе S124 определяют, что была выполнена операция окончания, то есть, в случае, когда пользователь выполнил операцию с кнопкой 136 окончания (фиг.24), модуль 121 выбора состояния передает все ID состояния для выбранных состояний, сохраненных на этапе, S123, в модуль 122 регистрации выбранного состояния, и обработка переходит на этап S125.

На этапе S125, модуль 122 регистрации выбранного состояния генерирует пустой альбом, и регистрирует ID состояния для выбранных состояний среди модуля 121 выбора состояния, по его пустому альбому.

Кроме того, модуль 122 регистрации выбранного состояния принимает альбом, в котором был зарегистрирован ID состояния, в качестве исходного альбома, и коррелирует его исходный альбом с категорией содержания, выбранного как содержание, представляющее интерес (содержание для представления интереса) при обработке представления структуры содержания (фиг.13) на этапе S121.

После этого, модуль 122 регистрации выбранного состояния подает и сохраняет исходный альбом, скоррелированный с категорией содержания, представляющего интерес, в модуль 102 сохранения исходного альбома.

После этого закрывают окно 131 (фиг.24), отображаемое во время обработки представления структуры содержания, на этапе S121, и обработка генерирования исходного альбома заканчивается.

[Пример конфигурации модуля 103 генерирования альбома для регистрации]

На фиг.26 показана блок-схема, иллюстрирующая пример конфигурации модуля 103 генерирования зарегистрированного альбома по фиг.22.

На фиг.26, модуль 103 генерирования зарегистрированного альбома выполнен из модуля 141 выбора альбома, модуля 142 выбора содержания, модуля 143 выбора модели, модуля 144 выделения величины характерного признака, модуля 145 оценки последовательности состояний максимальной вероятности, модуля 146 выделения кадра и модуля 147 регистрации этого кадра.

Модуль 141 выбора альбома выбирает один из исходных альбомов, сохраненных в модуле 102 сохранения исходного альбома, в качестве альбома, представляющего интерес, и подает в модуль 146 выделения кадра и в модуль 147 регистрации кадра.

Кроме того, модуль 141 выбора альбома подает категорию, скоррелированную с альбомом, представляющим интерес, в модуль 142 выбора содержания модуля 143 выбора модели.

Модуль 142 выбора содержания выбирает одно из содержаний, принадлежащих категории, из модуля 141 выбора альбома, среди элементов содержания, сохраненных в модуле 11 сохранения содержания, как содержание для альбома, представляющего интерес (ниже также просто называется "содержанием, представляющим интерес").

После этого модуль 142 выбора содержания подает содержание, представляющее интерес, в модуль 144 выделения величины характерного признака и модуль 146 выделения кадра.

Модуль 143 выбора модели выбирает модель содержания, скоррелированную с категорией, из модуля 141 выбора альбома, среди моделей содержания, сохраненных в модуле 13 сохранения модели, как модель, представляющую интерес, и подает в модуль 145 оценки последовательности состояний максимальной вероятности.

Модуль 144 выделения величины характерного признака выделяет, таким же образом, как и в модуле 22 выделения характерного признака по фиг.2, величину характерного признака каждого кадра (изображение) содержания, представляющего интерес, подаваемого из модуля 142 выбора содержания, и подает (временную последовательность) величины характерного признака каждого кадра содержания, представляющего интерес, в модуль 145 оценки последовательности состояний максимальной вероятности.

Модуль 145 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес), то есть, последовательность состояний, вызывающих переход состояния, где вероятность является наивысшей, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 144 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 143 выбора модели, например, в соответствии с алгоритмом Витерби.

После этого, модуль 145 оценки последовательности состояний максимальной вероятности передает последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, в модуль 146 выделения кадра.

Модуль 146 выделения кадра определяет, в отношении каждого состояния последовательности состояний максимальной вероятности из модуля 145 оценки последовательности состояний максимальной вероятности, соответствует или нет ID состояния ID состояния (ниже также называется "зарегистрированным ID состояния") для выбранного состояния, зарегистрированного в альбоме, представляющем интерес, из модуля 141 выбора альбома.

Кроме того, модуль 146 выделения кадра выделят кадр, соответствующий состоянию среди состояний последовательности состояний максимальной вероятности, из модуля 145 оценки последовательности состояний максимальной вероятности, ID состояния которого соответствует зарегистрированному ID состояния, который зарегистрирован в альбоме, представляющем интерес, из модуля 141 выбора альбома, среди элементов содержания, представляющего интерес, из модуля 142 выбора содержания, и подает в модуль 147 регистрации кадра.

Модуль 147 регистрации кадра регистрирует кадр из модуля 146 выделения кадра в альбоме, представляющем интерес, из модуля 141 выбора альбома. Кроме того, модуль 147 регистрации кадра передает и сохраняет альбом, представляющий интерес, после регистрации кадра в модуль 104 сохранения зарегистрированного альбома, в качестве зарегистрированного альбома.

[Обработка генерирования зарегистрированного альбома]

На фиг.27 показана блок-схема последовательности операций, предназначенная для описания обработки генерирования зарегистрированного альбома, которую выполняет модуль 103 генерирования зарегистрированного альбома по фиг.26.

На этапе S131, модуль 141 выбора альбома выбирает из исходных альбомов, сохраненных в модуле 102 сохранения исходного альбома, один из исходных альбомов, который еще не был выбран как альбом, представляющий интерес, в качестве альбома, представляющего интерес.

После этого модуль 141 выбора альбома передает альбом, представляющий интерес, в модуль 146 выделения кадра и в модуль 147 регистрации кадра. Кроме того, модуль 141 выбора альбома передает категорию, коррелированную с альбомом, представляющим интерес, в модуль 142 выбора содержания, и в модуль 143 выбора модели, и обработка переходит с этапа S131 на этап S132.

На этапе S132, модуль 142 выбора содержания выбирает, среди содержания, сохраненного в модуле 11 сохранения содержания, один из элементов содержания, который еще не был выбран, как содержание, представляющее интерес (содержание для альбома, представляющего интерес), среди элементов содержания, принадлежащих этой категории, из модуля 141 выбора альбома, в качестве содержания, представляющего интерес.

Затем модуль 142 выбора содержания передает содержание, представляющее интерес, в модуль 144 выделения величины характерного признака и в модуль 146 выделения кадра, и обработка переходит с этапа S132 на этап S133.

На этапе S133 модуль 143 выбора модели выбирает среди моделей содержания, сохраненных в модуле 13 сохранения модели, модель содержания, скоррелированную с категорией, из модуля 141 выбора альбома, как модель, представляющую интерес.

После этого, модуль 143 выбора модели передает модель, представляющую интерес, в модуль 145 оценки последовательности состояний максимальной вероятности, и обработка переходит с этапа S133 на этап S134.

На этапе S134, модуль 144 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания, представляющего интерес, подаваемого из модуля 142 выбора содержания, и передает (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, в модуль 145 оценки последовательности состояний максимальной вероятности.

Затем обработка переходит с этапа S134 на этап S135, где модуль 145 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес), приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака содержания, представляющего интерес, из модуля 144 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 143 выбора модели.

Затем модуль 145 оценки последовательности максимальной вероятности передает последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, в модуль 146 выделения кадра, и обработка переходит с этапа S135 на этап S136.

На этапе S136, модуль 146 выделения кадра устанавливает в 1 переменную t для подсчета точек во времени (количество кадров содержания, представляющего интерес), которая используется в качестве исходного значения, и обработка переходит на этап S137.

На этапе S137, модуль 146 выделения кадра определяет, соответствует или нет ID состояния для состояния в точке t времени (t-oe состояние от начала) последовательности состояний максимальной вероятности (последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес) из модуля 145 оценки последовательности состояний максимальной вероятности, одному из зарегистрированных ID состояния в выбранном состоянии, зарегистрированном в альбоме, представляющем интерес, из модуля 141 выбора альбома.

В случае, когда на этапе S137 определяют, что ID состояния для состояния в точке t времени для последовательности состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, соответствует одному из зарегистрированных ID состояния в выбранном состоянии, зарегистрированном в альбоме, представляющем интерес, обработка переходит на этап S138, где модуль 146 выделения кадра выделяет кадр в точке t времени из содержания, представляющего интерес, из модуля 142 выбора содержания, передает в модуль 147 регистрации кадра, и обработка переходит на этап S139.

Кроме того, в случае, когда этапе S137 определяют, что ID состояния для состояния в точке t времени последовательности состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, не соответствует ни одному из зарегистрированных ID состояния в выбранном состоянии, зарегистрированном в альбоме, представляющем интерес, обработка пропускает этап S138, и переходит на этап S139.

На этапе S139, модуль 146 выделения кадра определяет, равна или нет переменная t общему количеству N_f кадров содержания, представляющего интерес.

Когда на этапе S139 определяют, что переменная t не равна общему количеству N_f кадров содержания, представляющего интерес, обработка переходит на этап S140, где модуль 146 выделения кадра выполняет последовательное приращение переменной t на единицу. Затем обработка возвращается с этапа S140 на этап S137, и после этого, та же обработка повторяется.

Кроме того, в случае, когда на этапе S139 определяют, что переменная t равна общему количеству N_f кадров содержания, представляющего интерес, обработка переходит на этап S141, где модуль 147 регистрации кадра регистрирует кадры, подаваемые из модуля 146 выделения кадра, то есть, все кадры, выделенные из содержания, представляющего "интерес в альбоме, представляющем интерес, из модуля 141 выбора альбома

После этого обработка переходит с этапа S141 на этап S142, где модуль 142 выбора содержания определяет, существует или нет содержание, среди содержания, принадлежащего той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, которое еще не было выбрано, как содержание, представляющее интерес.

В случае, когда на этапе S142 определяют, что для содержания, принадлежащего к той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, существует содержание, которое еще не было выбрано, как содержание, представляющее интерес, обработка возвращается на этап S132, и после этого, та же обработка повторяется.

Кроме того, в случае, когда на этапе S142 определяют, что для содержания, принадлежащего той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, отсутствует содержание, которое еще не было выбрано, как содержание, представляющее интерес, обработка переходит на этап S143, где модуль 147 регистрации кадра выводит альбом, представляющий интерес, в модуль 104 сохранения зарегистрированного альбома, в качестве зарегистрированного альбома, и обработка генерирования зарегистрированного альбома заканчивается.

Обработка генерирования зарегистрированного альбома, которую выполняет модуль 103 генерирования зарегистрированного альбома (фиг.26), будет описана дополнительно ниже со ссылкой на фиг.28.

В позиции А на фиг.28 показана временная последовательность кадров содержания, выбранного как содержание, представляющее интерес (содержание для альбома, представляющего интерес) в модуле 142 выбора содержания (фиг.26).

В позиции В на фиг.28 показана временная последовательность величины характерного признака для временной последовательности кадров в позиции А на фиг.28, выделенных в модуле 144 выделения величины характерного признака (фиг.26).

В позиции С на фиг.28 показана последовательность состояний максимальной вероятности (последовательность состояний максимальной вероятности модели, представляющей интерес, в отношении содержания, представляющего интерес), где временная последовательность величины характерного признака содержания, представляющего интерес в позиции В на фиг.28 будет наблюдаться в модели, представляющей интерес, оценку которой выполняют в модуле 145 оценки последовательности состояний максимальной вероятности (фиг.26).

Теперь последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, по существу, представляет собой, как описано выше, последовательность ID состояния. Далее ID t-ого состояния от начала последовательности состояний максимальной вероятности модели, представляющей интерес, для содержания, представляющего интерес, представляет собой ID состояния для состояния, где величина характерного признака t-ого кадра (в точке t времени) содержания, представляющего интерес (ID состояния для состояния, соответствующего кадру t), будет наблюдаться в последовательности состояний максимальной вероятности.

В позиции D на фиг.28 показаны кадры, выделенные из содержания, представляющего интерес, в модуле 146 выделения кадра (фиг.26).

В позиции D на фиг.28, "1" и "3" зарегистрированы как зарегистрированный ID состояния альбома, представляющего интерес, и каждый из кадров, ID состояния которого равны "1" и "3", выделяют из содержания, представляющего интерес.

В позиции Е на фиг.28 иллюстрируется альбом, в котором регистрируют кадры, выделенные из содержания, представляющего интерес (зарегистрированный альбом).

В альбоме кадры, выделенные из содержания, представляющего интерес, регистрируют в форме поддержания их временного контекста, например, как движущееся изображение.

Как описано выше, модуль 103 генерирования зарегистрированного альбома выделяет величину характерного признака каждого кадра изображения содержания, представляющего интерес, выполняет оценку последовательности состояний максимальной вероятности, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания, представляющего интерес, будет наблюдаться в модели, представляющей интерес, выделяет из состояний его последовательности состояний максимальной вероятности, кадр, соответствующий состоянию, соответствующему ID состояния (зарегистрированный ID состояния) для состояния на карте модели, установленной пользователем при обработке генерирования исходного альбома (фиг.25), из содержания, представляющего интерес, и регистрирует кадр, выделенный из содержания, представляющего интерес, в альбоме, таким образом, пользователь просто устанавливает в карте модели, состояние, соответствующее кадру, в котором заинтересован пользователь (например, для сцены, где певец поет песню, кадр, представляющий лицо, снятое крупным планом, и т.д.), Таким образом, что может быть получен альбом, собранный из кадров, содержащих материал, аналогичный его кадру.

Следует отметить, что на фиг.27, генерирование зарегистрированного альбома было выполнено для всего содержания, принадлежащего категории, скоррелированной с альбомом, представляющим интерес, как содержание, представляющее интерес, но генерирование зарегистрированного альбома может быть выполнено всего лишь для одного содержания, установленного пользователем, как содержание, представляющее интерес.

Кроме того, при обработке генерирования зарегистрированного альбома на фиг.27, была установлена компоновка,. в которой в модуле 141 выбора альбома, альбом, представляющий интерес, выбирают из исходных альбомов, сохраненных в модуле 102 сохранения исходного альбома, и все кадры, выделенные из содержания, представляющего интерес, зарегистрированы в его альбоме, представляющем интерес, но дополнительно, альбом, представляющий интерес, может быть выбран из зарегистрированных альбомов, сохраненных в модуле 104 сохранения зарегистрированного альбома.

В частности, в случае, когда новое содержание было сохранено в модуле 11 сохранения содержания, если уже имеется зарегистрированный альбом, скоррелированный с категорией его нового содержания, обработка генерирования зарегистрированного альбома (фиг.27) может быть выполнена с его новым содержанием, которое принимается, как содержание, представляющее интерес, и также с зарегистрированным альбомом, скоррелированным с категорией содержания, представляющего интерес, как альбом, представляющий интерес.

Кроме того, в модуле 103 генерирования зарегистрированного альбома (фиг.26), может быть составлена компоновка, в которой в дополнение к кадрам (изображение) из содержания, представляющего интерес, звук вместе с его кадрами выделяют в модуле 146 выделения кадра, и регистрируют в исходном альбоме в модуле 147 регистрации кадра.

Кроме того, в случае, когда новое содержание было сохранено в модуле 11 сохранения содержания, если уже имеется зарегистрированный альбом, скоррелированный с категорией его нового содержания, обработка генерирования исходного альбома (фиг.25), включающая в себя обработку представления структуры элементов содержания (фиг.13), может быть выполнена с новым содержанием, в качестве содержания, представляющего интерес, для дополнительной регистрации нового ID состояния в зарегистрированном альбоме.

Затем, в случае, когда новый ID состояния был дополнительно зарегистрирован в зарегистрированном альбоме в результате обработки генерирования исходного альбома, обработка генерирования зарегистрированного альбома (фиг.27), может быть выполнена с зарегистрированным альбомом, в качестве альбома, представляющего интерес, для выделения из содержания, сохраненного в модуле 11 сохранения содержания, кадра, в котором состояния соответствует новому ID состояния, дополнительно зарегистрированному в зарегистрированном альбоме, для дополнительной регистрации в зарегистрированном альбоме.

В этом случае, из содержания с, из которого был выделен кадр f, который был уже зарегистрирован в зарегистрированном альбоме, другой кадр f, ID состояния которого соответствует новому ID состояния, дополнительно зарегистрированному в зарегистрированном альбоме, может быть выделен и дополнительно зарегистрирован в зарегистрированном альбоме.

Такую дополнительную регистрацию кадра f в зарегистрированном альбоме выполняют так, чтобы поддержать временной контекст с кадром f, выделенным из содержания с, из которого был выделен его кадр f.

Следует отметить, что, в этом случае существует потребность в определении содержания с, из которого был выделен кадр f, зарегистрированный в зарегистрированном альбоме, так, что существует потребность в регистрации ID содержания, используемого как информация для определения содержания с, из которого был выделен его кадр f, в зарегистрированном альбоме, вместе с кадром f.

Теперь при использовании технологии детектирования кульминационной сцены в соответствии с публикацией № 2005-189832 находящейся на экспертизе заявки на японский патент, при обработке на предыдущем этапе, каждое из среднего значения и дисперсии размеров вектора движения, выделенных из изображения содержания, подвергают квантизации на четыре или пять меток, и также величину характерного признака, выделенную из аудиоданных содержания, классифицируют по меткам как "аплодисменты", "удар по мячу", "женский голос", "мужской голос", "музыка", "музыка + голос" и "шум" сортировщиком на основе нейронной сети, получая в результате, временную последовательность меток изображения и временную последовательность меток аудиоданных.

Кроме того, используя технологию детектирования кульминационной сцены в соответствии с публикацией № 2005-189832 находящейся на экспертизе заявки на японский патент при обработке, на последующем этапе, детектор для детектирования кульминационной сцены получают путем обучения, используя временные последовательности меток.

В частности, для данных содержания, используя данные участка, применяемые в качестве кульминационной сцены, в качестве данных обучения, используемых для обучения НММ, применяемой как детектор, обучение дискретной НММ (НММ со значением наблюдения, являющимся дискретным значением), выполняют путем предоставления каждой последовательности меток изображения и звука, полученных из данных обучения НММ.

Затем каждую временную последовательность меток изображения и звука заданной длины (длина окна) выделяют из содержания, которое представляет собой объект, из которого детектируют кульминационную сцену, используя обработку скользящего окна, и подают в НММ после обучения, в результате чего получают вероятность того, что временная последовательность меток будет наблюдаться в ее НММ.

После этого, в случае, когда вероятность выше, чем заданный порог, участок последовательности меток, где была получена вероятность, детектируют как участок кульминационной сцены.

В соответствии с технологией детектирования кульминационной сцены, в соответствии с публикацией № 2005-189832 находящейся на экспертизе заявки на японский патент, НММ, используемая как детектор для детектирования кульминационной сцены, может быть получена в результате обучения, без разработки предварительного знания от эксперта в отношении того, какой вид сцены, такой как величина характерного признака, события или тому подобное, становится кульминационной сценой, путем простого предоставления в НММ как данные обучения данных участка, используемых как кульминационная сцена, для данных содержания.

В результате этого, например, предоставление данных сцены, в которой заинтересован пользователь, в НММ, в качестве данных обучения, обеспечивает для сцены, в которой заинтересован пользователь, возможность ее детектирования, в качестве кульминационной сцены.

Однако при использовании' технологии детектирования кульминационной сцены в соответствии с публикацией № 2005-189832 находящейся на экспертизе заявки на японский патент, величину характерного признака (для звука), предназначенную для установки меток, таких как, например, "аплодисменты", "удар по мячу", "женский голос", "мужской голос", "музыка", "музыка + голос", или "шум", выделяют из содержания определенного жанра, как содержание, которое должно быть детектировано из содержания такого конкретного жанра.

В соответствии с этим, используя технологию детектирования кульминационной сцены в соответствии с публикацией № 2005-189832 находящейся на экспертизе заявки на японский патент, содержание, которое должно быть детектировано, ограничивают содержанием определенного жанра, и для устранения такого ограничение, каждый раз, когда жанр содержания, которое должно быть детектировано, отличается, существует потребность в разработке (предварительном определении) и выделении величины характерного признака, адаптированной к ее жанру. Кроме того, пороговое значение вероятности, используемой для детектирования участка кульминационной сцены, должно быть определено для каждого жанра содержания, но определение такого порогового значения является трудновыполнимым.

С другой стороны, в устройстве записи по фиг.1, величину характерного признака, выделенную из содержания, используют, как она есть, без установки меток, представляющих, что за содержание он представляет, такое как "аплодисменты" или тому подобное, для выполнения обучения модели содержания (НММ), и структуру содержания получают в модели содержания самоорганизующимся способом, таким образом, что, учитывая величину характерного признака, выделяемого из содержания, величина характерного признака общего назначения, обычно используемая для классификации (идентификации) сцены, или тому подобное, может использоваться вместо величины характерного признака, адаптированного для определенного жанра.

В соответствии с этим, в устройстве записи по фиг.1, даже в случае, когда различные жанры содержания представляют собой содержание, которое требуется детектировать, обучение модели содержания должно быть выполнено для каждого жанра, но величину характерного признака, выделяемую из содержания, не обязательно требуется изменять для каждого жанра.

Следовательно, можно сказать, что технология детектирования кульминационной сцены в соответствии с устройством записи по фиг.1, представляет собой технологию, имеющую чрезвычайно высокую разносторонность, независимую от жанров содержания.

Кроме того, в отношении устройства записи по фиг.1, пользователь устанавливает интересную сцену (кадр), метку кульминационного момента, представляющую, выполняют или нет для кульминационной сцены установку метки для каждого кадра содержания, для генерирования последовательности меток кульминационного момента, в соответствии с его спецификацией, и обучение НММ, используемой как детектор кульминационного момента, выполняют, используя множественный поток с последовательностью меток кульминационного момента в качестве компонента последовательности, в результате чего НММ, используемая как детектор кульминационного момента, может быть легко получена, даже без разработки предварительного знания от эксперта в отношении того, какой тип сцены, такой как величина характерного признака или события, или тому подобное, становится кульминационной сценой.

Таким образом, технология детектирования кульминационного момента в соответствии с устройством записи по фиг.1, также обладает высокой степенью разносторонности, выражающейся в том, что не требуется предварительное знание от эксперта.

Затем устройство записи по фиг.1 изучает предпочтение пользователя, детектирует сцену, пригодную для его предпочтения (сцену с интересом пользователя), как кульминационную сцену, и представляет дайджест, в котором собраны такие кульминационной сцены. В соответствии с этим, реализуется "персонализация" просмотра и прослушивание содержания, и расширяются, таким образом, возможности наслаждения содержанием.

[Приложение для системы сервер - клиент]

В устройстве записи по фиг.1 вся система может быть выполнена, как отдельное устройство, но также она может быть выполнена с ее разделением на сервер и клиент, как система сервер - клиент.

Теперь, что касается моделей содержания и, в конечном итоге, содержания, используемого для обучения модели содержания, можно использовать содержание (модели содержания), общее для всех пользователей.

С другой стороны, сцена с интересом пользователя, то есть, кульминационная сцена для пользователя отличается для каждого пользователя.

Поэтому, в случае, когда устройство записи по фиг.1 выполнено как система сервер - клиент, например, управление (сохранение) содержанием, которое требуется использовать для обучения модели содержания, может быть выполнено сервером.

Кроме того, например, изучение структуры содержания, то есть, изучение модели содержания может быть выполнено сервером для каждой категории содержания, такой как жанр содержания или тому подобное, и кроме того, управление (сохранение) модели содержания, после обучения, также может быть выполнено сервером.

Кроме того, например, в модели содержания, оценка последовательности состояний максимальной вероятности, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что будет наблюдаться величина характерного признака содержания, и кроме того, управление (сохранение) последовательностью состояния максимальной вероятности, используемой как ее результаты оценки, также можно выполнить на сервере.

В системе сервер - клиент клиент запрашивает из сервера информацию, необходимую для обработки, и сервер предоставляет (передает) в клиент информацию, запрашиваемую из клиента. Затем клиент выполняет необходимую обработку, используя информацию, принятую из сервера.

На фиг.29 показана блок-схема, иллюстрирующая, в случае, когда устройство записи по фиг.1 выполнено как система сервер - клиент, пример конфигурации (первый пример конфигурации) ее системы сервер - клиент.

На фиг.29 сервер имеет конфигурацию из модуля 11 сохранения содержания, модуля 12 обучения модели содержания и модуля 13 сохранения модели, и клиент имеет конфигурацию из модуля 14 представления структуры содержания, модуля 15 генерирования дайджеста и модуля 16 генерирования альбома.

Следует отметить, что на фиг.29, содержание может быть предоставлено в клиент из модуля 11 сохранения содержания, и также может быть предоставлено из другого непоказанного блока (например, тюнера и т.д.), кроме этого.

На фиг.29 весь модуль 14 представления структуры содержания предоставлен на стороне клиента, но в отношении модуля 14 представления структуры содержания, может быть выполнена компоновка, в которой ее участок будет сконфигурирован, как сервер, и остальные части будут сконфигурированы, как клиент.

На фиг.30 показана блок-схема, иллюстрирующая пример конфигурации (второй пример конфигурации) такой системы сервер - клиент.

На фиг.30 модуль 31 выбора содержания, через модуль 37 расчета координат, используемый как участок модуля 14 представления структуры содержания (фиг.9), предусмотрен для сервера, и модуль 38 вычерчивания карты, и модуль 39 управления отображением, используемые как остальной участок модуля 14 предоставления структуры содержания, предусмотрены для клиента.

На фиг.30 клиент передает ID содержания, используемый как информация для определения содержания, которое должно быть использовано для отображения карты модели для сервера.

На сервере содержание, определенное в соответствии с ID содержания из клиента, выбирают как содержание, представляющее интерес, в модуле 31 выбора содержания, получают координаты состояния, необходимые для генерирования (вычерчивания) карты модели, и также генерируют информацию изображения, обусловленного состоянием.

Далее, из сервера координаты состояния и информацию изображения, обусловленного состоянием передают в клиент, и в клиенте вычерчивают кварту модели, используя координаты состояния "из сервера, и его карту модели соединяют с информацией изображения, обусловленного состоянием, из сервера. Затем, в клиенте, карту модели отображают.

Дале, со ссылкой на описанную выше фиг.29, весь модуль 15 генерирования дайджеста (фиг.14), включая в себя модуль 51 обучения детектора кульминационного момента, предусмотрен на стороне клиента, но в отношении модуля обучения 51 детектора кульминационного момента (фиг.15), может быть выполнена компоновка, в которой его участок выполнен, как сервер, и остальные участки выполнены, как клиент.

На фиг.31 показана блок-схема, иллюстрирующая пример конфигурации (третий пример конфигурации) такой системы сервер - клиент.

На фиг.31 модуль 61 выбора содержания, через модуль 64 оценки последовательности состояний максимальной вероятности, используемый как участок модуля 51 обучения детектора кульминационного момента (фиг.15), предоставляют для сервера, и модуль 65 генерирования метки кульминационного момента путем обучения модуля 67, используемого как остающийся его участок, предоставляют для клиента.

На фиг.31 клиент передает ID содержания для содержания, предназначенного для использования для обучения детектора кульминационного момента, в сервер.

В сервере содержание, определенное по ID содержания из клиента, выбирают как содержание, представляющее интерес, в модуле 61 выбора содержания, и получают последовательность состояний максимальной вероятности в отношении содержания, представляющего интерес. Затем из сервера последовательность состояний максимальной вероятности в отношении содержания, представляющего интерес, предоставляют в клиент.

В клиенте последовательность меток для обучения генерируют, используя последовательность состояний максимальной вероятности из сервера, и выполняют обучение детектора кульминационного момента, используя последовательность меток для его обучения. Затем, в клиенте, детектор кульминационного момента после обучения сохраняют в модуле 52 сохранения детектора.

Затем, со ссылкой на описанную выше фиг.29, весь модуль 15 генерирования дайджеста (фиг.14), включая в себя модуль 53 детектирования кульминационного момента, предоставляют на сторону клиента, но в отношении модуля 53 детектирования кульминационного момента (фиг.18), может быть выполнена компоновка, в которой его участок конфигурируют, как сервер, и остальные конфигурируют, как клиент.

На фиг.32 показана блок-схема, иллюстрирующая пример конфигурации (четвертый пример конфигурации), такой системы сервер - клиент.

На фиг.32, модуль 71 выбора содержания, через модуль 74 оценки последовательности максимальной вероятности и служащий в качестве участка модуля 53 детектирования кульминационного момента (фиг.18), предоставляют в сервер, и модуль 75 генерирования метки детектирования через модуль 80 управления воспроизведением, служащий в качестве остального его участка, предоставляют в клиент.

На фиг.32 клиент передает в сервер ID содержания для содержания, в отношении которого должно быть выполнено детектирование, которое представляет собой объект детектирования кульминационной сцены.

В сервере содержание, определенное по ID содержания из клиента, выбирают, как содержание, представляющее интерес, в модуле 71 выбора содержания, и получают последовательность состояний максимальной вероятности в отношении содержания, представляющего интерес. Затем, в сервере, последовательность состояний максимальной вероятности в отношении содержания, представляющего интерес, предоставляют в клиент.

В клиенте последовательность меток для детектирования генерируют, используя последовательность состояний максимальной вероятности из сервера, и детектирование кульминационных сцен, используя последовательность меток для детектирования и детекторы кульминационного момента, сохраненные в модуле 52 сохранения детектора, и выполняют генерирование содержания дайджеста, используя их кульминационной сцены.

Затем, со ссылкой на описанную выше фиг.29, весь модуль 16 генерирования альбома (фиг.22), включая в себя модуль 101 генерирования исходного альбома, предоставляют на сторону клиента, но в отношении модуля 101 генерирования исходного альбома (фиг.23), может быть выполнена компоновка, в которой его участок выполняют, как сервер, и остальные части выполняют, как клиент.

На фиг.33 показана блок-схема, иллюстрирующая пример конфигурации (пятый пример конфигурации) такой системы сервер - клиент.

На фиг.33, модуль 111 выбора содержания, через модуль 117 расчета координат, используемый в качестве участка модуля 101 генерирования исходного альбома (фиг.23), предоставляют в сервер, и модуль 118 вычерчивания карты, модуль 119 управления отображением, модуль 121 выбора состояния, и модуль 122 регистрации выбранного состояния, используемые в качестве его остального участка, предоставляют в клиент.

На фиг.33, клиент передает в сервер ID содержания, используемый как информация для определения содержания, предназначенная для использования для вычерчивания карты модели.

В сервере содержание, определенное по ID содержания из клиента, выбирают, как содержание, представляющее интерес, в модуле 111 выбора содержания, и координаты состояния, необходимые для генерирования (вычерчивания) карты модели, получают, и также генерируют информацию изображения, обусловленного состоянием.

Кроме того, на сервере, координаты состояния и информацию изображения, обусловленного состоянием передают в клиент, и в клиенте вычерчивают карту модели, используя координаты состояния из сервера, и его карту модели связывают с информацией изображения, обусловленного состоянием, из сервера. Затем в клиенте отображают карту модели.

Кроме того, в клиенте, в соответствии с операциями пользователя, выбирают состояние на карте модели, как выбранное состояние, и ID состояния его выбранного состояния распознают. После этого, в клиенте, ID состояния выбранного состояния регистрируют в альбоме, и его альбом сохраняют в исходном модуле 102 сохранения альбома, как исходный альбом.

Затем, как показано на описанной выше фиг.29, весь модуль 16 генерирования альбома (фиг.22), включающий в себя модуль 103 генерирования зарегистрированного альбома, предоставляют на сторону клиента, но в отношении модуля 103 генерирования зарегистрированного альбома (фиг.26), может быть выполнена компоновка, в которой его участок выполнен, как сервер, и остальные участки выполнены, как клиент.

На фиг.34 показана блок-схема, иллюстрирующая пример конфигурации (шестой пример конфигурации) такой системы сервер - клиент.

На фиг.34 модуль 142 выбора содержания, через модуль 145 оценки последовательности состояний максимальной вероятности, используемый как участок модуля 103 генерирования зарегистрированного альбома (фиг.26), предусмотрен для сервера, и модуль 141 выбора альбома, модуль 146 выделения кадра и модуль 147 регистрации кадра, используемые, как остальной его участок, предоставляют в клиент.

На фиг.34 клиент передает в сервер категорию, скоррелированную с альбомом, представляющим интерес, выбранным модулем 141 выбора альбома.

На сервере, для содержания категории из клиента, последовательность состояний максимальной вероятности модели содержания, скоррелированную с ее категорией, оценивают, и предоставляют в клиент вместе с содержанием категории, полученной из клиента.

В клиенте, среди состояний последовательности состояний максимальной вероятности из сервера, кадр, в котором ID состояния соответствует состоянию, соответствующему ID состояния (зарегистрированный ID состояния), регистрируют в альбоме, представляющем интерес, выбранном в модуле 141 выбора альбома, выделяют из содержания на сервере и регистрируют в альбоме.

Как описано выше, устройство записи по фиг.1 выполнено так, что оно разделено на сервер и клиент, в результате чего, обработка может быть быстро выполнена, даже, когда клиент имеет низкие характеристики аппаратных средств.

Следует отметить, что при обработке, которую выполняет устройство записи по фиг.1, до тех пор, пока клиент выполняет обработку части, где отражены предпочтения пользователя, отсутствуют какие-либо ограничения на то, как следует разделить устройство записи по фиг.1 на сервер и клиент.

[Пример конфигурации других устройств записи]

Выше было приведено описание на примере, в котором величину характерного признака, получаемую из изображения на основе кадра, используют для обучения модели содержания путем структурирования видео содержания самоорганизующимся образом для представления структуры содержания, или для генерирования дайджеста видеоматериалов или альбома видеоматериалов. Однако, в момент времени обучения модели содержания, другие параметры, кроме изображений на основе кадра, можно использовать, как величину характерного признака, и, например, аудиоданные или объект в изображении, или тому подобное, можно использовать, как величину характерного признака.

На фиг.35 показана блок-схема, иллюстрирующая пример конфигурации другого варианта осуществления устройства записи, в котором использовали устройство обработки информации в соответствии с настоящим изобретением, которое применяют другую величину характерного признака, чем изображение на основе кадра. Следует отметить, что конфигурация, имеющая ту же функцию, что и устройство записи на фиг.1, обозначена тем же номером ссылочной позиции, и ее описание будет исключено соответствующим образом.

В частности, устройство записи на фиг.35 отличается от устройства записи по фиг.1 тем, что модуль 201 обучения модели содержания, модуль 202 сохранения модели, модуль 203 представления структуры содержания, модуль 204 генерирования дайджеста и модуль 205 генерирования альбома, предусмотрены вместо модуля 12 обучения модели содержания, модуля 13 сохранения модели, модуля 14 представления структуры содержания, модуля 15 генерирования дайджеста и модуля 16 генерирования альбома.

Модуль 201 обучения модели содержания, модуль 202 сохранения модели, структура элементов содержания, модуль 203 представления структуры содержания, модуль 204 генерирования дайджеста и модуль 205 генерирования альбома, имеют, в принципе, ту же функцию, что и в модуле 12 обучения модели содержания, модуле 13 сохранения модели, модуле 14 представления структуры содержания, модуле 15 генерирования дайджеста и модуле 16 генерирования альбома. Однако величина характерного признака, обрабатываемая в соответствующих модулях, отличается тем, что первые обрабатывают три типа величины характерного признака такие, как величины характерного признака аудиоданных и величины характерного признака объекта в дополнение к величине характерного признака описанного выше изображения, на основе кадра (ниже также называется величиной характерного признака изображения). Следует отметить, что описание будет выполнено здесь в отношении примера обработки трех типов величины характерного признака, но количество типов величин характерного признака, которые должны быть обработаны, не ограничивается тремя, таким образом, количество типов величин характерного признака, предназначенных для обработки, может превышать три.

[Пример конфигурации модуля 201 обучения модели содержания]

На фиг.36 показана блок-схема, иллюстрирующая пример конфигурации модуля 201 обучения модели содержания по фиг.35. Следует отметить, что в конфигурации модуля 201 обучения модели содержания по фиг.36, конфигурация, имеющая те же функции, что и в модуле 12 обучения модели-содержания, описанном со ссылкой на фиг.2, обозначена теми же номерами ссылочных позиций, и ее описание здесь будет исключено.

Модуль 201 обучения модели содержания выделяет величину характерного признака изображения, величину характерного признака звука и величину характерного признака объекта, как величину характерного признака каждого кадра изображения содержания для обучения, которое представляет собой содержание, предназначенное для использования для обучения модели вероятности перехода состояния, обусловленного вероятностью перехода состояния, который будет выполнен состоянием, и вероятности наблюдения, что заданная величина наблюдения будет наблюдаться из этого состояния. После этого модуль 201 обучения модели содержания выполняет обучение каждой модели вероятности перехода состояния, используя величину характерного признака изображения, величину характерного признака звука и величину характерного признака объекта содержания для обучения.

Модуль 220 выделения величины характерного признака изображения является тем же, что и модуль 22 выделения величины характерного признака на фиг.2, и, кроме того, модуль 26 сохранения величины характерного признака изображения и модуль 27 обучения являются теми же, что и на фиг.2. В частности, конфигурация для обработки величины характерного признака изображения является той же, что и в модуле 12 обучения модели содержания - на фиг.2. Кроме того, в модуле 27 обучения, модель содержания, полученную в результате обучения, сохраняют в модуле 202а сохранения модели изображения модуля 202 сохранения модели. В частности, модуль 202а сохранения модели изображения является тем же, что и модуль 13 сохранения модели по фиг.2. Следует отметить, что модель содержания, сохраненная в модуле 202а сохранения модели изображения, представляет собой модель содержания, полученную из величины характерного признака изображения, так, что ниже она также будет называться моделью содержания изображения.

Модуль 221 выделения величины характерного признака звука выделяет величину характерного признака, относящуюся к звуку содержания, для обучения в корреляции с каждым кадром изображения.

Модуль 221 выделения величины характерного признака звука выполняет обратное мультиплексирование содержания для обучения из модуля 21 выбора содержания для обучения, в данные изображения и в данные звука, выделяет величину характерного признака звука, в корреляции с каждым кадром изображения, и подает в модуль 222 сохранения величины характерного признака звука. Следует отметить, что ниже величина характерного признака в отношении упомянутого здесь звука на основе кадров, называется величиной характерного признака звука.

В частности, модуль 221 выделения величины характерного признака звука выполнен из модуля 241 выделения величины примитивного характерного признака, модуля 242 расчета среднего значения, модуля 243 расчета дисперсии и соединительного модуля 244.

Модуль 241 выделения величины примитивного характерного признака выделяет величину примитивного характерного признака, которая представляет собой величину примитивного характерного признака для генерирования величины характерного признака звука, пригодной для классификации звука на сцены (например, "музыка", "не музыка", "шум", "голос человека", "голос человека + музыка", "музыка" и т.д.), которые используются для поля классификации звука (классификация звука). Величину примитивного характерного признака используют для классификации звука, и ее примеры включают в себя энергию, получаемую из звуковых сигналов, в результате расчета на относительно короткой базе времени, такой как порядка 10 мс или тому подобное, частоты пересечения нуля и центра тяжести спектра.

Более конкретно, модуль 241 выделения величины примитивного характерного признака выделяет величину примитивного характерного признака, используя способ выделения величины характерного признака, описанный, например, в "Zhu Liu; Jincheng Huang; Yao Wang; Tsuhan Chen, Audio feature extraction and analysis for scene classification, First Workshop on Multimedia Signal Processing, 1997., IEEE Volume, Issue, 23-25 Jun 1997 Page(s): 343-348", и "Brezeale, D. Cook, D.J., Automatic Video Classification: A Survey of the Literature, IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, May 2008, Volume: 38, issue: 3, pp.416-430".

Модуль 242 расчета среднего выделяет величину характерного признака на более длительной заданной временной основе в виде временных последовательностей, путем расчета среднего значения, как статистической величины на более длинной заданной временной основе (обычно, 1 секунда или больше) из временной последовательности величины примитивного характерного признака, и передает в соединительный модуль 244.

Модуль 243 расчета дисперсии выделяет величину характерного признака за более длительный заданный период времени во временной последовательности путем расчета дисперсии, как статистической величины за более длительный заданный период времени (обычно, 1 секунда или больше) из временной последовательности величины примитивного характерного признака, и подает в соединительный модуль 244.

Соединительный модуль 244 соединяет среднее значение и дисперсию, полученные как статистические величины из временной последовательности величины примитивного характерного признака, и подает результат соединения в модуль 26 сохранения величины характерного признака звука, как величину характерного признака кадра, представляющего интерес.

Более конкретно, для реализации описанной ниже обработки, величина характерного признака звука должна быть выделена так, чтобы она была синхронной с описанной выше величиной характерного признака изображения. Кроме того, величина характерного признака предпочтительно представляет собой величину характерного признака, адаптированную для различения сцены по звуку в каждой точке времени, когда выделяют величину характерного признака изображения, поэтому, величину характерного признака генерируют в соответствии со следующей технологией.

В частности, вначале, в случае, когда тональный сигнал представляет собой стереофонический голосовой сигнал, модуль 241 выделения величины примитивного характерного признака преобразует стереофонический сигнал в монофонический сигнал. Затем модуль 241 выделения величины примитивного характерного признака постепенно сдвигает, как показано в виде графиков А и В формы колебаний на фиг.37, окно с шириной по времени 0,05 секунд, с длиной шага 0,05 секунд, и выделяет величину примитивного характерного признака аудиосигнала в пределах окна. Здесь, на графиках А и В формы колебаний, на каждом из графиков, по вертикальной оси представлена амплитуда аудиосигнала, и по горизонтальной оси представлено время. Кроме того, на графике В формы колебаний отображается разрешающая способность в отношении участка графика А формы колебаний, и на графике А формы колебаний представленный диапазон от 0 (× 10⁴) до 10 (× 10⁴) представляет собой диапазон 2,0833 секунды, а на графике В формы колебаний диапазон от 0 до 5000 представляет диапазон 0,1042 секунды. Следует отметить, что, в том, что касается величины примитивного характерного признака, множество типов могут быть выделены из звукового сигнала в пределах окна. В этом случае, модуль 241 выделения величины примитивного характерного признака составляет вектор с этим множеством типов элементов для получения величины примитивного характерного признака.

Затем, в каждой точке времени, когда выделяют величину характерного признака изображения (например, в начальной точке времени кадра, или в средней точке времени между начальной точкой времени и конечной точкой времени кадра), как показано на фиг.38, модуль 242 расчета среднего значения и модуль 243 расчета дисперсии получают среднее значение и дисперсию величины примитивного характерного признака за 0,5 секунд до и после их точки во времени, соответственно, и модуль 221 выделения величины характерного признака звука учитывает их, как величину характерного признака звука в данной точке времени.

На фиг.38, начиная сверху, на графике А формы колебаний показана форма колебаний, иллюстрирующая взаимосвязь между идентификатором (точка во времени, когда выделяют величину примитивного характерного признака) Sid для идентификации данных выборки информации звука, и энергию, которая представляет собой величину примитивного характерного признака, и на графике В формы колебаний показана форма колебаний, иллюстрирующая взаимосвязь между идентификатором (точка во времени, когда выделяют величину примитивного характерного признака) Vid, для идентификации кадров изображения, и величиной характерного признака изображения (GIST). Следует отметить, что на графиках А и В формы колебаний круглыми метками представлены величина примитивного характерного признака и величина характерного признака изображения, соответственно.

Кроме того, на графиках С и D показаны формы колебаний, используемые как исходные значения для графиков А и В формы колебаний, соответственно, и формы колебаний А и В представляют собой формы колебаний, где интервалы отображения идентификаторов Sid и Vid по горизонтальной оси участков графика С и D формы колебаний увеличены. На фиг.38 показан пример, когда частота fq_s выборки величины примитивного характерного признака звука составляет 20 Гц, и частота fq_v выборки величины характерного признака изображения составляет 3 Гц.

Идентификатор Sid звука величины примитивного характерного признака синхронно с кадром с определенным идентификатором Vid изображения обозначен следующим Выражением (4).

Здесь ceil() представляет собой функцию, обозначающую округление в направлении положительной бесконечности (минимальное целое число, равное или больше, чем значение в пределах круглых скобок).

Теперь, если предположить, что количество выборок W величины примитивного характерного признака, используемых для получения среднего значения, используемого, как величина характерного признака звука, представлено Выражением (5) с заданной константой К, равной 1, количество выборок равно 7. В этом случае, в кадре с определенным идентификатором Vid изображения, среднее значение и дисперсия величины примитивного характерного признака W=7 с идентификатором Sid звука, удовлетворяющим Выражению (4), как центр, становятся соответствующей (синхронной) величиной характерного признака звука.

Здесь, round() представляет собой функцию для преобразования в ближайшее целое число (округление ниже десятичной запятой в пределах скобок). Следует отметить, что в Выражении (5), если предположить, что константа К=fq_v, величина примитивного характерного признака, используемая для получения величины характерного признака звука, имеет значение 1-sec величины примитивного характерного признака.

Величину характерного признака звука, выделенную таким образом, сохраняют в модуле 222 сохранения величины характерного признака звука. Следует отметить, что функции, относящиеся к модулю 222 сохранения величины характерного признака и к модулю 223 обучения, являются теми же, что и модуле 26 сохранения величины характерного признака изображения и модуле 27 обучения, поэтому их описание будет исключено. Кроме того, модель содержания, получаемая модулем 223 обучения, выполняющим обработку обучения, сохраняют в модуле 202b сохранения модели звука модуля 202 сохранения модели, как модель звукового содержания.

Модуль 224 выделения величины характерного признака объекта выделяет величину характерного признака, скоррелированную с объектом в отношении каждого кадра изображения содержания для обучения.

Модуль 224 выделения величины характерного признака объекта, выполняет обратное мультиплексирование содержания для обучения из модуля 21 выбора содержания для обучения, на данные изображения и данные звука, и детектирует диапазон существования объекта, например, такого как человек и лицо, включенного в каждый кадр изображения, как прямоугольное изображение. После этого, модуль 224 выделения величины характерного признака объекта выделяет величину характерного признака объекта, используя детектированное прямоугольное изображение, и подает в модуль 225 сохранения величины характерного признака объекта.

В частности, модуль 224 выделения величины характерного признака объекта выполнен как модуль 261 выделения объекта, модуль 262 разделения кадра, модуль 263 выделения величины характерного признака подобласти и соединительный модуль 264.

Модуль 261 выделения объекта вначале выполняет обратное мультиплексирование содержания для обучения на данные изображения и данные звука. Затем модуль 261 выделения объекта выполняет обработку детектирования объекта в отношении каждого кадра изображения, и если предположить, что объект представляет собой появление всего тела человека, как показано в верхнем левом участке на фиг.39, детектирует объекты ОВ1 и ОВ2, состоящие из прямоугольной области в пределах кадра F₁. После этого, модуль 261 выделения объекта выводит векторы (X1, Y1, W1, H1)h (Х2, Y2, W2, Н2), состоящие из верхних левых координат и ширины и высоты прямоугольной области, включающей в себя детектируемый объект, обозначенный заштрихованным участком на нижнем левом участке фиг.39, в модуль 263 выделения величины характерного признака подобласти. Следует отметить, что, в случае, когда было детектировано множество объектов, и было выведено множество прямоугольных областей, эту информацию выводят в один кадр, эквивалентно количеству детектирований.

Одновременно, модуль 262 разделения кадра делит кадр таким же образом, как и для модуля 23 разделения кадра, на, например, подобласти R₁-R₃₆ (6×6), как показано на нижнем левом участке на фиг.39, и подает в модуль 263 выделения величины характерного признака подобласти.

Модуль 263 выделения величины характерного признака подобласти подсчитывает, как показано на среднем нижнем участке на фиг.39, количество пикселей V_n прямоугольной области в каждой из подобластей R_n, и накапливают только подсчитываемые результаты детектирования. Кроме того, модуль 263 выделения величины характерного признака подобласти нормализует размер изображения путем деления количества пикселей V_n прямоугольной области на общее количество пикселей S_n в пределах подобласти, и выводит в соединительный модуль 264.

Соединительный модуль 264 соединяет, как показано на нижнем правом участке на фиг.39, значение F_n=V_n/S _n, рассчитанное в каждой подобласти R_n, как компонент вектора, генерируя, таким образом, вектор, используемый как величину характерного признака объекта, для вывода в модуль 225 сохранения величины характерного признака объекта. Следует отметить, что функции, относящиеся к модулю 225 сохранения величины характерного признака объекта и модулю 226 обучения, являются теми же, что и у модуля 26 сохранения величины характерного признака изображения и модуля 27 обучения, поэтому их описание будет пропущено. Кроме того, модель содержания, полученная модулем 226 обучения, выполняющая обработку обучения, сохранена в модуле 202 с сохранения модели объекта модуля 202 сохранения модули, как модель содержания объекта.

[Обработка обучения модели содержания, выполняемая модулем 201 обучения модели содержания]

Далее будет описана обработка обучения содержания модуля 201 обучения модели содержания по фиг.36. Обработка обучения содержания, которую выполняет модуль 201 обучения модели содержания - по фиг.36, состоит из обработки обучения модели содержания изображения, обработки обучения модели содержания звука, и обработки обучения модели содержания объекта, в соответствии с типом величины характерного признака. Среди них обработка обучения модели содержания изображения является той же, что и обработка обучения модели содержания, описанная со ссылкой на фиг.8, и генерируемую модель содержания изображения просто сохраняют в модуле 202а сохранения модели изображения, так, что ее описание здесь будет пропущено.

Далее, со ссылкой на блок-схему последовательности операций, показанную на фиг.40, будет описана обработка обучения модели содержания звука, которую выполняет модуль 201 обучения модели содержания по фиг.36. Следует отметить, что обработка, выполняемая на этапе S201 на фиг.40, является той же, что и обработка, выполняемая на этапе S11 на фиг.8, поэтому ее описание здесь исключено.

На этапе S202 модуль 241 выделения величины примитивного характерного признака модуля 221 выделения величины характерного признака звука выбирает одно из содержания для обучения, которое еще не было выбрано, как содержание для обучения, представляющее интерес (ниже также называется "содержанием, представляющим интерес") среди содержания для обучения из модуля 21 выбора содержания для обучения, как содержание, представляющее интерес.

После этого обработка переходит с этапа S202 на этап S203, где модуль 241 выделения величины примитивного характерного признака выбирает самый предшествующий по времени кадр, который не еще был выбран, как кадр, представляющий интерес, среди кадров содержания, представляющего интерес, как кадр, представляющий интерес, и обработка переходит на этап S204.

На этапе S204, модуль.241 выделения величины примитивного характерного признака выделяет, как описано со ссылкой на фиг.37 и фиг.38, величину примитивного характерного признака, которую требуется использовать для генерирования величины характерного признака звука, соответствующего кадру, представляющему интерес, среди источников звука содержания, представляющего интерес. После этого модуль 241 выделения величины примитивного характерного признака подает выделенную величину примитивного характерного признака в модуль 242 расчета среднего значения и в модуль 243 расчета дисперсии.

На этапе S205, модуль 242 расчета среднего значения рассчитывает по переданной в него величине примитивного характерного признака среднее значение в отношении кадра, представляющего интерес, и передает в соединительный модуль 244.

На этапе S206, модуль 243 расчета дисперсии рассчитывает по переданной в него величине примитивного характерного признака дисперсию, относящуюся к кадру, представляющему интерес, и передает в соединительный модуль 244.

На этапе S207, соединительный модуль 244 соединяет среднее значение величины примитивного характерного признака кадра, представляющего интерес, поданного из модуля 242 расчета среднего значения, и дисперсию величины примитивного характерного признака кадра, представляющего интерес, переданную из модуля 243 расчета дисперсии, составляя, таким образом, вектор характерного признака. Затем соединительный модуль 244 генерирует этот вектор величины характерного признака как величину характерного признака звука кадра, представляющего интерес, и обработка переходит на этап S208.

На этапе S208 модуль 23 разделения кадра определяет, все или нет кадры содержания, представляющего интерес, были выбраны, как кадр, представляющий интерес.

В случае, когда на этапе S208 определяют, что среди всех кадров содержания, представляющего интерес, имеется кадр, который не был выбран как кадр, представляющий интерес, обработка возвращается на этап S203, и после этого, повторяется та же обработка.

Кроме того, в случае, когда на этапе S208 определяют, что все кадры содержания, представляющего интерес, были выбраны как кадр, представляющий интерес, обработка переходит на этап S209, где соединительный модуль 244 подает и сохраняет (временную последовательность) величину характерного признака каждого кадра содержания, представляющего интерес, полученную в отношении содержания, представляющего интерес, модуля 222 сохранения величины характерного признака звука.

После этого обработка переходит с этапа S209 на этап S210, где модуль 241 выделения величины примитивного характерного признака определяет, было ли все содержание для обучения из модуля 21 выбора содержания для обучения выбрано, как содержание, представляющее интерес.

В случае, когда на этапе S210 определяют, что среди содержания для обучения присутствует содержание для обучения, которое еще не было выбрано, как содержание, представляющее интерес, обработка возвращается на этап S202, и после этого та же обработка повторяется.

Кроме того, в случае, когда на этапе S210 определяют, что все содержание для обучения было выбрано, как содержание, представляющее интерес, обработка переходит на этап S211, где модуль 223 обучения использует величину характерного признака звука (временную последовательность величины характерного признака звука каждого кадра) содержания для обучения, сохраненного в модуле 222 сохранения величины характерного признака звука для выполнения обучения звуковой НММ.

После этого модуль 223 обучения выводит (передает) звуковую НММ после обучения в модуль 202b сохранения модели звука, как модели содержания звука, в корреляции с категорией содержания для обучения, и обработка обучения модели содержания звука заканчивается.

Следует отметить, что обработка обучения модели содержания звука может начинаться в произвольные моменты времени.

В соответствии с описанной выше обработкой обучения модели содержания звука, структуру содержания (например, структуру, сформированную из аудиоданных или тому подобное), скрытую в содержании для обучения, получают самоорганизующимся образом со звуковой НММ.

В результате этого, каждое состояние звуковой НММ, используемое как модель содержания звука, получаемая при обработке обучения модели содержания звука, соответствует элементу структуры содержания, получаемого при обучении, и состояние перехода выражает временной переход между элементами структуры содержания.

После этого состояние модели содержания звука выражает группу кадров, расположенных пространственно рядом друг с другом и имеющих аналогичный временной контекст (то есть, "аналогичные сцены") в пространстве величины характерного признака звука (пространство величины характерного признака звука, выделенной в модуле 221 выделения величины характерного признака звука (фиг.36)) в собранном виде.

Далее обработка обучения модели содержания объекта, которую выполняет модуль 201 обучения модели содержания на фиг.36, будет описана со ссылкой на блок-схему последовательности операций на фиг.41. Следует отметить, что обработка на этапе S231 по фиг.41 является той же, что и обработка на этапе S11 по фиг.8, поэтому ее описание будет исключено.

На этапе S232, модуль 262 разделения кадра модуля 224 выделения величины характерного признака объекта выбирает из содержания для обучения из модуля 21 выбора содержания для обучения один из элементов содержания для обучения, который еще не был выбран, как содержание для обучения, представляющее интерес (ниже также называется "содержанием, представляющим интерес"), как содержание, представляющее интерес.

После этого обработка переходит с этапа S232 на этап S233, где модуль 262 разделения кадра выбирает ближайший, предшествующий по времени кадр, который не был выбран как кадр, представляющий интерес, среди кадров содержания, представляющего интерес, как кадр, представляющий интерес, и обработка переходит на этап S234.

На этапе S234 модуль 262 разделения кадра делит кадр, представляющий интерес, на множество подобластей, и подает в модуль 263 выделения величины характерного признака подобласти, и обработка переходит на этап S235.

На этапе S235 модуль 261 выделения объекта детектирует объект, включенный в кадр, представляющий интерес, принимает область, включающую детектируемый объект, как прямоугольную область, и выводит вектор, состоящий из верхних левых координат, ширины и высоты прямоугольной области, в модуль 263 выделения величины характерного признака подобласти.

На этапе S236, модуль 263 выделения величины характерного признака подобласти подсчитывает количество пикселей V_n, составляющих прямоугольную область, включающую в себя объект, в отношении каждой подобласти R_n из модуля 262 разделения кадра. Кроме того, модуль 263 выделения величины характерного признака подобласти выполняет нормализацию путем деления количества пикселей V_n, составляющих прямоугольную область, в каждой подобласти R_n, на общее количество пикселей S_n, включенных в подобласть R_n, и передает в соединительный модуль 264, как величину F_n=V_n/S_n характерного признака подобласти.

На этапе S237, соединительный модуль 264 генерирует величину характерного признака объекта для кадра, представляющего интерес, путем соединении величины F_n характерного признака подобласти каждой из множества подобластей R_n, составляющих кадр, представляющий интерес, из модуля 263 выделения величины характерного признака подобласти, и обработка переходит на этап S238.

На этапе S238 модуль 262 разделения кадра определяет, все или нет кадры содержания, представляющего, интерес, были выбраны как кадр, представляющий интерес.

В случае, когда на этапе S238 определяют, что среди кадров содержания, представляющего интерес, имеется кадр, который не был выбран как кадр, представляющий интерес, обработка возвращается на этап S233, и после этого, ту же обработку повторяют.

Кроме того, в случае, когда на этапе S238 определяют, что все кадры содержания, представляющего интерес, были выбраны как кадр, представляющий интерес, обработка переходит на этап S239, где соединительный модуль 244 передает и сохраняет (временную последовательность) величину характерного признака объекта каждого кадра содержания, представляющего интерес, полученного в отношении содержания, представляющего интерес, в модуль 225 сохранения величины характерного признака объекта.

После этого обработка переходит с этапа S239 на этап S240, где модуль 262 разделения кадр определяет, все или нет содержание для обучения из модуля 21 выбора содержания для обучения было выбрано, как содержание, представляющее интерес.

В случае, когда на этапе S240 определяют, что в содержании для обучения присутствует содержание для обучения, которое не было выбрано как содержание, представляющее интерес, обработка возвращается на этап S232, и после этого, ту же обработку повторяют.

Кроме того, в случае, когда на этапе S240 определяют, что все содержание для обучения было выбрано, как содержание, представляющее интерес, обработка переходит на этап S241. На этапе S241 модуль 226 обучения использует величину характерного признака объекта содержания для обучения (временная последовательность величины характерного признака объекта* каждого кадра), сохраненную в модуле 225 сохранения величины характерного признака объекта, для выполнения обучения НММ объекта.

После этого модуль 226 обучения выводит (передает) НММ объекта после обучения в модуль 202 с сохранения модели объекта, как модель содержания объекта, в корреляции с категорией содержания для обучения, и обработка обучения модели содержания объекта заканчивается.

Следует отметить, что обработка обучения модели содержания объекта может начинаться в произвольные моменты времени.

В соответствии с описанной выше обработкой обучения модели содержания объекта, структуру содержания (например, структуру, сформированную из появления/исчезновения объекта), скрытую в содержании для обучения, получают самоорганизующимся образом со звуковой НММ.

В результате этого, каждое состояние НММ объекта, используемого как содержание объекта, полученное при обработке обучения модели содержания объекта, соответствует элементу структуры содержания, полученного в результате обучения, и переход состояния выражает временной переход между элементами структуры содержания.

После этого, состояние модели содержания объекта выражает группу кадров, имеющих пространственно близкое расстояние и аналогичных по временному контексту (то есть, "аналогичные сцены") в пространстве величины характерного признака объекта (пространство величины характерного признака объекта, выделенного в модуле 224 выделения величины характерного признака объекта (фиг.36)) в собранном вместе состоянии.

Далее будет описан пример конфигурации модуля 203 представления структуры содержания. Пример конфигурации модуля 203 представления структуры содержания, станет, например, конфигурацией, из которой устранены модуль 419 выбора состояния и модуль 420 регистрации выбранного состояния описанного ниже модуля 317 генерирования исходного альбома (фиг.48). Это связано с тем, что модуль 203 представления структуры элементов содержания выполнен так, что предусмотрен модуль 14 представления структуры содержания, соответствующей каждой модели содержания изображения, модели содержания звука и модели содержания объекта.

Кроме того, обработка представления структуры содержания модуля 203 представления структуры содержания, становится обработкой для отображения изображения карты каждого содержания структуры модели содержания изображения, модели содержания звука и модели содержания объекта индивидуально, или в независимых окнах, соответственно. В соответствии с этим, каждая из модели содержания изображения, модели содержания звука и модели содержания объекта реализуется с такой же обработкой, как описанная выше обработка представления структуры содержания (фиг.13) модуля 14 представления структуры содержания (фиг.9).

В соответствии с приведенными выше причинами, будет исключено описание в отношении примера конфигурации модуля 203 представления структуры содержания и его обработки представления структуры содержания.

[Пример конфигурации модуля 204 генерирования дайджеста]

На фиг.42 показана блок-схема, иллюстрирующая пример конфигурации модуля 204 генерирования дайджеста по фиг.35.

Модуль 204 генерирования дайджеста выполнен из модуля 291 обучения детектора кульминационного момента, модуля 292 сохранения детектора и модуля 293 детектирования кульминационного момента.

Модуль 291 обучения детектора кульминационного момента, модуль 292 сохранения детектора и модуль 293 детектирования кульминационного момента имеют, в принципе, такие же функции, как и модуля 51 обучения детектора кульминационного момента, модуля 52 сохранения детектора и модуля 53 детектирования кульминационного момента, но ни один из них не может выполнить обработку для работы с моделью содержания изображения, моделью содержания звука и моделью содержания объекта.

[Пример конфигурации модуля 291 обучения детектора кульминационного момента] На фиг.43 показана блок-схема, иллюстрирующая пример конфигурации модуля 291 обучения детектора кульминационного момента по фиг.42. Следует отметить, что в конфигурации модуля 291 обучения детектора кульминационного момента по фиг.43, конфигурация, имеющая те же функции, что и у конфигурации модуля 51 обучения детектора кульминационного момента по фиг.15, обозначена тем же номером ссылочной позиции, и ее описание будет здесь исключено соответствующим образом.

В частности, модуль 291 обучения детектора кульминационного момента отличается от конфигурации модуля 51 обучения детектора кульминационного момента тем, что в нем предусмотрены модуль 62 выбора модели, модуль 63 выделения величины характерного признака и модуль 64 оценки последовательности состояний максимальной вероятности, который может обрабатывать величину характерного признака изображения, величину характерного признака звука и величину характерного признака объекта. Более конкретно, модуль 291 обучения детектора кульминационного момента включает в себя модуль 311 выбора модели изображения, модуль 312 выделения величины характерного признака изображения и модуль 313 оценки последовательности состояний максимальной вероятности изображения, который может обрабатывать величину характерного признака изображения. Кроме того, модуль 291 обучения детектора кульминационного момента включает в себя модуль 316 выбора модели звука, модуль 317 выделения величины характерного признака звука и модуль 318 оценки последовательности состояний максимальной вероятности звука, который может обрабатывать величину характерного признака звука. Кроме того, модуль 291 обучения детектора кульминационного момента включает в себя модуль 319 выбора модели объекта, модуль 320 выделения величины характерного признака объекта и модуль 321 оценки последовательности состояний максимальной вероятности объекта, который может обрабатывать величину характерного признака объекта.

Однако модуль 311 выбора модели изображения, модуль 312 выделения величины характерного признака изображения, и модуль 313 оценки последовательности состояния максимальной вероятности изображения, которые принимают модель содержания изображения как объект, являются теми же самыми, что и модуль 62 выбора модели, модуль 63 выделения величины характерного признака и модуль 64 оценки последовательности состояния максимальной вероятности. Кроме того модуль 316 выбора, модели звука, модуль 317 выделения величины характерного признака звука, модуль 318 оценки последовательности состояния максимальной вероятности звука, имеют, в основном, те же самые функции как и у модуля 62 выбора модели, модуля 63 выделения величины характерного признака и модуля 64 оценки последовательности состояния максимальной вероятности, за исключением того, что величина характерного признака, которая должна быть обработана, является величиной характерного признака звука. Кроме того, модуль 319 выбора модели объекта, модуль 320 выделения величины характерного признака объекта, и модуль 321 оценки последовательности состояния максимальной вероятности объекта также имеют, в основном, те же самые функции, как и у модуля 62 выбора модели, модуля 63 выделения величины характерного признака и модуля 64 оценки последовательности состояния максимальной вероятности, за исключением того, что величина характерного признака, которая должна быть обработана, является величиной характерного признака объекта.

Кроме того, модуль 311 выбора модели изображения выбирает одну из моделей содержания изображения из модуля 202а сохранения модели изображения модуля 202 сохранения модели. Модуль 316 выбора модели звука выбирает одну из моделей содержания звука из модуля 202b сохранения модели звука модуля 202 сохранения модели. Модуль 319 выбора модели объекта выбирает одну из моделей содержания объекта из модуля 202 с сохранения модели объекта модуля 202 сохранения модели.

Кроме того, модуль 291 обучения детектора кульминационного момента по фиг.43 включает в себя модуль 314 генерирования метки обучения вместо модуля 66 генерирования метки обучения. Модуль 314 генерирования метки обучения имеет, в принципе, ту же функцию, что у модуля 66 генерирования метки обучения. Модуль 314 генерирования метки обучения приводит к тому, что модуль 313 получения оценки последовательности состояний максимальной вероятности изображения получает последовательность ID состояния, которая представляет собой последовательность состояний максимальной вероятности (также называемую последовательностью состояний максимальной вероятности изображения) во время наблюдения величины характерного признака изображения содержания, представляющего интерес, в модели содержания изображения, служащей как модель, представляющая интерес. Модуль 314 генерирования метки обучения обеспечивает получение модулем 318 оценки последовательности состояний максимальной вероятности звука последовательности ID состояния, которая представляет собой последовательность состояний максимальной вероятности (также называется последовательностью состояний максимальной вероятности звука) в момент времени, когда величина характерного признака содержания звука, представляющего интерес, наблюдается в модели содержания звука, используемой в качестве модели, представляющей интерес. Модуль 314 генерирования метки обучения приводит к тому, что модуль 319 оценки последовательности максимального состояния объекта получает последовательность ID состояния, которая представляет собой последовательность состояний максимальной вероятности (также называется последовательностью состояния максимальной вероятности объекта) в момент времени, когда величина характерного признака объекта содержания, представляющего интерес, наблюдается в модели содержания объекта, используемой как модель, представляющая интерес. Модуль 314 генерирования метки обучения получает последовательность меток кульминационного момента из модуля 65 генерирования метки кульминационного момента. Затем модуль 314 генерирования метки обучения генерирует последовательности ID состояния, которые представляют собой последовательность состояний максимальной вероятности изображения, последовательность состояний максимальной вероятности звука и последовательность состояний максимальной вероятности объекта, и последовательность меток для обучения, состоящей из последовательности меток кульминационного момента.

В частности, модуль 314 генерирования метки обучения генерирует многопотоковую последовательность меток для обучения, синтезируемую из ID состояния последовательности состояний максимальной вероятности каждого из изображения, звука и объекта, и ID состояния в каждой точке t во времени в последовательности меток кульминационного момента, и метке кульминационного момента.

В соответствии с этим, модуль 314 генерирования метки обучения генерирует многопотоковую последовательность меток для обучения, состоящую из последовательности компонентов количества потоков М=4 в представленном выше Выражении (2). Затем модуль 314 генерирования метки обучения подает многопотоковую последовательность меток для обучения в модуль 315 обучения.

Модуль 315 обучения использует последовательность меток для обучения из модуля 314 генерирования метки обучения для выполнения, например, обучения детектора кульминационного момента, который представляет собой многопотоковую НММ эргодического типа в соответствии со способом повторной оценки Баума-Вельха.

Затем модуль 315 обучения подает и сохраняет детектор кульминационного момента после обучения в модуле 292 сохранения детектора в корреляции с категорией содержания, представляющего интерес, выбранной в модуле 61 выбора содержания.

Следует отметить, что в процессе обучения многопотоковой НММ в модуле 315 обучения, как описано выше, конфигурация составлена из четырех типов последовательности компонентов М=4, таким образом, что вес последовательности каждой последовательности компонента составляет, например, от W ₁ до W₄, в случае, когда все они в равной степени выделены, любой из них может быть установлен равным 1/4 (=0,25). Кроме того, если количество потоков М будет обобщено, в случае, когда веса последовательности каждой последовательности установлены равными друг другу, любой вес последовательности может быть установлен равным 1/m.

[Обработка обучения детектора кульминационного момента]

На фиг.44 показана блок-схема последовательности операций, предназначенная для описания обработки (обработки обучения детектора кульминационного момента), которую выполняет модуль 291 обучения детектора кульминационного момента по фиг.43.

На этапе S261 модуль 61 выбора содержания выбирает содержание, для которого с помощью операции пользователя было установлено воспроизведение среди содержания, сохраненного в модуле 11 сохранения содержания, как содержание, представляющее интерес (содержание для детектора, изучающего интерес).

Затем модуль 61 выбора содержания передает содержание, представляющее интерес, в каждый из модуля 312 выделения величины характерного признака изображения, модуля 317 выделения величины характерного признака звука и модуля 320 выделения величины характерного признака объекта. Кроме того, модуль 61 выбора содержания распознает категорию содержания, представляющего интерес, и передает в модуль 311 выбора модели изображения, модуль 316 выбора модели звука и модуль 319 выбора модели объекта, и обработка переходит с этапа S261 на этап S262.

На этапе S262 модуль 311 выбора модели изображения выбирает модель содержания изображения, скоррелированную с категорией содержания, представляющего интерес, из модуля 61 выбора содержания, среди моделей содержания, сохраненных в модуле 202а сохранения модели изображения, как модель, представляющую интерес.

Затем, модуль 311 выбора модели изображения передает модель, представляющую интерес, в модуль 313 оценки последовательности максимальной вероятности изображения, и обработка переходит с этапа S262 на этап S263.

На этапе S263 модуль 312 выделения величины характерного признака изображения выделяет величину характерного признака изображения каждого кадра содержания, представляющего интерес, передаваемого из модуля 61 выбора содержания, и подает (временную последовательность) величину характерного признака изображения каждого кадра содержания, представляющего интерес, в модуль 313 оценки последовательности состояний максимальной вероятности изображения. Затем обработка переходит на этап S264.

На этапе S264 модуль 313 оценки последовательности состояний максимальной вероятности изображения выполняет оценку последовательности состояний максимальной вероятности изображения, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака изображения содержания, представляющего интерес, из модуля 312 выделения величины характерного признака изображения будет наблюдаться в модели, представляющей интерес, из модуля 311 выбора модели изображения.

После этого модуль 313 оценки последовательности состояний максимальной вероятности изображения передает последовательность состояний максимальной вероятности изображения модели, представляющей интерес, как содержание, представляющее интерес, в модуль 314 генерирования метки обучения, и обработка переходит с этапа S264 на этап S265.

На этапе S265, модуль 316 выбора модели звука выбирает модель содержания звука, скоррелированную с категорией содержания, представляющего интерес, из модуля 61 выбора содержания, среди моделей содержания звука, сохраненных в модуле 202b сохранения модели звука, как модель, представляющую интерес.

Затем модуль 316 выбора модели звука передает модель, представляющую интерес, в модуль 318 оценки последовательности состояний максимальной вероятности звука, и обработка переходит с этапа S265 на этап S266.

На этапе S266 модуль 317 выделения величины характерного признака звука выделяет величину характерного признака звука каждого кадра содержания, представляющего интерес, передаваемого из модуля 61 выбора содержания, и передает (временную последовательность) величину характерного признака звука каждого кадра содержания, представляющего интерес, в модуль 318 оценки последовательности состояний максимальной вероятности звука. Затем обработка переходит на этап S267.

На этапе S267 модуль 318 оценки последовательности состояний максимальной вероятности звука выполняет оценку последовательности состояний максимальной вероятности звука, приводящих к возникновению перехода состояния в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака звука содержания, представляющего интерес, из модуля 317 выделения величины характерного признака звука, будет наблюдаться в модели, представляющей интерес, из модуля 316 выбора модели звука.

После этого, модуль 318 оценки последовательности состояний максимальной вероятности звука подает последовательность состояний максимальной вероятности звука, представляющей интерес, как содержание, представляющее интерес, в модуль 314 генерирования метки обучения, и обработка переходит с этапа S267 на этап S268.

На этапе S268, модуль 319 выбора модели объекта выбирает модель содержания объекта, скоррелированную с категорией содержания, представляющего интерес, из модуля 61 выбора содержания, среди моделей содержания объекта, сохраненных в модуле 202 с сохранения модели объекта, как модель, представляющую интерес.

Затем модуль 319 выбора модели объекта подает модель, представляющую интерес, в модуль 321 оценки последовательности состояний максимальной вероятности объекта, и обработка переходит с этапа S268 на этап S269.

На этапе S269 модуль 320 выделения величины характерного признака объекта выделяет величину характерного признака объекта каждого кадра содержания, представляющего интерес, подаваемого из модуля 61 выбора содержания, и подает (временную последовательность) величину характерного признака объекта каждого кадра содержания, представляющего интерес, в модуль 321 оценки последовательности состояний максимальной вероятности объекта. Затем обработка переходит на этап S270.

На этапе S270, модуль 321 оценки последовательности состояний максимальной вероятности объекта выполняет оценку последовательности состояний максимальной вероятности объекта, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака объекта содержания, представляющего интерес, из модуля 320 выделения величины характерного признака объекта, будет наблюдаться в модели, представляющей интерес, из модуля 319 выбора модели объекта.

Затем модуль 321 оценки последовательности состояний максимальной вероятности объекта передает последовательность состояний максимальной вероятности объекта модели, представляющей интерес, для содержания, представляющего интерес, в модуль 314 генерирования метки для обучения, и обработка переходит с этапа S270 на этап S271.

На этапе S271, модуль 65 генерирования метки кульминационного момента устанавливает метку в виде метки кульминационного момента для каждого кадра содержания, представляющего интерес, выбранного в модуле 61 выбора содержания, в соответствии с операцией пользователя, генерируя, таким образом, последовательность меток кульминационного момента в отношении содержания, представляющего интерес.

Затем модуль 65 генерирования метки кульминационного момента передает последовательность меток кульминационного момента, сгенерированных в отношении содержания, представляющего интерес, в модуль 314 генерирования метки обучения, и обработка переходит на этап S272.

На этапе S272 модуль 314 генерирования метки обучения получает последовательность ID состояния для последовательности состояний максимальной вероятности изображения модели, представляющей интерес, как для содержания, представляющего интерес, из модуля 313 оценки последовательности состояний максимальной вероятности изображения. Кроме того, модуль 314 генерирования метки обучения получает последовательность ID состояния для последовательности состояний максимальной вероятности звука модели, представляющей интерес, в отношении содержания, представляющего интерес, из модуля 318 оценки последовательности состояний максимальной вероятности звука. Кроме того, модуль 314 генерирования метки обучения получает последовательность ID состояния для последовательности состояний максимальной вероятности объекта модели, представляющей интерес, из модуля 321 оценки последовательности состояний максимальной вероятности объекта. Кроме того, модуль 314 генерирования метки обучения получает последовательность меток кульминационного момента из модуля 65 генерирования метки кульминационного момента. Затем модуль 314 генерирования метки обучения комбинирует четыре последовательности, такие как последовательности ID состояния этих последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта, и последовательности меток кульминационного момента, для генерирования последовательности меток для обучения.

Затем модуль 314 генерирования метки обучения передает последовательность меток для обучения в модуль 315 обучения, и обработка переходит с этапа S272 на этап S273.

На этапе S273 модуль 315 обучения использует последовательность меток для обучения из модуля 314 генерирования метки обучения, для выполнения обучения детектора кульминационного момента, который представляет собой многопотоковую НММ, и обработка переходит на этап S274.

На этапе S274, модуль 315 обучения передает и сохраняет детектор кульминационного момента после обучения в модуль 292 сохранения детектора в корреляции с категорией содержания, представляющего интерес, выбранного в модуле 61 выбора содержания.

Как описано выше, детектор кульминационного момента получают путем обучения многопотоковой НММ, используя четыре последовательности меток, для обучения последовательностей ID состояния из последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука, последовательности состояний максимальной вероятности объекта и последовательности меток кульминационного момента.

В соответствии с этим, при обращении к вероятности наблюдения последовательности кульминационного момента для каждого состояния детектора кульминационного момента, можно сделать определение, представляет ли собой или нет кадр (с высокой вероятностью) наблюдения в этом состоянии, соответствующем состоянию модели содержания; сцену, представляющую интерес для пользователя (кульминационную сцену).

[Пример конфигурации модуля 293 детектирования кульминационного момента]

На фиг.45 показана блок-схема, иллюстрирующая пример конфигурации модуля 293 детектирования кульминационного момента по фиг.42. Следует отметить, что в модуле 293 детектирования кульминационного момента на фиг.45 конфигурация, включающая в себя ту же функцию, что и конфигурация в модуле 53 детектирования кульминационного момента на фиг.18, обозначена тем же номером ссылочной позиции, и ее описание будет исключено.

Модуль 293 детектирования кульминационного момента на фиг.45 имеет, в принципе, ту же функцию, что и модуль 53 детектирования кульминационного момента на фиг.18, но отличается тем, что метку детектирования генерируют в ответ на каждую величину характерного признака изображения, величину характерного признака звука и величину характерного признака объекта.

В частности, модуль 341 выбора модели изображения, модуль 342 выделения величины характерного признака изображения и модуль 343 оценки последовательности состояний максимальной вероятности изображения являются теми же, что и модуль 311 выбора модели изображения, модуль 312 выделения величины характерного признака изображения и модуль 313 оценки последовательности состояний максимальной вероятности изображения модуля 291 обучения детектора кульминационного момента по фиг.43. Кроме того, модуль 350 выбора модели звука, модуль 351 выделения величины характерного признака звука>и модуль 352 оценки последовательности состояний максимальной вероятности звука являются теми же, что модуль 316 выбора модели звука, модуль 317 выделения величины характерного признака звуки и модуль 318 оценки последовательности состояний максимальной вероятности звука модуля 291 обучения детектора кульминационного момента по фиг.43. Кроме того, модуль 353 выбора модели объекта, модуль 354 выделения величины характерного признака объекта и модуль 355 оценки последовательности состояний максимальной вероятности объекта, являются теми же, что и модуль 319 выбора модели объекта, модуль 320 выделения величины характерного признака объекта и модуль 321 оценки последовательности состояний максимальной вероятности объекта, модуля 291 обучения детектора кульминационного момента по фиг.43.

В соответствии с такой конфигурацией, последовательность ID состояния каждой последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта модели, представляющей интерес, как содержание, представляющее интерес, подают в модуль 344 генерирования метки обучения.

Модуль 344 генерирования метки детектирования генерирует последовательность меток для детектирования, состоящую из последовательностей ID состояния, которые представляют собой последовательность состояний максимальной вероятности изображения, последовательность состояний максимальной вероятности звука и последовательность состояний максимальной вероятности объекта модели, представляющей интерес, для содержания, представляющего интерес, и последовательности меток кульминационного момента, состоящей только из одних меток кульминационного момента.

В частности, модуль 344 генерирования метки детектирования генерирует последовательность меток кульминационного момента, состоящую из одних только меток кульминационного момента, представляющую другую сцену, чем кульминационная сцена, и имеющую ту же длину (длину последовательности), что и у последовательностей, таких как последовательность состояний максимальной вероятности изображения, последовательность состояний максимальной вероятности звука, и последовательность состояний максимальной вероятности объекта, и фиктивная последовательность, как если бы она была подана в детектор кульминационного момента.

Кроме того, модуль 344 генерирования метки детектирования генерирует многопотоковую последовательность меток для детектирования по ID состояния, которое представляет собой последовательность состояния максимальной вероятности изображения, последовательность состояния максимальной вероятности звука и последовательность состояния максимальной вероятности объекта, и ID состояния в каждой точке t времени в последовательности меток кульминационного момента, которая представляет собой фиктивную последовательность, и метки кульминационного момента, скомбинированные вместе.

После этого модуль 344 генерирования метки обучения передает последовательность меток для детектирования в модуль 346 оценки последовательности состояний максимальной вероятности.

Следует отметить, что во время получения вероятности наблюдения последовательности меток для детектирования, в отношении весов W₁-W₄ последовательности для последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука, последовательности состояний максимальной вероятности объекта и последовательности меток кульминационного момента, используемой как фиктивная последовательность, используются (W₁:W₂:W₃:W ₄)=(1/3:1/3:1/3:0). Таким образом, в модуле 346 оценки последовательности состояния максимальной вероятности оценку последовательности состояний отношения кульминационного момента выполняют, используя только последовательность состояния максимальной вероятности изображения, последовательность состояния. максимальной вероятности звука и последовательность состояния максимальной вероятности объекта модели, представляющей интерес, для содержания, представляющего интерес, без учета последовательности меток кульминационного момента, вводимой как фиктивная последовательность. Кроме того, если вес, в случае количества потоков М, будет обобщен, в случае, когда вес последовательности кульминационного момента будет установлен в 0, и веса других последовательностей, кроме последовательности кульминационного момента, будут установлены равными друг другу, любой вес последовательности может быть установлен как 1/(М-1).

Кроме того, в модуле 345 выбора детектора, модуль 346 оценки последовательности состояний максимальной вероятности, модуль 347 детектирования сцены кульминационного момента, модуль 348 генерирования содержания дайджеста и модуль 349 управления воспроизведением, многопотоковая метка детектирования, которая должна быть обработана, представляет собой последовательность меток для детектирования, состоящую из четырех потоков. Кроме этого момента, они имеют, в принципе, ту же функцию, что и у модуля 76 выбора детектора, модуля 77 оценки последовательности состояний максимальной вероятности, модуля 78 детектирования кульминационной сцены, модуля 79 генерирования содержания дайджеста и модуля 80 управления воспроизведением, таким образом, что их описание здесь будет исключено.

[Обработка детектирования кульминационного момента]

На фиг.46 показана блок-схема последовательности операций для описания обработки (обработка детектирования кульминационного момента) модуля 293 детектирования кульминационного момента по фиг.45.

На этапе S291, модуль 71 выбора содержания выбирает содержание, представляющее интерес, которое представляет собой содержание, из которого должна быть детектирована сцена кульминационного момента (содержание для детектирования кульминационного момента, представляющего интерес) среди содержания, сохраненного в модуле 11 сохранения содержания.

Затем модуль 71 выбора содержания подает содержание, представляющее интерес, в модуль 342 выделения величины характерного признака изображения, модуль 351 выделения величины характерного признака звука и в модуль 354 выделения величины характерного признака объекта. Кроме того, модуль 71 выбора содержания распознает категорию содержания, представляющего интерес, передает в модуль 341 выбора модели изображения, модуль 350 выбора модели звука, модуль 353 выбора модели объекта и модуль 345 выбора детектора, и обработка переходит с этапа S291 на этап S292.

На этапе S292, модуль 341 выбора модели изображения выбирает модель содержания изображения, скоррелированную с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди моделей содержания изображения, сохраненных в модуле 202а сохранения модели изображения, как модель, представляющую интерес.

Затем модуль 341 выбора. модели изображения подает модель, представляющую интерес, в модуль 343 оценки последовательности состояний максимальной вероятности изображения, и обработка переходит с этапа S292 на этап S293.

На этапе S293 модуль 342 выделения величины характерного признака изображения выделяет величину характерного признака изображения каждого кадра содержания, представляющего интерес, передаваемого из модуля 71 выбора содержания, подает в модуль 343 оценки последовательности состояний максимальной вероятности изображения, и обработка переходит на этап S294.

На этапе S294 модуль 343 оценки последовательности максимальной вероятности изображения выполняет оценку последовательности состояний максимальной вероятности изображения (последовательность состояния максимальной вероятности изображения модели, представляющей интерес, для содержания, представляющего интерес), приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака изображения содержания, представляющего интерес, из модуля 342 выделения величины характерного признака изображения будет наблюдаться в модели, представляющей интерес, из модуля 341 выбора модели изображения.

После этого модуль 294 оценки последовательности состояний максимальной вероятности передает последовательность состояния максимальной вероятности изображения модели, представляющей интерес, для содержания, представляющего интерес, в модуль 344 генерирования метки детектирования, и обработка переходит с этапа S294 на этап S295.

На этапе S295, модуль 350 выбора модели звука выбирает модель содержания звука, скоррелированную с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди моделей содержания звука, сохраненных в модуле 202b сохранения модели звука, как модель, представляющую интерес.

Затем модуль 350 выбора модели звука передает модель, представляющую интерес, в модуль 352 оценки последовательности состояний максимальной вероятности звука, и обработка переходит с этапа S295 на этап S296.

На этапе S296 модуль 351 выделения величины характерного признака звука выделяет величину характерного признака звука каждого кадра содержания, представляющего интерес, передаваемого из модуля 71 выбора содержания, передает в модуль 352 оценки последовательности состояний максимальной вероятности звука, и обработка переходит на этап S297.

На этапе S297 модуль 352 оценки последовательности состояний максимальной вероятности звука выполняет оценку последовательности состояний максимальной вероятности звука (последовательности состояний максимальной вероятности звука модели, представляющей интерес, для содержания, представляющего интерес), приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака звука содержания, представляющего интерес, из модуля 351 выделения величины характерного признака звука, будет наблюдаться в модели, представляющей интерес, из модуля 350 выбора модели звука.

Затем модуль 352 оценки последовательности состояний максимальной вероятности звука подает последовательность состояний максимальной вероятности звука для модели, представляющей интерес, как содержание, представляющее интерес, в модуль 344 генерирования метки детектирования, и обработка переходит с этапа S297 на этап S298.

На этапе S298, модуль 353 выбора модели объекта выбирает модель содержания объекта, скоррелированную с категорией содержания, представляющего интерес, из модуля 71 выбора, содержания, среди моделей содержания объекта, сохраненных в модуле 202 с сохранения модели объекта, как модель, представляющую интерес.

Затем модуль 353 выбора модели объекта передает модель, представляющую интерес, в модуль 355 оценки последовательности состояний максимальной вероятности объекта, и обработка переходит с этапа S298 на этап S299.

На этапе S299 модуль 354 выделения величины характерного признака объекта выделяет величину характерного признака объекта каждого кадра содержания, представляющего интерес, передаваемого из модуля 71 выбора содержания, подает в модуль 355 оценки последовательности состояний максимальной вероятности объекта, и обработка переходит на этап S300.

На этапе S300 модуль 355 оценки последовательности состояний максимальной вероятности объекта выполняет оценку последовательности состояний максимальной вероятности объекта (последовательности состояний максимальной вероятности объекта модели, представляющей интерес, для содержания, представляющего интерес), приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака объекта содержания, представляющего интерес, из модуля 354 выделения величины характерного признака объекта будет наблюдаться в модели, представляющей интерес, из модуля 353 выбора модели объекта.

Затем модуль 355 оценки последовательности состояний максимальной вероятности объекта передает последовательность состояний максимальной вероятности объекта модели, представляющей интерес, как содержание, представляющее интерес, в модуль 344 генерирования метки детектирования, и обработка переходит с этапа S300 на этап S301.

На этапе S301 модуль 344 генерирования метки детектирования генерирует, например, последовательность меток кульминационного момента, состоящую из меток кульминационного момента (меток кульминационного момента, значения которых равны "О"), которые одни представляют то, что они являются другими, чем сцена кульминационного момента, как фиктивную последовательность меток кульминационного момента, и обработка переходит на этап S302.

На этапе S302 модуль 344 генерирования метки детектирования генерирует четыре последовательности из последовательностей меток для детектирования последовательностей ID состояния, которые представляют собой последовательность состояния максимальной вероятности изображения, последовательность состояния максимальной вероятности звука и последовательность состояния максимальной вероятности объекта модели, представляющей интерес, для содержание, представляющего интерес, и фиктивной последовательности кульминационного момента.

Затем модуль 344 генерирования метки детектирования передает последовательность меток для детектирования в модуль 346 оценки последовательности состояний максимальной вероятности, и обработка переходит с этапа S302 на этап S303.

На этапе S303 модуль 345 выбора детектора выбирает детектор кульминационного момента, скоррелированный с категорией содержания, представляющего интерес, из модуля 71 выбора содержания, среди детекторов кульминационного момента, сохраненных в модуле 292 сохранения детектора, как детектор, представляющий интерес. Затем модуль 345 выбора детектора получает детектор, представляющий интерес, среди детекторов кульминационного момента, сохраненных в модуле 292 сохранения детектора, передает в модуль 346 оценки последовательности состояний максимальной вероятности, и модуль 347 детектирования кульминационного момента, и обработка переходит с этапа S303 на этап S304.

На этапе S304 модуль 346 оценки последовательности состояний максимальной вероятности выполняет оценку последовательности состояний максимальной вероятности (последовательность состояния отношения кульминационного момента), приводящую к переходу состояния, в случае наибольшей вероятности того, что последовательность меток для детектирования из модуля 344 генерирования метки детектирования будет наблюдаться в детекторе, представляющем интерес, из модуля 345 выбора детектора.

Затем модуль 346 оценки последовательности состояний максимальной вероятности передает последовательность состояния отношения кульминационного момента в модуль 347 детектирования кульминационного момента, и обработка переходит с этапа S304 на этап S305.

На этапе S305 модуль 347 детектирования сцены кульминационного момента выполняет обработку детектирования сцены кульминационного момента, для детектирования сцены кульминационного момента из содержания, представляющего интерес, для вывода флага кульминационного момента, на основе вероятности наблюдения метки кульминационного момента каждого состояния последовательности состояний отношения кульминационного момента из модуля 346 оценки последовательности состояний максимальной вероятности.

Затем после окончания обработки детектирования кульминационного момента, обработка переходит с этапа S305 на этап S306, где модуль 348 генерирования содержания дайджеста выделяет кадр сцены кульминационного момента, определенный флагом кульминационного момента, который выводит модуль 347 детектирования сцены кульминационного момента, среди кадров содержания, представляющих интерес, из модуля 71 выбора содержания.

Кроме того, модуль 348 генерирования содержания дайджеста использует кадр сцены кульминационного момента, выделенный из кадров содержания, представляющего интерес, для генерирования содержания дайджеста из содержания, представляющего интерес, передает в модуль 349 управления воспроизведением, и обработка переходит с этапа S306 на этап S307.

На этапе S307 модуль 49 управления воспроизведением выполняет управление воспроизведением, для воспроизведения содержания дайджеста из модуля 348 генерирования содержания дайджеста.

Следует отметить, что обработка детектирования сцены кульминационного момента на этапе S305 является той же, что и обработка, выполняемая на этапе S89 по фиг.20, то есть, обработка, описанная со ссылкой на блок-схему последовательности операций на фиг.21, поэтому ее описание здесь исключено.

Как описано выше, модуль 293 детектирования кульминационного момента выполняет оценку последовательности состояний отношения кульминационного момента для последовательности состояний максимальной вероятности, где последовательность меток для детектирования будет наблюдаться из последовательностей ID состояния, которые представляют собой последовательности состояний максимальной вероятности изображения, звука и объекта, и фиктивной последовательности меток кульминационного момента в детекторе кульминационного момента. После этого модуль 293 детектирования кульминационного момента детектирует кадр сцены кульминационного момента из содержания, представляющего интерес, на основе вероятности наблюдения метки кульминационного момента каждого состояния для ее последовательности состояний отношения кульминационного момента, и генерирует содержание дайджеста, используя его сцену кульминационного момента.

Кроме того, детектор кульминационного момента получают путем выполнения обучения НММ, используя последовательность меток для обучения, состоящую из четырех последовательностей в комбинации, таких как последовательность ID состояния, которая представляет собой последовательность состояния максимальной вероятности изображения, последовательность состояния максимальной вероятности звука и последовательность состояния максимальной вероятности объекта модели содержания для содержания, и последовательность меток кульминационного момента, генерируемая операциями пользователя.

В соответствии с этим, даже в случае, когда содержание, представляющее интерес, для генерирования содержания дайджеста, не используется для обучения модели содержания или детектора кульминационного момента, если обучение модели содержания или детектора кульминационного момента выполняют, используя содержание, имеющее ту же категорию, что и содержание, представляющее интерес, дайджест (содержание дайджеста), генерируемый путем подбора сцены, в которой заинтересован пользователь, как сцены кульминационного момента, может быть легко получен, используя модель содержания и ее детектор кульминационного момента.

[Пример конфигурации модуля 205 генерирования альбома]

На фиг.47 показана блок-схема, иллюстрирующая пример конфигурации модуля 205 генерирования альбома по фиг.35,

Модуль 205 генерирования альбома выполнен из модуля 371 генерирования исходного альбома, модуля 372 сохранения исходного альбома, модуля 373 генерирования зарегистрированного альбома, модуля 374 сохранения зарегистрированного альбома и модуля 375 управления воспроизведением.

Модуль 371 генерирования исходного альбома, модуль 372 сохранения исходного альбома, модуль 373 генерирования зарегистрированного альбома, модуль 374 сохранения зарегистрированного альбома и модуль 375 управления воспроизведением, в принципе, являются теми же, что и модуль 101 генерирования исходного альбома - модуль 105 управления воспроизведением. Однако, любой из них выполняет обработку, соответствующую не только модели содержания изображения, на основе величины характерного признака изображения, но также и модели содержания звука, на основе величины характерного признака звука, и модели содержания объекта, на основе на величины характерного признака объекта.

[Пример конфигурации модуля 371 генерирования исходного альбома]

На фиг.48 показана блок-схема, иллюстрирующая пример конфигурации модуля 371 генерирования исходного альбома по фиг.47. Следует отметить, что в конфигурации модуля 371 генерирования исходного альбома по фиг.48, конфигурация, имеющая ту же функцию, что и у модуля 101 генерирования исходного альбома по фиг.23, будет обозначена тем же номером ссылочной позиции, и ее описание будет исключено в соответствующих случаях.

Кроме того, на фиг.48, для модуля 371 генерирования исходного альбома, модуль 411 выбора модели изображения, модуль 412 выделения величины характерного признака изображения, модуль 413 оценки последовательности состояний максимальной вероятности изображения, модуль 414 генерирования информации изображения, обусловленного состоянием изображения, модуль 415 расчета расстояния между состояниями изображения, модуль 416 расчета координат изображения и модуль 417 вычерчивания карты изображения являются теми же, что и модуль 112 выбора модели, модуль 113 выделения величины характерного признака, модуль 114 оценки последовательности состояний максимальной вероятности, модуль 115 генерирования информации изображения, обусловленного состоянием, модуль 116 расчета расстояния между состояниями, модуль 117 расчета координат и модуль 118 вычерчивания карты, соответственно, поэтому их описание здесь не будет приведено.

В частности, модуль 411 выбора модели изображения - модуль 417 вычерчивания карты изображения, выполнены таким же образом, что и модуль 32 выбора модели - модуль 38 вычерчивания карты модуля 14 представления структуры содержания (фиг.9), и выполняют обработку представления структуры содержания, на основе величины характерного признака изображения, описанной на фиг.13.

Кроме того, модуль 421 выбора модели звука, модуль 422 выделения величины характерного признака звука, модуль 423 оценки последовательности состояний максимальной вероятности звука, модуль 424 генерирования информации изображения, обусловленного состоянием звука, модуль 425 расчета расстояния между состояниями звука, модуль 426 расчета координат звука и модуль 427 вычерчивания карты звука выполняют ту же обработку, что и модуль 411 выбора модели изображения, модуль 412 выделения величины характерного признака изображения - модуль 417 вычерчивания карты изображения, за исключением того, что объект, предназначенный для обработки, представляет собой величину характерного признака звука.

Кроме того, модуль 428 выбора модели объекта, модуль 429 выделения величины характерного признака объекта, модуль 430 оценки последовательности состояний максимальной вероятности объекта, модуль 431 генерирования информации изображения, обусловленного состоянием объекта, модуль 432 расчета расстояния между состояниями объекта, модуль 433 расчета координат объекта, и модуль 434 вычерчивания карты объекта выполняют ту же обработку, что и модуль 411 выбора модели изображения - модуль 417 вычерчивания карты изображения, за исключением того, что объект, предназначенный для обработки, представляет собой величину характерного признака объекта.

Кроме того, модуль 418 управления отображением, модуль 419 выбора состояния и модуль 420 регистрации выбранного состояния, выполняют ту же обработку, что и в модуле 119 управления отображением, в модуле 121 выбора состояния и в модуле 122 регистрации выбранного состояния, соответственно.

В соответствии с этим, с модулем 371 генерирования исходного альбома, отображают карту модели (фиг.11, фиг.12), на не показанном дисплее, на основе каждой из величины характерного признака изображения, величины характерного признака звука и величины характерного признака объекта, с помощью выполняемой обработки представления структуры содержания. После этого, в случае, когда состояние на карте модели, на основе каждой из величины характерного признака изображения, величины характерного признака звука и величины характерного признака объекта, будет установлено операцией пользователя, ID состояния указанного состояния (выбранного состояния) регистрируют в (пустом) альбоме.

На фиг.49 показана схема, иллюстрирующая пример интерфейса пользователя, отображаемого модулем 418 управления отображением, выполняющего управление отображением для пользователя, который устанавливает состояние карты модели. Следует отметить, что дисплей, имеющий те же функции, что и дисплей в окне 131 на фиг.24, обозначен тем же номером ссылочной позиции, и его описание будет исключено в соответствующих случаях.

На фиг.49 отображается карта 462 модели на основе величины характерного признака изображения, генерируемой модулем 417 вычерчивания карты изображения, и карта 463 модели на основе величины характерного признака звука, генерируемой модулем 427 вычерчивания карты звука, отображается в окне 451. Следует отметить, что в примере по фиг.49, хотя это не показано, предполагается по умолчанию, что карта модели на основе величины характерного признака объекта, генерируемого в модуле 434 вычерчивания карты объекта, может отображаться вместе с ними. Кроме того, в случае, когда другая величина характерного признака, кроме величины характерного признака изображения, величины характерного признака звука и величины характерного признака объекта будет обрабатываться, карта модели на основе другой величины характерного признака может быть дополнительно вычерчена и будет отображаться. Кроме того, каждая из карт модели также может отображаться в другом окне.

Состояния на картах 462 и 463 модели в окне 451 могут быть сфокусированы в соответствии со спецификацией пользователя. Спецификация состояния, установленная пользователем, может быть выполнена по отметке, выполненной, используя устройство -указатель, такое как мышь или тому подобное, или путем перемещения курсора, который движется в соответствии с операцией устройства - указателя в положения состояния, на которое требуется сфокусироваться, или тому подобное.

Кроме того, среди состояний карт 462 и 463 модели, состояние, которое уже было выбранным состоянием, и состояние, которое не было выбранным состоянием, могут отображаться в разном формате отображения, например, с разным цветом или тому подобное.

При отображении в нижнем участке окна 451, момент, отличающийся от окна 131 на фиг.24, состоит в том, что поле 471 ввода ID состояния изображения, и поле 472 ввода ID состояния звука предусмотрены вместо поля 133 ввода ID состояния.

Среди состояний на карте 462 модели, на основе величины характерного признака изображения, ID состояния сфокусированного состояния отображают в поле 471 ввода ID состояния изображения.

Среди состояний на карте 463 модели, на основе величины характерного признака звука, ID состояния сфокусированного состояния отображают в поле 472 ввода ID состояния звука.

Следует отметить, что пользователь также может непосредственно ввести ID состояния в поле 471 ввода ID состояния изображения, и в поле 472 ввода ID состояния звука. Кроме того, в случае, когда отображается карта модели, основанная на величине характерного признака объекта, поле ввода ID состояния объекта также отображается вместе с ней.

Окно 461 открывается, в случае, когда среди состояний карт 462 и 463 модели, сфокусированное состояние связывают с информацией изображения, обусловленного состоянием, генерируемой при обработке представления структуры содержания. После этого отображается информация изображения, обусловленного состоянием, связанная со сфокусированным состоянием.

Следует отметить, что информация изображения, обусловленного состоянием, связанная с каждым из сфокусированного состояния и состоянием, расположенным в непосредственной близости к сфокусированному состоянию карт 462 и 463 модели, может отображаться в окне 461. Кроме того, информация изображения, обусловленного состоянием, связанная с каждым из всех состояний на картах 462 и 463 модели, может отображаться в окне 461 последовательно по времени или параллельно в пространстве.

Пользователь может устанавливать произвольное состояние на картах 462 и 463 модели, отображаемых в окне 451, отмечая состояние или тому подобное.

После установки пользователем состояния, модуль 418 управления отображением (фиг.48) отображает информацию изображения, обусловленного состоянием, связанную с состоянием, установленным пользователем в окне 461.

Таким образом, пользователь может подтверждать изображение кадра, соответствующего состоянию на картах 462 и 463 модели.

В модуле 371 генерирования исходного альбома на фиг.48, ID состояния выбранного состояния карты модели изображения, карты модели звука и карты модели объекта регистрируют в исходном альбоме, с помощью модуля 420 регистрации выбранного состояния.

В частности, обработка генерирования исходного альбома модулем 371 генерирования исходного альбома на фиг.48 является той же, что и обработка, описанная со ссылкой на фиг.25 в отношении каждой из карты модели изображения (карты модели на основе величины характерного признака изображения), карты модели звука (карты модели на основе величины характерного признака звука) и карты модели объекта (карты модели на основе величины характерного признака объекта), поэтому их описание здесь будет исключено.

Однако в модуле 371 генерирования исходного альбома по фиг.48, в случае, когда среди карты модели изображения, карты модели звука и карты модели объекта, выбранное состояние, которое выбрано (установлено) из определенной карты модели, и выбранное состояние, которое было выбрано из другой карты модели, соответствующей тому же самому кадру, эти выбранные состояния (ID состояния) зарегистрированы в исходном альбоме скоррелированым образом.

В частности, например, теперь, обратим внимание на карту модели изображения и карту модели звука.

Каждый кадр содержания, представляющего интерес, соответствует любому состоянию карты модели изображения (состояние, в котором величина характерного признака изображения кадра наблюдается в последовательности состояний максимальной вероятности изображения), и также соответствует любому состоянию карты модели звука.

В соответствии с этим, возможен случай, когда один тот же кадр содержания, представляющего интерес, соответствует выбранному состоянию, которое было выбрано из карты модели изображения, и выбранному состоянию, которое было выбрано из карты модели звука.

В этом случае, выбранное состояние, которое было выбрано из карты модели изображения, и выбранное состояние, которое было выбрано из карты модели звука, которые соответствуют одному и тому же кадру, регистрируют в исходном альбоме скоррелированым образом.

В дополнение к случаю, когда из карты модели изображения, карты модели звука и карты модели объекта, один и тот же кадр соответствует двум выбранным состояниям, выбранным из каждой из произвольных двух карт модели, в случае, когда один и тот же кадр соответствует трем выбранным состояниям, выбранным из каждой из трех карт модели, таких как карта модели изображения, карта модели звука и карта модели объекта, также, три их выбранных состояния регистрируют в исходном альбоме скоррелированым образом.

Теперь, среди ID состояния (зарегистрированных ID состояния) среди выбранных состояний, зарегистрированных в исходном альбоме, ID состояния выбранного состояния, которое было выбрано из карты модели изображения (состояние модели содержания изображения), также ниже называется "ID зарегистрированного состояния изображения", соответственно.

Аналогично, среди ID зарегистрированного состояния, зарегистрированных в исходном альбоме, ID состояния выбранного состояния, выбранного из карты модели (состояние карты модели содержания звука), также будет называться ниже "ID зарегистрированного состояния звука", соответственно, и ID состояния выбранного состояния, которое было выбрано из карты модели объекта (состояние модели содержания объекта), также будет ниже называться "ID зарегистрированного состояния объекта", соответственно.

[Пример конфигурации модуля 373 генерирования зарегистрированного альбома]

На фиг.50 показана блок-схема, иллюстрирующая пример конфигурации модуля 373 генерирования зарегистрированного альбома по фиг.47. Следует отметить, что в модуле 373 генерирования зарегистрированного альбома по фиг.50, конфигурация, имеющая ту же функцию, что и в конфигурации в модуле 103 генерирования зарегистрированного альбома по фиг.26, обозначена тем же номером ссылочной позиции, и ее описание здесь будет исключено, соответственно.

На фиг.50 модуль 501 выбора модели изображения, модуль 502 выделения величины характерного признака изображения, модуль 503 оценки последовательности состояний максимальной вероятности изображения и модуль 505 регистрации кадра являются теми же, что и модуль 143 выбора модели - модуль 145 оценки последовательности состояний максимальной вероятности и модуле 147 регистрации кадра по фиг.26, таким образом, их описание будет исключено.

Кроме того, модуль 506 выбора модели звука, модуль 507 выделения величины характерного признака звука модуль 508 оценки последовательности состояний максимальной вероятности, являются теми же, что и модуль 501 выбора модели изображения - модуль 503 оценки последовательности состояний максимальной вероятности изображения, за исключением того, что объект, предназначенный для обработки, представляет собой величину характерного признака звука, поэтому их описание будет исключено.

Кроме того, модуль 509 выбора модели объекта, модуль 510 выделения величины характерного признака объекта, модуль 511 оценки последовательности состояний максимальной вероятности объекта, являются теми же, что и модуль 501 выбора модели изображения - модуль 503 оценки последовательности состояний максимальной вероятности изображения, за исключением того, что объект, предназначенный для обработки, представляет собой величину характерного признака объекта, поэтому его описание будет исключено.

Модуль 504 выделения кадра, в принципе, имеет ту же функцию, что и у модуля 146 выделения кадра по фиг.26, но отличается последовательностью состояний, которая должна быть обработана. В частности, модуль 504 выделения кадра определяет, соответствует или нет каждый ID состояния последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта зарегистрированному ID состояния, который зарегистрирован в альбоме, представляющем интерес, из модуля 141 выбора альбома.

Кроме того, модуль 504 выделения кадра выделяет кадр, соответствующий состоянию, в котором ID состояния соответствует зарегистрированному ID состояния, который зарегистрирован в альбоме, представляющем интерес, из модуля 141 выбора альбома, и передает в модуль 505 регистрации кадра.

[Обработка генерирования зарегистрированного альбома, выполняемая модулем 373 генерирования зарегистрированного альбома]

На фиг.51 показана блок-схема последовательности операций, предназначенная для описания обработки генерирования зарегистрированного альбома, которую выполняет модуль 373 генерирования зарегистрированного альбома по фиг.50.

На этапе S331 модуль 141 выбора альбома выбирает из исходных альбомов, сохраненных в модуле 372 сохранения исходного альбома, один из исходных альбомов, который еще не был выбран, как альбом, представляющий интерес, в качестве альбома, представляющего интерес.

После этого модуль 141 выбора альбома передает альбом, представляющий интерес, в модуль 504 выделения кадра и в модуль 505 регистрации кадра. Кроме того, модуль 141 выбора альбома передает категорию, скоррелированную с альбомом, представляющим интерес, в модуль 142 выбора содержания, в модуль 501 выбора модели изображения, модуль 506 выбора модели звука и в модуль 509 выбора модели объекта. Затем обработка переходит с этапа S331 на этап S332.

На этапе S332 модуль 142 выбора содержания выбирает одно из содержания, которое еще не было выбрано, как содержание, представляющее интерес, среди содержания, принадлежащего категории из модуля 141 выбора альбома, для содержания, сохраненного в модуле 11 сохранения содержания, как содержание, представляющее интерес.

После этого модуль 142 выбора содержания передает содержание, представляющее интерес, в модуль 502 выделения величины характерного признака изображения, модуль 507 выделения величины характерного признака звука, модуль 510 выделения величины характерного признака объекта и модуль 504 выделения кадра, и обработка переходит с этапа S332 на этап S333.

На этапе S333, модуль 501 выбора модели изображения выбирает модель содержания изображения, скоррелированную с категорией, из модуля 141 выбора альбома среди моделей содержания изображения, сохраненных в модуле 202а сохранения модели изображения, как модель, представляющую интерес.

После этого модуль 501 выбора модели изображения передает модель, представляющую интерес, в модуль 503 оценки последовательности состояний максимальной вероятности изображения, и обработка переходит с этапа S333 на этап S334.

На этапе S334, модуль 502 выделения величины характерного признака изображения выделяет величину характерного признака изображения каждого кадра содержания, представляющего интерес, передаваемого из модуля 142 выбора содержания, и подает (временную последовательность) величину характерного признака изображения каждого кадра содержания, представляющего интерес, в модуль 503 оценки последовательности состояний максимальной вероятности изображения.

Затем обработка переходит с этапа S334 на этап S335. На этапе S335, модуль 503 оценки последовательности состояний максимальной вероятности изображения выполняет оценку последовательности состояний максимальной вероятности изображения, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака изображения содержания, представляющего интерес, из модуля 502 выделения величины характерного признака изображения будет наблюдаться в модели, представляющей интерес, из модуля 501 выбора модели изображения.

После этого модуль 503 оценки последовательности состояний максимальной вероятности изображения передает последовательность состояния максимальной вероятности изображения модели, представляющей интерес, в качестве содержания, представляющего интерес, в модуль 504 выделения кадра, и обработка переходит с этапа S335 на этап S336.

На этапе S336 модуль 506 выбора модели звука выбирает модель содержания звука, скоррелированную с категорией из модуля 141 выбора альбома, среди моделей содержания звука, сохраненных в модуле 202b сохранения модели звука, как модель, представляющую интерес.

После этого, модуль 506 выбора модели звука передает модель, представляющую интерес, в модуль 508 оценки последовательности состояний максимальной вероятности звука, и обработка переходит с этапа S336 на этап S337.

На этапе S337, модуль 507 выделения величины характерного признака звука выделяет величину характерного признака каждого кадра содержания, представляющего интерес, передаваемого из модуля 142 выбора содержания, и передает (временную последовательность) величины характерного признака звука каждого кадра содержания, представляющего интерес, в модуль 508 оценки последовательности состояний максимальной вероятности звука.

После этого обработка переходит с этапа S337 на этап S338. На этапе S338 модуль 508 оценки последовательности состояний максимальной вероятности звука выполняет оценку последовательности состояний максимальной вероятности звука, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величины характерного признака звука содержания, представляющего интерес, из модуля 507 выделения величины характерного признака звука будет наблюдаться в модели, представляющей интерес, из модуля 506 выбора модели звука.

После этого модуль 508 оценки последовательности состояний максимальной вероятности звука передает последовательность состояния максимальной вероятности звука модели, представляющей интерес, как содержание, представляющее интерес, в модуль 504 выделения кадра, и обработка переходит с этапа S338 на этап S339.

На этапе S339 модуль 509 выбора модели объекта выбирает модель содержания объекта, скоррелированную с категорией, из модуля 141 выбора альбома, среди моделей содержания объекта, сохраненных в модуле 202 с сохранения модели объекта, как модель, представляющую интерес.

После этого модуль 509 выбора модели объекта передает модель, представляющую интерес в модуль 511 оценки последовательности состояний максимальной вероятности объекта и обработка переходит с этапа S339 на этап S340.

На этапе S340 модуль 510 выделения величины характерного признака объекта выделят величину характерного признака объекта каждого кадра содержания, представляющего интерес, переданного из модуля 142 выбора содержания, и передает (временную последовательность) величину характерного признака объекта каждого кадра содержания, представляющего интерес, в модуль 511 оценки последовательности состояний максимальной вероятности объекта.

Затем обработка переходит с этапа S340 на этап S341. На этапе S341 модуль 511 оценки последовательности состояний максимальной вероятности объекта выполняет оценку последовательности состояний максимальной вероятности объекта, приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что (временная последовательность) величина характерного признака объекта содержания, представляющего интерес, из модуля 510 выделения величины характерного признака объекта будет наблюдаться в модели, представляющей интерес, из модуля 509 выбора модели объекта.

После этого модуль 511 оценки последовательности состояний максимальной вероятности объекта передает последовательность состояния максимальной вероятности объекта модели, представляющей интерес, как содержание, представляющее интерес, в модуль 504 выделения кадра, и обработка переходит с этапа S341 на этап S342.

На этапе S342 модуль 504 выделения кадра устанавливает в 1 переменную t для подсчета точки во времени (количество кадров содержания, представляющего интерес), используемую, как исходное значение, и обработка переходит на этап S343.

На этапе S343 модуль 504 выделения кадра определяет, соответствует или нет ID состояния в точке t во времени (t-oe состояние от начала) последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта одному из зарегистрированных ID состояния в выбранном состоянии, зарегистрированном в альбоме, представляющем интерес из модуля 141 выбора альбома.

В случае, когда на этапе S343 определяют, что ID состояний в точке t во времени последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта модели, представляющей интерес, для содержания, представляющего интерес, соответствует одному из ID зарегистрированного состояния альбома, представляющего интерес, обработка переходит на этап S344.

На этапе S344 модуль 504 выделения кадра выделяет кадр как точку t во времени из содержания, представляющего интерес, из модуля 142 выбора содержания, и передает в модуль 505 регистрации кадра, и обработка переходит на этап S345.

Кроме того, в случае, когда на этапе S343 определяют, что ID состояний для состояний в точке t во времени последовательности состояний максимальной вероятности изображения, последовательности состояний максимальной вероятности звука и последовательности состояний максимальной вероятности объекта модели, представляющей интерес, не соответствует ни одному из ID зарегистрированных состояний альбома, представляющего интерес, обработка переходит на этап S345. То есть, этап S344 пропускается.

На этапе S345, модуль 504 выделения кадра определяет, равна или нет переменная t общему количеству N_f кадров содержания, представляющего интерес.

В случае, когда на этапе S345 определяют, что переменная t не равна общему количеству N_p кадров содержания, представляющего интерес, обработка переходит на этап S346, где модуль 504 выделения кадра последовательно увеличивает переменную t на единицу. После этого обработка возвращается с этапа S346 на этап S343, и после этого, та же обработка повторяется.

Кроме того, в случае, когда на этапе S345 определяют, что переменная t равна общему количеству N_f кадров содержания, представляющего интерес, обработка переходит на этап S347.

На этапе S347 модуль 505 регистрации кадра регистрирует кадры, передаваемые из модуля 504 выделения кадра, то есть, все кадры, выделенные из содержания, представляющего интерес, в альбоме, представляющем интерес, из модуля 141 выбора альбома.

После этого обработка переходит с этапа S347 на этап S348. На этапе S348 модуль 142 выбора содержания определяет, присутствуют или нет среди содержания, принадлежащего той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, содержание, которое еще не было выбрано как содержания, представляющее интерес.

В случае, когда на этапе S348 определяют, что среди содержания, принадлежащего той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, существует содержание, которое еще не было выбрано, как содержание, представляющее интерес, обработка возвращается на этап S332.

Кроме того, в случае, когда на этапе S348 определяют, что среди содержания, принадлежащего той же категории, что и категория, скоррелированная с альбомом, представляющим интерес, сохраненным в модуле 11 сохранения содержания, отсутствует содержание, которое еще не было выбрано, как содержание, представляющее интерес, обработка переходит на этап S349.

На этапе S349, модуль 505 регистрации кадра выводит альбом, представляющий интерес, в модуль 374 сохранения зарегистрированного альбома, в качестве зарегистрированного альбома, и обработка генерирования зарегистрированного альбома заканчивается.

Ниже приведено описание, относящееся к обработке генерирования зарегистрированного альбома, которую выполняет модуль 373 генерирования зарегистрированного альбома, и, в частности, в отношении различия с обработкой генерирования альбома в случае использования только величины характерного признака изображения модулем 103 генерирования зарегистрированного альбома, описанным на фиг.28, со ссылкой на фиг.52.

В частности, в позиции Буна фиг.28, "1" и "3" зарегистрированы, как ID состояния изображения зарегистрированного альбома, представляющего интерес, и кадры ID состояния которых, основанные на величине характерного признака изображения (ID состояния в последовательности состояний максимальной вероятности изображения, где будет наблюдаться величина характерного признака изображения содержания, представляющего интерес), равны "1" и "3", выделяют из содержания, представляющего интерес, соответственно.

После этого, как показано в позиции Е на фиг.28, кадры, выделенные из содержания, представляющего интерес, регистрируют в форме сохраняющей их временной контекст, например, в качестве движущегося изображения.

С другой стороны, в случае использования другой величины характерного признака, кроме величины характерного признака изображения, то есть, например, в случае использования величины характерного признака изображения и величины характерного признака звука, как показано на фиг.52, "V1", "V3", "А5" и "V2&A6" могут быть зарегистрированы как ID зарегистрированного состояния альбома, представляющего интерес.

Здесь, на фиг.52, строка символов, состоящая из символа "V" и числа, следующего после этого символа, такая как "VI" и т.д., представляет ID зарегистрированного состояния изображения для ID зарегистрированного состояния, и строка символов, состоящая из символа "А" и числа, следующего после этого символа, такая как "А5" и т.д., представляет ID зарегистрированного состояния звука в ID зарегистрированного состояния.

Кроме того, на фиг.52, "V2&A6" представляет скоррелированные "V2", то есть, ID зарегистрированного состояния изображения и "А6", то есть, ID зарегистрированного состояния звука.

Как показано на фиг.52, в случае, когда "V1", "V3", "А5" и "V2&A6" зарегистрированы в альбоме, представляющем интерес, как ID зарегистрированного состояния, с модулем 504 выделения кадра (фиг.50), кадр ID состояния которого, основанный на величине характерного признака изображения, соответствует ID="V1" зарегистрированного состояния изображения, и кадр, в котором ID состояния, основанный на величине характерного признака изображения, соответствует ID="V3" зарегистрированного состояния изображения, выделяют из содержания, представляющего интерес, и также кадр, ID состояния которого, основанный на величине характерного признака звука, соответствует ID="А5" зарегистрированного состояния звука, выделяют из содержания, представляющего интерес.

Кроме того, в модуле 504 выделения кадра, кадр, ID состояния которого, основанный на величине характерного признака изображения, соответствует изображению, ID="V2" зарегистрированного состояния изображения, и также ID состояния, основанный на величине характерного признака звука, соответствует ID="А6" зарегистрированного состояния звука, выделяют из содержания, представляющего интерес.

В соответствии с этим, кадры выбирают, учитывая множество величин характерного признака и, соответственно, по сравнению со случаем использования только величины характерного признака изображения, может быть получен альбом, в котором кадры с интересом пользователя собраны с большей точностью.

Следует отметить, что на фиг.52, представлен пример, использующий величину характерного признака изображения и величину характерного признака звука, но, само собой разумеется, что также дополнительно можно использовать величину характерного признака объекта.

Кроме того, выше приведено описание в отношении примера, в котором используется величина характерного признака изображения, величина характерного признака звука и величина характерного признака объекта, но, кроме того, комбинация из множества различных величин характерного признака может использоваться, или они могут использоваться независимо. Кроме того, может быть выполнена компоновка, в которой величину характерного признака объекта устанавливают в соответствии с типом объектов, и ее используют отдельно, например, каждое полное изображение человека, верхняя половина тела, изображение лица, и т.д., используемые как объекты, можно использовать, как отдельную величину характерного признака объекта.

<Устройство обработки информации для отображения миниатюрных изображений>

В частности, в соответствии с моделями содержания, каждый кадр содержания может быть подвергнут кластеризации.

Ниже будет приведено описание устройства обработки информации для отображения миниатюрного изображения, которое способствует быстрому распознаванию того, что представляет собой содержание, или тому подобное, в результате отображения миниатюрных изображений, используя результаты кластеризации, в которой каждый кадр содержания подвергают кластеризации.

[Вариант осуществления системы дисплея, в которой применено устройство управления отображением в соответствии с настоящим изобретением]

На фиг.53 показана блок-схема, иллюстрирующая пример конфигурации варианта осуществления системы дисплея, используемой как устройство обработки информации для отображения миниатюрного изображения, для которого было применено настоящее изобретение.

На фиг.53 система дисплея включает в себя устройство 601 сохранения содержания, устройство 602 управления отображением и устройство 603 дисплея.

Следует отметить, что устройство 601 сохранения содержания эквивалентно, например, устройству записи, сайту Интернет (серверу), встроенному или внешнему жесткому диску, ПК (персональному компьютеру) или тому подобное, и устройство 603 дисплея эквивалентно, например, ТВ (телевизионному приемнику) или тому подобное.

Кроме того, устройство 602 управления отображением может быть выполнено отдельно от каждого из устройства 601 сохранения содержания и устройства 603 дисплея, или может быть встроено в устройство записи или тому подобное, эквивалентное устройству 601 сохранения содержания, или ТВ, или тому подобное, эквивалентное устройству 603 дисплея.

В устройстве 601 сохранения содержания содержится, так же, как и в модуле 11 сохранения содержания на фиг.1, содержания движущегося изображения. Кроме того, устройство 601 сохранения содержания считывает сохраненное содержание, и передает в устройство 602 управления отображением.

Устройство 602 управления отображением управляет отображением изображения в устройстве 603 дисплея.

В частности, устройство 602 управления отображением включает в себя модуль 611 кластеризации, модуль 612 классификации сцены, модуль 613 формирования миниатюрных изображений, модуль 614 управления отображением, модуль 615 операций и модуль 616 управления.

Содержание, предназначенное для воспроизведения (ниже также называется "содержание - объект воспроизведения") передают из устройства 601 сохранения содержания в модуль 611 кластеризации.

Модуль 611 кластеризации подвергает каждый кадр объекта воспроизведения содержания устройства 601 сохранения содержания кластеризации в один кластер среди заданного множества кластеров, и передает (выводит) информацию кластеризации, представляющую результаты этой кластеризации, в модуль 612 классификации сцены.

Здесь информация кластеризации включает в себя, по меньшей мере, информацию кластера, предназначенную для определения кластера, которому принадлежит каждый кадр содержания объекта воспроизведения (например, уникальный номер, добавляемый к кластеру, и т.д.).

Модуль 612 классификации сцены классифицирует, в отношении каждого из множества кластеров, которые должны быть подвергнуты кластеризации модуля кластеризации 611, кадр, принадлежащий своему кластеру, в сцену, которая представляет собой группу кадров из одного или больше кадров, непрерывных по времени.

В частности, модуль 612 классификации сцены последовательно выбирает каждый из множества кластеров, предназначенных для выполнения кластеризации в модуле 611 кластеризации, как кластер, представляющий интерес, и распознает кадр содержания - объект воспроизведения, принадлежащий кластеру, представляющему интерес, на основе информация кластеризации, из модуля 611 кластеризации.

Кроме того, модуль 612 классификации сцены классифицирует кадр, принадлежащий кластеру, представляющему интерес, на сцену (вырезанную или снятую) с группой кадров из одного или больше кадров, когда они располагаются в виде массива во временной последовательности, как одна сцена.

В соответствии с этим, например, в случае, когда n1 кадров, которые продолжаются от t1-ого кадра от начала содержания объекта воспроизведения, и n2 кадров, которые продолжаются от t2-ого (>t1+n1) кадров t2 от начала содержания - объекта воспроизведения, принадлежат кластеру, представляющему интерес, с помощью модуля 612 классификации сцены, n1+n2 кадров, принадлежащих кластеру, представляющему интерес, классифицируют как сцену, включающую в себя n1 кадров, которые продолжаются от кадра t1 содержания - объекта воспроизведения, и сцену, включающую в себя n2 кадров, которые продолжаются от кадра t2 содержания - объекта воспроизведения.

Затем модуль 612 классификации сцены отбирает сцену, полученную из кадра, принадлежащего кластеру, представляющему интерес, как сцену, принадлежащую кластеру, представляющему интерес, и подает информацию сцены, представляющую ее сцену, в модуль 613 формирования миниатюрного изображения.

Здесь информация сцены включает в себя, по меньшей мере, информацию кадра для определения кадра, включенного в сцену (например, число, представляющее количество кадров от начала содержания - объекта воспроизведения), и информацию кластера, представляющую кластер, которому принадлежит сцена (следовательно, кадр, включенный в сцену).

Информацию сцены для каждой сцены содержания - объекта воспроизведения передают из модуля 612 классификации сцены в модуль 613 формирования миниатюрного изображения, и также содержание - объект воспроизведения передают из устройства 601 сохранения содержания в модуль 613 формирования миниатюрного изображения.

Модуль 613 формирования миниатюрного изображения формирует миниатюрное изображение каждой сцены содержания - объекта воспроизведения.

В частности, модуль 613 формирования миниатюрного изображения распознает все сцены содержания - объекта воспроизведения на основе информации сцены из модуля 612 классификации сцены, и последовательно выбирает, как сцену, представляющую интерес.

Кроме того, модуль 613 формирования миниатюрного изображения распознает кадр, включенный в сцену, представляющую интерес, на основе информация сцены из модуля 612 классификации сцены, и формирует миниатюрное изображение, представляющее (что находится в ней) сцену, представляющую интерес, используя кадр, включенный в сцену, представляющую интерес, из устройства 601 сохранения содержания.

После этого, модуль 613 формирования миниатюрного изображения передает миниатюрное изображение сцены, представляющей интерес, в модуль 614 управления отображением, вместе с информацией сцены для сцены, представляющей интерес.

Здесь, что касается миниатюрного изображения сцены, представляющей интерес, для кадров, включенных в сцену, представляющую интерес, например, можно использовать изображение, полученное одним кадром, таким как начальный кадр или тому подобное, уменьшенное в размере.

Кроме того, что касается миниатюрного изображения сцены, представляющей интерес, для кадров, включенных в сцену, представляющую интерес, например, можно использовать изображение, такое как анимация GIF или тому подобное, для отображения изображений, полученных в результате уменьшения множества кадров, используя анимацию (движущееся изображение).

Миниатюрное изображение сцены содержания - объекта воспроизведения, и сцены информации передают из модуля 613 формирования миниатюрных изображений, в модуль 614 управления отображением, и также содержание - объект воспроизведения передают из устройства 601 сохранения содержания в модуль 614 управления отображением.

Модуль 614 управления отображением выполняет управление отображением для отображения миниатюрного изображения сцены из модуля 613 формирования миниатюрного изображения в устройство 603 дисплея на основе информации сцены из модуля 613 формирования миниатюрного изображения.

Кроме того, модуль 614 управления отображением выполняет управление отображением для отображения (изображения) каждого кадра содержания - объекта воспроизведения, передаваемого из устройства 601 сохранения содержания в устройстве 603 дисплея.

С модулем 615 операций выполняют операции во время ввода спецификации о содержании объекта воспроизведения, спецификации на основе миниатюрного изображения, отображаемого в устройстве 603 дисплея или тому подобное, и этот модуль передает сигнал операции, соответствующий его операции, в модуль 616 управления.

Модуль 616 управления выполняет управлением необходимым блоком из модуля 611 кластеризации, модуля 612 классификации сцены, устройства 613 воспроизведения миниатюрного изображения и модуля 614 управления отображением, в соответствии с сигналом операции из модуля 615 операций.

Кроме того, модуль 616 управления выполняет управление воспроизведением, для воспроизведения (кадра) содержания - объекта воспроизведения из устройства 601 сохранения содержания, и т.д.

Следует отметить, что модуль 616 управления передает необходимые данные (сигналы) в устройство 601 сохранения содержания, в модуль 611 кластеризации, модуль 612 классификации сцены, устройство 613 воспроизведения миниатюрного изображения и модуль 614 управления отображением. Однако, чертеж соединительных линий для модуля 616 управления, передающего необходимые данные, не представлен для предотвращения усложнения чертежа.

Устройство 603 дисплея отображает миниатюрное изображение или (кадр) содержания объекта воспроизведения в соответствии с управлением отображением из модуля 614 управления отображением.

[Обработка управления отображением миниатюрного изображения]

На фиг.54 показана блок-схема последовательности операций, предназначенная для описания обработки управления отображением миниатюрного изображения для устройства 602 управления отображением по фиг.53, которое отображает миниатюрные изображения содержания в устройстве 603 дисплея.

На этапе S601, модуль 616 управления ожидает ввода спецификации для определения содержания объекта воспроизведения среди элементов содержания, сохраненных в устройстве 601 сохранения содержания, представляемого (задаваемого) операцией пользователя с модулем 615 операций, и на основе спецификации, введенной пользователем, выбирает содержание, установленное во введенной им спецификации, как содержание - объект воспроизведения.

Затем модуль 616 управления обеспечивает считывание устройством 601 сохранения содержания содержания - объекта воспроизведения из него и подачу в модуль 611 кластеризации и модуль 613 формирования миниатюрного изображения, и обработка переходит с этапа S601 на этап S602.

На этапе S602 модуль 611 кластеризации подвергает каждый кадр содержания -объекта воспроизведения из устройства 601 сохранения содержания кластеризации, и подает информацию кластеризации, представляющую результаты его кластеризации в модуль 612 классификации сцены, и обработка переходит на этап S603.

На этапе S603 модуль 612 классификации сцены классифицирует, для каждого кластера, кадр, принадлежащий его кластеру по сцене, которая представляет собой группу кадров из одного или больше кадров, которые являются непрерывными по времени, на основе информации кластеризации из модуля 611 кластеризации.

Затем модуль 612 классификации сцены передает информацию сцены, представляющая каждую сцену, принадлежащую каждому кластеру, в модуль 613 формирования миниатюрного изображения, и обработка переходит с этапа S603 на этап S604.

На этапе S604 модуль 613 формирования миниатюрного изображения распознает все сцены содержания - объекта воспроизведения на основе информации сцены из модуля 612 классификации сцены, и формирует в отношении каждой сцены миниатюрное изображение его сцены, используя содержание - объект воспроизведения из устройства 601 сохранения содержания.

После этого модуль 613 формирования миниатюрного изображения передает миниатюрное изображение каждой сцены в модуль 614 управления отображением, вместе с информацией сцены для его сцены, и обработка переходит с этапа S604 на этап S605.

На этапе S605 модуль 614 управления отображением выполняет управление отображением для отображения миниатюрного изображения сцены из модуля 613 формирования миниатюрного изображения на устройстве 603 дисплея, на основе информации сцены из модуля 613 формирования миниатюрного изображения.

Как описано выше, в устройстве 602 управления отображением, модуль 611 кластеризации подвергает кластеризации каждый кадр содержания - объекта воспроизведения, и модуль 61.2 классификации сцены классифицирует в отношении каждого кластера, кадр, принадлежащий его кластеру, в сцену, которая представляет собой группу кадров из одного или больше кадров, непрерывно следующих по времени.

Поэтому, в соответствии с устройством 602 управления отображением, содержание - объект воспроизведения может быть легко классифицировано на сцену для каждого содержания (величина характерного признака), соответствующего каждому кластеру.

То есть даже независимо от способа, используемого в качестве способа кластеризации для кластеризации кадров, аналогичное содержание (величина характерного признака) кадра подвергается кластеризации в каждый кластер.

В соответствии с этим, если рассмотреть определенный кластер, кадр, принадлежащий его кластеру, просто классифицируют в группу кадров из одного или больше кадров, которые расположены непрерывно по времени, в результате чего может быть легко сконфигурирована сцена содержания, соответствующего его кластеру.

Следует отметить, что вид содержания для содержания, соответствующего кластеру, может быть известен или может быть не известен.

Однако для установки содержания, в соответствии с кластером, чтобы знать содержание, то есть, чтобы заранее знать, что кадр, имеющий известное содержание, подвергается кластеризации, такой как кадр, включающий в себя много людей, кадр, где один человек снят с близкого расстояния, или тому подобное, кластеры (в дальнейшем, величина характерного признака каждого кадра, используемого для кластеризации), должны быть разработаны так, чтобы подвергнуть кадр, имеющий такое известное содержание, кластеризации.

Однако таким образом, при использовании кластеров такой конструкции может быть проблематично выполнять кластеризацию кадра, имеющего определенное известное содержание, и это может быть трудновыполнимым в некоторых случаях.

С другой стороны, легко разработать кластер, имеющий неизвестное содержание, то есть, кластер, для которого неизвестно, кадр какого типа содержания будет подвергнут кластеризации. Кроме того, даже если содержание, соответствующее кластеру, неизвестно, тип содержания сцены (кадра), принадлежащего каждому кластеру, будет понятен для пользователя, просматривающего миниатюрное изображение сцены, отображаемой в устройстве 603 дисплея, и это не является причиной для беспокойства.

[Пример конфигурации модуля 611 кластеризации]

На фиг.55 показана блок-схема, иллюстрирующая пример конфигурации модуля 611 кластеризации по фиг.53.

На фиг.55 модуль 611 кластеризации включает в себя модуль 621 изучения модели кластеризации, модуль 622 сохранения модели кластеризации, модуль 623 выбора модели кластеризации, модуль 624 выделения величины характерного признака и модуль 625 определения кластера.

Модуль 621 обучения модели кластеризации выполняет обучение модели кластеризации, которая представляет собой модель, предназначенную для использования, для кластеризации каждого кадра содержания, и подает в модуль 622 сохранения модели кластеризации.

Следует отметить, в качестве модели кластеризации, например, может использоваться модель перехода состояния, включающая в себя состояние и переход состояния.

Что касается модели перехода состояния, используемой в качестве модели кластеризации, например, может использоваться НММ, используемая, как упомянутая выше модель содержания, или описанная позже модель, с которой используется способ k-значений, предназначенный для использования для квантования вектора (ниже также называется "новой моделью квантованного вектора"), или также описанной ниже модели, с использованием GMM (модель смеси нормальных распределений) (ниже также называемая "новой GMM") или тому подобное.

Модуль 621 обучения модели кластеризации использует содержание, сохраненное в устройстве 601 сохранения содержания, как содержание для обучения, для обучения модели кластеризации, и классифицирует это содержание для его обучения для каждой категории.

После этого модуль 621 обучения модели кластеризации выполняет в отношении каждой категории обучение модели кластеризации его категории, используя содержание для обучения его категории, для генерирования (получения) модели кластеризации на основе категории.

В частности, что касается 'модели кластеризации, например, в случае использования описанной выше НММ, используемой как модель содержания, модуль 621 обучения модели кластеризации выполняет, таким же образом, как и для модуля 12 обучения модели содержания по фиг.2, обучение модели содержания, используемой как модель кластеризации.

Следует отметить, что после этого, для упрощения описания, таким же образом, как и в случаях, показанных на фиг.1-фиг.34 для данных содержания, только данные изображения будут использоваться для обработки обучения модели кластеризации, и для обработки, использующей модель кластеризации.

Однако при обработке обучения модели кластеризации и при обработке использования модели кластеризации, как описано со ссылкой на фиг.35-фиг.52, в дополнение к изображению, могут использоваться данные (величина характерного признака), такие как аудиоданные или тому подобное.

Модуль 622 сохранения модели кластеризации сохраняет модель кластеризации на основе категории, которая должна быть сгенерирована в модуле 621 обучения модели кластеризации и т.п.

Здесь обучение модели кластеризации может быть выполнено, например, на сайте Интернет или тому подобное, и модуль 622 сохранения модели кластеризации может загружать (получать) и сохранять модель кластеризации с его сайта.

В этом случае, модуль 611 кластеризации может быть выполнен без предоставления модуля 621 обучения модели кластеризации.

Модуль 623 выбора модели кластеризации выбирает модель кластеризации категории, соответствующей категории содержания - объекта воспроизведения, подаваемым из устройства 601 сохранения содержания среди моделей кластеризации на основе категории, сохраненной в модуле 622 сохранения модели кластеризации, как модель, представляющую интерес, и предназначенную для использования для кластеризации, и подает в модуль 625 определения кластера.

Содержание - объект воспроизведения подают из устройства 601 сохранения содержания в модуль 624 выделения величины характерного признака.

Модуль 624 выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания - объекта воспроизведения из устройства 601 сохранения содержания, и подает в модуль 625 определения кластера.

Здесь обучение модели кластеризации выполняют, используя величину характерного признака, выделенную из содержания для обучения.

Используя модуль 624 выделения величины характерного признака, ту же величину характерного признака, которая должна использоваться для обучения модели кластеризации, выделяют из содержания - объекта воспроизведения.

В соответствии с этим, в случае, когда как для модели кластеризации используют, например, описанную выше НММ, применяемую как модель содержания, и с помощью модуля 621 обучения модели кластеризации, обучение модели содержания, используемой как модель кластеризации, выполняют так же, как и с модулем 12 обучения модели содержания по фиг.2, модуль 624 выделения величины характерного признака выделения величины характерного признака каждого кадра содержания - объекта воспроизведения так же, как и с модулем 22 выделения величины характерного признака по фиг.2.

Модуль 625 определения кластера использует модель кластеризации, подаваемую из модуля 623 выбора модели кластеризации, и величину характерного признака, подаваемую из модуля 624 выделения величины характерного признака, для определения кластера, которому принадлежит каждый кадр содержания - объекта воспроизведения, и подают (выводят), информацию кластеризации, представляющую результат кластеризации, который представляет его кластер, в модуль 612 классификации сцены.

В случае, когда для модели кластеризации, например, используется описанная выше НММ, применяемая как модель содержания, модуль 625 определения кластера выполняет оценку так же, как и модуль 34 оценки последовательности состояний максимальной вероятности по фиг.9, последовательность состояния максимальной вероятности, которая представляет собой последовательность состояний, приводящую к приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака содержания - объекта воспроизведения (временная последовательность величины характерного признака каждого кадра содержания - объекта воспроизведения) из модуля 624 выделения величины характерного признака будет наблюдаться в модели, представляющей интерес, из модуля 623 выбора модели кластеризации, например, в соответствии с алгоритмом Витерби.

Теперь, допустим, что в модели, представляющей интерес, состояние в точке t во времени (t-oe состояние от начала, которое составляет последовательность состояния максимальной вероятности) с началом последовательности состояний максимальной вероятности, в случае, когда величина характерного признака содержания - объекта воспроизведения, наблюдаемая (ниже также называется последовательностью состояния максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения) в качестве опорной величины, представлено как s(t), и также количество кадров содержания - объекта воспроизведения представлено как Т.

В этом случае, последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения, представляет собой последовательность из Т состояний S(1), S(2), , S(T), в которой t-oe состояние (состояние в точке t во времени) s(t) соответствует кадру (кадру t) в точке t во времени содержания -объекта воспроизведения.

Кроме того, если предположить, что общее количество состояний модели, представляющей интерес, представлено, как N, состояние s(t) в точке t во времени представляет собой одно из N состояний s_i, s₂ , , s_N.

Кроме того, к каждому из N состояний s₁, s₂, , s_N приложен ID состояния, который представляет собой индекс для определения состояния.

Теперь, если предположить, что состояние s(t) в точке t во времени последовательности состояний максимальной вероятности модели, представляющей интерес, в отношении содержания - объекта воспроизведения представляет собой i-oe состояние S_i для N состояний s₁ , s₂, , s_N, кадр в точке t во времени соответствует состоянию

Последовательность состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения, по существу, представляет собой последовательность состояний любого состояния из N состояний s₁, s ₂, , s_N, соответствующих кадру в каждой точке t во времени содержания - объекта воспроизведения.

Последовательность состояния максимальной вероятности модели, представляющей интерес, в отношении содержания - объекта воспроизведения, описанного выше, выражает, к какого типа переходу состояния приводит содержание - объект воспроизведения по модели, представляющей интерес,.

Кроме того, с последовательностью состояния максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения, как описано выше, если предположить, что состояние s(t) в точке t во времени представляет собой i-oe состояние s_i для N состояний s₁ , s₂, , s_N, кадр в точке t во времени соответствует состоянию s_i.

В соответствии с этим, кадр в точке t во времени кластеризован на кластер, соответствующий i-ому состоянию s_j, которое представляет собой состояние s(t) в точке t во времени, последовательности состояний максимальной вероятности, для N состояний модели, представляющей интерес, если рассматривать каждое из N состояний модели, представляющей интерес, как кластер, таким образом, что можно сказать, что при оценке последовательности состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения определен кластер, которому принадлежит каждый кадр содержания - объекта воспроизведения.

После оценки последовательности состояний максимальной вероятности модели, представляющей интерес, в качестве содержания - объекта воспроизведения, модуль 625 определения кластера выводит его последовательность состояния максимальной вероятности, как информацию кластеризации.

[Управление отображением миниатюрных изображений и других] Со ссылкой на фиг.53, будет приведено описание, относящееся к управлению отображением миниатюрных изображений и содержания - объекта воспроизведения с помощью модуля 614 управления отображением.

Что касается способа отображения миниатюрных изображений и содержания - объекта воспроизведения с помощью модуля 614 управления отображением, например, существует шесть типов способов отображения для отображения двумерной карты, отображения состояния, отображения 2 областей, отображения 5 областей, отображения во временной последовательности и плоского отображения.

Далее будет приведено описание, относящееся к управлению отображением шести типов отображения, таких как отображение двумерной карты, отображение состояния, отображение 2 областей, отображение 5 областей, отображение во временной последовательности и плоское отображение.

Следует отметить, что то, что касается управления отображением этих шести типов отображения, таких как отображение двумерной карты, отображение карты, отображение состояния, отображение 2 областей, отображение 5 областей, отображение во временной последовательности, и плоское отображение, управление отображением одного типа его отображения может быть воплощено в системе дисплея, или управление отображением множества типов отображения, включающих в себя все, может быть воплощено в системе дисплея.

В случае, когда среди шести типов отображения для отображения двумерной карты, отображения состояния, отображения 2 областей, отображения 5 областей, отображения во временной последовательности, и плоского отображения, управление отображением множества типов отображения, включающих в себя все типы, воплощено в систему дисплея, пользователь, выполняющий операции с модулем 615 операций, может, например, выбирать, следует ли выполнить управление и каким отображением (фиг.53).

Кроме того, можно выполнить переключение во время воспроизведения содержания - объекта воспроизведения, например, когда пользователь выполняет операции с модулем 615 операций.

[Отображение двумерной карты]

На фиг.56 показана схема, иллюстрирующая пример отображения при отображении двумерной карты.

При отображении двумерной карты модуль 614 управления отображением генерирует, используя модель кластеризации, применяемую для кластеризации содержания - объекта воспроизведения, то есть, модель перехода состояния, которая представляет собой модель, представляющая интерес, карту модели, которая представляет собой двумерную карту, где состояния расположены так, чтобы уменьшить расстояние между состояниями, где может быть взаимно выполнен переход состояния, что в положении каждого состояния, на карте его модели, располагают миниатюрное изображение сцены (включающей в себя кадр), принадлежащий кластеру, соответствующему его состоянию, и отображают в устройстве 603 дисплея.

То есть модуль 614 управления отображением генерирует карту модели путем размещения N состояний s₁ -s_N модели, представляющей интерес, которую размещают на двумерной карте (в плоскости), для уменьшения расстояния между состояниями, где может быть взаимно выполнен переход состояния.

Следует отметить, что модуль 616 управления получает модель, представляющая интерес, из модуля кластеризации 611, и передает в модуль 614 управления отображением.

Кроме того, модуль 614 управления отображением вычерчивает сегмент линии, соединяющий состояния на карте модели, в соответствии с вероятностью перехода состояния между их состояниями.

В частности, модуль 614 управления отображением вычерчивает, например, сегмент линии, соединяющий состояние источника s _i перехода и состояние места назначения перехода для перехода состояния, где вероятность перехода состояния является максимальной, при переходе состояния из определенного состояния s_i на модели карты.

В качестве альтернативы, модуль 614 управления отображением вычерчивает, например, сегмент линии, соединяющий состояние источника s_i перехода и состояние назначения перехода для перехода состояния, где вероятность перехода состояния равна или больше, чем заданное пороговое значение, для перехода состояния из определенного состояния s_i по карте модели.

Здесь, на фиг.56, точки кромки сегмента линии представляют состояния, и сегмент линии представляет переход состояния.

Модуль 614 управления отображением распознает кластер, которому принадлежит каждая сцена содержания - объекта воспроизведения из информации сцены, подаваемой из модуля 613 формирования миниатюрных изображений, и располагает в положении каждого из N состояний s₁-s_N на карте модели миниатюрное изображение (кластеризованной) сцены, принадлежащей кластеру, соответствующему его состоянию s _i.

Здесь, на фиг.56, малый прямоугольник представляет миниатюрное изображение. На фиг.56, представлено состояние, в котором миниатюрные изображения не размещены. Это представляет, что при использовании содержания объекта воспроизведения, отсутствует кадр, кластеризованный до кластера, соответствующего его состоянию.

Кроме того, возникает случай, когда множество сцен принадлежит кластеру, соответствующему определенному состоянию s_i. В этом случае, миниатюрное изображение каждой из множества сцен, принадлежащих кластеру, соответствующему состоянию s_i, может быть размещено в виде массива и отображено в положении состояния s_i карты модели.

Однако после отображения миниатюрного изображения каждой из множества сцен в положении одного из состояний s _i, (часть) миниатюрных изображений множества сцен накладываются на миниатюрные изображения, отображаемые в положении другого состояния s_j, так, что миниатюрные изображения нельзя непосредственно просматривать.

Кроме того, для предотвращения наложения миниатюрного изображения каждой из множества сцен, отображаемых в положении одного состояния s_i , и миниатюрного изображения, отображаемого в положении другого состояния s_j, используется способ уменьшения размера миниатюрного изображения, но уменьшение размера миниатюрного изображения также может затруднить непосредственное рассмотрение миниатюрного изображения.

Поэтому, когда множество сцен принадлежат кластеру, соответствующему определенному состоянию s_i, в положении состоянии s₁ карты модели, для миниатюрного изображения каждой из множества сцен, принадлежащих кластеру, соответствующих состоянию s_i, например, может быть отображено только миниатюрное изображение одной сцены, которая является самой быстрой в порядке временной последовательности (порядок воспроизведения является самым быстрым) среди содержания - объекта воспроизведения.

Следует отметить, что в случае, когда множество сцен принадлежат кластеру, соответствующему определенному состоянию s_i, миниатюрное изображение одной сцены, принадлежащей кластеру, соответствующему состоянию s₁, предназначенное для отображения в положении состояния s_i карты модели, можно переключать в соответствии, например, с операциями, выполняемыми пользователем в модуле 615 операций (фиг.53).

В частности, например, в случае, когда три сцены c1, с2 и с3 принадлежат кластеру, соответствующему состоянию s_i, в порядке временной последовательности, каждый раз, когда выполняют операцию с модулем 615 операций для переключения миниатюрного изображения, миниатюрные изображения, предназначенные для отображения в положении состояния s_i карты модели, могут циклически переключаться, такие как миниатюрное изображение сцены c1, миниатюрное изображение сцены с2, миниатюрное изображение сцены с3, миниатюрное изображение сцены c1 и так далее.

Как описано выше, при отображении двумерной карты, состояния располагают таким образом, чтобы уменьшить расстояние между состояниями, в которых может быть взаимно выполнен переход состояния модели кластеризации (модели, представляющей интерес), используемой для кластеризации содержания - объекта воспроизведения, и также, в положении каждого состояния карты модели, где вычерчены переходы состояния, располагают и отображают миниатюрные изображения сцены, принадлежащей кластеру, соответствующему его состоянию.

Поэтому, в соответствии с отображением двумерной карты, пользователь может непосредственно распознать общий смысл содержания - объекта воспроизведения с первого взгляда, распознавая структуру содержания - объекта воспроизведения с миниатюрным изображением сцены, расположенным в определенном положении каждого состояния, и сегмент линии, представляющей переход состояния между состояниями, как описано на фиг.9 и других.

Здесь, в карте модели, N состояний s₁-s_N модели, представляющей интерес, располагают так, чтобы уменьшить расстояние между состояниями, где переход состояния может быть взаимно выполнен, таким образом, что компоновка состояния может быть выполнена таким же образом, как и в модуле 14, представляющем структуру содержания, на фиг.9.

В частности, модуль 614 управления отображением получает расстояние d _ij* между состояниями из одного состояния s_i в другое состояние s_j модели, представляющей интерес, на основе вероятности ау перехода состояния, для перехода из одного состояния s_i в другое состояние s_j , и получает координаты Y_i состояния, которые представляют собой координаты положения состояния s₁ на карте модели, для уменьшения ошибки между евклидовом расстоянием d_ij из одного состояния s_i в другое состояние s_j и расстоянием d_ij* на карте модели, и, в частности, например, для сведения к минимуму функции Е ошибки отображения Сэммона в Выражении (1).

После этого модуль 614 управления отображением размещает состояние s_i , соответствующее положению координат Y_j состояния.

Следует отметить, что, как описано выше, в случае, когда функцию Е ошибки в Выражении (1) используют, как она есть, и координаты Y_j состояния на карте модели получают так, чтобы свести к минимуму функцию Е ошибки, состояния располагаются, как показано на фиг.11, в центральной структуре карты модели, и концентрируются в непосредственной близости (снаружи) внешней окружности, что не позволяет пользователю просматривать места расположения состояний, и, соответственно, может быть ухудшена видимость.

Поэтому, в модуле 614 управления отображением также, как показано на фиг.12, могут быть получены координаты Y_i состояния карты модели для коррекции функции Е ошибки в Выражении (1), для сведения к минимуму функции ошибки Е после коррекции.

В частности, в модуле 614 управления отображением, в случае, когда евклидово расстояние d_ij из одного состояния s_i в другое состояние s_j не больше, чем заданный порог THd (например, THd=1,0 или тому подобное), при расчете функции ошибки по Выражению (1), евклидово расстояние d_ij используется, в том виде, как если бы оно было евклидовым расстоянием d_ij, и в случае, когда евклидово расстояние d_ij больше, чем заданный порог THd, при расчете функции ошибки по Выражению (1), расстояние d_ij* между состояниями используется как евклидово расстояние d_ij (установлено как d_ij =d_ij*) (евклидово расстояние d_ij устанавливают в расстояние, равное расстоянию d_ij* между состояниями).

Как описано выше, координаты Y_i состояния модели получают для сведения к минимуму функции Е ошибки после коррекции, и, таким образом, евклидово расстояние d_ij поддерживается на расстоянии между двумя в некоторой степени отдаленными состояниями s_j и s_j, таким образом, что можно предотвратить снижение видимости в результате концентрации состояний в непосредственной близости к внешней окружности карты модели. То есть, как показано на фиг.12, карта модели может отображаться с достаточной видимостью.

На фиг.57 показана схема, иллюстрирующая другой пример отображения при отображении двумерной карты.

Как описано выше, в отношении отображения двумерной карты, с моделью кластеризации, используемой для кластеризации содержания объекта воспроизведения, то есть, для модели, представляющей интерес, в положении каждого состояния карты модели, где состояния расположены так, чтобы уменьшить расстояние между состояниями, где может быть взаимно выполнен переход состояния, располагают миниатюрное изображение сцены (включающее в себя кадр), принадлежащей кластеру, соответствующему ее состоянию.

В соответствии с этим, например, в случае, когда кадры содержания - объекта воспроизведения подвергают кластеризации с большим количеством кластеров, количество миниатюрных изображений, предназначенных для отображения, увеличивается. Вследствие этого, для отображения такого большого количества миниатюрных изображений без их взаимного наложения, размеры миниатюрных изображений должны быть в некоторой степени уменьшены.

Однако в случае, когда размеры миниатюрных изображений малы, может быть затруднен непосредственный просмотр миниатюрных изображений.

Поэтому, при отображении двумерной карты, модуль 614 управления отображением может увеличивать и отображать участок карты модели в устройстве 603 дисплея.

В частности, после выполнения операций пользователя с модулем 615 операций, для увеличения определенного положения карты модели, то есть, после перемещения пользователем курсора в определенное положение, и отметки модуля 615 операций, модуль 614 управления отображением увеличивается, как показано на фиг.57, в определенном диапазоне, включающем в себя положение курсора карты модели и отображается в устройстве 603 дисплея.

В этом случае пользователь может, очевидно, подтверждать изображения, используемые как миниатюрные изображения.

Следует отметить, что увеличение карты модели отменяют заданной операцией модуля 615 операций.

На фиг.58 показана схема, иллюстрирующая еще один пример отображения при отображении двумерной карты.

Как описано со ссылкой на фиг.54, с помощью устройства 602 управления отображением (фиг.53), после ввода пользователем операции в модуле 615 операций для обеспечения ввода спецификации для установления содержания - объекта воспроизведения, модуль 616 управления выбирает содержание, установленное по введенной его спецификации, как содержание - объект воспроизведения, считывает его содержание - объект воспроизведения из устройства 601 сохранения содержания, и передает в модуль 611 кластеризации и в модуль 613 формирования миниатюрного изображения.

Считывание содержания - объекта воспроизведения из устройства 601 сохранения содержания для подачи содержания - объекта воспроизведения в модуль 611 кластеризации и в модуль 613 формирования миниатюрных изображений, и для подачи содержания - объекта воспроизведения в модуль 611 кластеризации и в модуль 613 формирования миниатюрных изображений, выполняют с высокой скоростью, для быстрого выполнения отображения миниатюрных изображений.

Как описано выше, в дополнение к высокоскоростной подаче содержания - объекта воспроизведения в модуль 611 кластеризации и в модуль 613 формирования миниатюрных изображений, модуль 616 управления выполняет управление воспроизведением содержания - объекта воспроизведения, для подачи содержания - объекта воспроизведения из устройства 601 сохранения содержания в модуль 614 управления отображением, для отображения в режиме реального времени.

После этого модуль 614 управления отображением отображает, под управлением при воспроизведении, осуществляемым модулем 616 управления, каждый кадр содержания - объекта воспроизведения, подаваемый из устройства 601 сохранения содержания, например, от его начального кадра в устройство 603 дисплея в режиме реального времени.

В частности, модуль 614 управления отображением отображает, таким же образом, как и в случаях по фиг.56 и фиг.57, карту модели, где в положении каждого состояния карты модели, в котором вычерчен сегмент линии, представляющей переход состояния, выбирают миниатюрное изображение сцены, принадлежащей кластеру, соответствующему ее состоянию, и также для содержания - объекта воспроизведения представляют кадр объекта воспроизведения, который представляет собой кадр, предназначенный для воспроизведения, теперь в окне воспроизведения, то есть, в окне, большем, чем миниатюрные изображения, на заданный размер, и отображает окно воспроизведения в положении состояния, соответствующего кластеру, которому принадлежит его кадр-объект воспроизведения карты модели.

В соответствии с этим, при изменении кластера, которому принадлежит кадр-объект воспроизведения, то есть, после изменение сцены, положение отображения окна воспроизведения перемещается, как показано стрелкой на фиг.58, из положения состояния, соответствующего кластеру перед изменением, в положение состояния, соответствующего кластеру после изменения.

В этом случае, пользователь может распознать, какой кадр, принадлежащий какому кластеру, воспроизводят в данный момент времени (становится кадром-объектом воспроизведения).

Как описано выше, в случае, когда окно воспроизведения, в котором вычерчен кадр-объект воспроизведения отображается вместе с картой модели, для карты модели миниатюрное изображение ближайшей сцены во временной последовательности для кадра-объекта воспроизведения окна воспроизведения, может отображаться в положении состояния, соответствующем кластеру, которому принадлежит множество сцен.

В этом случае, пользователь может проверить, используя сцены, принадлежащие каждому кластеру, среди сцен, принадлежащих их кластеру, общее содержание ближайшей сцены во временной последовательности как кадра-объекта воспроизведения.

Кроме того, пользователь может предоставить спецификацию, введенную для установления состояния карты модели, выполняя операцию с модулем 615 операций.

В этом случае, модуль 616 управления изменяет кадр, принадлежащий кластеру, соответствующему состоянию, установленному вводом его спецификации, на кадр объекта воспроизведения, основанный на спецификации, введенной для установления состояния на карте модели, и начинает управлять воспроизведением с его кадра объекта воспроизведения.

В соответствии с этим, после того, как пользователь просмотрит миниатюрное изображение, отображаемое в положении состояния карты модели, и обеспечит ввод спецификации для установления его миниатюрного изображения сцены, которая представляет его миниатюрное изображение, например, начальный кадр становится кадром-объектом воспроизведения, и окно воспроизведения, где вычерчен кадр-объект воспроизведения, отображают в положении миниатюрного изображения, установленного вводом спецификации.

Как описано выше, пользователь просто обеспечивает ввод спецификации для установления миниатюрного изображения, отображаемого в положении состояния при просмотре кадра-объекта воспроизведения, в результате чего пользователь может выполнить быстрый переход на сцену, которую представляет ее миниатюрное изображение, то есть, как быстрый переход положения воспроизведения.

В соответствии с этим, (миниатюрное изображение, отображаемое в определенном положении), состояние используется как, так называемый, раздел, и может использоваться как команда вызова программы раздела.

В частности, например, коммерческое содержание, записанное на DVD, (часто) содержит разделы, но, с другой «стороны, в содержание движущегося изображения, снятое персонально, пользователь должен вручную вставлять разделы. В соответствии с этим, для устройства 602 управления отображением, разделы могут быть автоматически добавлены к содержанию аналогичным способом.

Кроме того, в обычных устройствах записи может быть предусмотрена кнопка перехода, которую нажимают в момент времени перехода от положения воспроизведения из положения (кадра), воспроизводимого в данный момент времени, в положение после (или перед) заданным моментом времени, например, таким как пять секунд, 30 секунд, или тому подобное.

Пользователь может распознавать краткое содержание для содержания, повторяя операции, в которых он выполняет операцию с кнопкой перехода, для выполнения перехода положения воспроизведения, при этом изображение, предназначенное для воспроизведения из положения после перехода, моментально просматривается, и кнопку перехода снова можно нажать.

Однако при выполнении операции с кнопкой перехода, может не происходить изменение сцен перед переходом в положении воспроизведения и после перехода, и в этом случае, существует потребность снова и снова нажимать на кнопку перехода, для распознавания краткого содержания данного содержания.

Кроме того, при выполнении операций с кнопкой перехода может существовать большое количество сцен между сценой перед переходом положения воспроизведения и сценой после перехода, и в этом случае становится трудно распознавать краткое содержание для данного содержания.

С другой стороны, в соответствии с отображением двумерной карты, отображают карту модели, в которой, в положении каждого состояния карты модели, где вычерчен сегмент линии, представляющей состояние перехода, расположено миниатюрное изображение сцены, принадлежащей кластеру, соответствующему его состоянию, и, кроме того, окно воспроизведения, где вычерчен кадр объекта воспроизведения, отображают в положении состояния, соответствующего кластеру, которому принадлежит кадр-объект воспроизведения карты модели.

В соответствии с этим, пользователь может ожидать получения краткого содержания сцены непосредственно после или непосредственно перед сценой, имеющей кадр-объект воспроизведения путем просмотра миниатюрного изображения, расположенного в положении состояния, связанного с состоянием положения, где отображается окно воспроизведения, то есть, состояния, соответствующего кластеру, которому принадлежит кадр-объект воспроизведения, таким образом, что он может более просто распознавать краткое содержание для содержания - объекта воспроизведения.

[Отображение состояния]

На фиг.59 показана схема, иллюстрирующая пример отображения для отображения состояния.

При отображении состояния модуль 614 управления отображением (фиг.53) размещает миниатюрное изображение сцены (включающей в себя кадр), принадлежащий соответствующему кластеру, в прямоугольной области кластера, полученной путем разделения на секции экрана дисплея устройства 603 дисплея в соответствии с моделью кластеризации, используемой для кластеризации содержания - объекта воспроизведения, то есть, кластера, соответствующего состоянию модели перехода состояния в модель, представляющая интерес, и отображает в устройстве 603 дисплея.

В частности, модуль 614 управления отображением разделяет на секции экран дисплея устройства 603 дисплея, на области кластеров, количество которых, в общем, составляет число N (или больше) состояний модели, представляющей интерес, в виде сетки, и, например, предполагает, что в порядке растровой развертки область i-ого кластера в верхнем левом углу соответствует i-ому кластеру (состояние s_j) кластеризации в модуле 611 кластеризации, и располагает миниатюрное изображение сцены, принадлежащей кластеру, соответствующему i-ому состоянию из N состояний s₁-s_N модели, представляющей интерес, в i-ой области его кластера.

Здесь, на фиг.59, область, окруженная пунктирной линией, представляет область кластера. Кроме того, прямоугольник, вычерченный сплошной линией внутри области кластера представляет миниатюрное изображение.

На фиг.59 показана область кластера, где не расположено миниатюрное изображение, но это представляет, что в содержании объекта воспроизведения нет кадра, подвергавшегося кластеризации, в кластер, соответствующий его области кластера.

Благодаря наличию двумерной карты, описанной со ссылкой на фиг.56-фиг.58, была получена компоновка, в которой в положении состояния s _i карты модели отображается только миниатюрное изображение одной сцены, принадлежащей кластеру, соответствующему его состоянию s_i, но при отображении состояния, миниатюрные изображения всех сцен, принадлежащих соответствующему кластеру, могут отображаться в области кластера.

То есть при отображении состояния, в случае, когда только одна сцена принадлежит кластеру, соответствующему определенному состоянию s_i, только миниатюрное изображение одной его сцены отображается в i-ой области кластера.

Кроме того, в случае, когда множество сцен принадлежит кластеру, соответствующему определенному состоянию s_i, миниатюрное изображение каждой из множества сцен располагают и отображают в i-ой области кластера.

На фиг.59 каждая из областей кластера, количество которых равно общему количеству N (или больше) состояний модели, представляющей интерес, представляет собой область одинакового размера, и, соответственно, чем больше количество миниатюрных изображений, которые должны быть отображены в области кластера, тем меньших размеров миниатюрные изображения, могут быть отображены в кластере того же размера.

Как описано выше, при отображении состояния, миниатюрные изображения сцен, принадлежащих одному кластеру, располагают и отображают в одной области кластера, в результате чего пользователь может проверять все сцены содержания - объекта воспроизведения, наблюдая, таким образом, за сценами (сценами, имеющими одинаковое содержание), принадлежащими одному кластеру, и также наблюдая за сценами, принадлежащими каждому кластеру, таким образом, что он может легко распознавать краткое содержание для содержания - объекта воспроизведения.

На фиг.60 показана схема, иллюстрирующая другой пример отображения при отображении состояния.

Как описано выше, при отображении состояния, в прямоугольных областях кластера, получаемых в результате разделения экрана дисплея на области в соответствии с кластерами, соответствующими состояниям модели, представляющей интерес, располагают и отображают миниатюрные изображения всех сцен, принадлежащих соответствующему кластеру.

В соответствии с этим, в случае, когда количество сцен, принадлежащих кластеру, соответствующему области кластера, велико, миниатюрные изображения такого большого количества сцен располагают и отображают в его области кластера, таким образом, что размеры миниатюрных изображений должны быть уменьшены, и в результате этого, становится трудно рассматривать такие миниатюрные изображения.

Поэтому также учитывается отображение состояния, таким же образом, как и в случае отображения двумерной карты, при этом модуль 614 управления отображением может увеличивать и отображать несколько областей кластера в устройстве 603 дисплея.

В частности, после выполнения операций пользователя в модуле 615 операций, для увеличения области кластера, то есть, например, после того, как пользователь, передвинет курсор в положение определенной области и отметит модуль 615 операций, модуль 614 управления отображением увеличивает изображение и отображает, как показано на фиг.60, определенный диапазон, включающий в себя область кластера, в положении курсора в устройстве 603 дисплея.

В этом случае, пользователь может, очевидно, проверить изображение, используемое как миниатюрное изображение.

Следует отметить, что увеличение области кластера, как описано выше, отменяют так же, как и увеличение карты модели, описанной на фиг.57, в результате заданной операции, выполняемой с модулем 615 операций.

Кроме того, при отображении состоянии, так же, как и в случае отображения двумерной карты, может отображаться окно воспроизведения (фиг.58), в котором представлен кадр-объект воспроизведения.

В частности, может быть выполнена компоновка, в которой модуль 614 управления отображением отображает область кластера, в которой расположено миниатюрное изображение сцены, и также отображает окно воспроизведения, где кадр-объект воспроизведения представлен в положении области кластера, которой принадлежит кадр -объект воспроизведения.

Кроме того, также, в состоянии отображения таким же образом, как и в случае отображения двумерной карты, пользователь может обеспечить ввод спецификации для установления области кластера или миниатюрного изображения, отображаемого в области кластера, выполняя операцию с модулем 615 операций.

Здесь можно переключать, устанавливает ли введенная спецификация какую-либо область кластера и миниатюрные изображения, отображаемые в области кластера, например, в соответствии с операцией, выполняемой с модулем 615 операций.

В случае, когда введенная спецификация устанавливает область кластера, модуль 616 управления изменяет, на основе спецификации, введенной для установления области кластера, кадр, принадлежащий кластеру, в соответствии с областью кластера, установленной спецификацией, введенной для него, на кадр-объект воспроизведения, и начинает управление воспроизведением, начиная с этого кадра-объекта воспроизведения.

В частности, модуль 616-управления устанавливает, среди сцен, принадлежащих кластеру, соответствующих области кластера, установленной введенной спецификацией, например, начальный кадр ближайшей сцены во временной последовательности, как кадр-объект воспроизведения, для кадра-объекта воспроизведения (выполняет управление воспроизведением). После этого, используя модуль 614 управления отображением, отображают окно воспроизведения, в котором представлен кадр-объект воспроизведения, в положении области кластера, установленной в соответствии с введенной спецификацией.

Как описано выше, пользователь может выполнять переход положения воспроизведения, путем простого ввода спецификации для установления области кластера при просмотре кадра-объекта воспроизведения, на сцену, представленную миниатюрным изображением, отображаемым в его области кластера.

Кроме того, в случае, когда введенная спецификация устанавливает миниатюрное изображение, расположенное в области кластера, модуль 616 управления изменяет на основе спецификации, введенной для установления миниатюрного изображения, кадр, включенный в сцену, которую представляет миниатюрное изображение, установленное в результате ввода спецификации, как кадр-объект воспроизведения, и начинает управление воспроизведением с этого кадра-объекта воспроизведения.

В частности, модуль 616 управления устанавливает для сцены, что миниатюрное изображение, установленное в результате ввода спецификации, представляет, например, начальный кадр для кадра-объекта воспроизведения. После этого, с помощью модуля 614 управления отображением, окно воспроизведения, где представлен его кадр-объект воспроизведения, отображают в положении области кластера, где расположено миниатюрное изображение, установленное в соответствии с введенной спецификацией.

Как описано выше, пользователь может выполнять переход положения воспроизведения путем простого обеспечения ввода спецификации для установления миниатюрного изображения при просмотре кадра-объекта воспроизведения, на сцену, которая представляет его миниатюрное изображение.

[Отображение 2 областей]

На фиг.61 показана схема, иллюстрирующая пример с отображением 2 областей.

При отображении 2 областей, модуль 614 управления отображением отображает окно 631 воспроизведения, где представлен (кадр-объект воспроизведения) содержания - объекта воспроизведения, и окно 632 кластера, где миниатюрное изображение сцены (включающей в себя кадр), принадлежащий кластеру, которому принадлежит кадр-объект воспроизведения, представлено в устройстве 603 отображения.

На фиг.61 представлено окно 631 воспроизведения в области приблизительно 2/3 с верхней стороны экрана дисплея устройства 603 дисплея, и окно 632 кластера отображается с нижней стороны окна 631 воспроизведения.

Кроме того, для окна 632 кластера миниатюрные изображения всех сцен (включая в себя сцену, включающую в себя кадр-объект воспроизведения), принадлежащих кластеру, которому принадлежит кадр-объект воспроизведения, расположены в виде массива в порядке временной последовательности и отображаются (представлены) в областях, полученных в результате разделения на две равные части окна 632 кластера.

Все сцены, принадлежащее кластеру, которому принадлежит кадр-объект воспроизведения, где миниатюрные изображения отображают в окне 632 кластера, представляют собой сцены, имеющие одинаковое содержание, и, таким образом, в соответствии с окном 632 кластера, пользователь может легко распознать ту же сцену, что и сцена, включающая в себя кадр-объект воспроизведения.

При отображении 2 областей также, таким же образом, как и в случае двумерного отображения карты, пользователь может обеспечить ввод спецификации для установления миниатюрным изображением, отображаемым в окне 632 кластера, выполняя операцию с модулем 615 операций.

Модуль 616 управления изменяет кадр, включенный в сцену, которую заменяет миниатюрное изображение, установленное в соответствии с его введенной спецификацией, на кадр-объект воспроизведения, и начинает управление воспроизведением из своего кадра-объекта воспроизведения.

В частности, модуль 616 управления устанавливает для сцены, которую представляет миниатюрное изображение, установленное введенной спецификацией, например, начальный кадр для кадра-объекта воспроизведения. После этого, в модуле 614 управления отображением, его кадр-объект воспроизведения отображают в окне 631 воспроизведения вместо кадра, который был кадром-объектом воспроизведения до этого момента времени.

Кроме того, модуль 614 управления отображением также изменяет отображение окна 632 кластера в ответ на изменение кадра-объекта воспроизведения.

Все сцены, принадлежащие кластеру, которому принадлежит кадр-объект воспроизведения, миниатюрные изображения которого отображают в окне 632 кластера, представляют собой сцены, имеющие одинаковое содержание, поэтому в соответствии с отображением 2 областей, пользователь может выполнять переход положения воспроизведения на другую такую же сцену, что и сцена, включающая в себя кадр-объект воспроизведения, путем простого обеспечения ввода спецификации для установления миниатюрного изображения при просмотре кадра-объекта воспроизведения.

[Отображение 5 областей]

На фиг.62 показана схема, иллюстрирующая пример отображения 5 областей.

При отображении 5 областей модуль 614 управления отображением отображает, так же, как и в случае отображения 2 областей, описанном на фиг.61, окно 641 воспроизведения, где представлено содержание - объект воспроизведения, и окно 642 кластера, где представлено миниатюрное изображение сцены (включающее в себя кадр), принадлежащей кластеру, которому принадлежит кадр-объект воспроизведения, в устройстве 603 дисплея.

Кроме того, при отображении 5 областей, модуль 614 управления отображением отображает окна 643 и 644 кластера и окно 645 миниатюрного изображения в устройстве 603 дисплея.

В окне 643 кластера миниатюрные изображения всех сцен (включая в себя кадр), принадлежащих кластеру, которому (кадру) принадлежит сцена, следовавшая непосредственно перед сценой, включающей в себя кадр-объект воспроизведения, расположены, например, в виде массива в порядке временной последовательности и отображаются одинаковым образом, как в окне 632 кластера на фиг.61.

Все сцены, принадлежащие кластеру, которому принадлежит сцена, следующая непосредственно перед сценой, включающей в себя кадр-объект воспроизведения, где отображают миниатюрные изображения в окне 643 кластера, представляют собой сцены, имеющие одинаковое содержание, и таким образом, в соответствии с окном 643 кластера, пользователь может легко распознать такую же сцену, как и сцена, непосредственно предшествующая сцене, включающей в себя кадр-объект воспроизведения.

В окне 644 кластера миниатюрные изображения всех сцен (включающих в себя кадр), принадлежащих кластеру, которому (кадру) принадлежит сцена, следующая непосредственно после сцены, включающей в себя кадр-объект воспроизведения, расположены, например, в виде массива, в порядке временной последовательности, и отображаются так же, как и в окне 632 кластера по фиг.61.

Поэтому, в соответствии с окном 644 кластера, пользователь может легко распознать ту же сцену, что и сцена, следующая непосредственно после сцены, включающей в себя кадр-объект воспроизведения.

В окне 645 миниатюрного изображения миниатюрные изображения всех сцен содержания - объекта воспроизведения, расположены, например, в виде массива во временной последовательности и отображаются таким же образом, как и в окне 632 кластера по фиг.61.

Поэтому, в соответствии с окном 645 миниатюрного изображения, все сцены содержания - объекта воспроизведения могут быть легко распознаны.

Как описано выше, в соответствии с отображением 5 областей, пользователь может распознать одну и ту же сцену, как сцену, включающую в себя кадр-объект воспроизведения (ниже также называется текущей сценой) с помощью окна 642 кластера, подтверждая все содержание - объекта воспроизведения с помощью окна 645 миниатюрного изображения, и, кроме того, может также распознать ту же сцену, как сцену, непосредственно предшествующую текущей сцене, и сцену, непосредственно следующую после текущей сцены, с использованием окон 643 и 644 кластера.

Здесь, на фиг.62 окно 641 воспроизведения отображается в области, составляющей приблизительно 1/4 с верхней левой стороны экрана дисплея устройства 603 дисплея, и окно 645 миниатюрного изображения отображают в области, составляющей приблизительно 1/4 верхней правой стороны экрана дисплея, с правой стороны окна 641 воспроизведения.

Кроме того, на фиг.62, из (трех) областей, полученных путем разделения области, составляющей приблизительно 1/2 нижней стороны экрана дисплея устройства дисплея 603, на три части в горизонтальном направлении, окно 644 кластера отображают в первой области слева, окно 642 кластера отображают во второй области, и окно 643 кластера отображают в третьей области, соответственно.

Следует отметить, что при отображении 5 областей, среди миниатюрных изображений, которые должны быть отображены в окне 645 миниатюрного изображения, миниатюрное изображение текущей сцены может быть отображено с выделением, например, с помощью рамки или тому подобное.

Кроме того, в окне 645 миниатюрного изображения, среди миниатюрных изображений всех сцен содержания - объекта воспроизведения, за исключением миниатюрных изображений, отображаемых в окне 642 - 644 кластера, могут отображаться только оставшиеся миниатюрные изображения.

Кроме того, при отображении 5 областей таким же образом, как и в случае отображения двумерной карты или тому подобное, пользователь может обеспечивать ввод спецификации для установления миниатюрного изображения, отображаемого в окнах 642-644 кластера, и окне 645 миниатюрного изображения, выполняя операции с модулем 615 операций.

Модуль 616 управления изменяет на основе ввода спецификации, для установления миниатюрным изображением, кадр, включенный в сцену, которую представляет миниатюрное изображение, установленное введенной спецификацией, для кадра-объекта воспроизведения, и начинает управление воспроизведением с его кадра-объекта воспроизведения.

В частности, модуль 616 управления устанавливает для сцены, которая представляет миниатюрное изображение, установленное введенной спецификацией, например, начальный кадр для кадра-объекта воспроизведения. Затем в модуле 614 управления отображением, его кадр-объект воспроизведения отображается в окне 641 воспроизведения, вместо кадра, который представлял собой кадр-объект воспроизведения.

Кроме того, модуль 614 управления отображением также изменяет отображение окон 642-644 кластера в ответ на изменение кадра-объекта воспроизведения.

Поэтому, в соответствии с отображением 5 областей, пользователь может выполнять переход положения воспроизведения на произвольную сцену содержания - объекта воспроизведения путем простого обеспечения ввода спецификации для установления миниатюрного изображения.

[Отображение временной последовательности]

На фиг.63 показана схема, иллюстрирующая пример отображения при отображении временной последовательности.

При отображении временной последовательности модуль 614 управления отображением отображает окно 651 воспроизведения, где представлено содержание -объект воспроизведения и группа 652 миниатюрных изображений, в устройстве 603 дисплея.

На фиг.63 окно 651 воспроизведения отображают в области, занимающей приблизительно 3/4 верхней стороны экрана дисплея устройства 603 дисплея, и группу 652 миниатюрных изображений отображают в области, составляющей приблизительно 1/4 с нижней стороны экрана дисплея, с нижней стороны окна 651 воспроизведения.

Группа 652 изображения миниатюрного изображения представляет собой изображение, где миниатюрное изображение сцены (текущей сцены), включающей в себя кадр-объект воспроизведения, миниатюрные изображения одной или больше сцен, следующих после текущей сцены, и миниатюрные изображения одной или больше сцен, расположенных перед текущей сценой, расположены в виде временной последовательности.

В частности, на фиг.63 миниатюрное изображение текущей сцены располагают в центре группы 652 изображения миниатюрного изображения, и в направлении справа налево, как в направлении перемещения точки во времени, миниатюрные изображения из четырех сцен, следующих непосредственно перед текущей сценой, расположены во временной последовательности с правой стороны от миниатюрного изображения текущей сцены.

Кроме того, в группе 652 изображения миниатюрного изображения, миниатюрные изображения четырех сцен, следующих немедленно после текущей сцены, расположены с левой стороны от миниатюрного изображения текущей сцены во временной последовательности.

Кроме того, в группе 652 изображения миниатюрного изображения на фиг.63, миниатюрные изображения отображают в виде, расположенном на боковой стороне цилиндра, представляемого как трехмерное изображение. Таким образом, среди миниатюрных изображений, составляющих группу 652 изображения миниатюрных изображений, миниатюрное изображение текущей сцены отображают с наибольшим размером, причем, чем дальше миниатюрное изображение сцены расположено от текущей сцены во временной последовательности, тем меньших размеров миниатюрное изображение отображают.

Как описано выше, в группе 652 миниатюрного изображения, миниатюрное изображение текущей сцены, миниатюрные изображения одной или более сцен, следующих после текущей сцены, и миниатюрные изображения одной или больше сцен, следующих перед текущей сценой, расположены во временной последовательности, таким образом, что в соответствии с группой 652 изображения миниатюрного изображения, пользователь может легко распознать сцену, расположенную по времени ближе всего к текущей сцене.

Также, используя отображение временной последовательности, так же, как и в случае отображения двумерной карты или тому подобное, пользователь может предусмотреть ввод спецификации для установления миниатюрного изображения из группы 652 изображения миниатюрного изображения, выполняя операцию с модулем 615 операций.

Модуль 616 управления изменяет, на основе ввода спецификации, для установления миниатюрного изображения, кадр, включенный в сцену, которую представляет миниатюрное изображение, установленное вводом спецификации, на кадр-объект воспроизведения, и начинает управление воспроизведением своего кадра-объекта воспроизведения.

В частности, модуль 616 управления устанавливает для сцены, которую представляет миниатюрное изображение, установленное в соответствии с введенной спецификацией, например, начальный кадр для кадра-объекта воспроизведения. Затем, с помощью модуля 614 управления отображением, его кадр-объект воспроизведения отображают в окне 651 воспроизведения вместо кадра, который был кадром-объектом воспроизведения.

Кроме того, модуль 614 управления отображением также изменяет отображение группы 652 изображения миниатюрного изображения в ответ на изменение кадра-объекта воспроизведения.

Поэтому, в соответствии с отображением временной последовательности, пользователь может выполнять переход положения воспроизведения на произвольную сцену среди содержания - объекта воспроизведения путем простого обеспечения ввода для установления миниатюрного изображения.

Здесь в группе 652 миниатюрного изображения миниатюрные изображения одной или больше сцен после текущей сцены, и миниатюрные изображения одной или больше сцен перед текущей сценой расположены во временной последовательности, таким образом, что может быть выполнен, например, переход положения на сцену, следующую после (непосредственно после) текущей сцены, сцену, расположенную после сцены, следующей после текущей сцены, или тому подобное.

В соответствии с этим, можно сказать, что каждое миниатюрное изображение группы 652 изображения миниатюрного изображения имеет такую функцию, как у описанной выше кнопки перехода в обычном устройстве записи.

Следует отметить, что при выполнении перехода с помощью кнопки перехода, кадр (кадр объекта воспроизведения) после перехода не ограничен кадром сцены, отличающейся от текущей сцены, и может представлять собой кадр текущей сцены, поэтому сцена не обязательно должна изменяться, но переход по миниатюрному изображению группы 652 изображения миниатюрного изображения является более эффективным, чем переход с использованием кнопки перехода в том, что при переходе по миниатюрному изображению группы 652 миниатюрных изображений кадр после перехода всегда представляет собой кадр сцены, отличающейся от текущей сцены.

[Плоское отображение]

На фиг.64 показана схема, иллюстрирующая пример отображения плоского отображения.

При плоском отображении модуль 614 управления отображением располагают в виде массивов, так же, как в окне 645 миниатюрного изображения отображения 5 областей по фиг.62, миниатюрные изображения всех сцен содержания - объекта воспроизведения во временной последовательности, и отображает в устройстве 603 дисплея.

Поэтому, в соответствии с плоским отображением, все сцены содержания - объекта воспроизведения могут быть легко распознаны.

Кроме того, при использовании плоского отображения, таким же образом, как и при отображении двумерной карты, может быть отображено окно воспроизведения, где представлен кадр-объект воспроизведения.

В частности, может быть выполнена компоновка, в которой модуль 614 управления отображением отображает миниатюрные изображения всех сцен содержания - объекта воспроизведения, и также отображает окно воспроизведения, где кадр-объект воспроизведения представлен в положении миниатюрного изображения сцены (текущей сцены) его кадра-объекта воспроизведения.

Кроме того, при плоском отображении, также как и случае отображения двумерной карты, пользователь может обеспечить ввод спецификации для установления миниатюрного изображения путем выполнения операции с модулем 615 операций.

Модуль 616 управления изменяет, на основе спецификации, введенной для установления миниатюрного изображения, кадр, включенный в сцену, которую миниатюрное изображение, установленное в соответствии с введенной спецификацией, представляет как кадр-объект воспроизведения, и начинает управление воспроизведением с его кадра-объекта воспроизведения.

В частности, модуль 616 управления устанавливает для сцены, которая представляет миниатюрное изображение, установленное по введенной спецификации, например, начальный кадр для кадра - объекта воспроизведения. Затем в модуле 614 управления отображением, окно воспроизведения, где представлен его кадр - объект воспроизведения, отображают в положении миниатюрного изображения, установленного в соответствии с введенной спецификацией.

Как описано выше, благодаря простому обеспечению ввода спецификации для установления миниатюрного изображения при просмотре кадра-объекта воспроизведения, пользователь может выполнять переход положения воспроизведения на сцену, которую представляет ее миниатюрное изображение.

[Обучение модели кластеризации в случае, когда модель кластеризации представляет собой НММ]

На фиг.65 показана блок-схема последовательности операций, предназначенная для описания обработки обучения модели кластеризации, которую выполняет модуль 621 обучения модели кластеризации (фиг.55), в случае, когда модель кластеризации представляет собой НММ.

Здесь, как описано на фиг.55, что касается модели кластеризации, например, может использоваться модель перехода состояния, включающая в себя состояние и переход состояния. Кроме того, что касается модели перехода состояния, предназначенной для использования, как модель кластеризации, например, можно использовать НММ, применяемую как модель содержания, новую векторную квантованную модель, которая представляет собой модель, использующую способ k-значений, предназначенный для использования для квантования вектора, новую GMM, которая представляет собой модель с использованием GMM или тому подобное.

На фиг.65 показана блок-схема последовательности операций, предназначенная для описания, в случае, когда для описанной выше НММ, новой векторной квантованной модели и новой модели GMM, НММ используется как модель кластеризации, обработки обучения ее модели кластеризации.

На этапе S621 модуль 621 обучения модели кластеризации (фиг.55) принимает содержание, сохраненное в модуле 601 сохранения содержания, как содержание, предназначенное для обучения, для обучения модели кластеризации, и классифицирует содержание для обучения по каждой категории.

Затем модуль 621 обучения кластеризации выделяет, например, так же, как и для модуля 12 обучения модели содержания по фиг.2, величину характерного признака каждого кадра содержания для обучения, и обработка переходит с этапа S621 на этап S622.

На этапе S622 модуль 621 обучения модели кластеризации использует, в отношении каждой категории, (временную последовательность) величину характерного признака кадра содержания, для обучения по его категории выполнения обучения НММ, используемой как модель кластеризации, так же, как и для модуля 12 обучения модели содержания по фиг.2, генерируя, таким образом, (получая) НММ, используемую как модель кластеризации для каждой категории.

Затем модуль 621 обучения модели кластеризации подает и сохраняет НММ, используемую как модель кластеризации каждой категории, в модуль 622 сохранения модели кластеризации, и обработка обучения модели кластеризации заканчивается.

Здесь, в случае, когда модель кластеризации представляет собой НММ, состояние НММ соответствует кластеру.

[Кластеризация в случае, когда модель кластеризации представляет собой НММ] На фиг.66 показана блок-схема последовательности операций, предназначенная для описания, в случае, когда модель кластеризации представляет собой НММ, обработки кластеризации содержания - объекта воспроизведения, которую выполняет модуль 611 кластеризации (фиг.55).

На этапе S631, модуль 623 выбора модели кластеризации (фиг.55), выбирает модель кластеризации, категория которой соответствует категории содержания объекта воспроизведения среди моделей кластеризации для каждой категории, сохраненной в модуле 622 сохранения модели кластеризации, как модель, представляющая интерес, предназначенную для использования для кластеризации, подает в модуль 625 определения кластера, и обработка переходит на этап S632.

На этапе S632, модуль 624 выделения величины характерного признака (фиг.55) выделяет величину характерного признака каждого кадра содержания - объекта воспроизведения из устройства 601 сохранения содержания (такая же величина характерного признака используется для обучения НММ, применяемой в качестве модели содержания), передает в модуль 625 определения кластера, и обработка переходит на этап S633.

На этапе S633 и на следующем этапе S634, модуль 625 определения кластера (фиг.55) использует модель, представляющую интерес, из модуля 623 выбора модели кластеризации, и величину характерного признака (временной последовательности) каждого кадра содержания - объекта воспроизведения из модуля 624 выделения величины характерного признака, для определения кластера, которому принадлежит каждый кадр содержания - объекта воспроизведения, и подает (выводит) информацию кластеризации, представляющую результат кластеризации, который представляет ее кластер, в модуль 612 классификации сцены.

В частности, на этапе S633, модуль 623 определения кластеризации выполняет оценку, так же, как и для модуля 34 оценки последовательности состояний максимальной вероятности по фиг.9, последовательности состояний максимальной вероятности (последовательности состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения), то есть, последовательность, которая представляет собой состояние; приводящих к возникновению перехода состояния, в случае наибольшей вероятности того, что величина характерного признака (временная последовательность величины характерного признака каждого кадра содержания - объекта воспроизведения) для содержания - объекта воспроизведения из модуля 624 выделения величины характерного признака, будет наблюдаться в модели, представляющей интерес, из модуля 623 выбора модели кластеризации, и обработка переходит на этап S634.

На этапе S634, модуль 625 определения кластера выводит последовательность состояния максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения, в модуль 612 классификации сцены (фиг.53), как информации кластеризации, и обработка кластеризации содержания - объекта воспроизведения заканчивается.

На фиг.67 иллюстрируется графическая модель, выражающая кластеризацию в случае использования НММ в качестве модели кластеризации.

Графическая модель на фиг.67 выражает, что величина характерного признака x_t кадра в точке t во времени содержания - объекта воспроизведения наблюдается в состоянии s(t) в точке t во времени последовательности s(1), s(2), , S(T) состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения (Т представляет количество кадров содержания - объекта воспроизведения).

Последовательность s(1)-S(T) состояний максимальной вероятности модели, представляющей интерес, для содержания - объекта воспроизведения представляет, что кадр в точке t во времени содержания - объекта воспроизведения был подвергнут кластеризации до кластера, соответствующего состоянию s(t).

[Обучение модели кластеризации в случае, когда модель кластеризации представляет собой новую векторную квантованную модель]

На фиг.68 показана блок-схема последовательности операций, предназначенная для описания, в случае, когда модель кластеризации представляет собой новую векторную квантованную модель, обработки обучения модели кластеризации, которую выполняет модуль 621 (фиг.55) обучения модели кластеризации.

На этапе S641, модуль 621 (фиг.55) обучения модели кластеризации получает содержание, сохраненное в модуле 601 сохранения содержания, как содержание для обучения для обучения модели кластеризации, и классифицирует это содержание для обучения по каждой категории.

Затем модуль 621 обучения модели кластеризации выделяет, например, таким же образом, как и в модуле 12 обучения модели содержания по фиг.2, величину характерного признака (вектор) каждого кадра содержания для обучения, и обработка переходит с этапа S641 на этап S642.

На этапе S642 модуль 621 обучения модели кластеризации использует для каждой категории величину характерного признака каждого кадра содержания, для обучения по его категории, для получения кодовой книги, используемой для квантования вектора величины характерного признаки (вектора) кадра, например, используя способ k-значений, и обработка переходит на этап S643.

В частности, модуль 621 обучения модели кластеризации получает кодовый вектор, который представляет собой вектор пространства (пространство величины характерного признака) для величины характерного признака кадра по способу k-значений, и регистрируется в кодовой, книге, в корреляции с кодом, представляющим (идентифицирующим) его кодовый вектор.

Следует отметить, что в случае, когда модель кластеризации представляет собой новую векторную квантованную модель (код, представляющий), кодовый вектор соответствует состоянию модели нового квантованного вектора, которая представляет собой модель перехода состояния, и, следовательно, кластер.

Теперь, допустим, что общее количество кодовых векторов кодовой книги равно N, и что среди N кодовых векторов, n-ый кодовый вектор представлен как µ_n, и также код, представляющий его кодовый вектор µn, представлен как п.

На этапе S643, модуль 621 обучения модели кластеризации подвергает, в отношении каждой категории, величину характерного признака каждого кадра содержания для обучения его категории кластеризации, используя квантование вектора, применяя кодовую книгу его категории, выводит последовательность кода (кодовую последовательность), используемую как результат кластеризации, и обработка переходит на этап S644.

В частности, если предположить, что характерный признак (вектор) кадра в точке t во времени содержания для обучения представлен как x_t, модуль 621 обучения модели кластеризации выполняет кластеризацию, подвергая величину характерного признака (вектор) x_t квантованию вектора, для получения кода n, для минимизации расстояния |x_t -µ_n| между кодом s(t), представленным Выражением s(t)=argmin|x_t-µ_n|, то есть, величиной характерного признака (вектором) x_t и кодовым вектором µ_n.

Модуль 621 обучения модели кластеризации подвергает, в отношении каждой категории, величину характерного признака каждого кадра содержания, для обучения его категории кластеризации путем квантования вектора, используя кодовую книгу его категории, выводит кодовую последовательность s(1), s(2), , s(T) (Т представляет количество кадров содержания - объекта воспроизведения), используемую как результаты кластеризации.

На этапе S644 модуль 621 обучения модели кластеризации получает в отношении каждой категории, на основе кодовой последовательности s(1)-s(T) ее категории, вероятность перехода состояния (ниже также называется "вероятность перехода кода") состояния, соответствующего (кодовому вектору, представленному) кодом, и обработка переходит на этап S645.

В частности, модуль 621 обучения модели кластеризации получает вероятность A_ij=Р(j=s(t+1)|i=s(t)) перехода кода, которая представляет собой вероятность перехода состояния, причем этот переход состояния будет выполнен из состояния I, соответствующего коду s(t) в определенной точке t во времени в состояние j, соответствующее коду s(t+1) в следующей точке t+1 во времени.

Следует отметить, что в кодовой последовательности s(1)-s(T), если предположить, что количество раз, когда переход состояния из состояния I, соответствующего коду s(t) в точке t во времени, в состояние], соответствующее коду s(t+1) в следующей точке t+1 во времени представлен как j, вероятность P(s(t+1)|(s(t)) перехода состояния того, что переход состояния будет выполнен из состояния i, соответствующего коду s(t) в точке t во времени, в состояние j, соответствующее коду s(t+1) в следующей точке t во времени t+1 представлена Выражением P(s(t+1)|s(t))=m_{s(t), s(t+1)}/ m_s(t),n.

Здесь в Выражении Р(s(t+1)|s(t))=m_s(t),s(t+1)/ m_s(t),n, знаменателя с правой стороны представляет суммирование, получаемое путем изменения n на целое число от 1 до N.

На этапе S645, модуль 621 обучения модели кластеризации передает и сохраняет набор кодовой книги, получаемой в отношении каждой категории, и вероятность A_ij перехода кода в модуль 622 сохранения модели кластеризации, как модель нового квантованного вектора, которая представляет собой модель перехода состояния, включающая в себя состояние, соответствующее коду, и переход состояния с вероятностью A_ij перехода кода, как вероятность перехода состояния, и обработка обучения модели кластеризации заканчивается.

[Кластеризация в случае, когда модель кластеризации представляет собой новую векторную квантованную модель]

На фиг.69 показана блок-схема последовательности операций, предназначенная для описания, в случае, когда модель кластеризации представляет собой новую векторную квантованную модель, обработки кластеризации содержания - объекта воспроизведения, которую выполняет модуль 611 (фиг.55) кластеризации.

На этапе S651 модуль 623 (фиг.55) выбора модели кластеризации выбирает модель кластеризации, в которой категория соответствует категории содержания - объекта воспроизведения из моделей кластеризации для каждой категории, сохраненной в модуле 622 сохранения модели кластеризации, как модель, представляющая интерес, предназначенную для использования, для кластеризации, подает в модуль 625 определения кластера, и обработка переходит на этап S652.

На этапе S652 модуль 624 (фиг.55) выделения величины характерного признака выделяет величину характерного признака каждого кадра содержания - объекта воспроизведения из устройства 601 сохранения содержания (та же величина характерного признака, как и величина характерного признака, используемая для обучения модели квантованного нового вектора, используемая как модель содержания), подает в модуль 625 определения кластера, и обработка переходит на этап S653.

На этапе S653 и на последующем этап S654, модуль 625 (фиг.55) определения кластера использует модель, представляющая интерес из модуля 623 выбора модели кластеризации и величину характерного признака каждого кадра содержания - объекта воспроизведения из модуля 624 выделения величины характерного признака, для определения кластера, которому принадлежит каждый кадр содержания - объекта воспроизведения, и подает (выводит информацию) кластеризации, представляющую результат кластеризации, который представляет его кластер, в модуль 612 классификации сцены.

В частности, на этапе S653, модуль 623 определения кластера подвергает каждый кадр содержания объекта воспроизведения кластеризации, подвергая величину характерного признака (вектор) каждого кадра содержания - объекта воспроизведения из модуля 624 выделения величины характерного признака, квантованию вектора, используя кодовую книгу, используемую как модель, представляющая интерес, из модуля 623 выбора модели кластеризации, и обработка переходит на этап S654.

На этапе S654 модуль 625 определения кластера выводит (последовательность) кода, который представляет собой результат квантования вектора каждого кадра содержания - объекта воспроизведения, в модуль 612 классификации сцены (фиг.53), как информацию кластеризации, и обработка кластеризации содержания - объекта воспроизведения заканчивается.

Следует отметить, что вероятность перехода кода, которая представляет собой вероятность перехода состояния квантованной модели нового вектора, не используется для кластеризации с применением квантованной модели нового вектора, но в случае, когда выполняют отображение двумерной карты, описанной со ссылкой на фиг.56-фиг.58, вероятность перехода кода используют во время вычерчивания сегмента линии, соединяющий состояния на карте модели в соответствии с вероятностью перехода состояния между их состояниями.

На фиг.70 показана схема, иллюстрирующая графическую модель, выражающую кластеризацию в случае использования квантованной модели нового вектора в качестве модели кластеризации.

Графическая модель на фиг.70 выражает, что в состоянии, соответствующем коду s(t), который представляет собой результаты квантования вектора кадра в точке t во времени содержания - объекта воспроизведения (на фиг.70 Т представляет количество кадров содержания - объекта воспроизведения), наблюдают величину x_t характерного признака кадра в точке t во времени содержания - объекта воспроизведения.

Кроме того, код s(t) представляет, что кадр в точке t во времени содержания объекта воспроизведения был подвергнут кластеризации в кластер, соответствующий (состояние, соответствующее) коду s(t).

[Обучение модели кластеризации в случае, когда модель кластеризации представляет собой новую GMM]

На фиг.71 показана блок-схема последовательности операций, для описания, когда модель кластеризации представляет собой новую GMM, обработки обучения модели кластеризации, которую выполняет модуль 621 (фиг.55) обучения модели кластеризации.

На этапе S661 модуль 621 обучения модели кластеризации принимает содержание, сохраненное в модуле 601 сохранения содержания, как содержание для обучения модели кластеризации, и классифицирует содержание для обучения для каждой категории.

Затем модуль 621 обучения модели кластеризации выделяет, например, таким же образом, как и для модуля 12 обучения модели содержания по фиг.2, величину характерного признака (вектор) каждого кадра содержания для обучения, и обработка переходит с этапа S661 на этап S662.

На этапе S662, модуль 621 обучения модели кластеризации использует, в отношении каждой категории, величину характерного признака каждого кадра содержания, для обучения по его категории, для выполнения обучения общей GMM, получая, в результате, среднее значение (вектор) и дисперсию класса GMM, и обработка переходит на этап S663.

В частности, модуль 621 обучения модели кластеризации, получает среднее значение и дисперсию, которые устанавливают класс, который представляет собой частичное пространство (распределение) пространства (пространство величины характерного признака) для величины характерного признака кадра.

Здесь среднее значение и дисперсию, которые устанавливает класс, будут называться средним значением класса и дисперсией класса, соответственно. Класс, установленный средним значением класса и дисперсией класса, соответствует состоянию новой GMM, которая представляет собой модель перехода состояния, и, следовательно, кластеру.

Теперь, предположим, что общее количество классов GMM равно N, из N классов, среднее значение класса и дисперсия класса n-ого класса n представлены как µ_n и , соответственно.

На этапе S663 модуль 621 обучения модели кластеризации подвергает, в отношении каждой категории, характерный признак каждого кадра содержания для обучения его категории кластеризации путем классификации на один класс GMM его категории, и выводит последовательность классов (последовательность классов), классифицированную по величине характерного признака, используемую как результаты кластеризации, и обработка переходит на этап S664.

В частности, если предположить, что величина характерного признака (вектор) кадра в точке t во времени содержания, предназначенного для обучения представлена, как x_t, модуль 621 обучения модели кластеризации выполняет кластеризацию путем классификации величины x_t характерного признака на класс s(t), представленный Выражением .

Здесь, с Выражением , представляет значение функции для функции нормального распределения, где среднее значение (вектор) представляет собой среднее значение µ_n, класса, дисперсия представляет собой дисперсию класса, и аргумент представляет собой величину x_t характерного признака.

Поэтому, в соответствии с Выражением величину x_t характерного признака подвергают кластеризации, классифицируя ее на класс n, который максимизирует величину функции для функции нормального распределения с величиной x_t характерного признака, в качестве аргумента.

Модуль 621 обучения модели кластеризации выполняет кластеризацию путем классификации в отношении каждой категории, величины характерного признака каждого кадра содержания для обучения его категории этого на один класс GMM среди категории во временной последовательности, и выводит последовательность s(1), s(2), , s(T) класса (Т представляет количество кадров содержания - объекта воспроизведения), используемых как результаты кластеризации.

На этапе S664 модуль 621 обучения модели кластеризации получает, в отношении каждой категории, на основе последовательности s(1)-s(T) класса ее категории, вероятности перехода состояния для состояния, соответствующего классу (ниже также называется "вероятностью перехода класса"), и обработка переходит на этап S665.

В частности, модуль 621 обучения модели кластеризации получает вероятность A_ij=Р(j=s(t+1)|i=s(t)) перехода кода, которая представляет собой вероятность перехода состояния, в которой переход состояния будет выполнен из состояния I, соответствующего коду s(t) в определенной точке t во времени, в состояние j, соответствующее коду s(t+1) в следующей точке t+1 во времени.

Следует отметить, что в последовательности s(1)-s(T) кодов, если предположить, что количество раз, когда переход состояния из состояния I, соответствующего классу i в точке t+1 во времени, в состояние j, соответствующее классу j в следующей точке t+1 во времени представить, как m_i,j , вероятность Р(s(t+1)|(s(t)) перехода состояния, причем этот переход состояния будет выполнен из состояния, соответствующего коду s(t) в точке t во времени, в состояние, соответствующее классу s(t+1) в следующей точке t+1 во времени, представлено таким же образом, как и для описанной выше вероятности перехода кода, Выражением .

Здесь в Выражении , в знаменателе с правой стороны представляет суммирование, получаемое путем изменения n на целое число от 1 до N.

На этапе S665, модуль 621 обучения модели кластеризации подает и сохраняет набор GMM, получаемых в отношении каждой категории, и вероятность A_ij перехода кода в модуль 622 сохранения модели кластеризации, как новую GMM, которая представляет собой модель перехода состояния, включающую в себя состояние, соответствующее классу, и переход состояния с вероятностью Ау перехода кода, как вероятность перехода состояния, и обработка обучения модели кластеризации заканчивается.

[Кластеризация в случае, когда модель кластеризации представляет собой новую GMM]

На фиг.72 показана блок-схема последовательности операций, предназначенная для описания, в случае, когда модель кластеризации представляет новую GMM, обработки кластеризации содержания - объекта воспроизведения, которую выполняет модуль 611 кластеризации (фиг.55).

На этапе S671, модуль 623 выбора модели кластеризации (фиг.55) выбирает модель кластеризации, категория которой соответствует категории содержания - объекта воспроизведения среди моделей кластеризации для каждой категории, сохраненной в модуле 622 сохранения модели кластеризации, как модель, представляющая интерес, предназначенную для использования для кластеризации, подает в модуль 625 определения кластера, и обработка переходит на этап S672.

На этапе S672 модуль 624 выделения величины характерного признака (фиг.55) выделяет величину характерного признака каждого кадра содержания - объекта воспроизведения из устройства 601 сохранения содержания (ту же величину характерного признака, что и величина характерного признака, использовавшаяся для обучения новой GMM, используемой как модель содержания), подает в модуль 625 определения кластера, и обработка переходит на этап S673.

На этапе S673 и на последующем этапе S674, модуль 625 определения кластера (фиг.55) использует модель, представляющую интерес, из модуля 623 выбора модели кластеризации, и величину характерного признака каждого кадра содержания - объекта воспроизведения из модуля 624 выделения величины характерного признака, и определяет кластер, которому принадлежит каждый кадр содержания - объекта воспроизведения, и передает (выводит) информацию кластеризации, представляющую результат кластеризации, который является его кластером, в модуль 612 классификации сцены.

В частности, на этапе S673, модуль 623 определения кластера подвергает каждый кадр содержания - объекта воспроизведения кластеризации, выполняя классификацию класса, для классификации величины характерного признака каждого кадра содержания -объекта воспроизведения из модуля 624 выделения величины характерного признака в один класс GMM, используемый как модель, представляющая интерес, из модуля 623 выбора модели кластеризации, и обработка переходит на этап S674.

На этапе S674 модуль 625 определения кластера выводит (последовательность) класса, которая представляет собой результат классификации класса каждого кадра содержания - объекта воспроизведения, в модуль 612 классификации сцены (фиг.53), как информацию кластеризации, и обработка кластеризации содержания - объекта воспроизведения заканчивается.

Следует отметить, что вероятность перехода класса, которая представляет собой вероятность перехода состояния новой GMM, не используется для кластеризации с использованием новой GMM, но в случае, когда выполняют отображение двумерной карты, описанной со ссылкой на фиг.56-фиг.58, вероятность перехода класса используют во время вычерчивания сегмента линии, соединяющей между состояниями карты модели в соответствии с вероятностью перехода состояния между ее состояниями.

Кроме того, графическая модель, выражающая кластеризацию, в случае использования новой GMM, в качестве модели кластеризации, является той же, что и графическая модель, выражающая кластеризацию, в случае использования новой модели квантованного вектора, показанной на фиг.70, поэтому ее описание здесь будет пропущено.

Выше было приведено описание в отношении случая использования НММ, который представляет собой модель перехода состояния, модели новой квантованного вектора, и новой GMM, но, что касается модели кластеризации, можно использовать другую модель, кроме модели перехода состояния, то есть, например, кодовую книгу или GMM.

Даже в случае использования другой кодовой книги, кроме модели перехода состояния, или GMM, модуль 611 кластеризации может выполнять квантование вектора, используя кодовую книгу, классификацию класса, используя GMM, описанную со ссылкой на фиг.69 или фиг.72, и кластеризацию.

Однако, в случае использования другой кодовой книги, кроме модели перехода состояния или GMM, отсутствует вероятность перехода состояния, так, что отображение двумерной карты, где отображение выполняют, используя вероятность перехода состояния, может не быть выполнено (статичное отображение 2 областей, отображение 5 областей, отображение во временной последовательности, и плоское отображение могут быть выполнены).

[Описание компьютера с применением настоящего изобретения]

Далее, описанная выше последовательность обработки может быть выполнена с использованием аппаратных средств, и может быть выполнена с использованием программных средств. В случае выполнения последовательности обработки с использованием программных средств, программу, составляющую ее программное обеспечение, устанавливают в компьютер общего назначения или тому подобное.

Поэтому на фиг.73 представлен пример конфигурации варианта осуществления компьютера, в котором установлена программа, выполняющая описанную выше последовательность обработки.

Программа может быть заранее записана на жесткий диск 1005 или в ПЗУ 1003, используемое как носитель записи, установленный в компьютере.

В качестве альтернативы, программа может быть сохранена (записана) заранее на съемный носитель записи, который предполагается устанавливать в приводе 1009. На таком съемном носителе 1011 записи может быть представлено, так называемое, пакетное программное обеспечение. Здесь примеры съемного носителя 1011 записи включают в себя гибкие диски, CD-ROM (постоянное запоминающее устройство на компакт-диске), МО (магнитооптические) диски, DVD (цифровой универсальный диск), магнитные диски и полупроводниковое запоминающее устройство.

Следует отметить, что программа может быть загружена в компьютер через компьютерную сеть или через сеть широковещательной передачи и установлена на встроенном жестком диске 1005, в дополнение к установке в компьютер со съемного носителя 1011 записи, как описано выше. В частности, например, программа может быть передана по беспроводному каналу передачи данных в компьютер из сайта загрузки через спутник или цифровую спутниковую широковещательную передачу, или может быть передана в компьютер по кабелю через сеть, такую как LAN (локальная вычислительная сеть) или Интернет.

В компьютере установлено ЦПУ (центральное процессорное устройство) 1002, и ЦПУ 1002 соединено с интерфейсом 1010 ввода/вывода через шину 1001.

После ввода команды в результате выполнения пользователем операции со входным модулем 1007 или тому подобное, через интерфейс 1010 ввода/вывода, ЦПУ 1002 выполняет, в соответствии с этой командой, программу, сохраненную в ПЗУ (постоянное запоминающее устройство) 1003. В качестве альтернативы, ЦПУ 1002 загружает программу, сохраненную на жестком диске 1005, в ОЗУ (оперативное запоминающее устройство) 1004 и, выполняет ее.

Таким образом, ЦПУ 1002 выполняет обработку в соответствии с описанной выше блок-схемой последовательности операций, или обработку, которая должна быть выполнена с использованием конфигураций описанных выше блок-схем. После этого, с помощью ЦПУ 1002, в соответствии с необходимостью, например, результаты обработки выводят через модуль 1006 вывода, или передают из модуля 1008 передачи данных, или, далее, записывают на жесткий диск, или тому подобное, через интерфейс 1010 ввода/вывода.

Следует отметить, что модуль 1007 ввода выполнен из клавиатуры, мыши, микрофона и т.д. Кроме того, модуль 1006 вывода выполнен из LCD (жидкокристаллического дисплея), громкоговорителя и т.д.

Теперь, в настоящем описании, обработка, которую выполняет компьютер в соответствии с программой, не обязательно должна быть выполнена во временной последовательности в соответствии с последовательностью, описанной как блок-схема последовательности операций. В частности, обработка, которую выполняет компьютер в соответствии с программой, также включает в себя обработку, выполняемую параллельно или по отдельности (например, параллельную обработку или обработку по объектам).

Кроме того, программа может представлять собой программу, которая предназначена для выполнения на одном компьютере (процессоре), или программу, предназначенную для обработки в множестве компьютеров, распределенным способом. Кроме того, программа может представлять собой программу, предназначенную для передачи в удаленный компьютер и исполнения в нем.

Следует отметить, что варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления, и различные изменения могут быть выполнены, без выхода за пределы сущности и особенностей настоящего изобретения.

Список номеров ссылочных позиций

11 модуль сохранения содержания

12 модуль обучения модели содержания

13 модуль сохранения модели

14 модуль представления структуры содержания

15 модуль генерирования дайджеста

16 модуль генерирования альбома

21 модуль выбора содержания обучения

22 модуль выделения величины характерного признака

23 модуль разделения кадра

24 модуль выделения величины характерного признака подобласти

25 соединительный модуль

26 модуль сохранения величины характерного признака

27 модуль обучения

31 модуль выбора содержания

32 модуль выбора модели

33 модуль выделения величины характерного признака

34 модуль оценки последовательности состояний максимальной вероятности

35 модуль генерирования информации изображения, обусловленного состоянием

36 модуль расчета расстояния между состояниями

37 модуль расчета координат

38 модуль вычерчивания карты

39 модуль управления отображением

51 модуль обучения детектора кульминационного момента

52 модуль сохранения детектора

53 модуль детектирования кульминационного момента

61 модуль выбора содержания

62 модуль выбора модели

63 модуль выделения величины характерного признака

64 модуль оценки последовательности состояний максимальной вероятности

65 модуль генерирования метки кульминационного момента

66 модуль генерирования метки обучения

67 модуль обучения

71 модуль выбора содержания

72 модуль выбора модели

73 модуль выделения величины характерного признака

74 модуль оценки последовательности состояний максимальной вероятности

75 модуль генерирования метки детектирования

76 модуль выбора детектора

77 модуль оценки последовательности состояний максимальной вероятности

78 модуль детектирования кульминационной сцены

79 модуль генерирования содержания дайджеста

80 модуль управления воспроизведением

101 модуль генерирования исходного альбома

102 модуль сохранения исходного альбома

103 модуль генерирования зарегистрированного альбома

104 модуль сохранения зарегистрированного альбома

105 модуль управления воспроизведением

111 модуль выбора содержания

112 модуль выбора модели

113 модуль выделения величины характерного признака

114 модуль оценки последовательности состояний максимальной вероятности

115 модуль генерирования информации изображения, обусловленного состоянием

116 модуль расчета расстояния между состояниями

117 модуль расчета координат

118 модуль вычерчивания карты

119 модуль управления отображением

121 модуль выбора состояния

122 модуль регистрации выбранного состояния

141 модуль выбора альбома

142 модуль выбора содержания

143 модуль выбора модели

144 модуль выделения величины характерного признака

145 модуль оценки последовательности состояний максимальной вероятности

146 модуль выделения кадра

147 модуль регистрации кадра

201 модуль обучения модели содержания

202 модуль сохранения модели

202а модуль сохранения модели изображения 202b модуль сохранения модели звука

202с модуль сохранения модели объекта

203 модуль представления структуры содержания

204 модуль генерирования дайджеста

205 модуль генерирования альбома

220 модуль выделения величины характерного признака изображения

221 модуль выделения величины характерного признака звука

222 модуль сохранения величины характерного признака звука

223 модуль обучения

224 модуль выделения величины характерного признака объекта

225 модуль сохранения величины характерного признака объекта

226 модуль обучения

241 модуль выделения величины примитивного характерного признака

242 модуль расчета среднего значения

243 модуль расчета дисперсии 224 соединительный модуль

261 модуль выделения объекта

262 модуль разделения кадра

263 модуль выделения величины характерного признака подобласти

264 соединительный модуль

291 модуль обучения детектора кульминационного момента

292 модуль сохранения детектора

293 модуль детектирования кульминационного момента

311 модуль выбора модели изображения

312 модуль выделения величины характерного признака изображения

313 модуль оценки последовательности состояний максимальной вероятности изображения

314 модуль генерирования метки обучения

315 модуль обучения

316 модуль выбора модели звука

317 модуль выделения величины характерного признака звука

318 модуль оценки последовательности состояний максимальной вероятности звука

319 модуль выбора модели объекта

320 модуль выделения величины характерного признака объекта

321 модуль оценки последовательности состояний максимальной вероятности объекта

341 модуль выбора модели изображения

342 модуль выделения величины характерного признака изображения

343 модуль оценки последовательности состояний максимальной вероятности изображения

344 модуль генерирования метки детектирования

345 модуль выбора детектора

346 модуль оценки последовательности состояний максимальной вероятности

347 модуль детектирования кульминационной сцены

348 модуль генерирования содержания дайджеста

349 модуль управления воспроизведением

350 модуль выбора модели звука

351 модуль выделения величины характерного признака звука

352 модуль оценки последовательности состояний максимальной вероятности

353 модуль выбора модели объекта

354 модуль выделения величины характерного признака объекта

355 модуль оценки последовательности состояний максимальной вероятности объекта

371 модуль генерирования исходного альбома

372 модуль сохранения исходного альбома

373 модуль генерирования зарегистрированного альбома

374 модуль сохранения зарегистрированного альбома

375 модуль управления воспроизведением

411 модуль выбора модели изображения

412 модуль выделения величины характерного признака изображения

413 модуль оценки последовательности состояний максимальной вероятности изображения

414 модуль генерирования информации изображения, обусловленной состоянием изображения

415 модуль расчета расстояния между состояниями изображения

416 модуль расчета координат изображения

417 модуль вычерчивания карты изображения

418 модуль управления отображением

419 модуль выбора состояния

420 модуль регистрации выбранного состояния

421 модуль выбора модели звука

422 модуль выделения величины характерного признака звука

423 модуль оценки последовательности состояний максимальной вероятности звука

424 модуль генерирования информации изображения, обусловленного состоянием звука

425 модуль расчета расстояния между состояниями звука

426 модуль расчета координат звука

427 модуль вычерчивания карты звука

428 модуль выбора модели объекта

429 модуль выделения величины характерного признака объекта

430 модуль оценки последовательности состояний максимальной вероятности объекта

431 модуль генерирования информации изображения, обусловленного состоянием объекта

432 модуль расчета расстояния между состояниями объекта

433 модуль расчета координат объекта

434 модуль вычерчивания карты объекта

501 модуль выбора модели изображения

502 модуль выделения величины характерного признака изображения

503 модуль оценки последовательности состояний максимальной вероятности изображения

504 модуль выделения кадра

505 модуль регистрации кадра

506 модуль выбора модели звука

507 модуль выделения величины характерного признака звука

508 модуль оценки последовательности состояний максимальной вероятности звука

509 модуль выбора модели объекта

510 модуль выделения величины характерного признака объекта

511 модуль оценки последовательности состояний максимальной вероятности объекта

601 устройство сохранения содержания

602 устройства управления отображением

603 устройство дисплея

611 модуль кластеризации

612 модуль классификации сцены

613 модуль формирования миниатюрного изображения

614 модуль управления отображением

615 модуль операций

616 модуль управления

621 модуль обучения модели кластеризации

622 модуль сохранения модели кластеризации

623 модуль выбора модели кластеризации

624 модуль выделения величины характерного признака

625 модуль определения кластера

631 окно воспроизведения

632 окно кластера

641 окно воспроизведения

642-644 окно кластера

645 окно миниатюрного изображения

651 окно воспроизведения

652 группа миниатюрных изображений

1001 шина

1002 ЦПУ

1003 ПЗУ

1004 ОЗУ

1005 жесткий диск

1006 модуль вывода

1007 модуль ввода

1008 модуль передачи данных

1009 привод

1010 интерфейс ввода/вывода

1011 съемный носитель записи