способ и устройство воспроизведения содержания

Формула изобретения

1. Способ воспроизведения содержания, содержащий

сохранение информации синхронизации в качестве метаинформации, соответствующей содержанию;

детектирование движения пользователя; и

воспроизведение содержания с обеспечением возможности синхронизации моментов времени воспроизведения содержания, со свойством, циклом или ритмом движения пользователя на основании информации синхронизации.

2. Способ воспроизведения содержания по п.1, в котором свойство представляет собой начальную точку, конечную точку, максимальную точку, минимальную точку, точку максимального пика или точку минимального пика движения.

3. Способ воспроизведения содержания по п.1, в котором свойство представляет собой момент времени, в который пользователь ставит свою ногу на землю во время ходьбы.

4. Способ воспроизведения содержания по п.1, в котором свойство представляет собой момент времени, в который пользователь встряхивается или меняет наклон в одном направлении на наклон в другом направлении.

5. Способ воспроизведения содержания по п.1, в котором содержание представляет собой музыкальную пьесу, и момент времени представляет собой момент времени удара барабана или такт музыкальной пьесы.

6. Способ воспроизведения содержания по п.1, в котором содержание представляет собой движущиеся изображения, и момент времени представляет собой момент времени смены сцены или смены отрывков движущихся изображений.

7. Способ воспроизведения содержания по п.1, в котором содержание представляет собой неподвижные изображения, и момент времени представляет собой момент времени переключения неподвижных изображений.

8. Способ воспроизведения содержания по п.1, в котором информация, обозначающая момент времени, записана на носитель записи в ассоциации с содержанием.

9. Способ воспроизведения содержания по п.1, в котором содержание воспроизводят, генерируя его путем объединения материалов содержания.

10. Устройство воспроизведения содержания, содержащее

средство хранения, предназначенное для хранения информации синхронизации в качестве метаинформации, соответствующей содержанию;

средство детектирования, предназначенное для детектирования движения пользователя; и

средство воспроизведения, предназначенное для воспроизведения содержания с обеспечением синхронизации моментов времени воспроизведения содержания со свойством, циклом или ритмом движения пользователя, детектируемым средством детектирования, на основании информации синхронизации.

11. Устройство воспроизведения содержания по п.10, в котором средство детектирования закреплено на части тела пользователя или на изделии, надетом на пользователя или носимом пользователем.

12. Устройство воспроизведения содержания по п.10, в котором средство воспроизведения в качестве содержания воспроизводит музыкальную пьесу путем синхронизации момента времени ударов барабана или тактов музыкальной пьесы со свойством, циклом или ритмом движения, детектируемого средством детектирования.

13. Устройство воспроизведения содержания по п.10, в котором средство воспроизведения в качестве содержания воспроизводит движущиеся изображения путем синхронизации моментов времени изменений сцены или изменений отрывков движущихся изображений со свойством, циклом или ритмом движения, детектируемого средством детектирования.

14. Устройство воспроизведения содержания по п.10, в котором средство воспроизведения воспроизводит неподвижные изображения как содержание путем синхронизации моментов времени переключения неподвижных изображений со свойством, циклом или ритмом движения, детектируемого средством детектирования.

15. Устройство воспроизведения содержания по п.10, в котором средство воспроизведения воспроизводит содержание путем генерирования содержания с объединением материалов содержания.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для воспроизведения содержания, такого как музыка или видеоизображение.

Уровень техники

При воспроизведении музыки на проигрывателях DVD (цифровой универсальный диск), проигрывателях CD (компакт-диск) или проигрывателях MD (минидиск: зарегистрированное обозначение) очень важно воспроизводить музыку с высоким качеством. То же относится к воспроизведению музыки, сжатой с использованием кодирования ATRAC (АКАП, акустическое кодирование с адаптивным преобразованием: зарегистрированный товарный знак), или МРЗ (MPEG-1 уровень звука 3), поскольку пользователи, в конечном счете, слушают последовательные по времени формы колебаний сигнала, преобразованные из сжатой музыки.

В отличие от этого рассмотрим устройство, которое изменяет содержание, такое как музыка, в режиме реального времени в соответствии с текущей ситуацией, в которой находится пользователь. Например, темп или тональность музыки изменяется в соответствии с текущей ситуацией, в которой находится пользователь, и короткие части музыкального материала сращивают для создания одной пьесы непрерывной музыки. С этой точки зрения, такое устройство выполняет роль импровизирования новой музыкальной пьесы путем комбинирования существующих музыкальных пьес, как это обычно делают ди-джеи (диск-жокеи) или ви-джеи (видеожокеи).

Когда люди наслаждаются музыкой в концертном зале или на дискотеке, они топают ногами, прыгают или двигают своей головой вперед и назад. Очень часто люди качаются в такт музыки. Простая ходьба в такт мелодии музыки марша приятна и поднимает настроение. Это доказывает, что синхронизация ритма физических движений человека, шагающего или двигающего головой, с ритмом содержания может улучшить настроение или самоощущение.

В соответствии с изобретением, раскрытом в находящейся на экспертизе публикации № 2000-300838 заявки на японский на патент, в игре шагов (игра музыкального направления), такой как "Dance Dance Revolution" ("танцуй, танцуй, кружись") (торговое наименование), в которой игроки соревнуются, получая очки за шаги, сделанные в соответствии с мелодией музыки, предусматривается игровая среда, которая соответствует вкусу игроков.

В соответствии с изобретением, раскрытом в публикации № 2002-65891Ю, находящейся на рассмотрении заявки на японский патент, описанная выше игра шагов применяется для оздоровления пациентов. В этой игре детектируют частоту ударов сердца пользователя (пациента) и, если детектируемая частота ударов сердца превышает эталонную частоту ударов сердца, вырабатывается сигнал тревоги.

Сущность изобретения

Однако в описанном выше известном способе воспроизведения содержания воспроизведение содержания не реагирует на движение пользователя, но пользователь действует в соответствии с содержанием, например шагает в такт воспроизводимой музыки. Таким образом, развлекательная характеристика или подъем духа в результате воспроизведения содержания зависят от самого содержания и не являются достаточными.

Настоящее изобретение было разработано с тем, чтобы обеспечить возможность усиления развлекательной характеристики или подъема духа в результате воспроизведения содержания, обеспечивая возможность влияния движений пользователей на воспроизведение содержания.

В соответствии со способом воспроизведения содержания в данном изобретении движение пользователя детектируют и содержание воспроизводят, обеспечивая возможность синхронизации такта содержания со свойством, циклом или ритмом движения.

В соответствии с описанным выше способом воспроизведения содержания синхронизация воспроизводимого содержания, например темп барабанного боя, или такт воспроизводимого музыкального произведения, или темп какой-то сцены изменяется, или движущееся изображение или отрывки меняются при воспроизведении синхронно с тактом, с которым пользователь ставит свою ногу на землю во время ходьбы, или тактом, с которым пользователь двигает своим телом или изменяет свое движение, покачиваясь в одном направлении или покачиваясь в другом направлении. Это позволяет пользователю во время движения оценивать или чувствовать содержание и чувствовать себя хорошо, что позволяет улучшить характеристику развлечения и подъема духа в результате самого воспроизведения содержания.

Краткое описание чертежей

[Фиг.1] На фиг.1 иллюстрируется пример устройства воспроизведения содержания в соответствии с настоящим изобретением.

[Фиг.2] На фиг.2 иллюстрируется пример работы, выполняемой устройством воспроизведения содержания, показанным на фиг.1.

[Фиг.3] На фиг.3 иллюстрируется функциональная конфигурация устройства воспроизведения содержания, показанного на фиг.1.

[Фиг.4] На фиг.4 иллюстрируется случай, когда короткие музыкальные пьесы, представленные в виде модулей или тактов, используются как материал для получения содержания.

[Фиг.5] На фиг.5 иллюстрируется первый пример способа воспроизведения музыкального содержания.

[Фиг.6] На фиг.6 иллюстрируется пример обработки, когда выполняется способ, показанный на фиг.5.

[Фиг.7] На фиг.7 иллюстрируется второй пример способа воспроизведения музыкального содержания.

[Фиг.8] На фиг.8 иллюстрируется пример обработки, когда выполняется способ, представленный на фиг.7.

[Фиг.9] На фиг.9 иллюстрируется пример детектора движения тела.

[Фиг.10] На фиг.10 иллюстрируется пример датчика ходьбы.

[Фиг.11] На фиг.11 иллюстрируется пример датчика деформации.

[Фиг.12] На фиг.12 иллюстрируется пример выходного сигнала датчика ходьбы.

[Фиг.13] На фиг.13 иллюстрируется другой пример, в котором используется датчик ходьбы.

[Фиг.14А] На фиг.14А иллюстрируется пример, когда детектируют движение головы.

[Фиг.14В] На фиг.14В иллюстрируется пример, когда детектируют движение головы.

[Фиг.14С] На фиг.14С иллюстрируется пример, когда детектируют движение головы.

[Фиг.15] На фиг.15 иллюстрируется пример, когда детектируют движение руки.

Подробное описание изобретения

[1. Вариант выполнения устройства воспроизведения содержания: фиг.1-3]

На фиг.1 представлен пример устройства воспроизведения содержания в соответствии с настоящим изобретением, который выполнен как портативное устройство воспроизведения музыки/видеоизображения или терминал сотового телефона.

[0013] Устройство 10 воспроизведения содержания в соответствии с данным примером включает в себя ЦПУ 11. При этом ПЗУ 13, в котором записаны различные программы и данные, и ОЗУ 14, в котором разворачивают программы и данные, подключены к шине 12.

Встроенное устройство 15 записи, такое как жесткий диск, подключено к шине 12 с интерфейсом 16 между ними, и съемный носитель 17 записи, такой как CD или DVD, подключен к шине 12 с интерфейсом 18 между ними. Дуплексная антенна 22 подключена к шине 12 с РЧ (RF, радиочастотным) интерфейсом 21, таким как дуплексная РЧ-схема, и внешним интерфейсом 23 для подключения устройства 10 воспроизведения содержания, например, к сети Интернет 24, подключенным к шине 12.

Устройство 15 записи и носитель 17 записи записывают или воспроизводят содержание, такое как музыка или видео, или материалы содержания, описанные ниже. РЧ-интерфейс 21 и дуплексная антенна 22 принимают или передают по беспроводному каналу связи указанное содержание или материалы содержания из внешнего источника или во внешний источник. Внешний интерфейс 23 принимает или передает содержание или материалы содержания во внешний источник или из него через Интернет 24.

Устройство 32 видеодисплея, включающее в себя, например, жидкокристаллическое устройство, подключено к шине 12 с видеопроцессором 31 между ними, и устройство 34 вывода звука, включающее в себя, например, громкоговоритель и наушники, подключено к шине 12 с процессором 33 звука между ними. На экране дисплея устройства 32 видеодисплея отображается видеоизображение, используемое как содержание, или экран установки или управления. Музыка, которая используется как содержание, или звуки, такие как звуковые объявления, выводят через устройство 34 вывода звука.

Модуль 41 управления, включающий в себя различные кнопки, подключен к шине 12 с интерфейсом 42 между ними, и микрофон 43 для ввода звука подключен к шине 12 с процессором 44 звука между ними.

Датчик 51 движения тела подключен к шине 12 с А/Ц (аналогово-цифровым) преобразователем 52 между ними. Движение пользователя, как описано ниже, детектируют с помощью датчика 51 движения тела, и соответствующий сигнал детектирования движения преобразуют из аналогового сигнала в цифровые данные с помощью А/Ц преобразователя 52 и передают в шину 12.

Содержание в соответствии с данным изобретением включает в себя все темы, которые могут оценивать или которые могут ощущать пользователи, такое как музыка, другие звуки, кроме музыки, движущиеся изображения, неподвижные изображения (включая графику, рисунки и знаки), вибрации и свет, например свет освещения. Однако в примере, показанном на фиг.1, содержание представляет собой музыку или видеоизображение.

В соответствии со способом воспроизведения содержания, используемым в устройстве 10 воспроизведения содержания, в примере, показанном на фиг.1, в случае, когда, например, пользователь 1 слушает музыку во время ходьбы, темп, с которым пользователь 1 ставит свою ногу на землю при беге, детектируют, как показано на фиг.2, с помощью датчика ходьбы, который используется как датчик 51 движения тела, закрепленный на обуви, надетой на пользователя 1, или на ноге пользователя 1. Затем музыку воспроизводят, обеспечивая возможность синхронизации моментов времени ударов барабана или темпа (такта) музыкальной пьесы с моментами времени, когда пользователь 1 ставит свою ногу на землю, как описано ниже.

Функциональная конфигурация устройства 10 воспроизведения содержания, показанного на фиг.1, представлена на фиг.3. Детектор 61 движения тела, который сформирован из датчика 51 движения тела и А/Ц преобразователя 52, детектирует движения пользователя, например движения ноги, когда пользователь бежит или движения головы, когда пользователь слушает музыку.

Анализатор 62 движения тела, который сформирован из ЦПУ 11, ПЗУ 13 и ОЗУ 14, анализирует данные детектирования движения, которые передают в шину 12 из детектора 61 движения тела для детектирования свойства, цикла или ритма (темпа) движений тела пользователя.

Свойство движений тела включает в себя моменты времени начальной точки (точки, в которой пользователь начинает движение тела из состояния, в котором пользователь был неподвижен) и конечной точки (точки, в которой пользователь начинает переводить тело в спокойное состояние из состояния, в котором пользователь двигался), максимальной точки, минимальной точки, максимальной пиковой точки и минимальной пиковой точки движений тела и, более конкретно, моменты времени, в которые пользователь ставит свою ногу на землю во время ходьбы, или моменты времени, в которые пользователь встряхивается или изменяет наклон из одного направления на наклон в другом направлении во время ходьбы.

В этом случае детектирование движений тела включает в себя прогнозирование следующего движения по результату детектирования предыдущего движения, например, прогнозирование следующего момента времени, в который пользователь поставит свою ногу на землю или изменит наклон из одного направления на наклон в другое направление.

Генератор 63 содержания, который сформирован из ЦПУ 11, ПЗУ 13, ОЗУ 14 и видеопроцессора 31, или процессора 33 звука, управляет считывателем 64 материала содержания для считывания материала содержания и сопровождающей информации синхронизации из базы данных 65 материала содержания на основе описанного выше результата детектирования движений тела, для генерирования содержания в режиме реального времени.

Считыватель 64 материала содержания сформирован из ЦПУ 11, ПЗУ 13, ОЗУ 14, интерфейсов 16 и 18, РЧ интерфейса 21 и внешнего интерфейса 23. База данных 65 материала содержания представляет собой базу данных, предусмотренную в устройстве 15 записи или на носителе 17 записи, на котором записаны данные материала содержания и информация синхронизации, или сервер, который передает данные материала содержания и информацию синхронизации.

Модуль 66 вывода содержания выводит содержание, генерируемое генератором 63 содержания, и состоит из устройства 32 видеодисплея или устройства 34 вывода звука.

Материалы содержания представляют собой материалы, предназначенные для генерирования окончательного содержания, и могут представлять собой нормальное содержание (музыкальные данные или видеоданные, записанные на CD или DVD, музыкальные данные, сжатые с использованием МРЗ, и т.д.). Они, однако, предпочтительно, представляют собой короткие музыкальные пьесы в единицах такта (несколько тактов) или короткие видеозаписи в единицах сцен или отрывки.

Информация синхронизации, обозначающая моменты времени, такие как моменты времени ударов барабана или моменты времени изменения сцены, добавляют как метаинформацию к каждой части данных материала содержания, и затем данные материала содержания с информацией синхронизации записывают или передают. В качестве альтернативы, информация синхронизации может быть сгенерирована одновременно со считыванием материалов содержания.

Если материалы содержания представляют собой короткие музыкальные пьесы в модулях такта или короткие видеоизображения в модулях сцен или отрывков, такие материалы содержания могут быть объединены после принятии решения о временном порядке материалов содержания и в случае необходимости длительность времени воспроизведения материалов содержания расширяют или сокращают для генерирования одной части содержания в режиме реального времени.

[2. Вариант выполнения способа воспроизведения содержания: фиг.4-8]

В способе воспроизведения содержания в соответствии с настоящим изобретением содержание воспроизводят, обеспечивая возможность синхронизации моментов времени воспроизведения содержания, со свойством, циклом или ритмом движений пользователя на основе описанной выше информации синхронизации.

Как описано выше, свойство движения включает в себя начальную точку, конечную точку, максимальную точку, минимальную точку, максимальную пиковую точку или минимальную пиковую точку движений тела и, более конкретно, момент времени, в который пользователь ставит свою ногу на землю во время бега, или моменты времени, в которые пользователь меняет наклон своего тела в одном направлении на наклон своего тела в другом направлении во время бега.

[2-1. В случае музыкального содержания: фиг.4-8]

В случае музыкального содержания для воспроизведения содержания, как показано на фиг.4, используется один такт музыкальной пьесы, при этом также используется каждый из четырех материалов А, В, С и D содержания, и материалы содержания А, В, С и D объединяют для создания одной пьесы музыкального содержания.

Отрезки, включающие в себя материалы А - D содержания, могут представлять собой данные MIDI (ЦИМИ, цифровой интерфейс музыкальных инструментов) или РСМ (ИКМ, импульсно-кодовая модуляция). Если они представляют собой данные MIDI, информация моментов времени, определяющих ритм, может быть получена непосредственно из этих данных, при этом также мало количество расчетов, требуемых для расширения или сокращения материалов содержания, для генерирования содержания, как описано ниже. Если данные представляют собой данные РСМ, материалы А-D содержания представляют собой чистые колебания звука, и, таким образом, информацию о моментах времени ударов ритма генерируют заранее, отдельно от материалов А-D содержания и записывают или передают вместе с материалами А-D содержания.

Информация моментов времени, определяющих ритм, может быть рассчитана по форме колебаний материалов содержания непосредственно перед воспроизведением материалов содержания. В качестве методики расчета можно использовать методику, раскрытую в ссылочном документе 1 (файл PDF, Masataka Goto: An Audio-based Real-time Beat Tracking System for Music With or Without Drum-sounds, Journal of New Music Research, Vol.30, No.2, pp.159-171, июнь 2001) или в ссылочном документе 2 (в форме книги, Masataka Goto: Haku Setsu Ninshiki (Beat/Bar Recognition (Beat Tracking)), Bit Special Number, Konputer to Ongaku no Sekai (World of Computer and Music) Kiso kara Furontia made (From Base to Frontier), pp.100-116, Kyoritsu Shuppan Co., Ltd., август 1998 г.).

Ниже описан пример генерирования одной части музыкального содержания путем объединения материалов А, В, С и D содержания, как показано на фиг.4. При этом предполагается, что все материалы А, В, С и D содержания состоят из одного такта и имеют одинаковую длительность Tm.

<Первый пример: фиг.5 и 6>

На фиг.5 представлен первый пример способа синхронизации моментов времени содержания с темпом ходьбы. Способ в соответствии с данным примером пригоден в случае постоянного темпа ходьбы, при этом начальные моменты времени каждого материала содержания синхронизированы с моментами времени, в которые пользователь ставит свою ногу на землю, путем расширения или сокращения материалов содержания.

Более конкретно, в примере, показанном на фиг.4, поскольку присутствует удар барабана в начале каждого из тактов А-D, начало каждого из тактов А-D синхронизируют для каждого четвертого шага с моментом времени, в который пользователь ставит свою ногу на землю. Хотя количество шагов, соответствующих каждому такту, не обязательно должно быть равно четырем, темп многих музыкальных пьес - маршей соответствует 120 ударам, то есть один удар = один шаг = 0,5 секунды, и четыре шага (четыре удара) формируют один такт. Таким образом, если количество шагов, которые должны быть синхронизированы с тактом, равно четырем, начало каждого из тактов А-D можно синхронизировать с моментом времени, в который пользователь ставит свою ногу на землю, без необходимости существенного расширения или сокращения материалов содержания.

В этом примере в ответ на инструкцию на начало воспроизведения содержания, подаваемую пользователем в момент времени t0, воспроизводится первый такт А в том виде, как он есть, то есть в течение времени Tm.

Затем, если предположить, что шаг, который будет детектирован первым после времени t0 начала воспроизведения содержания, является первым шагом, тогда, когда детектируют пятый шаг, рассчитывают момент времени Т1 для четырех шагов с первого шага по пятый шаг.

Затем рассчитывают время D1 между временем ta окончания воспроизведения первого такта А и временем, в которое детектируют пятый шаг, для определения разности (T1-D1) между временем Т1 и временем D1. Такт В затем расширяют или сокращают, используя коэффициент (T1-D1)/Tm, и воспроизводят так, что разность (T1-D1) становится равной длительности воспроизведения второго такта В.

Пример, показанный на фиг.5, представляет случай, когда воспроизведение первого такта А заканчивают после момента времени, в который детектируют пятый шаг, что означает D1>0, и что разность (T1-D1) короче, чем время Т1 или время Tm, что означает (T1-D1)/Tm<l, в результате чего такт В сокращают и воспроизводят.

И, наоборот, если воспроизведение первого такта А закончится до того, как будет детектирован пятый шаг, воспроизведение такта А немедленно начинают повторно, и когда детектируют пятый шаг, воспроизведение такта А прекращают. В этом случае D1<0 и разность (T1-D1) длиннее, чем время Т1, и может быть длиннее, чем Tm. Таким образом, когда разность (T1-D1) длиннее, чем время Tm, что означает (T1-D1)/Tm>1, такт В расширяют и воспроизводят.

После этого последующие такты последовательно воспроизводят аналогично так, чтобы разность (Tn-Dn) [n=1, 2, 3, 4 ] становилась равной длительности воспроизведения следующего (n+1)-го такта. Когда воспроизведение четвертого такта D будет закончено, возобновляют воспроизведение первого такта А и воспроизведение повторяют.

Когда темп ходьбы не меняется, как в примере, показанном на фиг.5, Т1=Т2=Т3=Т4 и Dn=0 за исключением D1, и, таким образом, начало каждого такта может быть синхронизировано для каждых четырех шагов с моментами времени, в которые пользователь ставит свою ногу на землю.

Кроме того, в этом примере, поскольку такты, которые представляют собой материал содержания, воспроизводят с расширением или сжатием, можно поддерживать непрерывность материалов содержания, как в музыкальной пьесе.

На фиг.6 иллюстрируется обработка воспроизведения содержания, выполняемая ЦПУ 11 устройства 10 воспроизведения содержания, показанного на фиг.1, то есть обработка генерирования содержания, выполняемая генератором 63 содержания, показанным на фиг.3, когда применяется способ воспроизведения содержания в соответствии с описанным выше примером.

В этом примере обработку начинают в соответствии с инструкцией на начало воспроизведения содержания, поступающей от пользователя, как описано выше. На этапе 101 n=0 и m=0, где n обозначает количество шагов, в отличие от n, показанного на фиг.5, и m обозначает количество материалов содержания. В примере, показанном на фиг.5, для такта А m=1, 5, 9 , для такта В m=2, 6, 10 , для такта С m=3, 7, 11 и для такта D m=4, 8, 12

Затем обработка переходит на этап 102, на котором начинают отслеживание ходьбы, используя датчик 51 движений тела. Процесс затем переходит на этап 103, на котором m=1, и затем переходит на этап 104, на котором считывают материал содержания, имеющий m=1, и начинают воспроизведение материала содержания.

Затем обработка переходит на этап 111 для определения, был ли детектирован шаг. Если шаг был детектирован, процесс переходит на этап 112, на котором количество n шагов увеличивают на 1. Обработка затем переходит на этап 113 для определения, равно ли количество n шагов после приращения {(число, кратное четырем) +1}, то есть является ли число n шагов пятым шагом, девятым шагом, тринадцатым шагом,

Если количество n шагов приращения не равно {(числу, кратному четырем) +1}, обработка переходит с этапа 113 на этап 111 для определения, был ли детектирован другой шаг. Если количество n шагов после приращения равно {(числу, кратному четырем) +1}, обработка переходит с этапа 113 на этап 114, на котором номер m материала содержания увеличивают на единицу.

После того как номер m материала содержания будет увеличен на единицу на этапе 114, обработка переходит на этап 115. На этапе 115 материал содержания, имеющий номер m материала содержания, полученный после приращения, считывают и расширяют или сжимают, используя коэффициент (Tn-Dn)/Tm, и затем начинают воспроизведение материала содержания.

Затем обработка переходит на этап 116 для определения, следует ли закончить воспроизведение содержания. Если воспроизведение содержания следует закончить в ответ на инструкцию на окончание воспроизведения содержания, поступившую от пользователя, обработка воспроизведения содержания (обработка генерирования содержания) заканчивается. Если воспроизведение содержания продолжается, процесс возвращается с этапа 116 на этап 111 для определения, был ли детектирован другой шаг.

Хотя это и не показано на фиг.5 или 6, если пользователь прекращает ходьбу, и не подает инструкцию на окончание воспроизведения содержания, в то время как воспроизводят материал содержания (такт), последующие материалы содержания (такты) последовательно воспроизводят, например, с длительностью воспроизведения (Tn-Dn), когда пользователь прекратил ходьбу.

<Второй пример: фиг.7 и 8>

На фиг.7 представлен второй пример способа, который позволяет синхронизировать содержание с темпом ходьбы. Данный пример пригоден для случая, когда темп ходьбы значительно изменяется и моменты времени начала каждого материала содержания принудительно синхронизируют с моментами времени, в которые пользователь ставит свою ногу на землю, без расширения или сокращения материалов содержания.

В частности, поскольку вначале каждого из тактов A-D в примере, показанном на фиг.4, присутствует удар барабана, в качестве примера, показанного на фиг.5, начало каждого из тактов A-D синхронизируют через каждые четыре шага с моментами времени, когда пользователь ставит свою ногу на землю.

В этом примере в ответ на инструкцию на начало воспроизведения содержания, поступившую от пользователя в момент времени t0, в момент времени t1, когда первый шаг будет детектирован сразу после момента времени t0, начинается воспроизведение такта А, и такт А воспроизводят в течение времени Tm.

Если, как показано на фиг.7, воспроизведение такта А будет закончено до того, как будет детектирован пятый этап, поскольку время от первого шага до пятого шага длиннее, чем время Tm, воспроизведение такта А возобновляют в момент времени t2. Затем воспроизведение такта А прекращают в момент времени t3, когда детектируют пятый шаг, и немедленно начинают воспроизведение такта В.

И, наоборот, если пятый шаг детектируют до окончания воспроизведения такта А, поскольку время от первого шага до пятого шага короче, чем время Tm, воспроизведение такта А прекращают и немедленно начинают воспроизведение такта В.

Такт В также воспроизводят без расширения или сокращения до тех пор, пока не будет детектирован девятый шаг. Более конкретно, если, как показано на фиг.7, девятый шаг будет детектирован до окончания воспроизведения такта В, поскольку время от пятого шага до девятого шага короче, чем время Tm, воспроизведение такта В прекращают и немедленно начинают воспроизведение такта С. И, наоборот, если воспроизведение такта В будет закончено до того, как будет детектирован девятый шаг, поскольку время от пятого шага до девятого шага длиннее, чем время Tm, повторно начинают воспроизведение такта В. Затем, в момент времени, когда детектируют девятый шаг, воспроизведение такта В прекращают и немедленно начинают воспроизведение такта С.

После этого, аналогично, последующие такты последовательно воспроизводят без расширения или сокращения. Когда воспроизведение четвертого такта D будет закончено, возобновляют воспроизведение первого такта А и все воспроизведение повторяют.

На фиг.7 показан пример, в котором темп ходьбы последовательно увеличивается и второй и следующие такты воспроизводят не до конца.

В этом примере непрерывность материалов содержания, как музыкальной пьесы, теряется в объединенных участках тактов. Однако неприятное ощущение может быть уменьшено путем постепенного затухания или постепенного наращения тактов перед (и после) участками объединения.

На фиг.8 иллюстрируется обработка воспроизведения содержания, выполняемая ЦПУ 11 устройства 10 воспроизведения содержания, показанного на фиг.1, то есть обработка генерирования содержания, выполняемая генератором 63 содержания, показанным на фиг.3, когда используется способ воспроизведения содержания в описанном выше примере.

В этом примере обработку начинают в ответ на инструкцию на начало воспроизведения содержания, поступившую от пользователя, как описано выше. На этапе 121 n=0 и m=0, где n обозначает количество шагов и m обозначает номер материала содержания. В примере, показанном на фиг.7, для такта А m=1, 5, 9 , для такта В m=2, 6, 10 , для такта С m=3, 7, 11 и для такта D m=4, 8, 12

Затем обработка переходит на этап 122, на котором начинается определение параметров ходьбы, с использованием датчика 51 движений тела. Обработка затем переходит на этап 123 для определения, был ли детектирован первый шаг. Если первый шаг был детектирован, обработка переходит на этап 124, на котором n=1 и m=1, и затем переходит на этап 125, на котором считывают материал содержания, имеющий m=1, и начинают воспроизведение материала содержания.

Затем обработка переходит на этап 131 для определения, был ли детектирован шаг. Если шаг был детектирован, обработка переходит на этап 132, на котором количество n шагов увеличивают на 1. Обработка затем переходит на этап 133 для определения, равно ли количество n шагов после приращения {(числу, кратному четырем) +1}, то есть обозначает ли количество m шагов пятый шаг, девятый шаг, тринадцатый шаг

Если количество n шагов после приращения не равно {(числу, кратному четырем) + 1}, обработка переходит с этапа 133 на этап 131 для определения, был ли детектирован другой шаг. Если количество n шагов после приращения равно {(числу, кратному четырем)+1}, обработка переходит с этапа 133 на этап 134, на котором номер m материала содержания увеличивают на единицу.

После увеличения номера m материала содержания на единицу на этапе 134 обработка переходит на этап 135. На этапе 135 считывают материал содержания, имеющий номер m материала содержания после приращения, и начинают воспроизведение материала содержания.

Затем обработка переходит на этап 136 для определения, следует ли закончить воспроизведение содержания. Если воспроизведение содержания следует закончить в ответ на инструкцию на окончание воспроизведения содержания, поступившую от пользователя, обработка воспроизведения содержания (обработка генерирования содержания) заканчивается. Если воспроизведение содержания продолжается, процесс возвращается с этапа 136 на этап 131 для определения, был ли детектирован другой шаг.

Хотя это и не показано на фиг.7 или 8, если пользователь прекращает ходьбу без подачи инструкции на окончание воспроизведения содержания, в то время как воспроизводят материал содержания (такт), последующие материалы содержания (такты) последовательно воспроизводят с исходным временем Tm.

(2-2. Случай другого содержания)

Описанный выше пример был приведен в контексте музыкального содержания (музыкальной пьесы). Для содержания подвижного изображения или содержания неподвижного изображения также предпочтительно, чтобы подвижные изображения или неподвижные изображения воспроизводились с обеспечением возможности синхронизации моментов времени воспроизведения содержания с движениями пользователя.

Более конкретно, в случае движущихся изображений моменты времени изменения сцен или смены отрывков движущихся изображений синхронизируют с моментами времени, в которые пользователь встряхивается или изменяет наклон с одного направления на наклон в другом направлении. В этом случае в качестве материалов содержания используют движущиеся изображения в виде модулей, представляющих собой сцены или отрывки.

В случае неподвижных изображений, например, когда последовательно воспроизводят множество неподвижных изображений в виде демонстрации слайдов, моменты времени переключения с одного неподвижного изображения на другое неподвижное изображение синхронизируют с моментами времени, в которые пользователь встряхивается или меняет наклон в одном направлении на наклон в другом направлении. В этом случае в качестве материалов содержания используются неподвижные изображения как модули файлов.

В случае вибрационного или светового содержания также можно использовать способ воспроизведения содержания в соответствии с настоящим изобретением.

В случае вибрационного содержания частота (цикл) или сила (амплитуда) вибраций изменяется в соответствии с моментами времени, когда пользователь встряхивается или меняет наклон из одного направления на наклон в другое направление. В этом случае в качестве материалов содержания используются данные для генерирования вибраций, имеющих определенную структуру вибраций.

В случае светового содержания цвет (форма колебаний) или яркость (освещенность) света меняются в соответствии с моментами времени, когда пользователь встряхивается или меняет наклон в одном направлении на наклон в другом направлении. В этом случае в качестве материалов содержания используются данные для генерирования света, имеющего определенный цвет или яркость.

[3. Способ детектирования движений тела: фиг.9-15]

Если, как в примере, указанном выше, ходьба детектируется как движения пользователя, и моменты времени, в которые пользователь ставит свою ногу на землю во время ходьбы, детектируют как свойство движения, применяют следующую процедуру. Датчики 5L и 5R ходьбы закрепляют, например, как показано на фиг.9, возле каблуков левого и правого ботинок 2L и 2R соответственно, которые надевает пользователь во время бега, или на пятки левой и правой ног пользователя. Затем, после того как выходные сигналы датчиков 5L и 5R ходьбы будут усилены схемами 55L и 55R усилителя соответственно, их подают в фильтры 56L и 56R высокой частоты соответственно, где выделяют компоненты с более высокой частотой или равной заданной частоте. Затем выделенные компоненты преобразуют в цифровые данные с помощью А/Ц преобразователей 57L и 57R, после чего их передают в шину 12 устройства 10 воспроизведения содержания, показанную на фиг.1.

Датчики 5L и 5R ходьбы сформированы как датчики деформации. Более конкретно, как показано на фиг.10, в состоянии, в котором датчик 75 деформации, такой как показан на фиг.11, закреплен на пластине 71 держателя, сформированной из, например, пластины из фосфористой бронзы, и выводы 76 и 77 датчика 75 деформации закреплены на пластине 71 держателя с помощью усилительного элемента 73, другая пластина 72 держателя, сформированная, например, в виде пластины из фосфористой бронзы, соединена с пластиной 71 держателя.

Выходные сигналы от датчиков 5L и 5R ходьбы во время ходьбы меняются, как показано на фиг.12, при этом меняется А/Ц значения (значения данных, поступающих с выхода А/Ц преобразователей 57L и 57R). Выходное значение становится больше, чем заданное пороговое значение в момент времени, когда пользователь ставит свою ногу на землю, и становится меньшим, чем другое пороговое значение в момент времени, когда пользователь поднимает свою ногу, отрывая ее от земли. В соответствии с этим моменты времени, в которые пользователь ставит левую или правую ногу на землю, можно детектировать по выходному сигналу датчика 5L или 5R ходьбы.

На фиг.13 представлен случай, когда датчик 6 ходьбы расположен далее внутрь от каблука ботинка 3. В этом случае в качестве датчика 6 ходьбы используется другой датчик, кроме описанного выше датчика деформации, такой как датчик ускорения, датчик изгиба, датчик давления, датчик расстояния, датчик наклона, магнитный датчик, датчик тока, датчик заряда, датчик на основе электростатического конденсатора или датчик электромагнитной индукции. Если звук регистрируют с помощью микрофона, можно детектировать моменты времени, в которые пользователь ставит свою ногу на землю.

Выше был представлен пример, в котором моменты времени, когда пользователь ставит свою ногу на землю, детектируют при детектировании ходьбы. Если моменты времени, в которые происходит встряхивание головы или руки или изменяется наклон с одного направления на другое направление, детектируют путем детектирования движений головы или руки, изобретение может быть выполнено следующим образом.

Если, например, момент времени, в который наклон головы в одном направлении изменяется на наклон головы в другом направлении, будет детектирован путем детектирования движений головы, датчики 7, 7а и То ускорения закрепляют, как показано на фиг.14А, 14В и 14С, на головных телефонах, надетых на голову. Для детектирования ходьбы с помощью датчика ускорения рассчитывают автокорреляцию сигналов датчика.

На фиг.14А представлен случай, когда датчик 7 ускорения закреплен на головном обруче 83, который взаимно соединяет левый и правый громкоговорители 81 и 82 головных телефонов. На фиг.14В представлен случай, когда датчик 7 ускорения закреплен на шейной полоске 86, которая взаимно соединяет левый и правый громкоговорители 84 и 85 головных телефонов, закрепляемых на шее. На фиг.14С представлен случай, когда датчики 7а и 7b ускорения закреплены на громкоговорителях 87 и 88 соответственно, которые вставлены в левое и правое уши с наушниками, вставляемыми внутрь уха.

Если моменты времени, в которые наклон руки в одном направлении меняется на наклон в другом направлении, детектируется путем детектирование движений руки, датчик 8 ускорения типа наручных часов закрепляют на запястье, как показано на фиг.15.

Датчик движений тела может быть зафиксирован на других участках, кроме ног, головы, шеи или руки, таких как икра ноги, колено, бедро, талия, туловище, плечо или локоть, или если он закреплен на ступне, он может быть закреплен на другом участке, кроме пятки, таком как палец ноги, на подъеме ноги или на лодыжке. Если он закреплен на руке, он может быть закреплен на другом участке, кроме запястья, например на пальце или на тыльной стороне ладони. Датчик движений тела может быть закреплен на изделии, надетом или носимом пользователем, таком как ботинок.

Промышленная применимость

Как описано выше, в соответствии с настоящим изобретением движения пользователя могут влиять на воспроизведение содержания, что позволяет улучшить характеристику развлечения или поднимать дух в результате самого воспроизведения содержания.