способ обнаружения эмоций, способ генерирования чувствительности и система и машиночитаемый носитель для их осуществления

Формула изобретения

1. Способ обнаружения эмоций для обнаружения эмоции человека, содержащий стадии

ввода голосового сигнала; обнаружения интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаружения в виде величины времени, интонации, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получения первой величины изменения, указывающей изменение интенсивности обнаруженного голоса в направлении оси времени, и второй величины изменения, указывающей изменение темпа голоса в направлении оси времени, и третьей величины изменения, указывающей изменение интонации голоса в направлении оси времени, соответственно; и генерирования сигналов, выражающих эмоциональное состояние по меньшей мере гнева, печали и удовольствия, соответственно, на основе указанных первой, второй и третьей величин изменения.

2. Система обнаружения эмоций для обнаружения эмоции субъекта, содержащая

блок ввода голоса для ввода голосового сигнала; блок обнаружения интенсивности для обнаружения интенсивности голоса на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения темпа для обнаружения скорости, с которой появляется голос, в качестве темпа, на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения интонации для обнаружения, в виде величины времени, интонации, которая выражает рисунок изменения интенсивности в слове, выполненном голосом, на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения величины изменения для получения первой величины, указывающей изменение интенсивности голоса, обнаруженной указанным блоком обнаружения интенсивности, по оси времени, второй величины изменения, указывающей изменение темпа голоса, обнаруженного указанным блоком обнаружения темпа, по оси времени, и третьей величины изменения, указывающей изменение интонации голоса, обнаруженной указанным блоком обнаружения интонации, по оси времени, соответственно; и блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, соответственно, на основе указанных первой, второй и третьей величин изменения, обнаруженных указанным блоком обнаружения величины изменения.

3. Система обнаружения эмоций по п.2, в которой указанный блок обнаружения интонации содержит блок полосовых фильтров для извлечения специфических частотных компонентов из голосового сигнала отдельно для каждого слова; блок разделения зон для разделения спектра мощности сигнала, извлеченного указанным блоком полосовых фильтров, на несколько зон на основе интенсивности спектра мощности; блок вычисления интонации для вычисления величины интонации на основе временных интервалов между соответствующими центрами зон, выделенных указанным блоком разделения на зоны.

4. Система обнаружения эмоций по п.2, которая дополнительно содержит блок изображения для приема информации изображения, относящейся по меньшей мере к лицу субъекта; блок распознавания изображения для обнаружения позиционной информации, относящейся к каждой части лица, из информации изображения, принятой указанным блоком изображения; блок удерживания опорной информации изображения для удерживания опорной информации, относящейся к характеристической величине в каждой части лица; блок обнаружения характеристической величины изображения для обнаружения характеристической величины изображения в соответствии с изменением позиционной информации, обнаруженной указанным блоком распознавания изображения, в отношении опорной информации, удерживаемой указанным блоком удерживания опорной информации, сохраняемой указанным блоком удерживания опорной информации изображения, при этом указанный блок обнаружения эмоций оценивает эмоциональное состояние в соответствии с изменением позиционной информации по отношению к опорной информации, выраженной характеристической величиной изображения, установленной блоком обнаружения характеристической величины изображения.

5. Система обнаружения эмоций по п.2, которая дополнительно содержит блок сохранения эмоциональной информации для последовательного приема порций информации, относящейся к эмоциональным состояниям, обнаруженным указанным блоком обнаружения эмоций, и для сохранения в нем порций информации; блок процесса забывания для стирания информации, которая была сохранена на заданный период времени после первичного сохранения информации, среди порций информации, относящихся к эмоциональным состояниям, сохраненным в прошлом указанным блоком сохранения эмоциональной информации, и для исключения по меньшей мере информации, показывающей большую величину изменения эмоций, чем заданная величина, и информации, согласованной с заданным шаблоном изменений, из указанной информации, подлежащей стиранию.

6. Система обнаружения эмоций по п.5, которая дополнительно содержит блок распознавания фраз для выполнения грамматического анализа посредством обработки информации, относящейся к голосу, издаваемому субъектом, или знакам, вводимым субъектом, и для генерирования речевой информации, выражающей значимость фразы; блок управления хранением для хранения речевой информации, генерированной указанным блоком распознавания фраз, в блоке сохранения эмоциональной информации синхронно с информацией, относящейся к эмоциональным состояниям.

7. Система обнаружения эмоций по п.2, которая дополнительно содержит блок определения безмолвного времени для определения опорного безмолвного времени на основе эмоционального состояния из обнаруженных эмоциональных состояний; и блок обнаружения сегментации фраз для обнаружения сегментации голосовой фразы с помощью использования опорного безмолвного времени, определенного указанным блоком определения безмолвного времени.

8. Машиночитаемый носитель с программой, обеспечивающей выполнение компьютером способа обнаружения эмоции субъекта, содержащего стадию ввода голосового сигнала; стадию обнаружения интенсивности голоса и темпа, определяемого скоростью появления голоса, соответственно, и обнаружения, в виде величины времени, интонации, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; стадию получения первой величины изменения, указывающей изменение интенсивности обнаруженного голоса в направлении оси времени, второй величины изменения, указывающей изменение темпа голоса в направлении оси времени, и третьей величины изменения, указывающей изменение интонации голоса в направлении оси времени, соответственно; и стадию генерирования сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, соответственно, на основе полученных первой, второй и третьей величин изменения.

9. Способ генерирования чувствительности, содержащий стадии предварительного сохранения порций информации об индивидуальности, определяющих по меньшей мере разум, заданную характеристику и волю субъекта, который генерирует чувствительность; генерирования информации инстинктивной мотивации, включающей по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения и изменения, на основе введенной информации о ситуации, которая указывает любое эмоциональное состояние партнера и окружения, в котором находится партнер; генерирования эмоциональной информации, включающей основной эмоциональный параметр по меньшей мере удовольствия, гнева и печали, на основе генерированной информации инстинктивной мотивации; управления генерированной эмоциональной информацией на основе указанной информации об индивидуальности.

10. Генератор чувствительности, содержащий блок инстинктивной решительности для ввода информации об эпизодической ситуации, включающей эмоциональное состояние партнера, окружение, в котором находится партнер, и волю партнера, и для генерирования информации инстинктивной мотивации, которая включает по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения и степень изменения, на основе информации эпизодической ситуации; блок генерирования эмоций для генерирования эмоциональной информации, включающей основные эмоциональные параметры по меньшей мере удовольствия, гнева и печали, на основе информации инстинктивной мотивации, выдаваемой из указанного блока инстинктивной решительности; блок обеспечения информации об индивидуальности для обеспечения информации об индивидуальности, определяющей по меньшей мере разум и волю с чувствительностью субъекта, который генерирует чувствительность; блок управления эмоциями для управления эмоциональной информацией, выдаваемой из указанного блока генерирования эмоций, на основе информации об индивидуальности, поставляемой из указанного блока обеспечения информации об индивидуальности.

11. Генератор чувствительности по п.10, в котором указанный блок генерирования эмоций содержит блок генерирования жизненного ритма для генерирования информации, выражающей периодически изменяющееся окружение или жизненный ритм живого тела; блок управления произвольными эмоциями для управления произвольной эмоцией в указанном блоке генерирования эмоций в соответствии с информацией о жизненном ритме, выдаваемой указанным блоком генерирования жизненного ритма.

12. Генератор чувствительности по п.10, в котором указанный блок генерирования эмоций содержит блок сохранения информации инстинкт-эмоции для хранения шаблона информации, который обеспечивает соответствие друг другу указанного основного эмоционального параметра и указанной информации инстинктивной мотивации; блок обучения информации согласования для выдачи информации, выражающей согласование/рассогласование информации инстинктивной мотивации с шаблоном информации указанного блока удерживания информации инстинкт-эмоции, при этом информация инстинктивной мотивации выдается из указанного блока инстинктивной решительности.

13. Генератор чувствительности по п.10, в котором указанный блок генерирования эмоций содержит блок обратной связи управления эмоциями для ввода в блок генерирования эмоций по меньшей мере его собственной эмоциональной информации, генерированной непосредственно перед вводом сигнала обратной связи, и для учета этой информации на его сигнале, подлежащем генерированию в последующем.

14. Генератор чувствительности по п.10, в котором указанный блок управления эмоциями отображает информацию жизненного цикла, который является индивидуальностью субъекта, который генерирует чувствительность, на эмоциональной информации, подлежащей вводу.

15. Генератор чувствительности по п.10, который дополнительно содержит базу данных знания для хранения информации о ситуациях, показывающую прошлую ситуацию, прошлый эпизод и результат прошлой ситуации и эпизода; блок сортировки знания для поиска и извлечения информации о прошлой ситуации, аналогичной вновь введенной информации о ситуации из указанной базы данных знания, и для выдачи информации о прошлой ситуации в указанный блок управления эмоциями;

блок управления обновлением данных для обновления содержимого указанной базы данных знания на основе информации о ситуации, показывающей вновь введенную ситуацию и результат новой ситуации, и для автоматического стирания со временем из указанной базы данных знания информации о ситуации с низким приоритетом в соответствии с весомым коэффициентом содержимого.

16. Генератор чувствительности по п.10, который дополнительно содержит блок ввода голоса для ввода голосового сигнала; блок обнаружения интенсивности для обнаружения интенсивности голоса на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения темпа для обнаружения в качестве темпа скорости, с которой появляется голос, на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения интонации для обнаружения интонации, выражающей рисунок изменения интенсивности в слове голоса, на основе голосового сигнала, введенного указанным блоком ввода голоса; блок обнаружения величины изменения для обнаружения величин изменения интенсивности голоса, обнаруженной указанным блоком обнаружения интенсивности, темпа голоса, обнаруженного указанным блоком обнаружения темпа, и интонации голоса, обнаруженной указанным блоком обнаружения интонации, соответственно; блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, соответственно, на основе величин изменения, обнаруженных указанным блоком обнаружения величины изменения.

17. Генератор чувствительности по п.16, который дополнительно содержит блок распознавания голоса для распознавания голоса, введенного указанным блоком ввода голоса, и для выдачи знаковой информации; блок обработки на естественном языке для выполнения обработки на естественном языке вокальной информации, распознанной указанным блоком распознавания голоса, и для генерирования смысловой информации, выражающей смысл введенного голоса.

18. Машиночитаемый носитель с программой и данными, обеспечивающими выполнение компьютером способа управления генерированием чувствительности, включающего стадию генерирования информации инстинктивной мотивации, включающей по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения и изменения, на основе введенной информации о ситуации, которая показывает состояние любой эмоции партнера и окружение, в котором находится партнер; стадию генерирования эмоциональной информации, включающей основной эмоциональный параметр по меньшей мере удовольствия, гнева и печали, на основе указанной генерированной информации инстинктивной мотивации; стадию получения информации об индивидуальности, определяющей по меньшей мере разум и волю субъекта, который генерирует чувствительность; стадию управления указанной генерированной эмоциональной информацией на основе указанной информации об индивидуальности.

19. Способ обнаружения интонации голосового сигнала, используемой для обнаружения эмоции субъекта, содержащий стадии ввода голосового сигнала; обнаружения участков, имеющих одинаковые частотные компоненты, на основе анализа рисунка изменения интенсивности в слове, выраженном входным голосовым сигналом; и

обнаружения временных интервалов, с которыми появляется каждый из указанных участков, имеющих одинаковые частотные компоненты, для использования этих временных интервалов в качестве характеристики величины интонации.

20. Система обнаружения интонации в голосовом сигнале, используемой для обнаружения эмоции субъекта, содержащая блок ввода голоса для ввода голосового сигнала; блок обнаружения участков, имеющих одинаковые частотные компоненты, на основе анализа рисунка изменения интенсивности в слове, выраженном входным голосовым сигналом; блок обнаружения интонации для обнаружения временных интервалов, с которыми появляется каждый из указанных участков, имеющих одинаковые частотные компоненты, для использования этих временных интервалов в качестве характеристики величины интонации.

21. Машиночитаемый носитель с программой и данными, обеспечивающими выполнение компьютером способа обнаружения интонации в голосовом сигнале, используемой для обнаружения эмоции субъекта, содержащего стадию ввода голосового сигнала; стадию обнаружения участков, имеющих одинаковые частотные компоненты, на основе анализа рисунка изменения интенсивности в слове, выраженном входным голосовым сигналом; стадию обнаружения временных интервалов, с которыми появляется каждый из указанных участков, имеющих одинаковые частотные компоненты, для использования этих временных интервалов в качестве характеристики величины интонации.

Приоритет по пунктам:

13.09.2000 - пп.1-8, 19-21;

16.01.2001 - пп.9-18.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Данное изобретение относится к способу обнаружения эмоций, способу генерирования чувствительности, к системе и машиночитаемому носителю для их осуществления. Способ обнаружения эмоций, согласно данному изобретению, можно использовать для обнаружения эмоций в области медицины и для различных систем в качестве части искусственного интеллекта и искусственной чувствительности. Кроме того, способ генерирования чувствительности, согласно данному изобретению, можно использовать в различных системах, используемых различным образом для управления чувствительностью виртуальных людей и роботов.

Уровень техники

Уровень техники, относящийся к способу обнаружения эмоций, согласно данному изобретению, раскрыт, например, в непроверенных заявках на патент Японии №№ Hei5-12203, Hei9-22296, Hei11-119791.

В непроверенной заявке на патент Японии № Hei5-12203 раскрыто, что время продолжительности голоса, формантная частота голоса и интенсивность голоса для каждой частоты обнаруживаются, соответственно, как характеристические величины голоса. Кроме того, в этой публикации раскрывается также, что обнаруживается разница между опорным сигналом и соответствующими характеристическими величинами и выполняется обнаружение эмоции с помощью нечеткого вывода на основе обнаруженной величины разницы.

В непроверенной заявке на патент Японии № Hei9-22296 раскрыто, что скорость генерирования голоса (число пауз в единицу времени), частота основного тона голоса, громкость звука и спектр голоса определяются на основе обнаруженных характеристических величин голоса. Кроме того, в этой публикации раскрывается также, что эмоции обнаруживают на основе обнаруженных характеристических величин, а результаты получают с помощью статистической обработки НММ (скрытой марковской модели).

В непроверенной заявке на патент Японии № Hei11-119791 раскрыто, что эмоции обнаруживают на основе вероятности спектра фонемы в ее переходном состоянии с использованием скрытой марковской модели.

С другой стороны, уровень техники, относящийся к способу генерирования чувствительности, согласно данному изобретению, раскрыт, например, в непроверенной заявке на патент Японии № Hei11-265239 под названием "Система генерирования эмоций и способ генерирования эмоций".

Эмоции, которые выражают внутренние состояния людей и т.п., подвергаются различным изменениям в зависимости от ситуации в это время. В непроверенной заявке на патент Японии № Hei11-265239 раскрыта технология реализации генерирования эмоций в непредсказуемых ситуациях.

В частности, ситуации оценивают с точки зрения предсказуемых ситуаций и генерируют собственную эмоцию системы. Дополнительно к этому, анализируют эмоции, генерированные в прошлом, и ситуации в это время, и выполняют обучение непредсказуемым совместным условиям, свойственным соответствующим ситуациям и относящимся к ним эмоциям. Когда вновь введенная ситуация удовлетворяет совместным условиям, то выдаются эмоции, соответствующие совместным условиям.

Состояние эмоций, генерированных такой системой, отображаются на голосах и изображениях, которые выдаются.

Сущность изобретения

Однако обычный способ обнаружения эмоций имеет низкую точность обнаружения эмоций и не обеспечивает точное обнаружение действительных эмоций человека, даже если он обеспечивает обнаружение эмоций для частных ограниченных языков. В соответствии с этим, способ обнаружения эмоций практически используется ограниченно, например, в относительно простых игровых машинах.

Задачей данного изобретения является создание способа обнаружения эмоций, обеспечивающего точное обнаружение эмоций человека, являющегося субъектом.

Кроме того, обычный способ генерирования эмоций обеспечивает лишь генерирование эмоций непосредственно на основе информации, относящейся к введенным ситуациям. Для действительных людей различные параметры, включая инстинкт, разум, индивидуальность и т.п., влияют друг на друга сложным образом, приводя к разным поступкам, речи, выразительности и т.п. Обычный способ генерирования эмоций в результате не может точно отображать инстинкт, разум, индивидуальность и т.п.

Инстинкт и эмоции можно рассматривать как возбудимость. Дополнительно к этому, инстинкт становится основой биологической возбудимости и мотиваций для генерирования эмоций. Кроме того, учитывается, что люди не выдают эмоции непосредственно, а с учетом чувствительности, управляемой разумом и индивидуальностью.

Другой задачей данного изобретения является создание способа генерирования чувствительности, обеспечивающего выдачу чувствительности, более близкой чувствительности человека.

Согласно первому аспекту изобретения, способ обнаружения эмоций для обнаружения эмоции субъекта содержит следующие стадии: ввод голосового сигнала; обнаружение интенсивности голоса, темпа, выражающего скорость, с которой появляется голос, и интонации, выражающей рисунок изменения интенсивности в каждом слове голоса, на основе введенного голосового сигнала; получение величин изменения интенсивности обнаруженного голоса, темпа голоса и интонации голоса, соответственно; и генерирования сигналов, выражающих состояния эмоции, включая по меньшей мере гнев, печаль и удовольствие, соответственно, на основе полученных величин изменения.

Согласно первому аспекту изобретения, эмоцию обнаруживают путем принятия во внимание соответствующих величин изменения интенсивности, темпа и интонации голоса, вводимого от субъекта, для соответствия состояниям эмоции, включая гнев, печаль и удовольствие, соответственно. При использовании этого способа можно более точно обнаруживать эмоции, чем в уровне техники.

Согласно второму аспекту изобретения, система обнаружения эмоций для обнаружения эмоций субъекта содержит: блок ввода голоса для ввода голосового сигнала; блок обнаружения интенсивности для обнаружения интенсивности голоса на основе голосового сигнала, введенного блоком ввода голоса; блок обнаружения темпа для обнаружения скорости, с которой появляется голос, как темпа, основанного на голосовом сигнале, введенном блоком ввода голосового сигнала; блок обнаружения интонации для обнаружения интонации, выражающей рисунок изменения интенсивности в слове голоса на основе голосового сигнала, введенного блоком ввода голосового сигнала; блок обнаружения величины изменения для получения величин изменения интенсивности голоса, обнаруженной блоком обнаружения интенсивности, темпа голоса, обнаруженного блоком обнаружения темпа, и интонации голоса, обнаруженной блоком обнаружения интонации, соответственно; и блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния, включая по меньшей мере гнев, печаль и удовольствие, соответственно, на основе величин изменения, обнаруженных блоком обнаружения величины изменения.

В системе обнаружения эмоций, согласно второму аспекту изобретения, предусмотрены блок ввода голоса, блок обнаружения интенсивности, блок обнаружения темпа, блок обнаружения интонации, блок обнаружения величины изменения и блок обнаружения эмоций, с помощью которых может быть реализован указанный способ обнаружения эмоций.

Согласно третьему аспекту изобретения, в системе обнаружения эмоций, согласно второму аспекту изобретения, блок обнаружения интонации содержит: блок полосовых фильтров для извлечения специфических частотных компонентов из голосового сигнала, который вводится отдельно для каждого слова; блок разделения зон для разделения спектра мощности сигнала, который извлекается блоком полосовых фильтров, на несколько зон на основе интенсивности спектра мощности; и блок вычисления интонации для вычисления величины интонации на основе временных интервалов между соответствующими центрами зон, выделенных блоком разделения на зоны.

Блок полосовых фильтров извлекает специфические частотные компоненты из голосового сигнала, отдельного для каждого слова и введенного в блок. Блок разделения на зоны разделяет обнаруженный спектр мощности на множество зон на основе их интенсивности. Блок вычисления интонации вычисляет величину интенсивности на основе временных интервалов между соответствующими центрами множества зон, выделенных блоком разделения на зоны.

Согласно третьему аспекту изобретения, схема распределения энергии в слове, относящаяся к специфическим частотным компонентам голоса, обнаруживается как величина времени, выражающая интервалы множества зон, а продолжительность времени используется в качестве интонации.

Согласно четвертому аспекту изобретения, система обнаружения эмоций, согласно второму аспекту изобретения, дополнительно содержит: блок изображения для приема информации изображения, относящейся по меньшей мере к лицу субъекта; блок распознавания изображения для обнаружения позиционной информации, относящейся к каждой части лица, на основе информации изображения, принятой блоком изображения; блок удерживания опорной информации изображения для удерживания опорной информации, относящейся к величине характеристики в каждой части лица; и блок обнаружения характеристической величины изображения для обнаружения характеристической величины изображения на основе позиционной информации, обнаруженной блоком распределения изображения, и опорной информации, удерживаемой блоком удерживания опорной информации изображения. Блок обнаружения эмоций оценивает состояние эмоций в соответствии с изменением характеристической величины изображения, обнаруженной блоком обнаружения характеристической величины изображения.

Согласно четвертому аспекту изобретения, дополнительно к голосу, состояние эмоций оценивают на основе выражения лица субъекта. Обычно, поскольку эмоциональные состояния людей отображаются на выражении их лиц, то эмоциональные состояния можно схватывать посредством обнаружения выражения их лиц. В соответствии с этим, согласно четвертому аспекту изобретения, блок обнаружения эмоций оценивает эмоциональное состояние на основе изменения характеристической величины изображения, обнаруженной блоком обнаружения характеристической величины изображения.

Согласно пятому аспекту изобретения, система обнаружения эмоций, согласно второму аспекту изобретения, дополнительно содержит: блок сохранения эмоциональной информации для последовательного приема порций информации, относящихся к эмоциональным состояниям, обнаруженным блоком обнаружения эмоций и сохранения в нем порций информации; и блок стирания для стирания информации, которая была сохранена на заданный период времени после первичного сохранения информации, среди порций информации, относящихся к эмоциональным состояниям, сохраненных в прошлом блоком сохранения эмоциональной информации, за исключением по меньшей мере информации, показывающей большую величину изменения эмоций, чем заданная величина, и информации, соответствующей заданной схеме изменений, из информации, подлежащей стиранию.

Согласно пятому аспекту изобретения, обеспечивается возможность сохранения информации, относящейся к обнаруженным в прошлом эмоциональным состояниям, в блоке сохранения эмоциональной информации. Кроме того, поскольку старая информация, сохраненная на длительный период времени после ее обнаружения, автоматически стирается из блока сохранения эмоциональной информации, то можно уменьшить емкость хранения, необходимую для блока сохранения эмоциональной информации.

Однако характеристическая информация, такая как информация, показывающая большую величину изменения эмоции, чем заданная величина, и информация, соответствующая заданной схеме изменения, автоматически исключается из информации, подлежащей стиранию. Поэтому характеристическая информация удерживается, как она есть, в блоке сохранения эмоциональной информации, даже если она устаревает. В соответствии с этим, аналогично памяти человека, характеристическую информацию, которая может быть полезной в будущем, можно считывать из блока сохранения эмоциональной информации для воспроизведения, даже если она устаревает.

Согласно шестому аспекту изобретения, система обнаружения эмоций, согласно пятому аспекту изобретения, дополнительно содержит: блок распознавания предложений для выполнения грамматического анализа с помощью обработки информации, относящейся к голосу, издаваемому субъектом, или знакам, вводимым субъектом, и для генерирования речевой информации, выражающей значение предложения; и блок управления сохранением для хранения речевой информации, генерированной блоком распознавания предложений, в блоке сохранения эмоциональной информации синхронно с информацией, относящейся к эмоциональным состояниям.

Блок распознавания предложений обрабатывает информацию, относящуюся к голосу, издаваемому субъектом, или знакам, вводимым субъектом с помощью клавиатуры или т.п., и выполняет грамматический анализ для генерирования речевой информации, выражающей смысл предложения.

Грамматический анализ обеспечивает возможность получения речевой информации, выражающей, например, "5W3H", то есть "кто", "что", "когда", "где", "почему", "как", "как долго, как далеко, как велико и т.д." и "сколько".

Блок управления сохранением сохраняет речевую информацию, генерированную блоком распознавания предложений, в блоке сохранения эмоциональной информации в состоянии, в котором речевая информация является синхронной с информацией, относящейся к эмоциональным состояниям.

Согласно шестому аспекту изобретения, посредством обращения в блок сохранения эмоциональной информации можно извлекать не только информацию, относящуюся к эмоции в любой момент времени в прошлом, но также речевую информацию, выражающую ситуации в это время.

Информация, удерживаемая в блоке сохранения эмоциональной информации, может использоваться для различных применений. Например, когда функция оценки эмоций самой системы обнаружения эмоций является неточной, то базу данных, которая используется для оценки эмоций, можно корректировать на основе прошлого результата обнаружения, удерживаемого в блоке сохранения эмоциональной информации.

Согласно седьмому аспекту изобретения, система обнаружения эмоций, согласно второму аспекту изобретения, дополнительно содержит: блок определения времени безмолвия для определения опорного времени безмолвия времени на основе эмоционального состояния из обнаруженных эмоциональных состояний; и блок обнаружения сегментации фраз для обнаружения сегментации голосовой фразы с помощью использования опорного времени безмолвия, определенного блоком определения времени безмолвия.

При выполнении распознавания голоса и обнаружения эмоций необходимо обнаруживать сегментацию для каждой фразы, и каждая фраза должна быть извлечена. В целом, поскольку существует безмолвная часть в сегментации между фразами, то можно выделить множество фраз в моменты времени, когда появляются безмолвные части.

Однако длина безмолвных частей не является постоянной. В частности, длина безмолвной части изменяется в соответствии с эмоциональным состоянием говорящего. Поэтому, когда устанавливается определенное пороговое значение для определения безмолвной части, то вероятность ошибки при обнаружении сегментации фразы становится высокой.

Согласно седьмому аспекту изобретения, опорное время безмолвия определяется, например, на основе эмоционального состояния, обнаруженного как раз перед определением, а сегментацию фразы речи обнаруживают в соответствии с опорным временем безмолвия. В соответствии с этим, можно правильно обнаруживать сегментацию фразы, даже когда изменяется эмоциональное состояние говорящего.

Согласно восьмому аспекту изобретения, машиночитаемый носитель, содержащий программу обнаружения эмоций, позволяет компьютеру выполнять способ обнаружения эмоций субъекта, включающий: стадию ввода голосового сигнала в программу обнаружения эмоций; стадию обнаружения интенсивности голоса, темпа, выражающего скорость появления голоса, и интонации, выражающей рисунок изменения интенсивности в каждом слове голоса, на основе введенного голосового сигнала; стадию получения величин изменения обнаруженных интенсивности голоса, темпа голоса и интонации голоса; и стадию генерирования сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, соответственно, на основе полученных величин изменения.

Согласно девятому аспекту изобретения, способ генерирования чувствительности содержит стадии: удерживания заранее порций информации об индивидуальности, определяющей по меньшей мере разум, заданную характеристику и волю субъекта, который генерирует чувствительность; генерирования информации инстинктивной мотивации, включающей по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения и изменения, на основе введенной информации о ситуации, которая указывает состояние эмоции партнера или окружения, в котором находится партнер; генерирования эмоциональной информации, включающей основной эмоциональный параметр по меньшей мере удовольствия, гнева и печали, на основе генерированной информации инстинктивной мотивации; и управления генерированной эмоциональной информацией на основе информации об индивидуальности.

Согласно девятому аспекту изобретения, информация инстинктивной мотивации, которая мотивирует генерирование эмоции, генерируется на основе введенной информации о ситуации (эмоции, воле и окружения партнера). А именно, информация инстинктивной мотивации генерируется из информации о ситуации, а эмоциональная информация генерируется на основе информации инстинктивной мотивации. Кроме того, эмоциональная информация, подлежащая генерированию, управляется на основе информации об индивидуальности. Таким образом, может выдаваться эмоция, управляемая разумом и волей индивидуума, то есть информация чувствительности.

Дополнительно к этому, поскольку эмоциональная информация генерируется через информацию инстинктивной мотивации, то эмоциями, подлежащими генерированию, можно управлять более точно и просто.

Например, эмоция, генерированная, когда человек встречается с опасной ситуацией в состоянии распознавания опасной ситуации, и эмоция, генерированная, когда человек внезапно встречается с опасной ситуацией в состоянии непонимания опасности ситуации, являются разными. Эту разницу эмоций можно воспроизводить.

Предпочтительно, если параметр инстинкта дополнительно содержит степень внимания (степень отказа), степень уверенности (степень замешательства), степень следования (степень упорства) и т.п. в дополнение к указанным элементам. Кроме того, предпочтительно, если основной эмоциональный параметр, составляющий эмоциональную информацию, дополнительно содержит удивление, страх, страдание, отвращение, презрение, приближение, удаление, ревность, зависть, зависимость, раздражение, беспокойство и т.п. в дополнение к указанным элементам.

Согласно десятому аспекту изобретения, генератор чувствительности содержит: блок инстинктивной решительности для ввода информации об эпизодической ситуации, включающей эмоциональное состояние партнера, окружение, в котором находится партнер, и волю партнера, и для генерирования информации инстинктивной мотивации, включающей по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения или изменения, на основе информации эпизодической ситуации; блок генерирования эмоций для генерирования эмоциональной информации, включающей основные эмоциональные параметры по меньшей мере удовольствия, гнева и печали, на основе информации инстинктивной мотивации, выдаваемой из блока инстинктивной решительности; блок обеспечения информации об индивидуальности для обеспечения информации об индивидуальности, которая определяет по меньшей мере разум и волю с чувствительностью субъекта, который генерирует чувствительность; и блок управления эмоциями для управления эмоциональной информацией, выдаваемой блоком генерирования эмоций, на основе информации об индивидуальности, поставляемой из блока обеспечения информации об индивидуальности.

Согласно десятому аспекту изобретения, можно выполнять способ генерирования чувствительности в соответствии с пунктом 9 формулы изобретения посредством предусмотрения блока инстинктивной решительности, блока генерирования эмоций, блока обеспечения информации об индивидуальности и блока управления эмоциями.

В соответствии с этим, можно выдавать эмоции, управляемые разумом и волей индивидуума, то есть информацию о чувствительности. Кроме того, поскольку эмоциональная информация генерируется через информацию инстинктивной мотивации, то эмоциями, подлежащими генерированию, можно управлять более точно и просто.

Согласно одиннадцатому аспекту изобретения, блок генерирования эмоций, согласно десятому аспекту изобретения, содержит: блок генерирования жизненного ритма для генерирования информации, выражающей периодически изменяющееся окружение или жизненный ритм живого тела; и блок управления произвольными эмоциями для управления произвольными эмоциями в блоке генерирования эмоций в соответствии с информацией о жизненном ритме, выдаваемой блоком генерирования жизненного ритма. Кроме того, учитывается, что соответствующие люди имеют индивидуальные ритм тела, ритм эмоций, ритм интеллекта и т.п. Считается, что периодически изменяющийся ритм оказывает различное влияние на действительные эмоции человека.

Согласно одиннадцатому аспекту изобретения, блок управления произвольными эмоциями управляет произвольными эмоциями в блоке генерирования эмоций в соответствии с информацией, выдаваемой блоком генерирования ритмов. В соответствии с этим, подлежащие выдачи эмоции можно изменять в соответствии с окружением или жизненным ритмом живого тела.

Согласно двенадцатому аспекту изобретения, в генераторе чувствительности, согласно десятому аспекту изобретения, блок генерирования эмоций содержит: блок удерживания информации инстинкт-эмоции для удерживания шаблонов информации, которые обеспечивают соответствие друг другу основного эмоционального параметра и информации инстинктивной мотивации; и блок обучения информации согласования для выдачи информации, выражающей согласование/рассогласование информации инстинктивной мотивации с шаблоном информации блока удерживания информации инстинкт-эмоции, при этом информация инстинктивной мотивации выдается из блока инстинктивной решительности.

Согласно двенадцатому аспекту изобретения, можно получать вероятность согласования информации инстинктивной мотивации с шаблоном информации из блока обучения информации вероятности согласования для использования в качестве фактора определения эмоций.

Например, когда психическое состояние человека изменяется из первого состояния во второе состояние, то психическое состояние переходит через третье состояние на пути из первого состояния во второе состояние. В соответствии с этим, имеется вероятность того, что психическое состояние временно согласовывается с определенным шаблоном информации в третьем состоянии. Однако шаблон информации, согласованный с психическим состоянием в третьем состоянии, не имеет значения большой полезности. За счет использования вероятности согласования, полученной блоком обучения вероятности согласования, можно подавлять генерирование эмоций шаблона информации с низкой вероятностью.

Согласно тринадцатому аспекту изобретения, в генераторе чувствительности, согласно десятому аспекту изобретения, блок генерирования эмоций содержит блок управления обратной связи эмоций для ввода в блок генерирования эмоций по меньшей мере его собственной эмоциональной информации, генерированной в конце, и для отображения конечной генерированной информации на его собственной эмоциональной информации, подлежащей генерированию в последующем.

Считается, что ввод различных мотиваций приводит к цепным изменениям эмоций человека. Например, степень гнева, который является эмоцией, генерированной, когда мотивация дается человеку в нормальном состоянии для вызова у него гнева, и степень гнева, генерированная, когда мотивация дается человеку, который был уже в гневе, так что он становится более гневным, сильно отличаются друг от друга.

Согласно тринадцатому аспекту изобретения, наличие блока управления обратной связью эмоций обеспечивает перенос состояния только что генерированной эмоции обратно на вход, и отображение состояния эмоции на генерируемой следующей эмоции. В соответствии с этим, можно генерировать эмоцию, более близкую эмоции человека.

Согласно четырнадцатому аспекту изобретения, генератор чувствительности, согласно десятому аспекту изобретения, имеет признак, в соответствии с которым блок управления эмоциями отображает информацию о жизненном ритме, что является индивидуальностью субъекта, который генерирует чувствительность, на эмоциональной информации, подлежащей вводу.

Согласно четырнадцатому аспекту изобретения, информацию о жизненном ритме можно отображать на чувствительности. Например, разница возникает в результате определения, осуществляемого разумом и т.п. в зависимости от того, желает ли человек делать что-либо.

Согласно пятнадцатому аспекту изобретения, генератор чувствительности, согласно десятому аспекту изобретения, дополнительно содержит: базу данных знания для сохранения информации о ситуациях, показывающую прошлую ситуацию, прошлый эпизод и результат прошлой ситуации и эпизода; блок сортировки знания для поиска и извлечения информации о прошлой ситуации, аналогичной введенной новой информации о ситуации, из базы данных знания, и для выдачи информации о прошлой ситуации в блок управления эмоциями; и блок управления обновлением данных для обновления содержимого базы данных знания на основе информации о ситуации, показывающей вновь введенную ситуацию, и результата ситуации, и для автоматического стирания со временем из базы данных знания информации о ситуации с низким приоритетом в соответствии с весовым коэффициентом содержимого.

Согласно пятнадцатому аспекту изобретения, информация о ситуации, показывающая прошлую ситуацию, и результат ситуации сохраняются в базе данных знания. Например, сохраняется информация, показывающая ситуацию определенного эпизода и наступивший окончательный результат эпизода. Поэтому, информацию о прошлой ситуации, аналогичную информации о настоящей ситуации, можно получать из базы данных знания для использования для управления эмоцией. По прошествии времени вновь генерированную информацию необходимо затем добавлять по случайному закону в базу данных знания. Однако емкость хранения системы, образующей базу данных знания, ограничена. Кроме того, по мере увеличения количества сохраняемой информации уменьшается скорость обработки.

Однако, согласно пятнадцатому аспекту изобретения, информация о ситуации с низким приоритетом со временем автоматически стирается из базы данных знания под управлением блока управления обновлением данных. Поэтому может быть реализован результат, аналогичный забыванию человеком, и тем самым предотвращено уменьшение емкости хранения и скорости обработки.

Согласно шестнадцатому аспекту изобретения, генератор чувствительности, согласно десятому аспекту изобретения, дополнительно содержит: блок ввода голоса для ввода голосового сигнала; блок обнаружения интенсивности для обнаружения интенсивности голоса на основе голосового сигнала, введенного блоком ввода голоса; блок обнаружения темпа для обнаружения в качестве темпа скорости, с которой появляется голос, на основе голосового сигнала, введенного блоком ввода голоса; блок обнаружения интонации для обнаружения интонации, выражающей схему изменения интенсивности в слове голоса, на основе голосового сигнала, введенного блоком ввода голоса; блок обнаружения величины изменения для обнаружения величин изменения в интенсивности голоса, обнаруженной блоком обнаружения интенсивности, темпа голоса, обнаруженного блоком обнаружения темпа, и интонации голоса, обнаруженной блоком обнаружения интонации, соответственно; и блок обнаружения эмоций для выдачи сигналов, выражающих эмоциональные состояния по меньшей мере гнева, печали и удовольствия, соответственно, на основе величин изменения, обнаруженных блоком обнаружения величины изменения.

Согласно шестнадцатому аспекту изобретения, эмоциональное состояние партнера можно обнаруживать на основе характеристической величины, выделенной из голоса. В соответствии с этим, можно генерировать собственную эмоцию в соответствии с эмоцией партнера.

Согласно семнадцатому аспекту изобретения, генератор чувствительности, согласно шестнадцатому аспекту изобретения, дополнительно содержит: блок распознавания голоса для распознавания голоса, введенного блоком ввода голоса, и для выдачи знаковой информации; и блок обработки на естественном языке для выполнения обработки на естественном языке вокальной информации, распознанной блоком распознавания голоса, и для генерирования смысловой информации, выражающей смысл введенного голоса.

Согласно семнадцатому аспекту изобретения, получают смысловую информацию, относящуюся к слову, произносимому партнером и, таким образом, результат, полученный посредством понимания смысловой информации, можно отображать на собственной чувствительности.

Согласно восемнадцатому аспекту изобретения, машиночитаемый носитель, содержащий программу и данные, выполняемые компьютером, используется для осуществления способа управления генерированием чувствительности, включающего: стадию генерирования информации инстинктивной мотивации, включающей по меньшей мере первый инстинктивный параметр, выражающий степень удовольствия, второй инстинктивный параметр, выражающий степень опасности, и третий инстинктивный параметр, выражающий степень достижения или изменения, на основе введенной информации о ситуации, которая показывает эмоциональное состояние партнера, или окружение, в котором находится партнер; стадию генерирования эмоциональной информации, включающей основной эмоциональный параметр по меньшей мере удовольствия, гнева или печали, на основе генерированной информации инстинктивной мотивации; стадию получения информации об индивидуальности, определяющей по меньшей мере разум и волю субъекта, который генерирует чувствительность; и стадию управления генерированной эмоциональной информацией на основе информации об индивидуальности.

Машиночитаемый носитель, согласно восемнадцатому аспекту изобретения, вводится в заданный компьютер для выполнения записанной на нем программы, и тем самым обеспечивается реализация способа генерирования чувствительности, согласно девятому аспекту изобретения.

Краткое описание чертежей

Сущность, принципы и полезность данного изобретения следуют из приведенного ниже подробного описания со ссылками на прилагаемые чертежи, в которых аналогичные части обозначены одинаковыми позициями, при этом на чертежах изображено:

фиг.1 - блок-схема варианта выполнения системы обнаружения эмоций;

фиг.2 - блок-схема блока обнаружения интонации;

фиг.3 - график соотношения между изменением эмоционального состояния и интенсивностью, темпом и интонацией голоса;

фиг.4 - временные диаграммы процессов обработки голосового сигнала в блоке обнаружения интонации;

фиг.5 - графическая схема работы блока процесса забывания;

фиг.6 - пример конфигурации информации, хранящейся в базе данных эмоций и чувствительности;

фиг.7 - блок-схема примера конфигурации системы с использованием генератора чувствительности;

фиг.8 - блок-схема блока генерирования инстинктивной информации;

фиг.9 - блок-схема блока генерирования эмоциональной информации;

фиг.10 - пример модели шаблона реакции в базе данных для шаблонов эмоциональных реакций; и

фиг.11 - блок-схема блока распознавания чувствительности и мысли.

Описание предпочтительных вариантов выполнения

Первый вариант выполнения

Ниже приводится описание одного варианта выполнения способа обнаружения эмоций, согласно данному изобретению, со ссылками на фиг.1-6.

На фиг.1 показана блок-схема системы обнаружения эмоций, согласно этому варианту выполнения. На фиг.2 показана блок-схема блока обнаружения интонации. На фиг.3 показан график зависимости между изменением эмоционального состояния и интенсивностью, темпом и интонацией голоса. На фиг.4 показаны временные диаграммы процессов обработки голосового сигнала в блоке обнаружения интонации. На фиг.5 показана графическая схема работы блока процесса забывания. На фиг.6 схематично показан пример информации, хранящейся в базе данных памяти эмоций и чувствительности.

Как показано на фиг.1, система обнаружения эмоций содержит: микрофон 11; аналого-цифровой преобразователь 12; блок 13 обработки сигналов; блок 20 распознавания голоса; блок 17 обнаружения интенсивности; блок 18 обнаружения темпа; блок 19 обнаружения интонации; блок 21 временного хранения данных; блок 22 обнаружения изменения эмоций; блок 23 обнаружения эмоций в голосе; базу 24 данных шаблонов эмоций; клавиатуру 25; блок 26 распознавания фраз; телевизионную камеру 31; блок 32 распознавания изображений; базу 32 данных шаблонов лица; блок 34 обнаружения эмоций в лице; блок 39 распознавания знаков; базу 41 данных памяти эмоций и чувствительности; блок 42 процесса забывания; блок 43 синхронной обработки; базу 44 данных информации о человеческой природе; базу 45 данных об индивидуальности; базу 46 данных информации о специальностях; и блок 60 распознавания эмоций.

Кроме того, в блоке 20 распознавания голоса предусмотрены блок 13 обработки сигналов; блок 14 обнаружения фонем; блок 15 обнаружения слов; и блок 16 обнаружения фраз. Блок 20 распознавания голоса выполняет также функцию устройства распознавания голоса (обработки на естественном языке), поставляемого отдельно.

Как показано на фиг.1, блок 20 распознавания голоса, блок 17 обнаружения интенсивности, блок 18 обнаружения темпа, блок 19 обнаружения интонации, блок 21 временного хранения данных, блок 22 обнаружения изменения эмоций и блок 23 обнаружения эмоций в голосе являются схемами для обнаружения эмоции из голоса.

Система обнаружения эмоций содержит микрофон 11, клавиатуру 25 и телевизионную камеру 31 в качестве блока ввода для считывания информации от человека, который является партнером, для которого выполняется обнаружение эмоции. В частности, эмоции человека, который является партнером, обнаруживают с использованием голоса, вводимого посредством микрофона 11, знаковой информации, вводимой посредством клавиатуры 25, и информации, включающей выражение лица и т.п., которая вводится посредством телевизионной камеры 31.

Следует отметить, что эмоции можно обнаруживать на основе только голоса, вводимого из микрофона 11, или знаковой информации, вводимой из клавиатуры 25, или выражения лица, которое вводится из телевизионной камеры 31. Однако с точки зрения повышения точности обнаружения эмоций, более эффективно всесторонне оценивать информацию, полученную из нескольких источников информации.

Сначала приводится описание обработки, относящейся к голосу. Голосовой сигнал, введенный через микрофон 11, квантуется с помощью аналого-цифрового преобразователя 12, а затем преобразуется в цифровой сигнал. Цифровой голосовой сигнал, полученный на выходе аналого-цифрового преобразователя 12, подается в блок 20 распознавания голоса.

Блок 13 обработки сигналов извлекает частотные составляющие, необходимые для обнаружения интенсивности голоса. Блок 17 обнаружения интенсивности обнаруживает интенсивности из сигнала, извлеченного блоком 13 обработки сигналов. Например, в качестве интенсивности можно использовать результат, полученный в результате усреднения величины амплитуды голосового сигнала.

Цикл усреднения для обнаружения интенсивности голоса устанавливается, например, равным 10 секундам. Следует отметить, что когда сегментацию для соответствующих фраз обнаруживают, несмотря на цикл усреднения, короче чем за 10 секунд, то усредняют периоды времени от начала фразы до обнаружения сегментации. В частности, обнаруживается интенсивность голоса для каждой фразы.

Блок 14 обнаружения фонем, предусмотренный в блоке 20 распознавания голоса, обнаруживает сегментации для каждой фонемы голоса, введенного в него. Например, когда вводится фраза, выраженная как "kyou wa ii tenki desune" (по-японски) в виде голоса, то обнаруживается сегментация для каждой фонемы как "kyo/u/wa/i/i/ te/n/ki/de/su/ne" (по-японски).

Блок 15 обнаружения слов, предусмотренный в блоке 20 распознавания голоса, обнаруживает сегментации для каждого слова голоса, введенного в него. Например, когда вводится фраза, выраженная как "kyou wa ii tenki desune" (по-японски) в виде голоса, то обнаруживаются сегментации для каждого слова как "kyou/wa/ii/ tenki/desune" (по-японски).

Блок 16 обнаружения фраз, предусмотренный в блоке 20 распознавания голоса, обнаруживает сегментации для каждой фразы голоса, введенного в него. Когда обнаруживается безмолвное состояние конкретной продолжительности или более, то считается, что появляется сегментация для каждой фразы. В качестве пороговой величины продолжительности безмолвного состояния принята величина от около 0,1 до 0,2 с. Кроме того, эта пороговая величина не является постоянной, а может изменяться автоматически, так что она отображает эмоциональное состояние, обнаруженное как раз перед этим.

Блок 12 обнаружения темпа принимает сигнал сегментации для каждой фонемы, выданной блоком 14 обнаружения фонем, и обнаруживает число фонем, которые появляются в единицу времени. В качестве цикла обнаружения темпа устанавливается время, равное, например, 10 с. Однако, если обнаружена сегментация фразы, то отсчет фонем останавливается до момента времени обнаружения сегментации фразы, даже если сегментация фразы обнаружена внутри 10 с, и вычисляется величина темпа. В частности, темп определяется для каждой фразы.

Цифровой сигнал из аналого-цифрового преобразователя 12 разделяется для каждого слова, в котором обнаружены сегментации блоком 15 обнаружения слов, и цифровой сигнал вводится в блок 19 обнаружения интонации. Из введенного в блок 19 обнаружения интонации голосового сигнала блок 19 обнаруживает интонацию, выражающую рисунок изменения интенсивности голоса в слове и в сегментации для каждой фразы в блоке 16 обнаружения фраз. Таким образом, блок 19 обнаружения интонации обнаруживает характеристический рисунок интенсивности в сегментации.

Как показано на фиг.2, в блоке 19 обнаружения интонации предусмотрены полосовой фильтр 51, блок 52 преобразования абсолютной величины, блок 53 сравнения, блок 54 обнаружения центра зоны и блок 55 обнаружения интервала зон. Примеры формы волн сигналов SG1, SG2, SG3 и SG4 на соответствующих входных или выходных зажимах блока 19 обнаружения интонации показаны на фиг.4. Следует отметить, что на оси ординат для каждого сигнала на фиг.4 показана амплитуда или интенсивность. Кроме того, в показанных на фиг.4 примерах длина одного слова, взятого из голоса, составляет около 1,2 с.

Полосовой фильтр 51 извлекает только частотные составляющие, необходимые для обнаружения интонации, из сигнала SG1, введенного в него. В этом варианте выполнения, на выходе полосового фильтра 51 появляются только частотные составляющие внутри диапазона от 800 до 1200 Гц в качестве сигнала SG2. Как показано на фиг.4, рисунок изменения интенсивности, обусловленный интонацией в слове, найден в сигнале SG2.

С целью упрощения процесса вычисления сигнала, в блоке 19 обнаружения интонации предусмотрен блок 52 преобразования абсолютной величины. Блок 52 преобразования абсолютной величины преобразует амплитуду введенного сигнала в ее абсолютную величину. В соответствии с этим, на выходе блока 52 преобразования абсолютной величины появляется сигнал SG4, показанный на фиг.4.

Блок 53 сравнения сравнивает величину сигнала SG2 с пороговой величиной и выдает составляющие, превышающие пороговую величину, в качестве сигнала SG4. В частности, блок 53 сравнения выдает только составляющие, имеющие большие величины в спектре мощности сигнала SG3. Пороговая величина, применяемая в блоке 53 сравнения, определяется соответствующим образом с помощью метода, называемого методом анализа выработки решения.

Как показано на фиг.4, в сигнале SG4 появляются две зоны А1 и А2, соответствующие рисунку интонации в слове. Блок 54 обнаружения центра зоны обнаруживает моменты времени t1 и t2, в которые появляются соответствующие центры двух зон А1 и А2.

Блок 55 обнаружения интервала зон обнаруживает разницу во времени, относящуюся к двум моментам времени t1 и t2, которые были обнаружены блоком 54 обнаружения центра зоны, в качестве интервала Ту зон. Величина этого интервала Ту зон соответствует рисунку интонации в слове голоса. Результат, полученный в результате усреднения значений интервалов Ту зон, используется в качестве величины интонации.

В одном слове, могут появляться в сигнале SG4 три или более зон. Когда появляются три или более зон, то интервалы Ту вычисляются, соответственно, для двух зон, смежных друг с другом, и результат, полученный в результате усреднения нескольких полученных интервалов Ту зон, используется в качестве величины интонации.

Эмоциональное состояние человека изменяется, например, как показано на фиг.3. Кроме того, для правильного улавливания эмоций, включающих гнев, печаль, удовольствие и т.п., обязательно необходимо обнаруживать изменение характеристической величины, такой как интенсивность, темп и интонация.

В системе обнаружения эмоций, показанной на фиг.1, с целью обеспечения возможности опоры на величины характеристик в прошлом, величину интенсивности, выдаваемую блоком 17 обнаружения интенсивности, величину темпа, выдаваемую блоком 18 обнаружения темпа, и величину интонации, выдаваемую блоком 19 обнаружения интонации, временно сохраняют в блоке 21 временного хранения данных.

Кроме того, блок 22 обнаружения изменения эмоций принимает имеющуюся величину интенсивности, выдаваемую блоком 17 обнаружения интенсивности, имеющуюся величину темпа, выдаваемую блоком 18 обнаружения темпа, и имеющуюся величину интонации, выдаваемую блоком 19 обнаружения интонации. Блок 22 обнаружения изменения эмоций также принимает прошлые (незадолго до настоящего времени) величины интенсивности, темпа и интонации, которые хранятся в блоке 21 временного хранения данных. Таким образом, блок 21 обнаружения изменения эмоций обнаруживает изменения в интенсивности, темпе и интонации голоса, соответственно.

Блок 23 обнаружения эмоций голоса принимает изменения интенсивности, темпа и интонации голоса, которые выдает блок 22 обнаружения изменения эмоций, и оценивает настоящее эмоциональное состояние. Блок 23 обнаружения изменения эмоций оценивает три состояния, включающие гнев, печаль и удовольствие, в качестве эмоционального состояния в этом варианте выполнения.

В базе 24 данных шаблонов эмоций предварительно сохраняется информация, позволяющая соотносить состояние гнева с рисунками изменений интенсивности, темпа и интонации голоса, информация, позволяющая соотносить состояние печали с рисунками изменений интенсивности, темпа и интонации голоса, и информация, позволяющая соотносить состояние удовольствия с рисунками изменений интенсивности, темпа и интонации голоса.

Блок 23 обнаружения изменения эмоций оценивает настоящее эмоциональное состояние на основе рисунков изменения интенсивности, изменения темпа и изменения интонации, которые выдаются блоком 22 обнаружения изменения эмоций, с опорой на информацию, удерживаемую в базе 24 данных схем эмоций, в качестве критерия оценки.

Информация, выражающая три типа состояний, включая гнев, печаль и удовольствие, которые были оценены блоком 23 обнаружения изменения эмоций, вводятся в блок 60 распознавания эмоций и в базу 41 данных памяти эмоций и чувствительности. База 41 данных памяти эмоций и чувствительности последовательно принимает и сохраняет имеющиеся эмоциональные состояния, которые вводятся из блока 23 обнаружения эмоций голоса.

В соответствии с этим, прошлое состояние эмоций можно воспроизводить посредством считывания информации, хранящейся в базе 41 данных памяти эмоций и чувствительности.

В это же время, содержимое фразы, введенной из микрофона 11 в виде голоса (содержимое речи партнера), распознается блоком 26 распознавания фраз. Знаковая информация, соответствующая соответствующим фонемам, распознанным блоком 20 распознавания голоса, и информация, выражающая сегментацию слова и сегментацию фразы, вводятся в блок 26 распознавания фраз. Кроме того, знаковая информация, вводимая посредством клавиатуры 25, также вводится в блок 26 распознавания фраз.

Блок 26 распознавания фраз распознает введенную цепочку знаков для каждого слова и анализирует их синтаксис для улавливания содержимого фразы в виде естественной речи. В действительности, блок 26 распознавания фраз распознает речевую информацию, выражающую, например, "5W3H", то есть "кто", "что", "когда", "где", "почему", "как", "как долго, как далеко, как велико и т.д." и "сколько". Речевая информация, распознанная блоком 26 распознавания фраз, вводится в блок 60 распознавания эмоций.

Ниже приводится описание процесса для обнаружения эмоций на основе вида лица партнера. Телевизионная камера 30 снимает по меньшей мере лицевую часть человека, который будет субъектом системы обнаружения эмоций, показанной на фиг.1. Изображение, снятое телевизионной камерой 31, т.е. изображение, включающее вид лица человека, вводится в блок 32 распознавания изображения.

Следует отметить, что изображение, снятое телевизионной камерой 31, вводится в блок 39 распознавания знаков. В частности, блок 39 распознавания знаков распознает соответствующие знаки предложения из снятого изображения, когда изображение предложения снимается телевизионной камерой 31. Знаковая информация, распознанная блоком 39 распознавания знаков, вводится в блок 26 распознавания фраз.

Блок 32 распознавания изображения распознает характеристические элементы из введенного изображения. А именно, блок 32 распознавания изображения распознает соответствующие части глаз, рта, бровей и скул на лице субъекта, и обнаруживает соответствующие относительные положения глаз, рта, бровей и скул на лице. Кроме того, блок 32 распознавания изображения всегда отслеживает соответствующие положения глаз, рта, бровей и скул для обнаружения соответствующих изменений их положения после изменения выражения лица и для обнаружения движения, такого как кивания головой.

Информация, относящаяся к опорным положениям с учетом соответствующих положений глаз, рта, бровей и скул в лице (информация, эквивалентная выражению лица субъекта в его нормальном состоянии) сохраняется заранее в базе 33 данных шаблонов лица. Следует отметить, что можно также произвольно изменять содержимое базы 33 данных шаблонов лица. Кроме того, информация правил, выражающая взаимосвязь между изменениями выражения лица и шестью типами эмоций (удовольствия, гнева, печали, страха, радости и удивления) сохраняется заранее в базе 33 данных шаблонов лица.

Блок 34 обнаружения эмоций лица обнаруживает характеристику выражения лица, то есть отличие от нормального состояния на основе информации, относящейся к соответствующим положениям глаз, рта, бровей и скул, которые распознает блок 32 распознавания изображения, и опорных положений, хранящихся в базе 33 данных шаблонов лица.

Кроме того, блок 34 обнаружения эмоций лица оценивает соответствующие состояния шести типов эмоций (удовольствия, гнева, печали, страха, радости и удивления) на основе величин изменения и скорости изменения обнаруженных характеристических величин и информации о критериях, удерживаемой в базе 33 данных шаблонов лица. Информация, выражающая оцениваемые состояния шести типов эмоций, выдается блоком 34 обнаружения эмоций лица, и вводится в блок 60 распознавания эмоций и в базу 41 данных памяти эмоций и чувствительности.

Блок 60 распознавания эмоций всесторонне оценивает информацию, выражающую эмоциональное состояние (гнев, печаль или удовольствие), вводимое из блока 23 обнаружения эмоций голоса, речевую информацию, вводимую из блока 26 распознавания фраз и информацию, выражающую эмоциональное состояние (удовольствие, гнев, печаль, страх, радость или удивление), вводимое из блока 34 обнаружения эмоций лица. Затем блок 60 распознавания эмоций оценивает окончательное эмоциональное состояние. Что касается речевой информации, то эмоциональное состояние (удовольствие, гнев, печаль, страх, радость или удивление), содержащееся в нем, можно оценивать посредством определения содержимого (5W3H) фразы в речи в соответствии с заданным правилом.

Информация, выражающая эмоциональное состояние, оцененное на основе голоса блоком 23 обнаружения эмоций голоса, информация, относящаяся к содержимому речи, распознанному блоком 26 распознавания фраз на основе голоса или знаков, введенных из клавиатуры 25, и информация, выражающая эмоциональное состояние, оцененная по выражению лица блоком 34 обнаружения эмоций лица, вводятся, соответственно, в базу 41 данных памяти эмоций и чувствительности и последовательно сохраняются в ней. Определяются время и дата сохранения соответствующих порций информации в базе 41 данных памяти эмоций и чувствительности и добавляются к информации.

Среди информации, вводимой в базу 41 данных памяти эмоций и чувствительности, информация, относящаяся к эмоции, которая вводится из блока 23 обнаружения эмоций голоса, информация, относящаяся к речевому содержимому, которая вводится из блока 26 распознавания фраз, и информация, относящаяся к эмоции, которая вводится из блока 34 обнаружения эмоций лица, необходимо воспринимать во взаимосвязи друг с другом.

В соответствии с этим, блок 43 синхронной обработки объединяет несколько типов информации, хранящейся в базе 41 данных памяти эмоций и чувствительности, друг с другом в соответствии со временем (временем ввода) и датой обнаружения этих порций информации. Например, информация, выражающая эмоциональные состояния, включая гнев, печаль и удовольствие, которые были оценены блоком 23 обнаружения эмоций голоса, и информация, относящаяся к содержимому речи (5W3H), соединяются друг с другом в соответствии с их моментами времени, как показано на фиг.6.

Для этого база 41 данных памяти эмоций и чувствительности содержит достаточную емкость хранения, обеспечивающую сохранение относительно большого количества информации. Однако, поскольку имеются ограничения на емкость хранения, то необходимо ограничивать количество информации, подлежащей сохранению в ней, с целью непрерывного использования этой системы в течение длительного времени.

Для этого предусмотрен блок 42 процесса забывания. Блок 42 процесса забывания автоматически стирает старую информацию из базы 41 данных памяти эмоций и чувствительности. Однако информация, отнесенная к специальному условию, не стирается, а сохраняется, даже если она становится старой.

Ниже приводится описание работы блока 42 процесса забывания со ссылками на фиг.5.

На стадии S11 процесса, показанного на фиг.5, все данные из большого количества данных, хранящихся в базе 41 данных памяти эмоций и чувствительности, увязываются с информацией, относящейся ко времени и дате, когда эти данные были сохранены (или обнаружены).

На стадии S12 определяют, прошел или нет заданный определенный период времени после сохранения соответствующих данных, на основе текущего времени и времени, согласно стадии S11. В случае обработки старых данных, которые хранились определенный период времени после момента их сохранения, процесс переходит на стадию S13 и далее. Относительно новые данные, которые еще не хранятся в течение определенного периода времени, продолжают хранить как они есть.

На стадии S13, когда данные являются информацией, выражающей эмоциональное состояние, исследуют величину изменения информации (различие эмоций до и после события). Поскольку процесс переходит со стадии S13 на стадию S17, когда величина изменения эмоции превосходит заданную пороговую величину, то данные сохраняются как они есть, даже когда данные являются старыми. Когда величина изменения эмоции равна или меньше пороговой величины, то процесс переходит со стадии S13 на стадию S14.

На стадии S14 обнаруживают рисунок эмоции, относящейся к данным, и определяют, совпадает или нет соответствующий рисунок с заданным специфическим шаблоном. В частности, исследуют, совпадают или нет несколько комбинаций эмоциональных состояний и содержимого речи со специфическим шаблоном, представляющим сильно выразительное состояние. Поскольку процесс переходит со стадии S14 на стадию S17, когда обнаруженный рисунок совпадает со специфическим шаблоном, то данные сохраняются как они есть, даже если данные являются старыми. Когда шаблоны не совпадают друг с другом, то процесс переходит со стадии S14 на стадию S15.

На стадии S15, когда данные являются содержимым речи, то определяют, совпадает или нет содержимое с заданным содержимым речи (очень выразительной речи). Даже если оба содержимых не совпадают друг с другом полностью, их можно рассматривать также как совпадающие, когда подобие между ними является большим. Поскольку процесс переходит со стадии S15 на стадию S17, когда содержимое речи соответствующих данных совпадает с заданным содержимым речи, то данные сохраняются как они есть, даже если данные являются старыми.

Когда оба содержимых не совпадают друг с другом на стадии S15, то соответствующие данные стирают на стадии S16.

Указанный выше процесс выполняют для всех данных в базе 41 данных памяти эмоций и чувствительности. Кроме того, процесс забывания, показанный на фиг.5, выполняют периодически повторно. Цикл выполнения процесса забывания можно произвольно изменять в зависимости от отдельной индивидуальности. Следует отметить, что процесс на стадиях S14 и S15 выполняют с опорой на предварительно подготовленную базу данных шаблонов (не изображена). Что касается этой базы данных шаблонов, то ее содержимое автоматически обновляется с помощью вводимой в нее информации обучения.

На фиг.5 процесс показан упрощенно. В действительности всесторонне определяют всю величину изменения эмоции, шаблона эмоции и содержимого речи. В частности, когда имеется информация, в которой величина изменения эмоции является большой, информация, в которой рисунок эмоции совпадает со специфическим шаблоном, и информация, в которой содержимое речи одинаково или подобно заданному содержимому речи, то всесторонне определяют их приоритеты. А именно, информация, в которой содержимое речи одинаково или подобно заданному содержимому речи, получает наивысший приоритет, информация, в которой рисунок эмоции совпадает со специфическим шаблоном, получает второй по высоте приоритет, а информация, в которой величина изменения эмоции является большой, получает самый низкий приоритет. В соответствии с этим, вероятность стирания в процессе забывания информации, в которой содержимое речи одинаково или подобно заданному содержимому речи, является нулевой, и она остается в памяти, даже если она становится старой.

Что касается старых данных в базе 41 данных памяти эмоций и чувствительности, то только данные, в которых изменение эмоции является большим, данные, имеющие рисунок, который рассматривается как сильно выразительный, данные, вводимые повторно несколько раз, и данные, в которых содержимое речи является сильно выразительным, добавляются с приоритетами в соответствии с их силой и содержимым и сохраняются как они есть посредством обработки в блоке 42 процесса забывания. Следовательно, старые данные в базе 41 данных памяти эмоций и чувствительности становятся неполными данными, имеющими только оставшуюся в ней часть. Такие данные имеют содержимое, аналогичное прошлой неопределенной памяти в памяти человека.

Прошлое эмоциональное состояние и прошлое содержимое речи, которые хранятся в базе 41 данных памяти эмоций и чувствительности, считываются для выполнения их анализа, что обеспечивает, например, возможность определения, работает ли система обнаружения эмоций нормально, и для обновления баз данных соответствующих блоков, используемых для оценки эмоции, с целью улучшения их содержимого.

Данные, хранящиеся в базе 41 данных памяти эмоций и чувствительности, дополнительно сортируются в соответствии с их содержимым, и сохраняются в базе 44 данных информации о человеческих качествах, базе 45 данных информации об индивидуальности или базе 46 данных информации о специальностях.

В базе 44 данных информации о человеческих качествах сохраняется информация, определяющая характер субъекта, такой как пол, возраст, агрессивность, совместимость и текущая эмоция, и информация, относящаяся к схеме принятия решений на выполнение действия. В базе 45 данных информации об индивидуальности хранится информация, такая как адрес человека, текущая ситуация, текущее окружение и содержимое речи (5W3H). В базе 46 данных специальной информации хранится информация, такая как профессия, карьера, профессиональная пригодность и схема принятия решений в профессиональной деятельности.

То, что выдается из базы 44 данных информации о человеческих качествах, базы 45 данных информации об индивидуальности и базы 46 данных специальной информации, является информацией моральной модели индивидуума. Чувствительность партнера можно постигать на основе информации моральной модели и прошлой эмоции партнера.

При реализации функции системы обнаружения эмоций, показанной на фиг.1, с помощью программного обеспечения компьютера, достаточно заранее записать программу, выполняемую компьютером, и необходимые данные на носитель записи, такой как, например, CD-ROM.

Следует отметить, что микрофон 11, показанный на фиг.1, можно заменить приемником или телефоном и что может быть предусмотрена мышь в качестве блока для ввода информации, такой как знаки.

Кроме того, телевизионную камеру 31, показанную на фиг.1, можно заменить любым другим блоком получения изображения, таким как оптическая камера, цифровая камера и камера на основе приборов с зарядовой связью.

Эмоции человека можно обнаруживать более точно, чем обычно, с использованием описанного выше способа обнаружения эмоций.

Второй вариант выполнения

Ниже приводится описание способа генерирования чувствительности, согласно данному изобретению, со ссылками на фиг.7-11.

На фиг.7 показана блок-схема системы, использующей генератор чувствительности. На фиг.8 показана блок-схема блока генерирования инстинктивной информации. На фиг.9 показана блок-схема блока генерирования эмоциональной информации. На фиг.10 схематично показана модель шаблона реакции в базе данных шаблонов эмоциональной реакции. На фиг.11 показана блок-схема блока распознавания чувствительности и мысли.

Система, показанная на фиг.7, выполнена исходя из предположения, что реализуется естественный и разумный диалог между произвольным человеком и компьютером (виртуальным человеком). В этом примере предусмотрена система 200 обнаружения эмоций для обнаружения эмоций человека, который является партнером компьютера, и предусмотрен генератор 100 чувствительности для отображения в диалоге индивидуальности и чувствительности самого компьютера.

Кроме того, предусмотрено устройство 300 ввода информации об окружении для ввода различной окружающей информации в генератор 100 чувствительности. Устройство 300 ввода окружающей информации выдает информацию, относящуюся, например, к дате, времени, погоде, местоположению и изображению.

Генератор 100 чувствительности можно использовать также для системы, работающей автономно. Например, когда в генератор 100 чувствительности вводится информация, относящаяся к созданному предварительно сценарию, то реакцию в соответствии со сценарием можно получать на выходе генератора 100 чувствительности. В этом случае нет необходимости в системе 200 обнаружения эмоций.

Хотя устройства, необходимые для реализации диалога, соединены в примере, показанном на фиг.7, с выходом генератора 100 чувствительности, данные чувствительности, выдаваемые генератором 100 чувствительности, можно использовать для различных целей.

Например, в случае использования генератора 100 чувствительности в обмене данными, нет необходимости в выдаче голоса, поскольку может быть достаточной выдача знаковой информации. Кроме того, данные чувствительности, выдаваемые генератором 100 чувствительности могут также отображаться на изображении, музыке, поиске информации и машинном управлении.

Ниже приводится описание работы генератора 100 чувствительности. Поскольку в данном варианте выполнения в качестве системы 200 обнаружения эмоций предполагается использование системы обнаружения эмоций, показанной на фиг.1, описание которой приведено выше, то ее описание повторно не приводится.

В действительности, система, показанная на фиг.7, может состоять из компьютерной системы и программного обеспечения, выполняемого в нем, или же может быть реализована в виде эксклюзивного аппаратного обеспечения. Кроме того, программное обеспечение и данные, подлежащие использованию, можно сохранять заранее в произвольном носителе записи, и считывать в компьютере с носителя записи для выполнения. Следует отметить, что в последующем описании сама система, показанная на фиг.7, называется компьютером.

Согласно грубому разделению, на вход генератора 100 чувствительности подаются два типа данных, т.е. данные D1 и данные D2. Данные D1 являются информацией, выражающей эмоцию партнера. Данные D2 являются знаковой информацией, подвергнутой обработке на естественном языке, и включают информацию, относящуюся к воле, ситуации и окружению партнера. За счет обработки на естественном языке, данные D2 вводятся в качестве информации, выражающей "5W3H", то есть "кто", "что", "когда", "где", "почему", "как", "как долго, как далеко, как велико и т.д." и "сколько".

В действительности можно использовать в качестве ввода в генератор 100 чувствительности различную информацию.

(A) Шаблоны изменения голоса, относящиеся к временным свойствам, которые включают напряженность, ритм, темп, паузы, музыкальность, музыкальный интервал, мелодию, гармонию, частоту и т.п.; и степень основных эмоций (гнев, удовольствие, печаль, отвращение, удивление, страх и т.п.).

(B) Информация, относящаяся к тональным свойствам речи, которые включают произношение, глубину, напряженность, яркость, грубость, тональную окраску (JIS-Z8109), форманту, интонацию, выпуклость для выделения определенной части речи для прояснения смысла и т.п.

(C) Распределение слов, сегментов содержимого, ударений во фразе, надсегментальная характеристическая информация, характеристическая информация, генерированная искусственным интеллектом, которые относятся к свойству ударения.

(D) Текстовая информация, подвергнутая диалоговому анализу, эпизодическая информация (включая смысловую информацию и информацию, распознаваемую искусственным интеллектом) и т.п.

В этих порциях информации, на информацию (А) и информацию (В) влияет интенция и эмоция говорящего. Эту эмоцию можно обнаруживать с помощью системы 200 обнаружения эмоций.

Как показано на фиг.7, генератор 100 чувствительности содержит блок 110 генерирования инстинктивной информации, базу 121 данных метрических шаблонов, словарь 122, задающий инстинктивный язык, блок 130 генерирования эмоциональной информации, базу 141 данных шаблонов эмоциональной реакции, базу 142 данных временного хранения, блок 150 распознавания чувствительности и мысли, базу 160 данных знания, базу 162 данных чувствительности, базу 163 данных индивидуальности и базу 164 данных морального риска.

Функцию генератора 100 чувствительности можно в основном разделить на три функциональных элемента блока 110 генерирования инстинктивной информации, блока 130 генерирования эмоциональной информации и блока 150 распознавания чувствительности и мысли. Сначала приводится описание блока 110 генерирования инстинктивной информации.

Как показано на фиг.8, блок 110 генерирования инстинктивной информации содержит блок 111 распознавания согласования метрических шаблонов, блок 112 генерирования инстинктивных параметров и блок 113 поиска в словаре.

Словарь метрических шаблонов, введенных в компьютер (виртуального человека), заранее сохраняется в базе 121 данных метрических шаблонов, на которую опирается блок 11 распознавания согласования метрических шаблонов. Метр является ритмическим элементом речи и представляет фонетические и фонологические характеристики, возникающие для слога, слова, фразы, предложения и всей речи (непрерывного голоса длиннее слова). В частности, информация о шаблонах самого компьютера, которая является эквивалентной введенной информации (А) и (В), сохраняется в качестве информации индивидуальности в базе 121 данных метрических шаблонов.

Блок 111 распознавания согласования метрических шаблонов сравнивает данные D1 анализа эмоций партнера, введенные из системы 200 обнаружения эмоций, с метрическим шаблоном, хранящимся в базе 121 данных метрических шаблонов, и распознает степень синхронизации и согласования обоих. Информация, выражающая наличие сильного тона и эмоционального изменения появляется на выходе блока 111 распознавания согласования метрических шаблонов.

Одновременно, информация, относящаяся к стимулированию инстинкта, заранее регистрируется в словаре 122, задающем инстинктивный язык. А именно, различная информация, выражающая шаблоны расположения ударений и надсегментальных характеристик в слове или фразе, которые относятся к свойствам ударения, сохраняются в виде словаря в связи со стимулированием инстинкта.

Блок 113 поиска в словаре сравнивает данные D2, введенные в виде знаковой информации (воли и ситуации партнера), с содержимым словаря 122, задающим инстинктивный язык, и генерирует информацию инстинктивной реакции из содержимого диалога.

Блок 112 генерирования инстинктивных параметров генерирует информацию D4 инстинктивной мотивации на основе информации, введенной из блока 111 распознавания согласования метрических шаблонов, информации, введенной из блока 113 поиска в библиотеке и данных D3. Данные D3 являются информацией, подаваемой обратно с выхода генератора 100 чувствительности, и имеет шаблоны эпизода и желаемой реакции, предлагаемые компьютером.

В этом примере информация D4 инстинктивной мотивации включает шесть инстинктивных параметров: степень уверенности (или степень недоумения); степень удовольствия (или степень неудовольствия); степень опасности (или степень безопасности); степень внимания (или степень отвергания); степень достижения (или степень изменения); и степень следования (или степень самоуверенности). Блок 112 генерирования инстинктивных параметров определяет величины соответствующих инстинктивных параметров следующим образом.

Степень удовольствия (степень неудовольствия): когда компьютер подходит близко к предложенному содержимому или к желаемому эпизоду ситуации, то степень удовольствия повышается, в противном случае степень понижается. Кроме того, когда компьютер подходит близко к метру, заданному как представляющий удовольствие, то степень удовольствия повышается, а в противном случае понижается.

Степень опасности (степень безопасности): когда компьютер подходит близко в содержимому, рассматриваемому ранее как опасному, а эпизод ситуации предполагается быть опасным, то степень опасности повышается, а в противном случае понижается. Кроме того, когда компьютер приближается к мере, заданной заранее как опасная, то степень опасности повышается, а в противном случае понижается.

Степень достижения (степень изменения): когда компьютер приближается к содержимому, определенному заранее как успешное/достигнутое, а эпизод ситуации предполагается ранее как успешный/достигнутый, то степень достижения повышается, а в противном случае понижается. Кроме того, когда компьютер приближается к специфической мере, рассматриваемой в качестве радикально модулированной, то степень изменения повышается, а в противном случае понижается.

Степень внимания (степень отвергания): когда компьютер приближается к содержимому, которое ранее рассматривалось как отвергаемое/отрицаемое, и эпизод ситуации предполагался ранее отвергаемым/отрицаемым, то степень отвергания повышается, а в противном случае понижается. Кроме того, когда компьютер обнаруживает сильное или повторяемое утверждение, или когда приближается к сильной мере, то степень внимания повышается. Когда компьютер приближается к мере, определенной как неприятной, то степень отвергания повышается.

Степень следования (степень самоуверенности): когда компьютер приближается к содержимому, заранее определенному как самопренебрежение/самоотрицание, и эпизод ситуации предполагается как самопренебрежение/самоотрицание, то степень следования повышается (степень самоуверенности понижается). Когда возникает содержимое, ранее определяемое как хорошее, то степень самоуверенности возрастает (степень следования понижается). Кроме того, когда появляется мера, определенная заранее как неуверенная, то степень самоуверенности возрастает. Следует отметить, что когда компьютер приближается к сильной мере, то степень отвращения или степень самоотрицания может иногда повышаться.

Степень уверенности (степень недоумения): когда компьютер приближается к запутанному содержимому и предполагаемый эпизод ситуации в случае, когда степень распознавания различных стимулов (вводов), относящихся к инстинкту, является низкой (например, 70% или менее), то степень удивления проявляется обратно пропорционально степени распознавания. Степень распознавания определяется тоном голоса и содержимым диалога.

Для реализации указанного выше управления, содержимое, желаемое компьютером, и мера эпизода ситуации определяются заранее в качестве индивидуальностей. Как указывалось выше, информация об эмоциях партнера стимулирует индивидуальный инстинкт компьютера, и тем самым изменяются величины соответствующих инстинктивных параметров.

Информация D4 инстинктивной мотивации, выдаваемая из блока 110 генерирования инстинктивной информации, подается в блок 130 генерирования эмоциональной информации. Ниже приводится описание блока 130 генерирования эмоциональной информации.

Как показано на фиг.9, блок 130 генерирования эмоциональной информации содержит блок 134 поиска шаблонов реакции, блок 135 процесса обучения, блок 136 многомерного анализа, блок 137 управления произвольными эмоциями и блок 133 генерирования основных эмоциональных параметров.

Блок 134 поиска шаблонов реакции, блок 135 процесса обучения и база 141 данных шаблонов эмоциональных реакций составляет ответную систему 131. Блок 136 многомерного анализа и блок 137 управления произвольными эмоциями составляют действующую систему 132.

Ответная система 131 предусмотрена с целью генерирования эмоции, вызванной стимулирующей индукцией. Действующая система 132 предусмотрена с целью генерирования произвольной эмоции (либидо).

Информация, относящаяся к модели шаблонов реакции, представляющей взаимосвязь между информацией D4 инстинктивной мотивации и основным эмоциональным параметром, предварительно сохраняется в базе 141 данных шаблонов эмоциональной реакции для использования в ответной системе 131. Модель шаблона реакции может быть изображена, например, как показано на фиг.10.

В случае селективного воспроизведения индивидуальностей множества людей с помощью одного компьютера, модели шаблонов реакции, из которых каждая соответствует множеству людей или каждому типу индивидуальности, регистрируются заранее в базе 141 данных шаблонов эмоциональной реакции, и модель шаблонов реакции можно выбирать в соответствии с индивидуальностью выбранного человека.

В этом примере предполагается, что в качестве информации D4 инстинктивной мотивации вводятся указанные выше шесть инстинктивных параметров, которые являются: степень уверенности (или степень недоумения); степень удовольствия (или степень неудовольствия); степень опасности (или степень безопасности); степень внимания (или степень отвергания); степень достижения (или степень изменения); и степень следования (или степень самоуверенности).

Основными эмоциональными параметрами, выдаваемыми из блока 130 генерирования эмоциональной информации, являются следующие пятнадцать типов параметров. Понятия в скобках обозначают инстинктивные параметры, обуславливаемые основными эмоциональными параметрами.

1. Гнев (неудовольствие)

2. Радость/веселость (удовольствие)

3. Печаль (недостижение/застой/неудовольствие)

4. Удивление (достижение/воздействие)

5. Страх (опасность/напряженность)

6. Страдание (опасность/напряженность/неудовольствие)

7. Отвращение (неприятие/отказ/неудовольствие)

8. Презрение (неприятие/бессилие)

9. Приближение (удовольствие/безопасность)

10. Спасение/уход (опасность/напряжение/неудовольствие)

11. Ревность (неудовольствие/гнев/зависть/внимание)

12. Положительность (безопасность/удовольствие/определенность)

13. Зависимость (достижение/следование)

14. Раздражение/конфликт (отвергание/застой/неудовольствие/опасность)

15. Беспокойство (опасность/напряжение/удивление/неудовольствие)

Шаблоны реакции, представляющие взаимосвязь с одним или несколькими основными эмоциональными параметрами, сохраняются для каждого из пятнадцати типов основных эмоциональных параметров в базе 141 данных шаблонов эмоциональной реакции.

Блок 134 поиска шаблонов реакции выполняет поиск шаблонов реакции основных эмоциональных параметров в базе 141 данных шаблонов эмоциональной реакции, исследует согласование/несогласование их с введенной информацией D4 инстинктивной мотивации и выдает информацию согласованных основных эмоциональных параметров в виде данных D6.

Блок 135 процесса обучения учитывает вероятность согласования шаблонов на основе информации D3, выдаваемой блоком 150 распознавания чувствительности и мысли, и следующей реактивной эмоции, выдаваемой блоком 134 поиска эмоциональной реакции, и изменяет содержимое базы 141 данных шаблонов эмоциональной реакции в соответствии с результатом обучения.

В это же время информация окружения (D2), включающая, например, информацию о погоде, информацию о времени года, информацию о времени и т.п., подается на вход действующей системы 132. Блок 136 многомерного анализа выполняет многомерный анализ различной введенной информации окружения (D2) и, соответственно, выдает информацию жизненного ритма.

В информации жизненного ритма имеются регулярные (в виде синусоиды) ритмы, имеющие постоянные циклы, такие как кратковременные ритмы (например, цикл длительностью 1 час), жизненный ритм (например, 24-часовой ритм), эмоциональный долговременный ритм (например, 28-дневный ритм), долговременный телесный ритм (например, 23-дневный ритм) и интеллектуальный ритм (например, 33-дневный ритм), а также имеются нерегулярные ритмы, такие как ритмы температуры, влажности и погоды.

Блок 137 управления произвольными эмоциями выдает произвольные эмоции (либидо) среди информации жизненного ритма, выдаваемого блоком 136 многомерного анализа, в соответствии с вероятностью в заданном диапазоне.

Блок 133 генерирования основных эмоциональных параметров выдает результат, полученный посредством всесторонней оценки информации, относящейся к основному эмоциональному параметру и к степени согласования, которые выдаются из ответной системы 131, и произвольной эмоции, выданной из ответной системы 132, в качестве информации D5 собственной эмоции. В этом случае, результатом является информация, составленная из пятнадцати типов основных эмоциональных параметров.

Кроме того, выданная информация D5 собственной эмоции временно сохраняется в базе 142 данных временного хранения и подается обратно на вход блока 133 генерирования основных эмоциональных параметров. Блок 133 генерирования основных эмоциональных параметров принимает информацию обратной связи из базы 142 данных временного хранения в качестве собственной эмоции непосредственно перед этим и отражает ее на результате определения эмоции в следующий раз.

Когда блок 133 генерирования основных эмоциональных параметров выполняет всестороннее определение, то он принимает решение о приоритетах и степенях влияния соответствующих блоков в соответствии с индивидуальностью, определенной в виде информации 143 индивидуальности.

Например, в случае воспроизведения эмоции импульсного типа, степень влияния ответной системы 131 увеличивается (80% или более), а также увеличивается влияние собственной эмоции непосредственно перед этим. В случае воспроизведения эмоции обдуманного типа, степень влияния ответной системы 131 уменьшается (30% или менее), а также уменьшается влияние собственной эмоции непосредственно перед этим в условиях, когда выход действующей системы 132 является стабильным.

Информация D5 собственной эмоции, выданная из блока 130 генерирования эмоциональной информации, подается на вход блока 150 распознавания чувствительности и мысли. Как показано на фиг.11, блок 130 генерирования эмоциональной информации включает блок 151 процесса присвоения весовых коэффициентов, блок 152 процесса сортировки, блок 153 многомерного анализа, блок 154 принятия всесторонних интуитивных решений и блок 156 процесса обновления.

Блок 151 процесса присвоения весовых коэффициентов присваивает весовой коэффициент вводимой информации D5 собственной эмоции в соответствии с информацией 155 об индивидуальности. Информация собственной эмоции с присвоенным весовым коэффициентом выдается из блока 151 процесса присвоения весовых коэффициентов.

В это же время знаковая информация (5W3H), включающая эпизод, представляющий окружение и ситуацию, в которой находится партнер, и волю партнера и ее результат, подается в виде данных D2 на вход блока 152 процесса сортировки.

Прошлый эпизод и его результат и смысловая информация, выражающая их значение, сохраняются в качестве знания в виде знаковой информации (5W3H) в базе 161 данных знания, на которую опирается блок 152 процесса сортировки. Кроме того, порции знания в базе 161 данных знания включают информацию о времени, когда были получены соответствующие данные, и они располагаются в соответствии с последовательностью во времени.

В этом примере порции знания в базе 161 данных знания можно классифицировать как долговременную память, декларативную память и процедурную память. Декларативная память является памятью, сохраняемой словами, и представляет информацию эпизодов как события в специфическом временном/пространственном контексте и смысловую информацию в качестве общего знания. Процедурная память представляет память, относящуюся к методу и технологии.

Эпизодическая информация включает время, место, содержимое, волю (согласие, несогласие, предпочтение и т.п.), человека, количество, вес, ситуацию, состояние, личную информацию партнера, эмоциональность, намерение (объект), отношение, личные отношения и т.п. Смысловая информация эквивалентна языковому словарю и словарю чувствительности. В качестве личной информации рассматривается темперамент, характер, эмоциональность, социальная адаптируемость (общительность), желания, конфликтность, отношение, превосходство, комплексы, интересы, приличность, моральность, способ мышления, эмоциональные особенности, настойчивость (и ее степень), запретное слово, вкус, критерий добра/зла и т.п.

В данном примере информация знания хранится в базе 161 данных знания в соответствии с грамматическими правилами, как будет описано ниже. Однако содержимое, составляющее базу данных, изменяется в соответствии с объектом.

Рассказ = сцена + сюжет + решение

Сцена = характер + место + время

Тема = (событие) + цель

Сюжет = эпизод

Эпизод = подцель + попытка + результат

Попытка = событие + эпизод

Результат = событие + состояние

Решение = событие + состояние

Подцель, цель = желаемое состояние

Характер, место, время = состояние

Кроме того, новая информация последовательно добавляется в базу 161 данных знания за счет работы блока 156 процесса обновления. Кроме того, невостребованная информация автоматически стирается из знания с помощью повторно выполняемого процесса забывания. А именно, данные последовательно стираются по мере их старения, за исключением данных, имеющих высокие приоритеты. Например, приоритет присваивается знанию, повторно используемому, и данным, признанным имеющими сильную выразительность, и даже при их старении они не стираются. Степень забывания и приоритеты соответствующих данных могут изменяться в соответствии с индивидуальностью.

Блок 152 процесса сортировки осуществляет поиск и извлекает из базы 161 данных знания прошлый эпизод и его результат, которые близки введенным данным D2, на основе введенных данных D2. Затем блок 152 процесса сортировки сортирует введенные данные с извлеченным знанием.

Система 157 процесса обучения генерирует информацию, относящуюся к собственной концепции ценностей для введенного эпизода на основе результата обучения. А именно, система 157 процесса обучения присваивает степени удовлетворения, удовольствия и неудовольствия из результата введенного эпизода.

Блок 153 многомерного анализа выполняет многомерный анализ: эмоциональной информации с присвоенными весовыми коэффициентами, введенной из блока 151 процесса присвоения весовых коэффициентов; информации эпизода и информации результата, которые обе вводятся из блока 152 процесса сортировки; информации, относящейся к собственной концепции ценностей, которая вводится из системы 157 процесса обучения; и информации, относящейся к собственным воле и инстинкту, которая вводится из базы 163 данных индивидуальности. Затем блок 153 многомерного анализа выдает результат анализа в блок 154 принятия всесторонних интуитивных решений.

Блок 154 принятия всесторонних интуитивных решений использует содержимое базы 163 данных индивидуальности и базы 164 данных морального риска в качестве словаря определений, всесторонне определяет информацию, введенную из блока 153 многомерного анализа, и выдает то, что должно выполняться произвольно, и результат этого в виде данных D3.

В базе 163 данных индивидуальности хранится различная информация, описание которой приводится ниже.

1. Информация индивидуальности

(a) Критерии определения в соответствии со степенью для каждого типа индивидуальности: при этом к таким типам относятся стереотип, по-другому ориентированный тип, внутренне ориентированный тип, традиционно ориентированный тип, агрессивно ориентированный тип, ориентированный на взаимодействие тип, подавляющий стресс тип, снимающий стресс тип и т.п. В качестве критериев определения можно использовать также степень мотивации достижения цели и степень противодействия.

(b) Критерии определения стилей познавания: стили познавания задаются в качестве критериев определения за счет различения между "размышляющим типом" и "импульсивным типом" и различения между "зависящим от окружения типом" и "независимым от окружения типом".

(c) Критерии определения характера: для японцев используют в качестве критериев определения следующие характеристики, классифицированные с помощью метода тестирования личности и TPI (Перечень личностных характеристик Todai). При этом к классифицированным характеристикам относятся: темперамент, характер, эмоциональность, социальная адаптируемость (общительность), желания, конфликтность, отношение, превосходство, комплексы, интересы, приличность, моральность, способ мышления, эмоциональные особенности, настойчивость (и ее степень), запретное слово, вкус, критерий добра/зла и т.п.

(d) Критерии определения отрицания/предубеждения: предубеждение присваивается негативной информации с целью усвоения этой негативной информации в целом, которая затем используется для формирования характера.

(e) Критерии определения времени верности/настойчивости: определяется степень настойчивости для познавательной информации партнера, информации эпизода и эмоциональной информации и время соответствующей реакции.

2. Опорная информация индивидуальности/бессознательной реакции:

(a) Словарь слов и словарь утверждений, каждый из которых имеет содержимое, которое стимулирует инстинкты.

(b) Соотнесение различного времени инстинктивной реакции со степенью настойчивости, степенью верности и степенью прямоты для каждой индивидуальности.

(c) Шаблон собственного инстинкта, соответствующий эмоции партнера, признаваемого в качестве индивидуальности.

3. Опорная информация гомеостазиса (сдерживания): критерии определения для попытки удерживания в гармонии все проявления инстинкта, которые должны быть стабильными.

4. Опорное время самосознательной реакции: информация критериев определения, представляющая собственную волю индивидуальности.

Кроме того, в словарь определений включается: информация, используемая для определения распознавания и определения идентификации, такая как истинно/фальшиво, правильно/неправильно и адекватно/неадекватно; информация, используемая для инстинктивной решительности, такая как удовольствие/ неудовольствие; информация, используемая для определения индивидуальной познаваемости для субъекта, такая как сложность, вес и т.п.; информация, используемая для определения относительной познаваемости среди субъектов, такая как равенство, размер, различие и подобие; информация, используемая для определения метапамяти, такая как степень уверенности для памяти и точность знания; информация, используемая для абстрактных определений, такая как верность, добродетель, любовь и т.п.; информация, используемая для индуктивного определения; и т.п.

Словарная информация, относящаяся к профессиональной морали, индивидуальной морали, общей морали и т.п., хранится в базе 164 данных морального риска.

Например, в качестве профессиональной морали регистрируется "Как архитектор, я настаиваю на полной калькуляции", "Я придаю своему делу наивысший приоритет", "Я горжусь, что я профессионал" и т.п. Кроме того, в качестве индивидуальной морали регистрируются "Я ценю женщин (я не помыкаю людьми)", "Я горжусь своим родным городом", "Я горжусь, что я японец" и т.п. В качестве общей морали регистрируется "Убивать людей плохо", "Я забочусь о своих родителях", "Я мужчина (женщина)" и т.п.

Блок 154 принятия всесторонних интуитивных решений анализирует информацию, относящуюся к собственной эмоции, которая генерируется блоком 151 процесса присвоения весовых коэффициентов, блоком 152 процесса сортировки и блоком 153 многомерного анализа. Затем блок 154 принятия всесторонних интуитивных решений запрещает анализированную информацию, относящуюся к собственной эмоции, на основе словаря определений в базе 163 данных индивидуальности, которая представляет индивидуальность и волю этого компьютера, а также на основе словаря определений в базе 164 данных морального риска. Затем блок 154 принятия всесторонних интуитивных решений последовательно решает, куда, какого рода и сколько собственной эмоциональной реакции (чувствительности) следует выдавать. В случае такого решения отображается окружение и ситуация, в которой находится партнер, и воля партнера в данное время.

Ниже приводится описание функций блока 150 распознавания чувствительности и мысли.

1. В случае обнаружения сильного выражения или словарного состава или радикального изменения эмоции, цикл определения изменяется в соответствии с индивидуальностью. Например, если сильное содержимое внезапно формулируется громким голосом, то цикл определения сокращается.

2. В ответ на собственный биоритм, зависящий от индивидуальности, определение чувствительности выполняется по-другому, в зависимости от того, имеется или нет желание делать что-то.

3. В соответствии с собственным удовольствием/ неудовольствием и величиной эмоции выполняется определение чувствительности по-другому.

4. Для информации, выражающей настоящую ситуацию, выполняется оценка разумной величины в соответствии со знанием в базе 161 данных знания, отображается влияние результата оценки эмоции, и таким образом выносится окончательное решение о воле.

5. Когда выполняется оценка величины, то оценка выполняется с соответствующей точки зрения социальной ценности, профессиональной ценности, ценности для повседневной жизни, индивидуальной ценности и т.п. Кроме того, социальная ценность, профессиональная ценность, ценность для повседневной жизни, индивидуальная ценность характеризуется каждая более подробно и выполняется оценка. Например, что касается социальной ценности, то ценности вычисляются с соответствующей точки зрения религии, эстетики, общества, политики, экономики и этики.

6. Оценка величин выполняется для соответствующих факторов, таких как удовлетворение/разочарование, потеря и приобретение интереса, защищенности/опасности и т.п., в качестве материала для оценки для волевого решения. Когда выполняется, например, оценка величины в отношении защищенности, то оценка выполняется следующим образом.

(a) Когда третье лицо должно применять "неудовольствие" к себе, то генерируются величины в отношении враждебной эмоции и защитной реакции.

(b) Когда самому необходимо применять неудовольствие к третьему лицу, то генерируются величины в отношении враждебной эмоции и агрессивной реакции.

(c) Когда самому необходимо принимать сторону третьего лица, когда кто-то другой должен выражать неудовольствие третьим лицом, то генерируются величины, относящиеся к благожелательной эмоции и совместной агрессивной реакции.

7. Информация о генерированной величине сохраняется в базе 162 данных чувствительности и используется после этого в качестве материалов для оценки.

Следует отметить, что блок 150 распознавания чувствительности и мысли включает различные функции обучения, подобные функциям человека, содержимое базы 163 данных индивидуальности и базы 162 данных чувствительности последовательно обновляются по мере накопления опыта.

Поскольку блок 150 распознавания чувствительности и мысли выдает результаты после всестороннего определения, основанного на множестве величин, таких как различные величины, то он не выполняет логическое умозаключение или определение, как это делает искусственный интеллект. В частности, данные D3, выдаваемые из блока 150 распознавания чувствительности и мысли, являются информацией чувствительности, полученные в результате интуитивного определения самого компьютера.

Как указывалось выше, в способе генерирования чувствительности, согласно данному изобретению, информация инстинктивной мотивации, служащей в качестве мотивации для генерирования эмоции, генерируется на основе введенной информации о ситуации (эмоции партнера, периферийной ситуации и т.п.), а эмоциональная информация генерируется на основе информации инстинктивной мотивации. Кроме того, генерированная эмоциональная информация контролируется в соответствии с информацией индивидуальности.

Поэтому можно выдавать эмоцию, управляемую разумом и волей индивидуума, т.е. информацию чувствительности. Кроме того, поскольку эмоциональная информация генерируется через информацию инстинктивной мотивации, то генерированной эмоцией можно управлять более точно и просто.

Способ генерирования эмоций, согласно данному изобретению, можно использовать для обнаружения эмоций в медицинской области, а также можно использовать в различных системах в качестве части искусственного интеллекта или искусственной чувствительности. Кроме того, для управления чувствительностью виртуального человека или робота можно использовать способ генерирования чувствительности, согласно данному изобретению, в различных системах для различных целей. Кроме того, посредством комбинирования способа обнаружения эмоций и способа генерирования чувствительности, согласно данному изобретению, можно выполнять различные системы, каждая из которых включает функцию диалога между компьютером и человеком.

Изобретение не ограничивается приведенными выше вариантами выполнения и возможны различные модификации без отхода от идеи и объема изобретения. Можно выполнять улучшение части или всех составляющих.