звуковизуальное представление с надписями на нем, способ связывания выразительных устных произнесений с записями по порядку на звуковизуальном представлении и устройство, предназначенное для линейного и интерактивного представления

Формула изобретения

1. Способ ознакомления членов группы населения с группой записанных слов из языка, на котором говорят на данной территории, включающий создание множества аудиовизуальных представлений, каждое из которых включает в себя множество изобразительных сегментов, содержащих ряд произнесений, осуществляемых человеком или другими произносящими, в каждом сегменте; наложение на такие сегменты записанных слов, образующих надписи, соответствующие таким произнесениям, по одному за один раз, чтобы связывались каждое произнесение и каждое записанное слово; обеспечение, по меньшей мере, одного сегмента в упомянутых представлениях для каждого слова в группе написанных слов и вещание и иное введение таких представлений на территорию до такой степени и в течение такого периода времени, чтобы ознакомить данную группу населения с такими записанными словами указанного языка.

2. Способ по п. 1, отличающийся тем, что созданные сегменты аудиовизуальных представлений включают изобразительные сцены с естественными ситуациями общения.

3. Способ по п. 1, отличающийся тем, что произносящий имеет уши, причем надписи появляются в плоскости, проходящей по существу перпендикулярно линии, идущей через уши произносящего.

4. Способ по п. 1, отличающийся тем, что произносящие, сделавшие произнесения, имеют головы, причем каждая надпись находится в близкой связи с головой произносящего.

5. Способ по п. 1, отличающийся тем, что аудиовизуальные представления имеют развлекательное содержание.

6. Способ по п. 1, отличающийся тем, что аудиовизуальные представления имеют поучительное содержание.

7. Способ по п. 1, отличающийся тем, что в любой данный момент времени для зрителя появляется только одна надпись.

8. Способ обучения изучающих, включающий создание одного аудиовизуального представления или больше, включающих в себя естественные ситуации общения, причем каждое из таких представлений включает в себя представление во время таких ситуаций множества произнесений одновременно с соответственными надписями, каждое аудиовизуальное представление включает в себя область, на которую естественным образом направляется внимание изучающего, и эта область включает в себя (i) первый участок, из которого либо появляются исходящие произнесения, либо к которому обращен взор изучаемого с помощью установления смысла высказываний, и (ii) второй участок, отображающий упомянутые надписи одновременно с каждым произнесением, так что в уме изучающего возникает связь между произнесением слова и соответственной надписью; создание таких представлений доступными для изучающего и обеспечение такому изучающему возможности выбора расположений для наблюдения и прослушивания на протяжении времени до тех пор, пока каждое из множества произнесений будет слышно изучающим вместе с видением соответственных им написаний достаточное количество раз для того, чтобы помочь выучить эти некоторые произнесения, соответствующие таким определенным надписям.

9. Способ по п. 8, отличающийся тем, что первый и второй участки частично совпадают.

10. Способ размещения серии надписей на изображениях, кадрах или сегментах аудиовизуального представления, и на этих изображениях, кадрах или других сегментах имеется человек или неодушевленный произносящий в то время, когда осуществляется произнесение, включающий: выбор управляемого оператором блока оборудования, включающего в себя средство видеотекста; отображение таким средством видеотекста множества слов, причем каждое слово имеет различные размеры, формы и ориентации для поиска; расположение каждой из серии изображений для наблюдения оператором блока; приведение в действие средства видеотекста с целью выбора отображаемых слов и перенесение выбранных слов на выбранное изображение, кадр или сегмент для их постоянного размещения на нем, так что слово появляется на сегменте в локальной и временной связи с произнесением слова.

11. Способ по п. 10, отличающийся тем, что слова помещают рядом с головой произносящего.

12. Основанная на компьютере система обработки данных, предназначенная для эстетического введения надписей на множество изобразительных сегментов, включающих произнесения, содержащая средство процессора компьютера, предназначенное для обработки данных, средство памяти, предназначенное для запоминания данных, средство, предназначенное для нанесения на данные, соответствующие множеству изобразительных сегментов, включающих в себя произнесения в каждом сегменте данных, соответствующих написанным словам, по одному одновременно, соответствующим таким произнесениям, таким образом, что связываются каждое произнесение и каждое написанное слово.

13. Система по п. 12, отличающаяся тем, что упомянутое средство, предназначенное для нанесения на данные, содержит: средство, предназначенное для введения первого аналогового видеосигнала; средство, предназначенное для преобразования аналогового видеосигнала в цифровые данные видеосигнала; средство, предназначенное для одновременного отображения одного кадра цифровых данных видеосигнала; средство, предназначенное для введения пользователем данных о слове и данных о квадранте; средство, предназначенное для объединения данных о слове в соответствии с данными о квадранте и другими определяемыми заранее критериями, в цифровых данных видеосигнала; средство, предназначенное для преобразования цифровых данных видеосигнала во второй аналоговый видеосигнал; средство, предназначенное для вывода второго аналогового видеосигнала.

14. Система по п. 12, отличающаяся тем, что средство, предназначенное для ввода пользователем данных о слове и данных о квадранте, содержит средство, предназначенное для обеспечения возможности пользователю выбирать квадрант; средство, предназначенное для обеспечения возможности пользователю чертить линию источника; средство, предназначенное для вычисления угла для линии источника; средство, предназначенное для обеспечения возможности пользователю вводить данные о словах, и средство, предназначенное для автоматического разнесения слова вдоль линии источника.

15. Основанная на компьютере система, предназначенная для обеспечения возможности пользователю производить действие в интерактивном режиме аудиовизуального представления с эстетически введенными субтитрами, содержащая средство, предназначенное для отображения аудиовизуального представления; средство, предназначенное для остановки отображения аудиовизуального представления; средство, предназначенное для обеспечения возможности пользователю определять слово; средство, предназначенное для обработки дополнительных данных относительно слова, определяемого пользователем.

16. Система по п. 15, отличающаяся тем, что средство, предназначенное для обеспечения возможности пользователю определять слово, позволяет пользователю определять слово, которое отображено, когда остановлено отображение аудиовизуального представления.

17. Система по п. 15, отличающаяся тем, что средство, предназначенное для обработки дополнительных данных относительно слова, содержит средство, предназначенное для хранения стандартных данных, отражающих надлежащее произношение для множества слов; средство, предназначенное для ввода пользователем речевых данных, соответствующих произношению слова пользователем; средство, предназначенное для сравнения речевых данных со стандартными данными слова и средство, чувствительное к средству, предназначенному для сравнения речевых данных, предназначенное для индикации пользователю, правильным ли было произношение слова у пользователя или нет.

Описание изобретения к патенту

Предпосылки изобретения

Прежние звуковизуальные представления включали в себя расположение субтитров (патент США 3199115 и патент США 5097349) или легенд (подписей) типа овалов, в которые заключены слова (патент США 1240774 и патент США 2524276), предназначенных для того, чтобы помогать языковой интерпретации устных частей представления.

Хотя субтитры в прототипе время от времени совпадали с произнесением одного слова на другом языке, такое происходит случайно, нечасто и без управляемого шаблона для выполнения специфической связи последовательных звуков с последовательностью записей. Кроме того, местоположение для слов субтитров исключалось из иллюстрированного действия.

Посредством известных кодирующих карт, каждая из которых отображает слово, пытались обучать чтению путем повторного принуждаемого и неестественного упражнения. Хотя в конечном счете достигается некоторый эффект, использование таких карт требует более длительных периодов обучения и личного присутствия грамотного наставника, будь то мать или школьный учитель. Кроме того, такие карты не обеспечивают прочности связи, которую представляет настоящее изобретение благодаря обеспечению ссылок на повествовательном звуковизуальном носителе, который привлекается для изучающего за пределами предмета его обучения.

Патент США 5241671 раскрывает наличие на экране компьютера текста какой-либо статьи с некоторыми подчеркнутыми, а некоторыми не подчеркнутыми словами. Когда пользователь выбирает слово из текста, его определение появляется в окне на экране и происходит звуковое произнесение слова. Может происходить также отображение иллюстрации речевого звука на экране.

Представления с субтитрами по требованию обеспечивают площадки, где отображаются группировки слов. Системы субтитров по требованию отображают группы слов вдоль основания экрана или в других местоположениях, удаленных от говорящих или действующих лиц. Слова субтитров по требованию появляются рядом, ниже или выше видимого изобразительного кадра с отличающимся фоном, и этот фон обычно белый. Для обеспечения помощи глухим на отдельных примыкающих площадках показывают также отображение символов языка знаков со звуковизуальными представлениями. Эти приемы отображения на площадках, ограниченных прямоугольными рамками, могут оказаться навязчивыми для зрителей.

По телевидению передают методические звуковизуальные представления, которые включают в себя инструкторов, обращенных лицом к телевизионной камере и произносящих слова с отображением соответствующих написанных слов перед говорящим в момент их произнесения. Зрители-слушатели устают от таких методических форм и, в частности, более молодые зрители-слушатели теряют интерес к представляемому таким образом предмету.

Краткое изложение сущности изобретения

Коротко говоря, настоящее изобретение содержит в себе звуковизуальное представление и способ его создания, который использует естественное размещение обычно видимых действий с их обычной и общей серией кадров или фрагментов изображения, представляемых наряду с речью и другими устными выражениями, и эти представления имеют, кроме того, серию записей на них, связанных или соответствующих серии произнесений в той последовательности, в которой слышит их зритель-слушатель. Мы называем это "эстетическим" (хорошо расположенным) введением субтитров. Произносимое слово и написанное слово в этом случае соответствуют друг другу, если они представляют одно и то же слово. Произносимое слово на одном языке с написанным словом, имеющим то же значение на другом языке, являются связанными словами в этом контексте.

В соответствии с некоторыми вариантами осуществления настоящего изобретения отличительной особенностью является то, что каждая надпись появляется рядом, на или совместно с головой произносящего, так что зритель-слушатель может одновременно наблюдать написанное слово, произнесенное слово и сопровождающие выражения лица, губ и движения головы, и так, что благодаря близости ко рту и расположению на одной прямой с ним, создается впечатление, что слово появляется изо рта. В соответствии с другими вариантами осуществления изобретения каждая надпись появляется около, на или совместно с рукой или руками человека, использующего язык знаков. В соответствии с еще одним вариантом осуществления изобретения на отдельном устройстве "отображается" запись шрифтом Брайля совместно с произносимыми словами говорящего.

Настоящее изобретение используют с неметодическими звуковизуальными представлениями, обычно создаваемыми для развлекательных, информационных или других целей, и эти звуковизуальные представления не имеют образовательных целей. Его можно использовать с такими материалами либо в качестве элемента новой продукции, либо в качестве модификации ранее созданных звуковизуальных представлений. Кроме того, настоящее изобретение можно использовать для вновь созданных материалов, имеющих назначение обучения грамоте, и которые предназначены для применения настоящего изобретения; такие вновь созданные предназначенные для обучения грамоте материалы, воплощающие настоящее изобретение, обеспечат возможность получения менее скучных и менее пугающих обучающихся, чем настоящие предназначенные для обучения, звуковизуальные материалы.

Характерной особенностью является то, что соответствующее изобретению звуковизуальное представление можно представить линейно или объединенно посредством программирования и использования платформы охватывающих несколько средств массовой информации ЭВМ для создания представления, которое сможет приводить в действие интерактивно зритель/слушатель, с целью обеспечения дополнительных инструкций.

Еще одной характерной особенностью настоящего способа является то, что он полезен при общественном мероприятии, при котором создают достаточное количество представлений, размещение слов на звуковизуальных представлениях, как раскрыто здесь, используя базисные слова на языке и повторяющимся образом передавая или как-то иначе представляя такие слова для населения с целью обучения части населения узнавать такие слова при чтении.

Краткое описание чертежей

Фиг.1 представляет собой прототип.

Фиг. 2 представляет серию вертикальных проекций говорящего с написанными словами, появляющимися в одной и той же плоскости у рта говорящего.

Фиг.3 представляет серию вертикальных проекций говорящего со всеми появляющимися написанными словами в одной плоскости у рта говорящего.

Фиг. 4 представляет блок-схему, показывающую этапы и элементы оборудования, предназначенные для использования в настоящем изобретении.

Фиг. 5 представляет еще одну блок-схему, иллюстрирующую соответствующее настоящему изобретению создание механизма взаимодействия, включающего в себя одновременное звуковизуальное выражение/запись.

Фиг.6 представляет блок-схему, иллюстрирующую следующие этапы и элементы оборудования, предназначенные для использования настоящего изобретения.

Фиг.7 представляет блок-схему, иллюстрирующую способ, расширяющий звуковую часть звуковизуального представления для содействия в координировании звука и записи.

Фиг. 8 представляет вид спереди в вертикальной проекции говорящего со словом около его рта.

Фиг. 9 представляет частичный схематический вид сверху фиг.8 с изображенными диалоговыми плоскостями.

Фиг. 10 представляет изображение в перспективе экрана телевизионного приемника с говорящим в различных положениях.

Фиг.11 представляет другое изображение в перспективе другого говорящего.

Фиг. 12а-12в представляют блок-схемы способа выполнения соответствующего настоящему изобретению эстетического введения субтитров.

Фиг. 13а-13в представляют блок-схемы других соответствующих настоящему изобретению системы и способа выполнения эстетического введения субтитров.

Фиг.14 представляет блок-схему других соответствующих настоящему изобретению системы и способа выполнения эстетического введения субтитров.

Фиг. 15а-15в являются представлениями соответствующего одному аспекту настоящего изобретения расширения формы волны.

Фиг. 16 представляет блок-схему других соответствующих настоящему изобретению системы и способа выполнения эстетического введения субтитров.

Фиг.17 представляет блок-схему системы и способа, представленных на фиг. 16, иллюстрирующую дополнительные подробные сведения относительно компьютерного автоматизированного рабочего места.

Фиг. 18 представляет блок-схему, показывающую дополнительные подробные сведения относительно показанного на фиг.17 компьютерного рабочего места.

Фиг. 19а-19d являются представлениями применения эстетического введения субтитров.

Фиг. 20а-20в представляют четырехквадрантное расположение, достигаемое с помощью соответствующего настоящему изобретению эстетического введения субтитров.

Фиг. 21 представляет блок-схему, изображающую соответствующее настоящему изобретению интуитивное применение эстетического введения субтитров.

Фиг.22 представляет схематическое изображение соответствующей настоящему изобретению охватывающей несколько средств массовой информации платформы.

Фиг. 23 представляет блок-схему соответствующей настоящему изобретению интерактивной возможности.

Фиг. 24 представляет блок-схему представленного на фиг.23 интерактивного произношения слова.

Фиг. 25 является схематическим представлением соответствующей настоящему изобретению зоны блокирования.

Фиг. 26 является схематическим представлением одного варианта осуществления настоящего изобретения, использующего язык знаков.

Описание предпочтительных вариантов осуществления изобретения

На фиг.1 изображен экран 1 прототипа с обычным звуковизуальным изображением 2 (затененная зона), которое имеет известную площадку, ограниченную прямоугольной рамкой 3 внутри изображения 2, имеющую слова "в доме"; известную площадку на изображении, ограниченную прямоугольной рамкой 4, для языка знаков, и нижний удлиненный участок 5 на изображении для словесного сопровождения, со словами "в одиннадцать". Участок 5 содержит слова, которые движутся в направлении стрелки А. Звуки, включающие связанный с изображением 2 разговор, большей частью появляются исходящими из участка 6 источника звуков.

В соответствии с настоящим изобретением слова или другие символы обычно размещаются на участке изображения звуковизуального представления внутри участка 6 источника звуков; однако, слова также могут накладываться на этот участок изображения 2, куда направлено внимание слушателя-зрителя благодаря его или ее интересу к звуковизуальному представлению, например, где имеется действие, независимо от того, совпадает ли положение такого действия с источником звуков или нет.

Настоящее изобретение в одном из предпочтительных вариантов осуществления помещает слова в системе координат говорящих в звуковизуальном представлении (то есть в плоскостях, не параллельных плоскости экрана). Поскольку система координат зрителя является плоскостью экрана, слова, движущиеся от такой плоскости в мир действующего лица, видны более легко и выразительно и появляются для зрителя как трехмерные объекты. Рассмотрим фиг. 2 и 3, на которых говорящий S звуковизуального представления имеет головку Н и рот М, из которого появляется написанное слово "look" ("смотрите") в плоскости Р₁ при произнесении такого слова. Плоскость P₁ приблизительно перпендикулярна линии, проходящей через уши произносящего (не показаны). Каждое слово предпочтительно появляется в течение короткого периода времени, в который произносится или говорится слово; однако, слово может дополнительно появляться непосредственно перед или сразу же после его произнесения, при условии, что его появление не смешивается со словами и звуками, произносимыми прежде или впоследствии. Критерием является то, что когда произносится каждое слово, для зрителя-слушателя обеспечено связанное с ним соответствующее написанное слово или запись. Настоящее изобретение обеспечивает представления выразительной последовательности произносимых слов (или других выражений) вместе с координированной последовательностью записанных слов, чисел или других надписей, для выполнения связи такого произносимого слова или выражения и надписи, по одному одновременно, с точки зрения зрителя-слушателя.

Цель координирования представления множества написанных слов или надписей, по одному одновременно, с соответственными произносимыми словами, заключается в обеспечении зрителя-слушателя возможностью объединить в естественном размещении такие звуки и виды с целью запоминания того, что звук и вид подлежат соединению таким образом, чтобы дальнейшее представление либо звука, либо вида вызывало у зрителя-слушателя ощущение другого. Хотя эта цель предназначена для обучения грамоте, изучения иностранного языка и образования, другое преимущество изобретения заключается в увеличении ясности понимания в том смысле, что зритель-слушатель может принимать и понимать слово устно или зрительно либо путем обоих возбудителей, в зависимости от его или ее способности, внимательности или положения относительно аппарата, отображающего звуковизуальное представление. Второе преимущество заключается в переводе иностранных звуковых сопровождений, при повышенном понимании, обеспечиваемым посредством расположения записанного перевода возле или около рта; и третье преимущество заключается в достижении одновременного представления двуязычной надписи с помощью представления двух записей, одна из которых на языке произносящего, а другая - на другом языке, и обе появляются одновременно с произнесением. Когда произнесения могут передаваться последовательно так быстро, что визуальное согласование с надписями оказывается нецелесообразным, этот участок звукового/визуального носителя, подвергаемый такому воздействию, можно расширить дискретным образом в отношении звука, и расширить визуально с помощью либо цифрового, либо аналогового средства, чтобы обеспечить возможность понимаемой связи.

Можно отображать одновременно двуграммы, трехграммы или квадраграммы (последовательности из двух, трех или даже четырех слов), где задача заключается в понимании глухим или не говорящим на языке звукового сопровождения звуковизуального представления, а представление одного слова слишком быстрое; в обоих случаях задача заключается в том, чтобы надписи на экране предлагались на языке, который зритель уже понимает. В этом случае количество слов должно быть наименьшим количеством слов, которые все еще будут позволять адекватно понимать при чтении во временном окне рассматриваемую фразу. Этот подход является заменой субтитров по требованию или субтитров иностранных фильмов, где цель ограничена пониманием повествовательной или развлекательной программы, в противоположность соединениям с произношением.

В соответствии с другим вариантом осуществления настоящего изобретения одно или больше слова располагают в соответствии с рукой или руками человека, говорящего на языке знаков, так что имеется соответствие между такими словами и одним элементом языка символов. Таким образом, зритель-слушатель обеспечен возможностью связывать в естественном размещении такие слова с целью запоминания, что слова связаны с этим элементом языка символов.

В соответствии еще с одним вариантом осуществления изобретения слова можно располагать на звуковизуальном представлении так, что они оказываются видимыми только для зрителя, использующего специальное читающее устройство. Это аналогично трехмерным представлениям, которые видимы только когда зритель надевает специальный тип очков. В действительности, предпочтительным способом этого варианта осуществления является использование специального типа очков.

Слова в настоящем изобретении отображаются в виде целой части и накладываются на изобразительную сцену представления. Изобразительные сцены включают в себя элементы типа фигур людей, мебели, неба, фонового городского пейзажа и тому подобного. Слова можно накладывать на один или более изобразительные элементы и в результате этого препятствовать просмотру части изобразительного элемента или предотвращать частичный просмотр участка изобразительного элемента, где записанное слово прозрачное или полупрозрачное, или слово составлено из букв проволочно-каркасного типа.

Поскольку представление более чем одного написанного слова для зрителя-слушателя в один момент времени, когда слова произносятся, делает трудным, если не невозможным, правильно связывать верный звук с соответствующим ему написанным словом, важно, чтобы каждый звук или соответствующее ему записанное слово появлялись таким образом, чтобы слушатель-зритель легко связывал два элемента. Во избежание отвлечения внимания и путаницы каждое произнесенное слово должно сопровождаться своей единственной написанной связью с возможным исключением дополнительной пиктограммы такого слова, представления языком знаков такого слова или иностранным переводом такого слова. Такое написанное слово или слова можно отображать до, во время или после произнесения слова, при условии, что такое отображение не происходит во время произнесения предыдущего слова или связующего слова.

Во время произнесения может появиться более чем одно слово или символ, при условии, что каждое слово или символ должны связываться с произношением. Например, если произнесено слово "thank-you" (спасибо), то одновременно могут появиться слово "thank-you" и слово "merei".

Во время звуковизуального представления имеются периоды времени произношения, в которые произносятся слова, и периоды непроизношения между ними. В соответствующем настоящему изобретению методе типа "одно слово одновременно", написанное слово появляется только в течение периода, включающего в себя 1) период непроизнесения, следующий за произнесением предыдущего слова, 2) произнесение слова и 3) период непроизнесения слова, следующий за произнесением слова до произнесения следующего слова.

Путем представления основанных на алфавите слов в изобразительном размещении таких слов, в памяти неграмотного изучающего должны запоминаться логограммы, используя ту часть мозга, которая записывает целые зрительные изображения, почти также, как пленка воспринимает свет для создания фотографии.

Изобретенное сегментное представление алфавитного слова с одновременным сопровождением либо произнесением, либо пиктографической ссылкой, либо и тем, и другим одновременно, создает восстанавливаемую связь в памяти изучающего между написанным словом (которое воспринимается как логограмма, хотя и "нормально" написанное) и одновременно представленной ссылкой (ссылками). После нескольких повторений последующие представления основанного на алфавите слова (логограмма) воскрешается в памяти изучающего ссылка (ссылки), то есть произнесенное слово. Это, естественно, определяет действие чтения, обучение способности которому является целью настоящего изобретения.

Такой же процесс спаривания сказанного и написанного слов используется обратным способом также для обучения изучающего, знающего данный язык, способности говорить на нем. В этом случае ссылкой является написанное слово или логограмма, а целью изучения является произносимое слово.

Ключ к интенсивности обучения, особенно ребенка, заключается в том, что ассоциации, представленные в окружающей обстановке, то есть "естественные", аналогичны окружающей обстановке, в которой ребенок учится говорить. Окружающая обстановка, в которой ребенок учится говорить, которая естественна и обычно не включает в себя формальных уроков разговора, является таким же типом окружающей обстановки, которую настоящее изобретение представляет звуковизуальным образом. В предпочтительном линейном варианте осуществления данного изобретения слушателя-зрителя обеспечивают окружающей обстановкой повествования или другого представления, первичной целью которого не является обучение грамоте. Когда кто-либо учится говорить, перед ним раскрывают визуальные изображения или действия, соответственно демонстрируемые или подразумеваемые посредниками (такими как родители) в окружающей обстановке ученика, которая служит в качестве ссылок, обеспечивающих связь с параллельными произнесениями. Соответствующая настоящему изобретению окружающая среда представляет среду, где визуальные изображения или действия, соответственно демонстрируемые или подразумеваемые посредниками (такими как родители) в окружающей обстановке ученика (то есть ребенка), служат в качестве ссылок, которые выполняют связь с параллельными произнесениями. Такая окружающая обстановка включает в себя выразительное последовательное произнесение ввиду того, что посредники в окружающей обстановке учащегося, как правило, не дают произвольные произнесения. Такая естественная ситуация изучения языка представлена в обычном движущемся изображении, где представлены естественные ситуации общения и где происходит повторный показ одного и того же слова путем естественного повторения во время фильма. Естественная окружающая обстановка и эмуляция движущегося изображения обеспечивают связи между действиями и предметами и соответственными им описательными произношениями; настоящее изобретение расширяет возможность связи написанного слова в звуковизуальном подражании естественной окружающей обстановки.

Настоящий способ дает возможность обучать чтению посредством представления обучающемуся целых слов, в отличие от слогов и букв слова. Просмотр и запоминание целого слова сходны с просмотром и заучиванием символа типа изображения кошки или иероглифа китайского языка, в котором считают, что такое целое слово обрабатывается мозгом человека таким же образом. Просмотр каждого слова целом (или чтение с листа) обеспечивает обучение, основанное на развитии мысленных связей, которые зрительно запоминаются или отпечатываются и восстанавливаются посредством ассоциации, а не анализа мозга человека, который требуется для основанного на алфавите, слогового или фонетического чтения.

Там, где следует отображать две записи, то есть одну в написанной форме, а другую в изобразительной форме, соответствующие одному произносимому слову, две записи могут сливаться или отделяться друг от друга чтобы показать, что они связаны между собой или даже являются одним и тем же. Например, если человек на видеоизображении говорит слово "кот", написанное слово "к-о-т" может видеоизменяться в пиктограмму кота.

Независимо от того, находятся ли созданные настоящим изобретением связи в контексте имеющегося в данный момент звуковизуального представления или подлежат созданию, создаваемые настоящим изобретением связи возникают в нормальных, естественных изобразительных размещениях. В качестве примеров такие связи могут возникать в кадрах фильма-спектакля, где беседуют детектив и подозреваемый; на видеоизображениях, где поет исполнитель, или в передачах последних известий по телевидению, где метеоролог говорит и показывает на карту. Во всех только что упомянутых случаях цель необязательно включает в себя обучение грамоте.

Настоящее изобретение также применимо при обучении чтению по губам, где если осуществляется произнесение и если отображается запись, то одновременно производится наблюдение за движением губ в качестве части визуального участка представления.

Одно из преимуществ размещения слов на или около контекстуального источника внутри области отображаемого телевизионного кадра заключается в том, что оно делает более легким для зрителя видеть слово, когда он или она слышит слово, сохраняя в то же время фокус на действии, происходящем на представлении. Хотя глаз может видеть периферийно слова, размещенные на краях видимого экрана, или даже вне площади с изображением, он может читать их только с трудом, когда он удерживает фокус на действующих элементах звуковизуального представления. Именно по этой причине, наряду с другими, настоящее изобретение превосходит введение субтитров по требованию. Кроме того, введение субтитров по требованию представляет больше одного слова одновременно, что препятствует связи одного слова с одним звуком. Более того, настоящее изобретение представляет слова в пространственном соотношении с говорящим, что снижает затруднение и минимизирует площадь экрана, занимаемую написанным словом.

Когда два человека разговаривают, независимо от того, обращены ли они лицом друг к другу или нет, одна плоскость между двумя людьми может служить в качестве плоскости, на которой будут отображаться написанные слова. Этот прием также можно использовать, когда один из говорящих находится за пределами камеры, где аудитория осведомлена об относительном положении находящегося за пределами камеры говорящего.

Цвет, форма и другие характеристики букв каждого написанного слова сделаны так, чтобы быть ненавязчивыми. Например, если изобразительный элемент заднего плана, на который накладывается слово, темно-голубого цвета, буквы слова могут быть светло-голубого или другого оттенка голубого цвета. Кроме того, написанное слово можно делать просвечивающим или полупросвечивающим, так что оно позволит частично непрерывно видеть задний план. Кроме того, слово может быть цветом, шрифтом или другим способом, закодированным для своего источника.

Обращаясь снова к фиг.2 и 3, на которых поворачивается голова (Н) говорящего (S), плоскость Р₁, которая приблизительно перпендикулярна линии, проходящей через глаза говорящего, перемещается в три (3) дополнительных положения Р₂-Р₄. Когда произносится слово "AT", оно появляется в перспективе в плоскости Р₂; когда произносится слово "SPOT", оно также появляется в перспективе в плоскости P₃, и, наконец, когда произносится слово "GO", оно появляется в плоскости Р₄. Каждое слово располагается у или около или даже на голове и предпочтительно у или около рта (М) произносящего, когда его произносят. Отметим, что когда голова (Н) говорящего (S) поворачивается, она также наклоняется, поднимая подбородок (см. плоскость P₄). Ориентация надписи предпочтительно отражает ориентацию головы из стороны в сторону и вверх и вниз.

На фиг. 3 все произнесенные слова появляются в плоскостях РР, которые лежат в плоскости экрана, на котором отображено звуковизуальное представление, или параллельной ему.

На фиг.4 изображено устройство, предназначенное для создания звуковизуального представления, включающее в себя пункт оператора; генератор видеотекста, предназначенный для создания требуемой записи (например, слова "look"); средство ввода звуковизуального представления, предназначенное для обеспечения представления, на котором еще не размещены надписи; средство обеспечения цифрового оптического манипулятора, предназначенное для объединения текста и такого звуковизуального представления, чтобы обеспечить соответствующее настоящему изобретению координирование произнесения-записи в надлежащей плоскости ориентирования. Это манипулирование создает изобретенное звуковизуальное представление, в котором такое координирование происходит на протяжении всего представления, и можно видеть и слышать без прерывания в данном представлении, и это воплощение представляет линейное воплощение настоящего изобретения.

Группы букв присоединяют, отпечатывают, наносят или располагают каким-то иным способом на том месте изображения, которое наиболее вероятно можно видеть при произнесении слова. Когда голова произносящего видна, расположение обычно должно быть у рта или около рта, чтобы внушить, что слово выходит изо рта. Эта последовательность продолжается в отношении всех или в отношении существенного количества произнесений для всего представления или, если необходимо, для части представления. Буквы могут иметь любой размер, шрифт или цвет. В одном предпочтительном варианте осуществления размер, шрифт, цвет или любой другой графический характерный признак выбирают так, чтобы отражать цвета фона и эмоциональную и идейную суть каждого произнесения. Что касается фона, каждое написанное слово должно быть неявно просвечивающим, полупросвечивающим, из проволочных рамок или в цвете, который представляет затенение цвета фона, существенно отличающимся от цвета фона, чтобы достигать видимости, не оставляя сетчаточного ореола или повторного изображения после того, как слово пропало. Что касается эмоций, намерений или значения, сердитые слова, например, имеют красный цвет с резко очерченным рисунком шрифта, тогда как успокаивающая лирика будет иметь пастельный тон с мягким рукописным рисунком шрифта. Эмоционально нейтральные слова можно представить цветом по умолчанию. Целью графических свойств является обеспечить зрителя-слушателя динамической графикой, параллельной оттенкам произнесения, передаваемым посредством изменения громкости, тона, высоты или других вокальных отличительных признаков, и тем самым усилить задачу связывания, которая способна восстанавливаться в будущем с помощью мысли.

В звуковизуальных представлениях преобладают естественные ситуации общения. Такие ситуации включают в себя, как упоминалось выше, допрос подозреваемого детективом. Размещение слов в кадрах, включающих в себя естественные ситуации общения, обеспечивает средство передвижения для создания требуемой связи звука и надписи, тогда как зритель-слушатель остается внимательным к естественному общению представления.

Рассматривая теперь фиг.5, видим, что линейный вариант осуществления изобретения используется для создания диалогового варианта осуществления путем создания компьютерной программы, позволяющей зрителю-слушателю задержать звуковизуальное представление, чтобы остановить его для рассмотрения на экране, на котором звуковизуальное представление показывает меню для обеспечения путем выбора определений слов, синтаксиса и контекстного употребления выражений или другой информации. Диалоговая интерактивная работа представляется с помощью действия зрителя/слушателя, используя программируемое учебное устройство, предназначненное для использования такой программы с целью отображения представления, останавливающее представление для рассмотрения выбранной записи и получения дополнительной информации, касающейся такой надписи.

Показанные на фиг. 6 звуковизуальные представления создаются разработчиком компьютерной графики на его или ее рабочем пункте, где на экране для разработчика представлен сигнал видеоизображения работы (представления) (в аналоговой или цифровой форме). При работе с кадрами (чередования изображений через 1/30-ную секунды) разработчик создает компьютерное графическое изображение или текст (то есть слово) и накладывает его на сигнал видеоизображения кадра или кадров, в зависимости от длительности времени произнесения, занимаемого словом. Длительность времени, которую занимает произнесение слова, меняется при большом количестве слов в повседневной беседе на английском языке (или другом языке), занимая период от 1/60-ной до 1/2-ной секунды. Применяя оживление и используя дополнительные символы программного обеспечения блока раскрашивания, можно получить шрифт букв в слове и ориентацию слова в выбранной плоскости.

Фиг. 7 иллюстрирует способ растягивания во времени произносимого слова в звуковизуальном представлении с целью обеспечения более длительного представления связанного с ним написанного слова. Это растягивание или расширение по времени слышимого слова выполняют с помощью преобразования в цифровую форму звучания слова на жестком диске в виде формы волны, а затем реконфигурирования формы волны. Такой технический прием не нарушает высоты тона или интонации.

Голова (H") на фиг.8 обращена вправо от зрителя, как показано пунктирной линией источника (SL). Линия (SL) лежит в опорной плоскости (Р₅) разговора говорящего (не показанной). Вертикальная опорная плоскость (А) зрителя видна зрителю как линия. Эта плоскость остается неподвижной. Линия (SL) проходит через слово "WOW" (восторг) подобно вертелу для целиком зажариваемой туши.

Расстояние, на котором располагается начало слова (WOW) от головы (Н") говорящего, предпочтительно находится в пределах дистанции (d₂), которая равна удвоенной ширине (d₁) лица (Р) говорящего, имеющего нос (N) (см. фиг. 8). Это расположение слова (WOW) в диапазоне 2d₁ обеспечивает хорошие результаты для сцен, где голова говорящего находится в близком положении (крупный план). Там, где голова находится на удалении, как при съемках дальним планом, слова могут быть больше, чем голова, но все еще примыкать к голове (Н") или смещаться к интересующему зрителю объекту и, в таком случае, расстояние (d₂) может быть в 3 или 4 раза больше расстояния (d₁).

Фиг. 9 представляет схематический вид в плане фиг.8, показывающий плоскость разговора (P₅), плоскость А (под углом 180^o относительно опорной плоскости зрителя) и В - плоскость под углом 90^o. Плоскость разговора (Р₅), на которой имеется линия источника (SL), включает в себя слово "WOW", появляющееся с такой ориентацией. Слова, появляющиеся в других плоскостях разговора (P₆) и (Р₇), расположенных под углом 25^o от плоскости зрителя (А), находящейся под углом 180^o относительно опорной плоскости зрителя, можно читать, но поскольку слова, помещенные в плоскостях разговора ближе к опорной плоскости зрителя (А) (главная плоскость видения зрителя), трудно читать такое расположение (в этой "блокируемой области"), редко используется на практике настоящего изобретения.

На фиг. 10 показан телевизионный экран 20 телевизионного приемника 21 с кнопками управления 22, 23. Положение головы/лица говорящего показано в нескольких видах, как это было показано на фиг.2. На виде слева экрана 20 показаны голова (Н), либо (F), плоскость разговора (Р₁) с линией источника (SL₁) на этой плоскости. Плоскость лица (FP₁) перпендикулярна плоскости разговора (Р₁). Линия источника (SL₁) перпендикулярна плоскости лица (FP₁). Плоскости лица обычно лежат в плоскостях, перпендикулярных горизонтали, когда говорящий находится в стоящем положении или сидячем положении. Линия источника (SL₁) линейно делит пополам слово "look" (смотри). Другие линии источников (SL₂), (SL₃) и (SL₄) показаны в их соответствующих плоскостях разговора (Р₂), (Р₃) и (Р₄), причем каждая из этих линий линейно делит пополам их соответственное слово.

И наконец, на фиг.11 показан говорящий (S₂) с головой (H₃), лицом (F₃) и ртом (М). Плоскость лица (FР₂) перпендикулярна плоскости разговора (не показана). Линия источника SL₃, которая лежит в плоскости разговора (не показана), делит пополам слово "fast" (крепко). Поскольку голова (Н₃) может двигаться в любом направлении, когда говорящий (S₂) откидывает или поворачивает ее назад к зрителю, слова на линии источника (SL₃) при произнесении их головой (Н₃) в такой ориентации в каждом случае располагаются в плоскости разговора, за исключением случая, когда ориентация плоскости разговора такая, что расположенное в ней слово теряет четкость для зрителя. Например, когда говорящий (S₂) находится в стоящем положении и обращен в сторону от зрителя, слово "fast", если расположено в плоскости разговора, окажется под таким углом к зрителю, когда слово "fast" может оказаться неразборчивым. Чтобы избежать такую неразборчивость, слово помещают в плоскости, насколько возможно ближе к плоскости разговора, где слово "fast" оказывается разборчивым. В этом случае слово "fast" будет показано в пространственной ориентации в такой выбранной плоскости, чтобы создать впечатление, что слово исходит от головы (Н₃).

Там, где позволяет время, слово "fast" может первоначально появляться в положении, затемняющем часть рта (М), а затем быстро перемещаться вдоль линии (SL₅) плоскости разговора. В качестве альтернативы, например, если слово должно появляться на экране 0,024 тысячные доли секунды, слово может появиться в течение 0,008 тысячных доли секунды частично на губах (М), а затем двигаться вдоль линии (SL₃) в течение 0,008 тысячных доли секунды и, наконец, остановиться на линии еще на 0,008 тысячных доли секунды до исчезновения.

Цель размещения слов на линии источника (SL) и в плоскостях в перспективе, как представлено здесь, состоит в том, чтобы заставить слово появиться как будто изо рта, и затем появляться в виде объекта в трехмерном пространстве звуковизуальной сцены. В качестве объекта написанное слово подчиняется тем же физическим законам, каким подвергается любой другой объект. Таким образом, если кто-то ходит перед говорящим в звуковизуальном представлении, использующем настоящее изобретение, речь говорящего может заглушаться, и вид его написанного слова может на мгновение частично или полностью блокироваться. Целью данного аспекта изобретения является сделать так, чтобы появляющиеся слова оказались реальными объектами, понятие весьма приемлемое для юных умов, и, в частности, для тех, что находит слова "дружескими для пользователя", а не абстрактными.

Слова располагаются так, что появляются в перспективе с увеличивающимися или уменьшающимися размерами букв в словах (см. фиг.8, где буква "W" слева меньше, чем буква "О", которая, в свою очередь, меньше, чем буква "W" справа от нее). Слова в перспективе появляются таким образом, что их направление включает видимость движения в таком направлении. Слово в перспективе около рта говорящего появляется так, будто оно выходит изо рта. Слова размещаются как можно ближе ко рту, не мешая тем выражениям лица говорящего, которые являются частью сообщения.

Не все произносимые во время представления слова должны иметь соответственное отображаемое написанное слово, поскольку выбранные периоды прохождения представления могут представлять особые трудности в общении или по другим причинам могут не требовать обучения.

Предпочтительное использование изобретения заключается в расположении слов или других буквенно-цифровых символов либо других надписей на магнитных лентах, кинопленках, компьютерных дискетах, неперезаписываемых компакт-дисках или других средах в выразительной последовательности, которая обеспечивает связь с устным элементом магнитной ленты или кинопленки, или неперезаписываемого компакт-диска, или компьютерной дискеты описанным выше способом. Такой порядок следования может продолжаться на протяжении всей кинопленки или магнитной ленты от начала до конца. Соответствующие настоящему изобретению звуковизуальные представления имеют предпочтительно развлекательный или другие вытекающие из контекста выразительные предмет и содержание. Изучение зрителем-слушателем происходит без особого усилия с его или ее стороны, поскольку он или она наслаждается занимательным или другим содержанием.

Настоящее изобретение создает на площади изображения представления такое впечатление о произнесенном слове, будто оно было видимым в каждом таком слове, имеющим размер, цвет, шрифт, движение и другие характеристики. Размер слова представляет ориентацию слова в плоскости экрана отображающего устройства или в плоскости, лежащей под углом к такой плоскости. Слова при такой ориентации трехмерные, как и другие элементы изображения.

Надписи могут содержать буквы, слова, картинки или другие символы.

В соответствии с другим вариантом осуществления настоящего изобретения надписи отображают шрифтом Брайля, предпочтительно на отдельном устройстве, которое человек (например, человек с ухудшенным зрением) может использовать слушая звуковую программу. Аналогично другим вариантам осуществления одно одновременное соотношение установлено между записями шрифтом Брайля и сказанными выражениями, так что пользователь обеспечен благоприятной возможностью связывать в естественном размещении такие надписи с целью запоминания, что надписи связаны с этими выражениями.

ПРИМЕР.

Используется занимательная видеоигра, в которой для игрока имеется опись пиктограммных ссылок (буквенных рисунков). По пиктограммам можно медленно перемещать курсор. Один щелчок манипулятора типа "мышь" на любом объекте ссылки приводит к выцветанию объекта ссылки ("морфинированию") всего эквивалента написанного слова (логограмму), в то время как голос за кадром или говорящая голова произносит слово.

Цель игры состоит в создании ряда пиктограммных ссылок, которые создают выразительную серию. Как только игрок построит такой ряд, двойной щелчок мышки приведет к морфинированию объектов ссылки в написанные слова (логограммы), слева направо, по одному одновременно и при одновременном сопровождении соответственным произносимым объектом ссылки. Затем говорящий громко повторяет выразительную серию слева направо, причем каждое слово внезапно "сопровождается на заднем плане" объектом ссылки.

При проведении игры задержка, создаваемая расположением ссылок, которые не являются выразительной последовательностью, не дает результата при осуществлении двух щелчков, и точки не делают отметок.

Оттенки цвета и графические особенности шрифта могут меняться в соответствии с естественным ходом выразительного оборота речи беседы. Сам по себе, общий "органический вид" изобретения создаст новый, стандартизированный "эмоциональный графический словарь". Например, для следующих эмоций можно использовать следующие цвета и графические особенности, представленные в табл.1.

Нюансы шрифта и цвета можно также использовать для связи физических реальностей, например, имеющихся в природе (см.табл.2).

Такие ассоциации основаны на общем ощущении и/или существующих прежде исследованиях связи ассоциативных графических воздействий цвета, строения и так далее, на человеческие эмоции и сохранение изучаемого. Кроме того, для дополнительного ассоциативного воздействия можно дополнять возможности существующего графического программного обеспечения компьютеров, включающего зрительные явления, типа "свечения" и "излучения".

Эстетическое введение субтитров в повествовательном контексте в соответствии с настоящим изобретением можно выполнить рядом способов.

На фиг. 12а-12в показаны этапы, предназначенные для ручного применения эстетического введения субтитров.

Фиг. 13а-13в представляют систему прямого видения и способ применения эстетических субтитров.

На фиг. 14 изображены система и способ, которые замедляют произнесение без потери высоты тона или интонации и без явного искажения.

На фиг. 15а-15в представлены изображения нормальной и расширенной форм волн, соответственно, слова "future" (будущее), расширяемого с помощью системы и способа, показанных на фиг.14. Форма волна на фиг.15в имеет такую же высоту тона, как и форма волны на фиг.15а, поскольку амплитуда волны осталась постоянной, хотя волна стала шире.

Другой вариант осуществления изобретения полезен тогда, когда форма волны расширяется с помощью умножителя с некоторым дробным коэффициентом умножения, в противоположность умножителю с целочисленным коэффициентом умножения. Например, когда требуется увеличить длину волны на половину (50%-ное увеличение), в противоположность удваиванию длины (100%-ное увеличение), произвольно выбирают известные способы, которые выделяют часть волны для расширения. В соответствии с этим аспектом изобретения, произвольный выбор частей волны ограничен только гласными частями. Это можно выполнять с помощью известных специалистам в данной области техники средств.

На фиг.16 изображены цифровая система и способ применения эстетического введения субтитров, используя для размещения слов известное программное обеспечение оживления знаков.

Фиг. 17-21 касаются другого варианта осуществления настоящего изобретения, который представляет собой систему и способ, предназначенные для интуитивного эстетического введения субтитров.

Фиг. 17 изображает систему и способ, показанные на фиг.16, с использованием соответствующего данному варианту осуществления изобретения программного обеспечения эстетического введения субтитров.

Фиг. 18 представляет собой блок-схему, показывающую дальнейшую деталировку компьютеризированного рабочего места, используемого в показанных на фиг. 16 и 17 системе и способе.

Фиг. 19а-19d демонстрирует детали применения соответствующего настоящему изобретению эстетического введения субтитров.

Фиг. 20а-20в показывают четыре квадранта виртуальной трехмерной области, где появляется на свет эстетически введенное слово субтитров.

Фиг. 21 представляет блок-схему модуля программного обеспечения, предназначенного для размещения эстетически наносимого на экран слова с оптимальной ориентацией в любом квадранте виртуальной трехмерной области. Программное обеспечение предпочтительно прогоняют на системе компьютеризированного рабочего места. Хотя можно использовать известные специалистам в данной области техники входные устройства, пользователь предпочтительно определяет квадрант и чертит линию источника с помощью мышки, и вводит с помощью клавиатуры. Компьютерная система, прогоняя модуль программного обеспечения, автоматически размещает слово на линии источника, предпочтительно, таким образом, чтобы линия источника проходила через середину основной части тела строчных букв (известную для печатников "высотой строчных букв без высоких элементов"), например, через горизонтальную полоску в букве "e". Как только система и программа разместят слово, линия источника стирается.

Фиг. 22 представляет собой схематическое изображение использующей несколько средств массовой информации платформы, объединяющей интерактивное использующее несколько средств массовой информации компьютеризированное рабочее место для создания соответствующих настоящему изобретению интерактивных представлений с эстетическими введениями субтитров. На фиг.23 представлена блок-схема программного обеспечения, предназначенного для выполнения диалоговых возможностей.

Фиг. 24 представляет блок-схему произнесения интерактивного слова, показанного на фиг. 23. В соответствии с этим аспектом изобретения, когда пользователь останавливает снабженное эстетическими субтитрами звуковизуальное представление на конкретном слове, он может получить урок произношения. Пользователь предпочтительно может говорить в микрофон, подсоединенный к вычислительной машине, имеющей программу анализа речевого сигнала, которая сравнивает форму волны, создаваемую от произнесения слова пользователем, со стандартной формой волны, для правильного произношения, хранящейся в файле вычислительной машины. Затем вычислительная машина обеспечивает обратную связь с пользователем, которая либо подтверждает правильное произнесение (например, "достаточно хорошо" или "превосходно"), либо подсказывает пользователю попытаться снова произнести слово.

Другие варианты, показанные на фиг.23, предпочтительно можно представлять в качестве меню интерактивных задач, которые может выбирать пользователь. Например, пользователь может выбирать применение записи, которое позволяет пользователю имитировать слово, отображаемое путем набора слова на клавиатуре или написания слова на электронном планшете, который производит выходной сигнал для программного обеспечения распознавания рукописной записи. Интерактивная система предпочтительно обеспечивает обратную связь для информирования пользователя, независимо от того, правильно ли было набрано или написано слово или нет.

Фиг.25 представляет размещение слова во фронтальной "зоне блокирования", показанной на фиг. 9. Слово можно факультативно поместить в этой зоне (на плоскости, проходящей через линию АА фиг.25), в качестве одного способа осуществления появления его, как выходящего изо рта говорящего.

Одно слово или больше можно также размещать, связывая их с рукой или руками человека, использующего язык знаков, так что осуществляется соответствие между такими словами и единственным элементом языка знаков. Пример соответствующего настоящему изобретению такого варианта осуществления показан на фиг.26, на которой изображен говорящий на экране телевизионного приемника и вставленная площадка, ограниченная прямоугольной рамкой, с рукой человека, осуществляющего одновременный перевод на язык знаков. Когда говорящий произносит слово "Future" (будущее), а переводчик на язык знаков выражает это слово знаками, слово "Future" помещают во вставленной площадке в соответствии с элементом языка знаков для этого слова.