визуализация обучающих анимаций на дисплее интерфейса пользователя

Формула изобретения

1. Один или несколько машиночитаемых носителей, имеющих сохраненные на них исполняемые компьютером инструкции, которые при исполнении выполняют способ инициирования обучающей анимации для демонстрации ручного жеста, причем способ содержит:

определение текущего состояния инструментального средства панели рукописного ввода вычислительного устройства, причем упомянутое определение включает в себя распознавание - обеспечен ли текст в области ввода содержимого, сформированной инструментом панели рукописного ввода,

идентификацию, находится ли фокус инструмента курсора внутри области ввода содержимого, сформированной инструментом панели рукописного ввода, и

использование текущего состояния и фокуса инструмента курсора для определения действий, которые являются доступными для вызова;

определение, какие обучающие анимации переводить в активное состояние в зависимости от действий, которые определены как доступные для вызова, причем эти обучающие анимации, по меньшей мере, временно хранятся в хранилище данных в соответствии с активным состоянием,

прием инициируемого пользователем ввода в ассоциации с инструментом панели рукописного ввода, появляющимся на интерфейсе сенсорного экрана вычислительного устройства,

на основе инициируемого пользователем ввода, запуск одной или нескольких обучающих анимаций в активном состоянии, и

визуализацию на интерфейсе сенсорного экрана индикации запуска одной или нескольких обучающих анимаций.

2. Один или несколько машиночитаемых носителей по п.1, причем способ также содержит:

прием в интерфейсе сенсорного экрана ручного жеста, который имитирует визуализируемые одну или несколько обучающих анимаций, и

вызов действия редактирования или действия управления в инструменте панели рукописного ввода на основе того, какое действие сопоставлено с принятым ручным жестом.

3. Один или несколько машиночитаемых носителей по п.1, также содержащих представление образа обучающих анимаций, переведенных в активное состояние, причем обучающие анимации в активном состоянии каждая сопоставлены с действиями, определенными как доступные для вызова.

4. Один или несколько машиночитаемых носителей по п.3, причем представление образа обучающих анимаций, переведенных в активное состояние, содержит расположение выбираемых элементов управления для запуска обучающих анимаций на инструментальной панели, которая примыкает к появляющемуся инструменту панели рукописного ввода.

5. Один или несколько машиночитаемых носителей по п.3, причем представление образа обучающих анимаций, переведенных в активное состояние, содержит организацию пиктограммных образов обучающих анимаций на перемещаемой панели жестов, которая появляется на интерфейсе сенсорного экрана, смежной с появляющимся инструментом панели рукописного ввода.

6. Один или несколько машиночитаемых носителей по п.5, причем каждый из пиктограммных образов содержит переключатель, который, когда активирован, инициирует обучающую анимацию, которая представлена таким образом, и описатель, вписанный внутрь переключателя, который явно отображает действие, сопоставленное с обучающей анимацией.

7. Один или несколько машиночитаемых носителей по п.6, причем прием инициируемого пользователем ввода в ассоциации с инструментом панели рукописного ввода содержит обнаружение контакта между физическим объектом и рабочей поверхностью интерфейса сенсорного экрана, причем этот контакт происходит в переключателе.

8. Один или несколько машиночитаемых носителей по п.1, причем упомянутые одна или несколько обучающих анимаций содержат видеоизображение руки-модели, должным образом исполняющей ручной жест в отношении невписанного текста.

9. Один или несколько машиночитаемых носителей информации по п.8, причем способ также содержит:

зацикливание воспроизведения обучающей анимации в течение предопределенного количества циклов,

обнаружение ручного жеста, применяемого к части области отображения, в которой воспроизводятся упомянутые одна или несколько запущенных обучающих анимаций, и

в случае обнаружения ручного жеста прерывание зацикливания обучающей анимации и скрытие области отображения.

10. Один или несколько машиночитаемых носителей по п.8, причем способ также содержит:

зацикливание воспроизведения обучающей анимации в течение предопределенного количества циклов,

обнаружение ручного жеста, применяемого к области ввода содержимого, сформированной инструментом панели рукописного ввода, и

в случае обнаружения ручного жеста прерывание зацикливания обучающей анимации и скрытие области отображения.

11. Один или несколько машиночитаемых носителей по п.10, причем способ также содержит:

в случае обнаружения ручного жеста определение того, выполнен ли ручной жест должным образом, тем самым точно имитируя обучающую анимацию,

когда ручной жест выполнен должным образом, вызов действия редактирования в инструменте панели рукописного ввода, причем действие редактирования сопоставлено с ручным жестом, и

и изменение содержимого, представленного в область ввода содержимого.

12. Один или несколько машиночитаемых носителей по п.11, причем определение текущего состояния инструмента панели рукописного ввода содержит:

определение того, представлено ли содержимое в область ввода содержимого приложения панели рукописного ввода,

когда содержимое представлено в область ввода содержимого, перевод обучающих анимаций, сопоставленных с действиями редактирования, в активное состояние, и

когда содержимое отсутствует в области ввода содержимого, перевод обучающих анимаций, сопоставленных с действиями управления, в активное состояние.

13. Один или несколько машиночитаемых носителей по п.12,

причем действия управления содержат по меньшей мере одну из следующих команд: вставка слов, открытие файла или закрытие инструмента, и

причем действия редактирования содержат по меньшей мере одну из следующих команд: удаление слов, объединение слов, разделение слов или исправление слов или добавление пробела.

14. Компьютеризированный способ определения того, какие обучающие анимации переводить в активное состояние, причем способ содержит:

опрос инструмента панели рукописного ввода для определения контекста вычислительной среды, связанной с интерфейсом сенсорного экрана, причем определение содержит:

(a) распознавание текущего состояния инструмента панели рукописного ввода на основе того, обеспечен ли текст внутри области ввода содержимого, сформированной инструментом панели рукописного ввода,

(b) выявление того, находится ли фокус инструмента курсора внутри области ввода содержимого, на основе того, указана ли часть текста, и

(c) выявление того, какие действия являются доступными для вызова в инструменте панели рукописного ввода, на основе текущего состояния и фокуса курсора,

использование контекста вычислительной среды для идентификации того, какие обучающие анимации переводить в активное состояние, причем идентификация содержит выбор обучающих анимаций, ассоциированных с действиями, доступными для вызова, и

по меньшей мере, временное сохранение обучающих анимаций, как находящихся в активном состоянии.

15. Компьютеризированный способ по п.14, также содержащий:

прием инициируемой пользователем команды, которая соответствует ручному жесту,

идентификацию того, какая обучающая анимация сопоставлена с ручным жестом, и

автоматический запуск идентифицированного обучающего жеста, побуждающего пользователя выполнить ручной жест, параллельно с вызовом действия, сопоставленного с инициируемой пользователем командой.

16. Компьютеризированный способ по п.15, также содержащий:

обеспечение элемента управления переключателя, который позволяет пользователю запрещать или разрешать автоматический запуск идентифицированного обучающего жеста после приема инициируемой пользователем команды, которая ассоциирована с ним.

17. Компьютеризированный способ по п.14, также содержащий:

отображение образа одной или нескольких обучающих анимаций, хранящихся в активном состоянии,

прием инициируемого пользователем ввода, указывающего образ обучающей анимации, хранящийся в активном состоянии, и

автоматический запуск указанной обучающей анимации.

18. Компьютеризированный способ по п.17, в котором запуск указанного обучающего жеста содержит:

распознавание части содержимого внутри области ввода содержимого инструмента панели рукописного ввода, причем эта часть содержимого различается фокусом инструмента курсора, и

запуск указанной обучающей анимации внутри области ввода содержимого, причем запуск содержит:

(a) применение ручного жеста, копируемого обучающей анимацией, к различенной части содержимого, и

(b) зацикливание применения копируемого ручного жеста к части содержимого до тех пор, пока не будет принята инициируемая пользователем индикация прекращения.

19. Компьютерная система, реализованная на одном или нескольких компьютерных носителях, имеющих обеспеченные на них исполняемые компьютером инструкции для запуска обучающей анимации, причем система содержит:

компонент мониторинга для мониторинга контекста вычислительной среды вычислительного устройства, причем мониторинг содержит извлечение текущего состояния инструмента панели рукописного ввода,

компонент выбора для определения того, какие обучающие анимации переводить в активное состояние, на основе контекста,

компонент ввода для приема инициируемого пользователем ввода в ассоциации с инструментом панели рукописного ввода, появляющимся на интерфейсе сенсорного экрана вычислительного устройства,

компонент запуска для инициирования воспроизведения одной или более обучающих анимаций в активном состоянии на основе инициируемого пользователем ввода, и

компонент визуализации для отображения внутри области отображения, появляющейся в интерфейсе сенсорного экрана, одного или более воспроизведений обучающих анимаций, причем эти одно или более воспроизведений обучающих анимаций запускаются в отдельной области отображения, которая не закрывает область ввода содержимого, сформированную инструментом панели рукописного ввода.

Описание изобретения к патенту

Уровень техники

В настоящее время операционные системы обеспечивают множество утилит, которые содействуют в оказании поддержки пользователей посредством появляющихся обучающих инструментальных средств в GUI, представляемых в устройстве отображения (например, на компьютерном мониторе, на экране на мобильном устройстве и т.п.). Часто доступ к обучающим инструментальным средствам (например, к on line-поддержке, к справочникам, к опубликованным FAQ и общим библиотекам) является запутанным из-за сложных путей справочного меню. Или пользователям не очевидно, или они совсем не знают, что эти обучающие инструментальные средства, содержимое которых может им помочь, существуют.

Все чаще для активизации действий в вычислительном устройстве используются жесты. Эти жесты могут быть выполнены пользователем в устройстве с сенсорным экраном. В частности, выполнение жестов подразумевает естественные интерактивные движения, которые применяются к устройству с сенсорным экраном и которые передаются в программное обеспечение распознавания рукописного текста для интерпретации. Эти естественные интерактивные движения, несмотря на то, что обычно они исполняются просто, являются новыми для многих пользователей и не обязательно инстинктивными для опытных пользователей. Соответственно, инструментальные обучающие средства являются обязательными для коммуникации, которую предлагают жесты, и для обучения надлежащему способу выполнения жестов. Но, как обсуждалось выше, эти обучающие инструментальные средства не являются общедоступными и обычно их трудно обнаружить. Соответственно, использование жестов в качестве альтернативы обеспечению ввода пользователя отклоняется многими пользователями, которые в настоящее время более эффективно используют обычное средство для обеспечения ввода пользователя.

По существу, использование интуитивно-понятного способа появления анимированного жеста на дисплее интерфейса пользователя (UI), который явно обучает пользователя тому, какие жесты в настоящее время предлагаются, и как должным образом выполнять эти предлагаемые жесты, улучшает практическую работу пользователя при использовании жестов как первичного способа для взаимодействия с вычислительным устройством.

Сущность изобретения

В этом кратком изложении сущности изобретения в упрощенном виде представлен выбор концепций, которые также описаны ниже в подробном описании. Нет намерения в этом кратком описании идентифицировать основные или существенные признаки заявленного предмета изобретения, также нет намерения использовать его как вспомогательное средство в определении объема заявленного предмета изобретения.

Варианты осуществления настоящего изобретения обеспечивают машиночитаемые носители информации с осуществленными на них исполнимыми компьютером машинными командами, компьютерную систему и компьютеризированные способы появления обучающего действия на дисплее UI при манипуляции содержимым внутри инструментального средства панели рукописного ввода. В частности, обеспечены интуитивно-понятные способы инициирования обучающей анимации, которая демонстрирует ручной жест, причем когда ручной жест выполняется должным образом, в инструментальном средстве панели рукописного ввода вызывается действие.

Вначале осуществляется мониторинг контекста вычислительной среды в вычислительном устройстве. В вариантах осуществления осуществление мониторинга контекста или состояния вычислительной среды подразумевает одно или несколько из нижеследующего: определение текущего состояния инструментального средства панели рукописного ввода, идентификацию фокуса инструментального средства курсора внутри области ввода содержимого, сформированной инструментальным средством панели рукописного ввода, и выявление того, какие действия являются доступными для активации, на основе текущего состояния и фокуса инструментального средства курсора. На основе контекста и, в частности, действий, доступных для активации, идентифицируются обучающие анимации для перевода в активное состояние. Соответственно, каждая обучающая анимация, переводимая в активное состояние, также сопоставляется с действиями, выявленными как в настоящее время доступные для активации. Образы (представления) этих обучающих анимаций в активном состоянии могут быть представлены на дисплее UI (например, как переключатель или пиктограмма на инструментальной панели или на отдельной панели жестов), тем самым информирования пользователя о том, какие жесты могут выполняться и/или демонстрироваться.

Инициируемый пользователем ввод может применяться к интерфейсу с сенсорным экраном, в ассоциации с инструментальным средством панели рукописного ввода, появляющимся на нем, побуждая операционную систему запускать одну или несколько обучающих анимаций в активном состоянии. Должный инициируемый пользователем ввод для запуска обучающей (их) анимации (ий) может включать в себя указание на образ обучающей анимации в интерфейсе с сенсорным экраном (например, контакт с местом интерфейса с сенсорным экраном, в котором появляется пиктограмма или переключатель), или выполнение команды, которая соответствует ручному жесту, который установлен в соответствии с обучающей анимацией. Сигнал о том, что обучающая (ие) анимация (ии) запущена, может быть визуализирован в интерфейсе с сенсорным экраном. В одном примере визуализация включает в себя воспроизведение указанной (ых) обучающей (их) анимации (ий) в отдельной области отображения, которая не закрывает область ввода содержимого, сформированную инструментальным средством панели рукописного ввода. Воспроизведение обучающей (их) анимации (ий) обычно содержит показ видеопера/руки-модели, должным образом исполняющих ручной жест на иллюстративном или целевом тексте. После просмотра видеопользователь может попытаться выполнить продемонстрированный ручной жест посредством имитации обучающей анимации. После выполнения ручного жеста должным образом и приема его в интерфейсе с сенсорным экраном в инструментальном средстве панели рукописного ввода активируется действие (например, действие редактирования или действие управления) на основе того, какое действие установлено в соответствии с принятым ручным жестом. В вариантах осуществления действия управления включают в себя, по меньшей мере, одну из следующих команд: вставка слов, открытие файла или закрытие инструментального средства. С другой стороны, действия редактирования содержат, по меньшей мере, одну из следующих команд: удаление слов, объединение слов, разделение слов или исправление слов или добавление пробела.

Краткое описание чертежей

Настоящее изобретение описано подробно ниже со ссылкой на прилагаемые чертежи, в которых:

Фиг.1 - блок-схема иллюстративной вычислительной среды, подходящей для использования при реализации вариантов осуществления настоящего изобретения.

Фиг.2 - блок-схема иллюстративной архитектуры системы, подходящей для использования при реализации вариантов осуществления настоящего изобретения, в соответствии с вариантом осуществления настоящего изобретения.

Фиг.3 - схематическое представление дисплея интерфейса пользователя, иллюстрирующее появляющееся инструментальное средство панели рукописного ввода, связанное с образами обучающих анимаций в активном состоянии, в соответствии с вариантом осуществления настоящего изобретения.

Фиг.4 - фиг.7 - последовательные дисплеи UI, иллюстрирующие этапы отображения кадров обучающих анимаций после распознавания должного инициируемого пользователем ввода, в соответствии с вариантами осуществления настоящего изобретения.

Фиг.8 и фиг.9 - рабочая блок-схема, иллюстрирующая процесс инициирования обучающей анимации, которая демонстрирует ручной жест, причем этот процесс реализован на подходящей иллюстративной архитектуре системы в соответствии с вариантом осуществления настоящего изобретения.

Подробное описание

Предмет изобретения описан с конкретностью в этом описании для удовлетворения установленным требованиям. Однако нет намерения ограничивать объем этой патентной заявки самим описанием. Наоборот, изобретатели предполагают, что заявленный предмет изобретения также может быть осуществлен другими способами, включающими в себя другие этапы или комбинации этапов, аналогичных тем, которые описаны в этом документе, вместе с другими настоящими или будущими технологиями. Кроме того, несмотря на то, что в этом описании могут использоваться термины "этап" и/или "блок", которые означают разные элементы используемых способов, не следует считать, что эти термины подразумевают какой-либо конкретный порядок между различными этапами, раскрытыми в этом описании, за исключением случаев, когда порядок отдельных этапов описан явно.

Варианты осуществления настоящего изобретения обеспечивают машиночитаемые носители информации с осуществленными на них исполнимыми компьютером машинными командами, компьютерную систему и компьютеризированные способы появления образов обучающих анимаций, которые указывают на то, какие ручные жесты предлагаются для выполнения и для автоматического запуска этой (их) обучающей (их) анимации (ий) после приема должного инициируемого пользователем действия, соответственно, с демонстрацией должным образом исполняемого ручного жеста, который активирует действие в инструментальном средстве панели рукописного ввода.

Соответственно, согласно одному аспекту, варианты осуществления настоящего изобретения обеспечивают один или несколько машиночитаемых носителей информации с осуществленными на них исполнимыми компьютером машинными командами, которые при исполнении выполняют способ инициации обучающей анимации для демонстрации ручного жеста. Вначале способ включает в себя мониторинг контекста вычислительной среды вычислительного устройства. На основе контекста определяются обучающие анимации для перевода в активное состояние. Одновременно с этим или после этого может быть принят инициируемый пользователем ввод, в увязке с инструментальным средством панели рукописного ввода, появляющимся на интерфейсе с сенсорным экраном вычислительного устройства. На основе инициируемого пользователем ввода запускаются одна или несколько обучающих анимаций в активном состоянии. В вариантах осуществления, в интерфейсе с сенсорным экраном визуализируется индикация запуска одной или нескольких обучающих анимаций.

Согласно еще одному аспекту, компьютеризированный способ определения того, какие обучающие анимации переводить в активное состояние. В вариантах осуществления упомянутый способ включает в себя опрос инструментального средства панели рукописного ввода для определения контекста вычислительной среды, связанной с интерфейсом с сенсорным экраном. В общем, определение подразумевает, например, следующие этапы: распознавание текущего состояния инструментального средства панели рукописного ввода на основе того, обеспечен ли текст внутри области ввода содержимого, сформированной инструментальным средством панели рукописного ввода, выявление того, находится ли фокус инструментального средства курсора внутри области ввода содержимого, на основе того, указана ли часть текста, и выявление того, какие действия являются доступными для активации в инструментальном средстве панели рукописного ввода, на основе текущего состояния и фокуса курсора. Контекст вычислительной среды может быть использован для идентификации того, какие обучающие анимации переводить в активное состояние. Как правило, идентификация включает в себя, среди прочего, выбор обучающих анимаций, связанных с действиями, доступными для активации. Идентифицированные обучающие анимации могут храниться как находящиеся в активном состоянии. В дополнительных вариантах осуществления упомянутый способ может включать в себя прием инициируемой пользователем команды, которая соответствует ручному жесту, идентификацию того, какая обучающая анимация установлена в соответствии с этим ручным жестом, и автоматический запуск идентифицированного обучающего жеста. В иллюстративном варианте осуществления запущенная обучающая анимация побуждает пользователя выполнить ручной жест параллельно с активацией действия, которое установлено в соответствие с инициируемой пользователем командой.

Согласно еще одному аспекту, варианты осуществления настоящего изобретения относятся к компьютерной системе, осуществленной на одном или нескольких компьютерных носителях информации с обеспеченными на них исполнимыми компьютером машинными командами для запуска обучающей анимации. В общем, упомянутая система включает в себя, например, следующие элементы: компонент мониторинга, компонент выбора, компонент ввода, компонент запуска и компонент визуализации. Компонент мониторинга осуществляет мониторинг контекста вычислительной среды вычислительного устройства. В одном примере мониторинг включает в себя извлечение текущего состояния инструментального средства панели рукописного ввода, как обсуждалось выше. Компонент выбора определяет то, какие обучающие анимации переводить в активное состояние на основе контекста. Компонент ввода сконфигурирован для приема инициируемого пользователем ввода в увязке с инструментальным средством панели рукописного ввода, появляющимся на интерфейсе с сенсорным экраном вычислительного устройства. Компонент запуска инициирует воспроизведение одной или нескольких обучающих анимаций в активном состоянии на основе инициируемого пользователем ввода. Компонент визуализации выводит на экран внутри области отображения, появляющейся в интерфейсе с сенсорным экраном, воспроизводимые обучающие анимации. В вариантах осуществления обучающие анимации обеспечивают видеоинструкцию ручного жеста, используемую для редактирования содержимого, переданного в инструментальное средство панели рукописного ввода.

В общем, варианты осуществления настоящего изобретения относятся к запуску обучающей анимации после приема инициируемого пользователем ввода в увязке с инструментальным средством панели рукописного ввода. Нет намерения ограничивать используемую в этом описании фразу "инструментальное средство панели рукописного ввода" и она может охватывать любое приложение, которое, иногда во время работы, может принимать ввод через интерфейс с сенсорным экраном. Например, инструментальное средство панели рукописного ввода может быть панелью ввода (TIP) планшетного персонального компьютера (ПК), которая принимает ручные жесты (например, жесты рукописного шрифта, жесты редактирования и т.п.), применяемые к интерфейсу с сенсорным экраном, и которая интерпретирует эти ручные жесты с использованием некоторого вида программного обеспечения распознавания рукописного текста. По существу, TIP разработана, частично, для реализации процедуры ink-to-text (чернила-в-текст), которая обеспечивает большую гибкость и более естественное написание. В других примерах инструментальное средство панели рукописного ввода может включать в себя панель рукописного ввода, панель ввода знаков, экранный журнал или электронную "доску" или любое другое инструментальное средство для отображения области ввода на устройстве с сенсорным экраном, которое при контакте с физическим предметом (например, кончиком пальца, стилусом, пером) обнаруживает ввод. Кроме того, инструментальное средство панели рукописного ввода может включать в себя программное обеспечение распознавания рукописного текста, которое обеспечивает возможность ввода текста (например, текста ASCII) посредством пера, в отличие от общепринятого устройства ввода (например, клавиатуры или распознавания речи), и преобразования жестов, применяемых посредством пера, в действия.

Один аспект преобразования в действия относится к идентификации того, какие действия в настоящее время являются доступными или разрешенными для приведения в действие. В общем, термин "действия", как используется в этом описании, относится к результату команд, обрабатываемых инструментальным средством панели рукописного ввода. Например, эти команды могут формироваться посредством инициируемого пользователем ввода на сенсорном экране. На основе инициируемого пользователем используемого ввода (например, распознаваемого жеста, выбора-касания и т.п.) операционная система и/или инструментальное средство панели рукописного ввода может формировать соответствующую команду, которая активирует конкретное действие. Например, инициируемое пользователем движение перемещения посредством пера в устройстве с сенсорным экраном может быть распознано как жест написания, когда пользователь пытается добавить содержимое в область ввода содержимого, сформированную инструментальным средством панели рукописного ввода. В этом случае активируется действие вычерчивания, установленное в соответствии с жестом написания, которое вызывает преобразование инициируемого пользователем движения перемещения в текст, и причем этот текст представляется в область ввода содержимого.

В другом примере конкретное инициируемое пользователем движение перемещения может быть распознано как ручной жест, который установлен в соответствии с действием редактирования или действием управления. Как правило, действие редактирования при активации выполняет одну из множества манипуляций с содержимым, переданным в область ввода содержимого. В вариантах осуществления действие редактирования может включать в себя, по меньшей мере, одну из следующих команд: удаление слов, объединение слов, разделение слов или исправление слов или добавление пробела. Как правило, действие управления при активации управляет функциональными возможностями инструментального средства панели рукописного ввода. В вариантах осуществления, действие управления может включать в себя, по меньшей мере, одну из следующих команд: вставка слов, открытие файла или закрытие инструментального средства.

Несмотря на то, что выше описаны несколько разных жестов для формирования соответствующих действий, специалистам в данной области техники должно быть понятно, что в этом описании предполагаются различные другие жесты, применяемые к интерфейсу с сенсорным экраном, которые установлены в соответствии с множеством отличающихся категорий действий, и что варианты осуществления настоящего изобретения не ограничены этими изображенными и описанными жестами и действиями. Например, инициируемый пользователем ввод типа касания может быть распознан как ручной жест, который установлен в соответствие с действием приведения в действие, для нажатия переключателя.

В вариантах осуществления жест может быть распознан исходя из инициируемой пользователем операции перемещения, применяемой к интерфейсу с сенсорным экраном. Интерфейс с сенсорным экраном может содержать дисплей с сенсорным экраном, емкостный сенсорный экран или любое другое устройство тактильного ввода, известное в соответствующей области. Нет намерения ограничивать используемую в этом описании фразу "движение перемещения" и она может охватывать любую постоянную кривую, квазинепрерывный ввод или рекурсивную цепочку вводов, которые копируют перемещающийся контакт по всей поверхности. В одном примере движение перемещения может включать в себя непрерывный контакт между физическим предметом (например, стилусом или частью пальца) и интерфейсом с сенсорным экраном внутри области ввода содержимого, появляющейся посредством инструментального средства панели рукописного ввода, или в инструментальной панели или панели жеста, связанной с инструментальным средством панели рукописного ввода. Несмотря на то, что варианты осуществления настоящего изобретения обсуждаются в отношении движений перемещения, применяемых к интерфейсу с сенсорным экраном, они предполагают любую физическую жестикуляцию, охватываемую фразой "ручные жесты". Например, сотрясание чувствительного к ускорению стилуса на расстоянии от интерфейса с сенсорным экраном может содержать ручной жест.

После краткого описания обзора вариантов осуществления настоящего изобретения и некоторых состояний окна, являющихся отличительным признаком в них, ниже описывается иллюстративная рабочая среда, подходящая для реализации настоящего изобретения.

Согласно чертежам в целом, и вначале фиг.1, в частности, изображена иллюстративная рабочая среда для реализации вариантов осуществления настоящего изобретения, и она, в общем, обозначена как вычислительное устройство 100. Вычислительное устройство 100 является только одним примером подходящей вычислительной среды и оно не подразумевает какого-либо ограничения объема использования или функциональных возможностей изобретения. Также не следует считать, что вычислительное устройство 100 каким-либо образом зависит от любого одного или комбинации изображенных компонентов, или предъявляет какие-либо требования в отношении них. В одном варианте осуществления вычислительное устройство 100 является обычным компьютером (например, персональным компьютером или ноутбуком).

В одном варианте осуществления изобретение может быть описано в общем контексте машинного кода или используемых машиной машинных команд, включающих в себя исполнимые компьютером машинные команды, например компоненты программы, исполняемые компьютером или другой машиной, например карманным персональным компьютером или другим малогабаритным устройством. В общем, компоненты программы, включающие в себя процедуры, программы, объектные модули, компоненты, структуры данных и т.п., относятся к коду, который выполняет конкретную задачу или реализует конкретные абстрактные типы данных. Варианты осуществления настоящего изобретения могут быть применены во множестве системных конфигураций, включающих в себя малогабаритные устройства, бытовую электронику, универсальные компьютеры, специализированные вычислительные устройства и т.д. Варианты осуществления изобретения также могут быть применены в распределенных вычислительных средах, где задачи выполняются удаленными устройствами обработки, которые связаны через сеть связи.

Соответственно, компоненты, описанные выше в отношении вычислительного устройства 100, могут также быть включены в мобильное устройство, соединенное с сетью связи. Мобильное устройство, описанное в этом документе, относится к любому типу мобильного телефона, малогабаритного устройства, персонального цифрового секретаря (PDA), BlackBerry®, смартфона, цифрового фотоаппарата или других мобильных устройств (за исключением ноутбука) с возможностью передачи информации беспроводным способом. Специалисту в данной области техники будет понятно, что мобильные устройства также включают в себя процессор и электронные носители информации для выполнения различных функций. Варианты осуществления, описанные в этом документе, относятся как к вычислительному устройству, так и к мобильному устройству. В вариантах осуществления вычислительные устройства относятся только к устройствам, на которых выполняются приложения, изображения из которых захватываются камерой в мобильном устройстве.

Согласно фиг.1, вычислительное устройство 100 включает в себя шину 110, которая непосредственно или опосредованно соединяет следующие устройства: память 112, один или несколько процессоров 114, один или несколько компонентов 116 представления, порты 118 ввода/вывода (I/O), компоненты 120 ввода-вывода и иллюстративный блок 122 питания. Шина 110 представляет то, что может быть одной или несколькими шинами (например, адресной шиной, шиной данных или их комбинацией). Несмотря на то, что различные блоки по фиг.1 изображены посредством линий для ясности, в действительности очертания различных компонентов не являются настолько ясными, и образно говоря, линии, более точно, являются серыми и нечеткими. Например, можно рассматривать компонент представления, например устройство отображения как компонент I/O. Кроме того, у процессоров есть память. Специалистам в данной области техники будет понятно, что такой является сущность области техники, к которой относится данное изобретение, и, как упоминалось ранее, схема по фиг.1 только иллюстрирует иллюстративное вычислительное устройство, которое может использоваться применительно к одному или нескольким вариантам осуществления настоящего изобретения. Не делается различие между такими категориями, как "рабочая станция", "сервер", "ноутбук", "малогабаритное устройство" и т.д., так как предполагается, что все они находятся в рамках объема фиг.1 и относятся к "вычислительному устройству".

Вычислительное устройство 100 обычно содержит множество машиночитаемых носителей информации. Например, машиночитаемые носители информации могут включать в себя RAM, ROM, EEPROM, флэш-память или другие технологии памяти, CD-ROM, DVD или другие оптические или голографические носители информации, кассеты с магнитной лентой, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающее устройства или аналогичные материальные носители информации, которые сконфигурированы для хранения данных и/или машинных команд, относящихся к вариантам осуществления, описанным в этом документе.

Память 112 включает в себя электронные носители информации в виде энергозависимой и/или энергонезависимой памяти. Память может быть съемной, несъемной или их комбинацией. Иллюстративные аппаратные устройства включают в себя твердотельную память, накопители на жестких дисках, кэш-память, накопители на оптических дисках и т.д. Вычислительное устройство 100 включает в себя один или несколько процессоров, которые считывают данные из различных объектов, например из памяти 112 или компонентов 120 I/O. Компонент (ы) 116 представления представляют индикации данных пользователю или в другое устройство. Иллюстративные компоненты представления включают в себя устройство отображения, динамик, компонент печати, вибрационный компонент и т.д.

Порты 118 I/O обеспечивают возможность логического соединения вычислительного устройства 100 с другими устройствами, включающими в себя компоненты 120 I/O, некоторые из которых могут быть встроенными. Иллюстративные компоненты включают в себя микрофон, джойстик, игровой планшет, спутниковую антенну, сканер, принтер, беспроводное устройство и т.д.

Согласно фиг.2, изображена блок-схема иллюстративной архитектуры 200 системы, подходящей для использования при реализации вариантов осуществления настоящего изобретения, в соответствии с вариантом осуществления настоящего изобретения. Специалистами в данной области техники будет понято, что иллюстративная архитектура 200 системы, изображенная на фиг.2, является только примером одной подходящей вычислительной среды, и не подразумевается, что она каким-либо образом ограничивает объем использования или функциональные возможности настоящего изобретения. Также не следует считать, что иллюстративная архитектура 200 системы каким-либо образом зависит от любого одного компонента или комбинации изображенных в ней компонентов, или предъявляет какие-либо требования в отношении них.

Кроме того, логика внутри операционной системы 220, поддерживающая иллюстративную архитектуру 200 системы, может быть осуществлена на внутреннем компоненте 225 обработки по отношению к вычислительному устройству 215, обеспечиваться из распределенной вычислительной среды, например из удаленного сервера (не изображен), или являться любой их комбинацией. В вариантах осуществления изобретения, которые применяются в распределенных вычислительных средах, логическая связь осуществляется через соответствующие соединения. Эти соединения могут быть проводными или беспроводными. Примеры конкретных проводных вариантов осуществления, в рамках настоящего изобретения, включают в себя соединения USB и кабельные соединения. Примеры конкретных беспроводных вариантов осуществления, в рамках настоящего изобретения, включают в себя радиочастотную технологию и беспроводную сеть близкого радиуса действия. Должно быть понятно, что название "беспроводная сеть близкого радиуса действия" не подразумевает ограничений и должно толковаться широко с включением в себя, по меньшей мере, следующих технологий: согласованные беспроводные периферийные (negotiated wireless peripheral, NWP) устройства, беспроводные сети с радиоинтерфейсом с малым радиусом действия (например, беспроводная персональная сеть (wPAN), беспроводная локальная сеть (wLAN), беспроводная региональная сеть (wWAN), Bluetooth и т.п.), беспроводная одноранговая связь (например, сверхширокополосная) и любой протокол, который поддерживает беспроводную передачу данных между устройствами. Кроме того, людям, знакомым с областью техники, к которой относится изобретение, будет понятно, что в беспроводной сети близкого радиуса действия могут быть применены различные способы передачи данных (например, спутниковая передача, телекоммуникационная сеть и т.д.). Следовательно, подчеркивается, что варианты осуществления соединений между вычислительным устройством 215 и удаленным сервером, на котором размещена некоторая часть или весь компонент 225 обработки, например, не ограничиваются описанными примерами, а охватывают широкий спектр способов передачи информации.

Иллюстративная архитектура 200 системы включает в себя вычислительное устройство 215, частично, для поддержки функционирования компонента 225 обработки. В иллюстративном варианте осуществления, в котором вычислительное устройство 215 является планшетным ПK, например интерфейс 250 с сенсорным экраном может быть оперативно соединен с вычислительным устройством 215. Вычислительное устройство 215 может принимать форму вычислительных устройств различных типов. Только для примера вычислительное устройство 215 может быть персональным вычислительным устройством (например, вычислительным устройством 100 по фиг.1), малогабаритным устройством (например, персональным цифровым секретарем), мобильным устройством (например, ноутбуком, сотовым телефоном, медиаплеером), бытовым электронным устройством, различными серверами и т.п. Кроме того, вычислительное устройство может содержать два или большее количество электронных устройств, сконфигурированных для совместного использования информации.

В вариантах осуществления, как обсуждалось выше, вычислительное устройство 215 включает в себя интерфейс 250 с сенсорным экраном и компонент 225 обработки (например, аппаратное обеспечение) с операционной системой 220, установленной на нем. Вычислительное устройство 215 сконфигурировано для представления дисплея 251 UI на интерфейсе 250 с сенсорным экраном. Интерфейс 250 с сенсорным экраном, который может быть оперативно соединен с компонентом 225 обработки, может быть сконфигурирован как любое устройство ввода/вывода с возможностью отображения информации для пользователя и сбора информации от пользователя (как изображено на фиг.2), или может быть физически разделен на компонент представления и компонент ввода. В вариантах осуществления компонент представления может (быть) устройством, выполненным с возможностью представления содержимого пользователю, например монитором, панелью электронного дисплея, сенсорным экраном, жидкокристаллическим дисплеем (LCD), плазменным экраном, одним или несколькими светоизлучающими диодами (LED), лампами накаливания, лазером, электролюминесцентным источником света, химическим светом, гибким проводом малого сечения и/или флуоресцентным излучением или дисплеем любого другого типа или может содержать отражающую поверхность, на которую проецируется визуальная информация. В одном иллюстративном варианте осуществления дисплей 251 UI, визуализируемый компонентом представления, сконфигурирован для представления области 235 ввода содержимого, связанной с инструментальным средством 295 панели рукописного ввода, и/или отображения инструментальной панели или панели жеста (не изображено). В другом иллюстративном варианте осуществления дисплей 251 UI выполнен с возможностью визуализации индикации запуска одной или нескольких обучающих анимаций (не изображено).

Компонент ввода обеспечивается для приема инициируемого (ых) пользователем ввода (ов) 230, влияющего (их) наряду с другим на активацию конкретного действия, установленного в соответствие с жестом, распознаваемым исходя из этого (этих) инициируемого (ых) пользователем ввода (ов) 230. В иллюстративном варианте осуществления компонент ввода принимает инициируемые пользователем вводы 230, направленные на содержимое 210, визуализированное внутри области 235 ввода содержимого, появляющейся на дисплее 251 UI. Иллюстративные компоненты ввода включают в себя сенсорную панель, компоненты 120 I/O по фиг.1 или любой другой компонент с возможностью приема инициируемого пользователем ввода 230 и передачи индикации этого ввода в компонент 225 обработки.

Только для примера компонент ввода может определять координаты того места, где инициируемый пользователем ввод 230 инициирует контакт с ним (например, место начала инициируемого пользователем движения перемещения), координаты того места, где инициируемый пользователем ввод 230 завершает контакт с ним (например, место разъединения инициируемого пользователем движения перемещения), и координаты промежуточных мест между ними. К координатам этих мест, определяющим инициируемый пользователем ввод 230, может быть присоединена временная метка, которая используется компонентом 265 ввода для дешифрования жеста исходя из инициируемого пользователем ввода, как обсуждается более полно ниже. Кроме того, координаты этих мест могут сравниваться с позициями пиктограмм, представляющих обучающие анимации, для определения того, запускать ли одну или несколько обучающих анимаций.

Несмотря на то, что выше описаны несколько отличающихся конфигураций интерфейса 250 с сенсорным экраном, специалистам в данной области техники должно быть понятно, что в качестве интерфейса 250 с сенсорным экраном могут быть использованы объединенные компоненты представления и компоненты ввода различных типов, которые принимают вводы от физического контакта, или каким-либо иным способом, и что варианты осуществления настоящего изобретения не ограничиваются этими примерами, которые изображены и описаны выше. В иллюстративном варианте осуществления компонент представления и компонент ввода выполняют функциональные возможности, описанные выше, одновременно и физически объединены с формированием интерфейса 250 с сенсорным экраном.

В другом иллюстративном варианте осуществления интерфейс 250 с сенсорным экраном является активным цифровым преобразователем, который реагирует на коммуникационное устройство (например, перо, поставляемое в комплекте) при помещении его в пределах конкретной близости от него (например, с отслеживанием движения пера, поставляемого в комплекте, и выводов обеспечиваемых им при зависании его вблизи поверхности интерфейса 250 с сенсорным экраном). Соответственно, для краткости и ясности компонент ввода и компонент представления далее в этом документе будут совместно называться интерфейсом 250 с сенсорным экраном, который является сенсорным экраном, который предлагает функциональные возможности как дисплея, так и элемента ввода в одном узле.

Операционная система (OS) 220 обычно обращается к программному обеспечению, которое управляет совместным использованием ресурсов компонента 225 обработки, и обеспечивает программистам интерфейс, используемый для получения доступа к этим ресурсам. Во время функционирования операционная система 220 интерпретирует системные данные, которые могут включать в себя инициируемые пользователем вводы 230, доставляемые как входные данные 260 из интерфейса 250 с сенсорным экраном. В ответ операционная система 220 может исполнять такие процессы, как нижеследующее, в произвольном порядке: осуществление мониторинга контекста вычислительной среды вычислительного устройства 215, причем мониторинг подразумевает извлечение текущего состояния инструментального средства 295 панели рукописного ввода, определение того, какие обучающие анимации переводить в активное состояние, на основе контекста, обнаружение инициируемого пользователем ввода 230, применяемого в увязке с инструментальным средством 295 панели рукописного ввода, появляющимся на интерфейсе 250 с сенсорным экраном вычислительного устройства 215, запуск одной или нескольких обучающих анимаций в активном состоянии на основе инициируемого пользователем ввода 230, и воспроизведение запущенной обучающей анимации в интерфейсе 250 с сенсорным экраном. В вариантах осуществления воспроизведение обучающих анимаций (не изображено) включает в себя визуализацию видеоинструкции должным образом исполняемого ручного жеста, используемого для редактирования содержимого, переданного в инструментальное средство 295 панели рукописного ввода.

В иллюстративном варианте осуществления операционная система 220 выполняется под управлением компонента 225 обработки и поддерживает исполнение одного или нескольких приложений, включающих в себя инструментальное средство 295 панели рукописного ввода. В других вариантах осуществления, операционная система 220 и/или инструментальное средство 295 панели рукописного ввода может частично или полностью находиться на расположенном удаленно вычислительном устройстве (например, на другой операционной системе, на сервере, расположенном (с доступом) через web-адрес и т.д.).

Эта структура операционной системы 220 является только одним примером подходящей структуры, которая может выполняться под управлением компонента 225 обработки, и она не подразумевает какого-либо ограничения в отношении объема использования или функциональных возможностей изобретения. Также не следует считать, что иллюстрируемая операционная система 220 каким-либо образом зависит от любого одного или комбинации из приема входных данных 260 или обеспечения данных 290 представления (например, информации, относящейся к обучающей анимации) в интерфейс 250 с сенсорным экраном, как изображено, или предъявляет какие-либо требования к ним. Кроме того, инструментальное средство 295 панели рукописного ввода может быть интегрировано в операционную систему 220 или компонент 225 обработки и является иллюстративным, по сути и по количеству, и не должно рассматриваться как ограничение.

В иллюстративном варианте осуществления операционная система 220 содействует запуску обучающих анимаций после приема инициируемого пользователем должного ввода 230 посредством содействия функционированию компонента 265 ввода, компонента 270 мониторинга, компонента 280 выбора, компонента 285 запуска, компонента 275 визуализации и инструментального средства панели рукописного ввода. Эта иллюстративная структура операционной системы (220) является только одним примером подходящей структуры, которая может выполняться под управлением компонента 225 обработки, и она не подразумевает какого-либо ограничения в отношении объема использования или функциональных возможностей изобретения. Также не следует считать, что иллюстрируемая операционная система 220 каким-либо образом зависит от любого одного или комбинации из компонентов 265, 270, 275, 280, 285 и 295, как изображено, или предъявляет к ним какие-либо требования. В некоторых вариантах осуществления один или несколько компонентов 265, 270, 275, 280, 285 и 295 могут быть реализованы как автономные приложения. В других вариантах осуществления один или несколько компонентов 265, 270, 275, 280, 285 и 295 могут быть интегрированы непосредственно в интерфейс 250 с сенсорным экраном или в вычислительное устройство 215. Только для примера часть компонента 265 ввода может находиться на интерфейсе 250 с сенсорным экраном, соответственно, с оказанием содействия захвату инициируемых пользователем вводов 230, применяемых к нему посредством физического предмета 205. Специалистами в данной области техники будет понятно, что компоненты 265, 270, 275, 280, 285 и 295, изображенные на фиг.2, являются иллюстративными по сути и по количеству и не должны рассматриваться как ограничение.

Соответственно, может использоваться любое количество компонентов для получения требуемых функциональных возможностей в рамках вариантов осуществления настоящего изобретения. Несмотря на то, что различные компоненты по фиг.2 изображены посредством линий для ясности, в действительности очертания различных компонентов/элементов не являются настолько ясными и, образно говоря, линии, более точно, являются серыми или нечеткими. Кроме того, несмотря на то, что некоторые компоненты и устройства по фиг.2 изображены как одиночные блоки, эти изображения являются иллюстративными по сути и по количеству и их не следует рассматривать как ограничение (например, несмотря на то, что изображен только один интерфейс 250 с сенсорным экраном, с вычислительным устройством 215 могут быть оперативно соединены намного больше интерфейсов, соответственно, с совместным функционированием для представления дисплея 251 UI).

Вначале компонент 270 мониторинга сконфигурирован для осуществления мониторинга контекста вычислительной среды вычислительного устройства 215. Как правило, мониторинг включает в себя извлечение текущего состояния инструментального средства 295 панели рукописного ввода и выявление фокуса 255 инструментального средства 245 курсора. В вариантах осуществления извлечение текущего состояния подразумевает опрос инструментального средства 295 панели рукописного ввода для распознавания текущего состояния инструментального средства 295 панели рукописного ввода на основе того, обеспечено ли содержимое 210 (например, текст, алфавитно-цифровые символы, изображения и т.д.) внутри области 235 ввода содержимого, сформированной инструментальным средством 295 панели рукописного ввода. В вариантах осуществления выявление фокуса 255 инструментального средства 245 курсора подразумевает определение того, находится ли фокус 255 инструментального средства 245 курсора внутри области 235 ввода содержимого на основе того, указана ли часть содержимого 210. В примерах фокусом 255 может быть точка вставки, выбор содержимого, место наведения инструментального средства 245 курсора на интерфейс 250 с сенсорным экраном или любой другой способ обеспечения индикации на дисплее 251 UI, который известен в соответствующей области. Например, как изображено на фиг.2, фокусом 255 является мерцающий указатель места вставки между "M" и "E" термина "ME" внутри содержимого 210.

На основе текущего состояния и фокуса инструментального средства 245 курсора выявляются действия, которые являются доступными для активации в инструментальном средстве 295 панели рукописного ввода. Например, когда внутри области 235 ввода содержимого отсутствует какое-либо содержимое 210, могут быть разрешены действия управления для импорта содержимого из других источников. В другом примере, когда содержимое 210 передано в область 235 ввода содержимого, могут быть разрешены действия редактирования для выполнения редакционных изменений в тексте или символах внутри содержимого 210. Эти действия редактирования обсуждались более полно выше. Соответственно, действия, которые стали доступными в конкретный момент времени, являются контекстно-зависимыми, соответственно, с минимизацией любых отклонений пользователя, например несоответствующих действий, от своей задачи. Кроме того, несмотря на то, что различные другие факторы явно не обсуждались в этом описании, может осуществляться мониторинг этих факторов для идентификации соответствующих действий в контекстно-зависимой среде, и эти факторы могут быть объединены с обсуждавшимися выше факторами, в отношении которых осуществляется мониторинг, любым способом, известным в соответствующей области.

Компонент 280 выбора сконфигурирован для определения того, какие обучающие анимации переводить в активное состояние, на основе контекста и/или действий, разрешенных для активации, выявленных компонентом 270 мониторинга. В одном варианте осуществления определение включает в себя идентификацию действий, выявленных как в настоящее время доступных для активации, и перевод тех обучающих анимаций, которые установлены в соответствии с разрешенными действиями, в активное состояние. Например, если разрешены действия редактирования, то обучающие анимации, которые демонстрируют ручные жесты для исправления, удаления, разделения, объединения или других команд редактирования, переводятся в активное состояние. Изображение появления образа переведенных (в активное состояние) обучающих анимаций изображено на фиг.3 в ссылочной позиции 310. В другом примере, если компонентом 270 мониторинга разрешены действия управления, то обучающие анимации, которые демонстрируют ручные жесты для вставки содержимого, открытия файлов, других команд управления документом/файлом или любой их комбинации, переводятся в активное состояние.

В другом варианте осуществления компонент 280 выбора сконфигурирован для идентификации одной или нескольких обучающих анимаций в соответствии с контекстом вычислительной среды. Соответственно, на основе состояния инструментального средства 275 панели рукописного ввода или состояния любых других приложений, выполняемых под управлением операционной системы 220, и/или состояния ввода 230 (например, места инициируемого пользователем ввода) создается список соответствующих обучающих анимаций. По существу, этот список обучающих анимаций является контекстно-зависим и организован для интуитивно целевых вопросов, которые, вероятно, возникнут в текущем состоянии инструментального средства 295 панели рукописного ввода, в котором взаимодействует пользователь. Например, если контекст вычислительной среды указывает на то, что пользователь в настоящее время набирает и редактирует текст (т.е. при обнаружении содержимого 210 в области 235 ввода содержимого), возможные вопросы, вероятно, относятся к активации действий редактирования через жесты. Обучающие анимации, которые отвечают на эти возможные вопросы, или, другими словами, объясняют то, как должным образом выполнять ручные жесты для активации действий редактирования, переводятся в активное состояние.

Соответственно, когда конкретные жесты являются соответствующими на основе состояния инструментального средства панели рукописного ввода или вычислительной среды, обучающие анимации, которые объясняют эти жесты, переводятся в активное состояние. Но в случае когда интерфейс 250 с сенсорным экраном является выключенным или, иначе, находится в режиме офлайн так, что ручные жесты уже не ожидаются как вид инициируемого пользователем ввода, то никакие обучающие анимации не могут быть переведены в активное состояние. Если в активное состояние переведено больше обучающих анимаций, чем допускается предопределенным порогом (например, количеством, определяемым ограниченной площадью экрана, выделенной для появляющихся образов обучающих анимаций), то может быть инициирован процесс фильтрации для обратного перевода менее соответствующх или менее контекстно-зависимых обучающих анимаций из активного состояния.

Компонент 275 визуализации сконфигурирован для, частично, представлять образ обучающих анимаций, переведенных в активное состояние. Согласно фиг.3, ниже обсуждаются варианты осуществления представления образа активных обучающих анимаций. Следует отметить, что в чертежах, описанных в этом описании изобретения, используется сквозная нумерация.

Вначале фиг.3 является схематическим представлением дисплея 251 UI, иллюстрирующим появляющееся инструментальное средство 295 панели рукописного ввода, связанное с образами обучающих анимаций 315 в активном состоянии, в соответствии с вариантом осуществления настоящего изобретения. В соответствии с одним вариантом осуществления компонента 275 визуализации по фиг.2 процессы представления образа обучающих анимаций 315, переведенных в активное состояние, включают в себя заполнение выбираемыми элементами 395 управления для запуска обучающей анимации 335 инструментальной панели 320, которая примыкает к появляющемуся инструментальному средству 295 панели рукописного ввода. В других вариантах осуществления процессы представления образа обучающих анимаций 315, переведенных в активное состояние, включают в себя заполнение графическими образами 311, 312, 313 и 314 обучающих анимаций 315 перемещаемой панели 310 жеста, которая появляется на интерфейсе 220 с сенсорным экраном, который является смежным с появляющимся инструментальным средством 295 панели рукописного ввода. В вариантах осуществления, каждый из графических образов 311, 312, 313 и 314 включает в себя переключатель 340, который при приведении в действие инициирует соответствующую обучающую анимацию 335, которую он представляет. В вариантах осуществления обеспечивается описатель, вписанный внутрь каждого из переключателей 340, который явно отображает действие, установленное в соответствии с образом обучающей анимации 315. В примерах описатель может включать в себя описательный текст 342, который описывает обучающую анимацию 335, представляющее статическое описание 341 (например, простую наглядную графику жеста) обучающей анимации 315, другие известные индикаторы, используемые в пиктограммах, или любую их комбинацию.

В варианте осуществления, иллюстрируемом на фиг.3, образы обучающих анимаций 315 включают в себя графические образы 311, 312, 313 и 314 действий редактирования, например действие исправления (в графическом образе 311), действие удаления (в графическом образе 312), действие разделения (в графическом образе 313) и действие объединения (в графическом образе 314). Эти графические образы 311, 312, 313 и 314 обучающих анимаций 315 могут быть выведены на экран в панели 310 жеста, которую можно передвигать отдельно от появляющегося инструментального средства 295 панели рукописного ввода. Соответственно, панель 310 свободно перемещается по интерфейсу 220 с сенсорным экраном независимо от появляющегося инструментального средства 295 панели рукописного ввода. В другом варианте осуществления образы действий 315 редактирования могут быть сконфигурированы как выбираемые элементы 395 управления, которые расположены на инструментальной панели 320, и, соответственно, прикреплены к появляющемуся инструментальному средству 295 панели рукописного ввода. Как правило, выбираемые элементы 395 управления на инструментальной панели 320 могут быть развернуты для отображения графических образов 311, 312, 313 и 314 обучающих анимаций 315 в виде переключателей 340 внутри панели 310 жеста. И наоборот, переключатели 340 внутри панели 310 жеста могут быть свернуты для отображения графических образов 311, 312, 313 и 314 обучающих анимаций 315 в виде выбираемых элементов 395 управления на инструментальной панели 320. Процессы разворачивания и сворачивания могут исполняться любым (известным) триггером (например, кнопками элемента управления), известным в соответствующей области.

Кроме того, образы обучающих анимаций 315 могут появляться любым способом с использованием компонента 275 визуализации по фиг.2. Как правило, образы обучающих анимаций 315 отображают то, какие обучающие анимации являются доступными для инструктирования пользователя относительно того, как должным образом выполнять определенные ручные жесты. С обеспечением визуального описания доступных обучающих анимаций 310 пользователя побуждают использовать эти вспомогательные средства обучения, когда он испытывает затруднения с передачей или редактированием содержимого 210. По существу, эти вспомогательные средства обучения легко обнаружить без длинного и неэффективного поиска в справочном подменю, и они предотвращают продолжение ввода пользователем неправильных жестов в отсутствие соответствующих указаний.

Согласно фиг.2, компонент 265 ввода сконфигурирован для приема одного или нескольких инициируемых пользователем вводов 230, в увязке с инструментальным средством 250 панели рукописного ввода, появляющимся на интерфейсе с сенсорным экраном вычислительного устройства 215, через входные данные 260. Как описано выше, инициируемый пользователем ввод 230 может являться движением перемещения физического предмета 205 по интерфейсу 250 с сенсорным экраном или любым другим ручным жестом или командой, которая может быть обнаружена операционной системой 220. В иллюстративном варианте осуществления компонент 265 ввода сконфигурирован для интерпретации инициируемого пользователем ввода 230 и распознавания должного ответа. После распознавания должного ответа компонент 265 ввода может передать ответ в компонент 285 запуска.

Компонент 285 запуска сконфигурирован для инициирования воспроизведения одной или нескольких обучающих анимаций в активном состоянии на основе ответа, который обеспечивается компонентом 265 ввода. В частности, компонент 285 запуска может обмениваться информацией с компонентом 280 выбора для понимания того, какие обучающие анимации переводятся в активное состояние, или, другими словами, какие обучающие анимации являются доступными для визуализации, на основе контекста вычислительной среды. В соответствии с принятым ответом, запускаются ни одной, одна или множество активных обучающих анимаций.

В общем, компонент 285 запуска обрабатывает ответ из компонента 265 ввода для определения того, указывает ли инициируемый пользователем ввод 230 на то, что должна быть запущена активная обучающая анимация. В одном примере, если инициируемый пользователем ввод 230 распознается как приведение в действие, применяемое в одном из выбираемых элементов 395 управления (см. фиг.3) или в одном из переключателей 340 (см. фиг.3), то запускается обучающая анимация, соответствующая приводимому в действие выбираемому элементу управления или приводимому в действие переключателю. Например, согласно фиг.3, если инициируемый пользователем ввод типа касания включает в себя приведение в действие, или нажатие, переключателя 340, который имеет графический образ 311 действия исправления, тогда запускается обучающая анимация 335, которая демонстрирует должным образом выполняемый ручной жест 345 для активации действия исправления.

В другом примере, если инициируемое пользователем действие включает в себя выполнение вспомогательной команды, которая соответствует ручному жесту, то может быть запущена обучающая анимация, которая демонстрирует соответствующий ручной жест. Например, согласно фиг.3, может быть выбрана часть текста внутри содержимого 210, переданного в область 235 ввода содержимого. Как обсуждалось ранее, выбранная часть текста обозначается как фокус 255. Может быть активизирована вспомогательная команда для исправления выбранной части содержимого 210. Вспомогательная команда может быть любым инициируемым пользователем вводом, который использует некоторый способ ввода, кроме ручного жеста. В иллюстрируемом примере для редактирования выбран термин "MANE", причем используется вспомогательная команда ввод нажатием клавиши (не изображено) на клавиатуре для исправления орфографической ошибки на "MANY". В этом примере после обнаружения вспомогательной команды компонент 285 запуска конфигурируется для идентификации действия, которое соответствует вспомогательной команде. Поскольку в этом случае используется вспомогательная команда для исправления выбранной части текста в фокусе 255, то действие исправления идентифицируется как соответствующее вспомогательному действию.

Далее, обучающая анимация 335, установленная в соответствие с действием исправления, запускается последовательно или параллельно с выполнением действия исправления в отношении выбранной части текста. По существу, обучающее действие 335 автоматически инструктирует пользователя о том, что ручной жест для активации действия, активизируемого вспомогательной командой, является доступным и/или разрешенным. Кроме того, обучающее действие 335 автоматически демонстрирует пользователю то, как должным образом выполнять должный ручной жест для активации действия, указываемого вспомогательной командой. Соответственно, пользователю обеспечивают автоматически обнаруживаемое вспомогательное средство обучения, которое демонстрирует ускоренные виды обеспечения ввода (например, ручные жесты), в отличие от обычных вводов (например, вспомогательных команд), к которым привык пользователь. Следовательно, автоматический запуск обучающих анимаций знакомит пользователей со всеми доступными способами обеспечения вводов в интерфейс с сенсорным экраном и настоятельно рекомендует пользователям использовать эти способы.

Несмотря на то, что в этом документе описаны два разных подхода для запуска обучающей анимации, специалистам в данной области техники должно быть понятно, что могут использоваться другие типы подходящих способов, которые запускают обучающую анимацию, и что варианты осуществления настоящего изобретения не ограничены простым приведением в действие переключателя/элемента управления или обеспечением соответствующей вспомогательной команды, как описано в этом документе. Например, обучающая анимация может запускаться при попытке выполнения задачи посредством выполнения ручного жеста или другого вида инициируемого пользователем ввода. В другом примере обучающую анимацию, которая демонстрирует то, как должным образом выполнять жест, могут запускать одно или несколько неподходящих движений перемещения, связанных с распознаваемым ручным жестом. С запуском обучающей анимации посредством этих способов, описанных выше, содействующая инструкция, обеспечиваемая обучающими анимациями, является интегрированной в обычное взаимодействие с инструментальным средством 295 панели рукописного ввода (см. фиг.2), и обеспечивает быстро обнаруживаемое вспомогательное средство обучения.

Кроме того, в иллюстративном варианте осуществления может быть обеспечен элемент управления переключателем, который обеспечивает возможность пользователю или операционной системе 220 (см. фиг.2) вручную или автоматически, соответственно, регулировать настройку запуска в компоненте 285 запуска. С регулированием настройки запуска пользователь или операционная система 220 могут предписывать то, запускаются ли обучающие анимации автоматически после приема соответствующей вспомогательной команды, и/или то, запускаются ли обучающие анимации после обнаружения приведения в действие в элементе управления/переключателе. Соответственно, пользователь или операционная система 220 могут разрешать или запрещать запуск обучающих анимаций.

Согласно фиг.2, далее обсуждается компонент 275 визуализации. В общем, компонент 275 визуализации сконфигурирован для вывода на экран внутри области 330 отображения (см. фиг.3), появляющейся в интерфейсе 250 с сенсорным экраном, одной или нескольких запущенных обучающих анимаций в режиме воспроизведения. В вариантах осуществления область 330 отображения (см. фиг.3) появляется в интерфейсе 250 с сенсорным экраном после передачи в него компонентом 275 визуализации данных 290 представления.

Согласно фиг.2, как правило, в режиме воспроизведения, обучающие анимации обеспечивают видеоинструкцию ручного жеста 345 (см. фиг.3), используемую для редактирования содержимого 210, передаваемого в появляющееся инструментальное средство 295 панели рукописного ввода. Обучающие анимации в режиме воспроизведения могут быть представлены пользователю множеством способов. В одном варианте осуществления обучающая анимация может воспроизводиться в области отображения, которая является всплывающим окном. Как правило, всплывающее окно отделено от появляющегося инструментального средства 295 панели рукописного ввода, не закрывает область 235 ввода содержимого и представлено в заметной области интерфейса 250 с сенсорным экраном, соответственно, с привлечением внимания пользователей к обучающей анимации. В этом варианте осуществления ручной жест, демонстрируемый обучающей анимацией, может быть применен к общему содержимому или не подлежащему классификации тексту, который не связан с выбранной частью текста, указанной пользователем внутри области 235 ввода содержимого. Или ручной жест, демонстрируемый обучающей анимацией, может быть применен к термину или фразе, которая, по существу, является аналогичной выбранной части текста внутри области 235 ввода содержимого. Например, согласно фиг.3, на выбранную часть текста "MANE" может указывать фокус 255. По существу, обучающая анимация 335 может быть видеопера и/или руки-модели, выполняющих ручной жест 345 для исправления аналогичного термина "MANE" и написания "MANY".

Несмотря на то, что обучающая анимация обсуждалась как видеопера и/или руки-модели, выполняющих ручной жест, специалисту в области техники, к которой относится данное изобретение, будет понятно, что она может быть любым (и) изображением (ями) художественной визуализации ручного жеста или инструкциями относительно того, как выполнять такой ручной жест. Соответственно, любое (известное) вспомогательное средство обучения в соответствующей области, которое способствует пониманию того, как выполнять ручной жест, может рассматриваться как обучающая анимация.

В другом варианте осуществления, согласно фиг.3, обучающая анимация 335 может воспроизводиться в области 235 ввода содержимого. В этом варианте осуществления ручной жест 345, демонстрируемый обучающей анимацией 335, может быть непосредственно применен к выбранной части текста в фокусе 255 внутри области 235 ввода содержимого. Соответственно, инструктивная обратная связь может быть интегрирована в области 235 ввода содержимого. С визуализацией обучающей анимации 335 таким способом варианты осуществления настоящего изобретения реализуют способ "обучение во время вычерчивания", который инструктирует или усиливает ручные жесты 345, когда пользователь выполняет конкретную операцию по редактированию/набору текста.

Несмотря на то, что описаны две разные конфигурации (визуализации) обучающей анимации 335, специалистам в данной области техники должно быть понятно, что могут использоваться другие виды подходящих мест для воспроизведения обучающей анимации 335 на дисплее UI, и что варианты осуществления настоящего изобретения не ограничиваются воспроизведением обучающей анимации 335 в области 330 отображения или области 235 ввода содержимого, как описано в этом документе.

После воспроизведения обучающей анимации 335 через начальный цикл обучающего жеста 345 обучающий жест 345 может повторяться один раз или в цикле. В одном варианте осуществления обучающий жест 345 может повторяться в цикле предопределенное количество раз (например, один раз, пять раз, пятьдесят раз). В другом варианте осуществления обучающий жест 345 может повторяться в цикле в непрерывном режиме воспроизведения до тех пор, пока не будет прерван инициируемой пользователем индикацией прекращения повторения в цикле. В одном примере этого варианта осуществления инициируемая пользователем индикация прекращения повторения в цикле может быть вводом отмены, например ручным жестом, применяемым к части области 330 отображения, в которой воспроизводится запущенная обучающая анимация 335. В другом примере этого варианта осуществления инициируемая пользователем индикация прекращения повторения в цикле может быть вводом вычерчивания, например ручным жестом 345, применяемым к области 235 ввода содержимого, формируемой инструментальным средством 295 панели рукописного ввода. В случае обнаружения этих или других предопределенных ручных жестов повторение в цикле обучающей анимации 345 прерывается и область 330 отображения может быть скрыта.

После восприятия обучающей анимации 335 пользователь может попытаться подражать продемонстрированному ручному жесту 345. Если пользователь успешно подражает ручному жесту 345 или точно имитирует обучающую анимацию 335, то ручной жест, обеспечиваемый пользователем, идентифицируется как выполняемый должным образом. Соответственно, действие (например, действие редактирования или действие управления), которое установлено в соответствии с должным образом, выполняемым ручным жестом, активируется в инструментальном средстве 295 панели рукописного ввода.

Согласно фиг.4-фиг.7, изображены последовательные дисплеи UI, которые иллюстрируют этапы отображения кадров обучающих анимаций, после распознавания должного инициируемого пользователем ввода, в соответствии с вариантами осуществления настоящего изобретения. Вначале, согласно фиг.4, изображен иллюстративный дисплей 400 UI, который включает в себя появляющееся на нем инструментальное средство 295 панели рукописного ввода. Появляющееся инструментальное средство 295 панели рукописного ввода включает в себя область 235 ввода содержимого с переданным в него содержимым 410. Поскольку в области 235 ввода содержимого присутствует содержимое 410, то этот контекст приводит к тому, что появляющееся инструментальное средство 295 панели рукописного ввода визуализирует образы обучающих анимаций 415, которые установлены в соответствии с действиями редактирования. В других вариантах осуществления образы обучающих анимаций 415 могут отличаться, могут быть установлены в соответствии с другими действиям, поддерживаемыми появляющимся инструментальным средством 295 панели рукописного ввода, или могут (передаваться) пользователю через в корне отличные графические образы, как правило, на основе функциональных возможностей, лежащих в основе действий.

Как изображено на фиг.4-фиг.7, образы обучающих анимаций 415 являются выбираемыми элементами управления 395, которыми заполняют инструментальную панель 320. Несмотря на то, что образы обучающих анимаций 415 изображены в виде выбираемых элементов 395 управления, они (могут) принимать любой обсуждавшийся выше вид, например переключателей, которыми заполняют панель жеста, или могут быть скрыты.

В примерах выбирается или выделяется, часть содержимого 410, как обозначено фокусом 420. После приведения в действие выбираемого элемента 425 управления, установленного в соответствие с действием удаления, появляется область 330 отображения, которая визуализирует обучающую анимацию 450, которая выполняет ручной жест 495 на выбранной части текста 455. Соответственно, обучающая анимация 450 является соответствующим вспомогательным средством обучения, которое динамически планирует инструкцию для подлежащих воздействию термина, фразы, изображения и т.д. Кроме того, приведение в действие выбираемого элемента 425 управления может выполняться посредством нажатия на выбираемый элемент 425 управления посредством инструментального средства курсора или любым другим известным способом применения приведения в действие к визуально изображенным кнопке/переключателю/элементу управления.

На фиг.5 и фиг.6 изображены дисплеи 500 и 600 UI соответственно и изображены выдвинутые вперед кадры обучающей анимации 450. Соответственно, изображена иллюстративная последовательность изображений, демонстрирующих ручной жест 495, применяемый к выбранной части текста 455. После завершения цикла упомянутой последовательности эта последовательность может повторяться в цикле, или область 330 отображения может быть скрыта.

Согласно фиг.7, изображен дисплей 700 UI, на котором изображено появляющееся инструментальное средство 295 панели рукописного ввода с содержимым 410, обеспеченным в области 235 ввода содержимого. В этом варианте осуществления обучающая анимация 450 сконфигурирована для демонстрации ручного жеста 495 на выбранной части текста 455 в области 235 ввода содержимого. Как обсуждалось выше, обучающая анимация 450 может запускаться после приведения в действие пользователем выбираемого элемента 425 управления. В других вариантах осуществления, обучающая анимация может (запускаться) после приема вспомогательной команды, которая активирует действие, установленное в соответствие с обучающей анимацией 450.

Согласно фиг.8 и фиг.9, изображена рабочая блок-схема, на которой изображен процесс 800 для инициирования обучающей анимации, которая демонстрирует ручной жест, причем этот процесс реализован на подходящей иллюстративной архитектуре системы в соответствии с вариантом осуществления настоящего изобретения. Согласно фиг.8, вначале операционная система, установленная на компоненте 225 обработки, динамически осуществляет мониторинг контекста вычислительной среды вычислительного устройства 215, как указано в процедуре 810. В одном варианте осуществления мониторинг включает в себя опрос 805 вычислительного устройства 215 для определения того, какие обучающие анимации перевести в активное состояние. В других вариантах осуществления осуществление мониторинга вычислительной среды включает в себя следующие этапы, без какого-либо конкретного порядка: распознавание текущего состояния инструментального средства панели рукописного ввода (см. процедуру 811), идентификацию фокуса курсора внутри области ввода содержимого, сформированной инструментальным средством панели рукописного ввода (см. процедуру 812), и выявление того, какие действия являются доступными для активации, на основе контекста и фокуса (см. процедуру 813).

После выявления того, какие действия являются доступными для активации, идентифицируются и переводятся в активное состояние обучающие анимации, которые установлены в соответствии с этими действиями. Как указано в процедуре 815, переведенные (в активное состояние) обучающие анимации могут временно храниться в активном состоянии. Кроме того, пользователю может обеспечиваться индикация того (какие обучающие анимации), находятся в активном состоянии или являются доступными для запуска, после представления образа этих обучающих анимаций на дисплее UI, как указано в процедуре 820. Как правило, дисплей UI визуализируется на интерфейсе 250 с сенсорным экраном.

Как указано в ссылочной позиции 825, инициируемый пользователем ввод, направленный на представленный образ обучающей анимации, может быть принят через взаимодействие пользователя с инструментальным средством панели рукописного ввода, появляющейся на устройстве 250 с сенсорным экраном. После приема ввода может быть исполнена процедура 830 для запуска одной или нескольких обучающих анимаций, переведенных в активное состояние. В одном примере запуск может подразумевать появление области отображения (см. процедуру 832) и воспроизведение видеопера/руки-модели, исполняющих ручной жест на выбранном тексте (см. процедуру 835). Кроме того, запуск обучающих анимаций в вариантах осуществления может или не может вызывать активацию действий, установленных с ними в соответствие.

Согласно фиг.9, индикация запуска обучающих анимаций визуализируется на интерфейсе 250 с сенсорным экраном, как указано в ссылочной позиции 935. В вариантах осуществления, как указано в ссылочной позиции 940, инициируемая пользователем команда может приниматься в увязке с инструментальным средством панели рукописного ввода. Как указано в процедуре 945, инициируемая пользователем команда может быть идентифицирована как ручной жест, который имитирует визуализированную обучающую анимацию. При идентификации, по существу, действие (например, действие редактирования, действие управления и т.д.) активируется на основе принятого ручного жеста.

Настоящее изобретение описано в отношении конкретных вариантов осуществления, в отношении которых подразумевается, что они во всех отношениях являются только иллюстративными. Специалистам в области техники, к которой относится настоящее изобретение, будут очевидны альтернативные варианты осуществления без отступления от его объема.

Из вышеизложенного очевидно, что это изобретение хорошо адаптировано для достижения всех целей, изложенных выше, в совокупности с другими преимуществами, которые очевидны для упомянутых системы и способа и свойственны им. Подразумевается, что определенные признаки и подкомбинации являются полезными и могут использоваться независимо от других признаков и подкомбинаций. Это предполагается объемом формулы изобретения и включено в него.