способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления

Формула изобретения

1. Способ обработки цифрового документа, содержащего цифровое рукописное примечание, содержащий этапы, на которых формируют цифровые рукописные штрихи на цифровом документе;

отсекают по меньшей мере некоторые из цифровых рукописных штрихов на основе временного упорядочения цифровых рукописных штрихов, пространственного размещения цифровых рукописных штрихов, либо и того, и другого вместе;

группируют оставшиеся цифровые рукописные штрихи для определения цифрового рукописного примечания;

классифицируют цифровое рукописное примечание для создания классификации примечания на основе сгруппированных рукописных штрихов;

привязывают цифровое рукописное примечание к области в цифровом документе, с которой связано цифровое рукописное примечание, для создания привязки примечания; и

выполняют переформатирование цифрового рукописного примечания в новой компоновке цифрового документа.

2. Способ по п.1, дополнительно содержащий этап, на котором классифицируют цифровое рукописное примечание на основе по меньшей мере двух разных критериев.

3. Способ по п.2, в котором упомянутые по меньшей мере два критерия включают в себя: (а) характеристики примечания и (b) контекстуальную информацию в цифровом документе.

4. Способ по п.2, дополнительно содержащий этап, на котором определяют доверительную оценку классификации примечания, которая определяет, следует ли проконсультироваться с пользователем.

5. Способ по п.4, дополнительно содержащий этап, на котором определяют, что доверительная оценка для классификации примечания является низкой.

6. Способ по п.4, дополнительно содержащий этап, на котором определяют, что доверительная оценка для группирования цифровых рукописных штрихов ниже порогового значения и что следует использовать группирование вручную.

7. Способ по п.1, дополнительно содержащий этап, на котором определяют правила привязки для каждой классификации цифровых рукописных примечаний.

8. Способ по п.1, дополнительно содержащий этап, на котором применяют правила привязки для каждой классификации цифрового рукописного примечания для создания привязки примечания.

9. Способ по п.1, дополнительно содержащий этап, на котором определяют действительность привязки примечания на основе присутствия либо отсутствия контекста привязки для цифрового рукописного примечания в цифровом документе.

10. Способ по п.9, дополнительно содержащий этап, на котором определяют, требуется ли взаимодействие с пользователем, на основе действительности привязки примечания.

11. Способ по п.1, дополнительно содержащий этап, на котором обрабатывают цифровое рукописное примечание для согласования с новой компоновкой с тем, чтобы сохранить значение и цель исходного цифрового рукописного примечания.

12. Способ по п.11, дополнительно содержащий этап, на котором визуализируют цифровое рукописное примечание на устройстве отображения для согласования с новой компоновкой.

13. Машиночитаемый носитель, имеющий машиноисполняемые команды для выполнения способа по п.1.

14. Способ обработки цифровых рукописных штрихов в цифровом документе, содержащий этапы, на которых

группируют цифровые рукописные штрихи для определения цифрового рукописного примечания;

классифицируют цифровое рукописное примечание как примечание типа выноски на основе характеристик примечания и контекстуальной информации в цифровом документе, причем примечание типа выноски определено как примечание, которое связывает области цифрового документа путем перехода из одного места в другое; и

выполняют переформатирование цифрового рукописного примечания в качестве модифицированной версии цифрового документа, имеющего новую компоновку, с тем, чтобы сохранить цель и значение цифровых рукописных штрихов.

15. Способ по п.14, дополнительно содержащий этап, на котором группируют цифровые рукописные штрихи на основе временного упорядочивания цифровых рукописных штрихов.

16. Способ по п.14, дополнительно содержащий этап, на котором группируют цифровые рукописные штрихи на основе пространственного упорядочивания цифровых рукописных штрихов.

17. Способ по п.14, дополнительно содержащий этап, на котором группируют цифровые рукописные штрихи на основе комбинации из: (а) временного упорядочивания цифровых рукописных штрихов и (b) пространственного упорядочивания цифровых рукописных штрихов.

18. Машиночитаемый носитель, имеющий машиноисполняемые команды, которые при их исполнении одним или более процессорами предписывают этим одному или более процессорам реализовать способ по п.14.

19. Машиночитаемый носитель, имеющий машиноисполняемые команды для адаптации цифровых рукописных примечаний в цифровом документе к новой компоновке в модифицированном цифровом документе, содержащие:

группирование цифровых рукописных штрихов в цифровом документе для определения первого цифрового рукописного примечания;

классифицирование первого цифрового рукописного примечания как примечания типа выноски, причем примечание типа выноски определено как примечание, которое связывает области цифрового документа путем перехода из одного места в другое;

привязывание первого цифрового рукописного примечания в цифровом документе на основе классификации примечания для создания цифрового документа с правильно отформатированными примечаниями;

последующую модификацию цифрового документа с правильно отформатированными примечаниями посредством способа внешней модификации для создания модифицированного цифрового документа, имеющего новую компоновку, которая отличается от цифрового документа с правильно отформатированными примечаниями; и

переформатирование цифровых примечаний для согласования с новой компоновкой модифицированного цифрового документа.

20. Машиночитаемый носитель по п.19, дополнительно содержащий группирование цифровых рукописных штрихов на основе по меньшей мере одного из: (а) временного упорядочивания цифровых рукописных штрихов; (b) пространственного упорядочивания цифровых рукописных штрихов.

21. Машиночитаемый носитель по п.19, в котором цифровые рукописные примечания включают в себя примечания для активного считывания, которые сделаны пользователем для акцентирования внимания на определенном содержании, выполнения комментариев или записи своих мыслей и впечатлений в цифровом документе.

22. Машиночитаемый носитель по п.19, в котором цифровые рукописные примечания включают в себя редактирование примечаний, которые используются для указания на ошибки в цифровом документе.

23. Способ переформатирования цифровых рукописных штрихов из исходного цифрового документа, имеющего первую компоновку, в модифицированном цифровом документе, который имеет вторую компоновку, отличающуюся от первой компоновки, причем способ содержит этапы, на которых

группируют цифровые рукописные штрихи для определения первого цифрового рукописного примечания;

классифицируют первое цифровое рукописное примечание как примечание типа выноски на основе характеристик примечания и контекстуальной информации в цифровом документе, причем примечание типа выноски определено как примечание, которое связывает области цифрового документа путем перехода из одного места в другое;

привязывают первое цифровое рукописное примечание к области в исходном цифровом документе, связанной с первым цифровым рукописным примечанием;

определяют вторую компоновку модифицированного цифрового документа;

обрабатывают первое цифровое рукописное примечание для согласования со второй компоновкой; и

визуализируют первое цифровое рукописное примечание в модифицированном цифровом документе с тем, чтобы первое цифровое рукописное примечание было согласовано со второй компоновкой и сохранило то же значение и ту же цель в модифицированном цифровом документе, что и в исходном цифровом документе.

24. Способ по п.23, дополнительно содержащий этап, на котором классифицируют второе цифровое рукописное примечание как примечание типа подчеркивания.

25. Способ по п.24, дополнительно содержащий этап, на котором привязывают примечание типа подчеркивания к символам в области, которые являются подчеркнутыми.

26. Способ по п.23, дополнительно содержащий этап, на котором классифицируют второе цифровое рукописное примечание как примечание типа выделения.

27. Способ по п.23, дополнительно содержащий этап, на котором классифицируют второе цифровое рукописное примечание как примечание типа сноски.

28. Способ по п.27, в котором примечание типа сноски определено как любой штрих цифрового примечания, который находится на полях либо в свободном месте цифрового документа.

29. Способ по п.23, дополнительно содержащий этап, на котором классифицируют второе цифровое рукописное примечание как примечание типа кружка.

30. Способ по п.29, в котором примечание типа кружка является по меньшей мере одним из: (а) примечания типа строчного кружка; (b) примечания типа кружка для области.

31. Способ по п.30, в котором примечание типа строчного кружка охватывает одну строку текста.

32. Способ по п.30, в котором примечание типа кружка для области охватывает множество неполных строк текста и другое содержание цифрового документа.

33. Способ по п.23, дополнительно содержащий этап, на котором классифицируют цифровое рукописное примечание как примечание типа скобки на полях.

34. Способ по п.33, в котором примечание типа скобки на полях определено как группы рукописных штрихов, которые образуют примерно вертикальные линии на полях цифрового документа.

35. Способ по п.23, в котором примечание типа выноски имеет некоторую кривизну.

36. Способ по п.23, в котором примечание типа выноски делают под углом к горизонтальному и вертикальному направлениям в цифровом документе.

37. Способ по п.23, в котором концы примечания типа выноски примыкают по меньшей мере к одному из: (а) тексту цифрового документа; (b) содержанию цифрового документа; (с) цифровым рукописным штрихам из других примечаний.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к обработке цифровых документов, в частности к способу и системе для обработки цифровых рукописных примечаний произвольного вида, выполненных в цифровом документе, с тем чтобы при модификации компоновки цифрового документа (в результате его редактирования либо отображения на других отображающих устройствах) имела место соответствующая адаптация компоновки примечания.

Предшествующий уровень техники

Снабжение рукописными примечаниями бумажных документов является привычной и необходимой операцией в самых разных сферах бизнеса и образования. Снабжение документа примечаниями представляет собой действие, состоящее в «маркировке» или размещении критических и поясняющих замечаний и ремарок на документе. Эти замечания и ремарки могут быть текстовыми, графическими либо теми и другими.

Широкую популярность среди потребителей получили вычислительные устройства на основе перьевых указателей, таких как «пен-компьютеры» (компьютеры с перьевым указателем), планшетные персональные компьютеры и персональные цифровые информационные устройства (PDA), в связи с чем весьма полезной и важной становится возможность снабжения цифровых документов примечаниями. В вычислительных устройствах, построенных на основе перьевых указателей, для ввода вместо клавиатуры используют электронный перьевой указатель (так называемое перо). Перьевые указатели используют для ввода потому, что во многих случаях вычислительные устройства слишком малы, чтобы в них можно было уместить клавиатуру. Кроме того, встречается множество ситуаций, когда перьевой указатель вместе с блокнотом более удобен пользователю, чем клавиатура. Такие вычислительные устройства на основе перьевых указателей обычно имеют специальные операционные системы, которые поддерживают распознавание рукописных символов, что позволяет пользователю взаимодействовать с устройством путем выполнения записи на экране или на планшете вместо печатания на клавиатуре.

Несмотря на доступность и полезность вычислительных устройств на основе перьевых указателей, при чтении и снабжении документов примечаниями большинство людей все еще предпочитают бумагу и ручку. Одной из главных причин этого является то, что бумага и ручка позволяют читателю с легкостью делать свои заметки и рисунки в неструктурированной или произвольной форме в соответствии с содержанием документа.

Несмотря на преимущества, которые имеют бумажные документы в плане возможностей снабжения их примечаниями, в настоящее время наблюдается тенденция, состоящая в том, что цифровые документы и примечания становятся более гибкими, чем их бумажные аналоги. Например, цифровые документы, в отличие от бумажных, легче редактировать и адаптировать для совмещения с дисплеями. Помимо этого, в то время как снабженные примечаниями бумажные документы часто оказываются в мусорной корзине, цифровые примечания могут продолжать существовать на протяжении всего времени существования цифрового документа. Кроме того, цифровые документы и примечания легче фильтровать, систематизировать и совместно использовать.

Благодаря такой гибкости цифровые документы можно использовать в самых разных сферах. Например, один цифровой документ можно считывать в нескольких различных форматах, отображать на множестве различных устройств и представлять во множестве окон различных размеров. Цифровой документ можно редактировать, объединять с другими документами и возможно даже динамически адаптировать его содержание. Таким образом, в отличие от бумажного документа, цифровой документ обычно не имеет постоянную компоновку.

Отсутствие постоянной компоновки создает серьезную техническую проблему при рассмотрении в цифровом документе цифровых рукописных примечаний произвольной формы. Например, каждый раз, когда цифровой документ адаптируют к новой компоновке, необходима также адаптация связанных с ним примечаний. Другими словами, при редактировании цифрового документа либо отображении его на различных устройствах или в окнах разных размеров компоновку цифрового документа изменяют с целью адаптации к новой ситуации. Любые «цифровые рукописные» примечания, сделанные в цифровом документе, должны быть аналогичным образом адаптированы (или «переформатированы») к новым параметрам компоновки.

Для поддержки переформатирования цифровых рукописных примечаний произвольной формы необходимо решить три проблемы: во-первых, примечания, создаваемые читателем, необходимо распознать и классифицировать в качестве примечания, относящегося к одному из нескольких типов (например, «подчеркивание», «кружок», «комментарий на полях» и т.д.); затем каждое примечание необходимо привязать к тому конкретному месту в документе, к которому данное примечание относится; наконец, если компоновка базового документа в какой-то момент в будущем изменится, то существующие в документе примечания необходимо будет правильно переформатировать, с тем чтобы они продолжали соответствовать исходной цели читателя (автора примечаний).

Исторически сложилось так, что большинство усилий исследователей и разработчиков, связанных с цифровыми рукописными текстами, сконцентрировано на распознавании рукописных символов. Однако в раскрытом здесь способе и системе цифровых рукописных примечаний распознавание рукописных символов не используется. Причина этого состоит в том, что можно выполнить переформатирование цифровых рукописных примечаний просто на основе информации о том, являются ли они рукописными или нет (что является задачей классификации высокого уровня), без необходимости конкретного знания о смысле этих примечаний (что является задачей мелкоструктурного распознавания).

В последнее время отмечается использование нескольких подходов к распознаванию рукописных форм для поддержки различных интерфейсов на основе упрощенных эскизов. В этих подходах для распознавания ряда форм или «жестов» (графических знаков, программируемых пользователем) используются эвристические способы или способы на основе обучения машин. Однако анализ возможности их использования для поддержки цифровых рукописных примечаний показал один недостаток, присущий этим подходам, который состоит в том, что в них отсутствует привязка рукописных штрихов к независимому контексту, такому как базовый документ, и, следовательно, упомянутые подходы не могут модифицировать рукописные знаки пользователя в соответствии с изменениями в указанном контексте.

Существует по меньшей мере один подход, где применяется распознавание форм для цифровых рукописных примечаний с последующим использованием результатов распознавания для адаптации рукописных примечаний произвольной формы к ограниченным изменениям параметров просмотра (например, изменение размера шрифта в документе). При этом подходе изначально предлагается простая эвристика для выполнения распознавания; однако было установлено, что этого недостаточно. Далее этот подход предполагает использование способов обучения машин для распознавания и «сверхлокальную» привязку для связывания частей рукописных штрихов с индивидуальными признаками контекста. Одна из проблем, связанных с этим подходом, состоит в том, что он не включает в себя ручную классификацию. Ручную классификацию необходимо ввести в систему с тем, чтобы предоставить пользователю возможность ручного выбора, когда автоматическая классификация, привязка или переформатирование не удалось либо не выполнимо. Также «сверхлокальная» привязка (например, когда части отдельных рукописных штрихов по отдельности привязываются к контекстным признакам документа) подходит для адаптации примечаний к тем ограниченным изменениям параметров просмотра, с которыми был связан этот подход; однако такая привязка оказывается недостаточной для поддержки ничем не ограниченного переформатирования цифровых рукописных примечаний, поскольку при преобразовании примечания необходимо учесть все рукописные штрихи, входящие в состав данного примечания, и все признаки в контексте привязки примечания.

Таким образом, имеется потребность в способе и системе для обработки документов, в которых преодолеваются вышеупомянутые проблемы и ограничения. В частности, имеется необходимость в системе и способе, которые сохраняют цель и визуальное значение цифровых рукописных примечаний при каждой модификации исходного документа.

Сущность изобретения

Раскрытое здесь изобретение включает в себя способ и систему обработки цифровых рукописных примечаний для сохранения цели и значения цифровых рукописных примечаний в исходном документе всякий раз, когда исходный документ получает новую компоновку в результате редактирования либо отображения на другом устройстве отображения или в окне другого размера. В общем случае способ и система включают в себя три широких аспекта. Во-первых, когда пользователь выполняет разметку документа, выполняется группировка цифровых рукописных штрихов для определения примечания и классификации примечания в качестве одного из нескольких «типов» примечаний. Эти «типы» примечаний включают в себя примечания типа подчеркивания, примечания типа выделения, примечания типа скобки на полях, примечания типа кружка, примечания типа сноски, и примечания типа выноски или соединителя. Во-вторых, каждое примечание должно быть привязано к окружающему его контексту в документе. Наконец, при изменении компоновки базового или исходного документа каждое примечание необходимо преобразовать для обеспечения соответствия и согласования с новой компоновкой его контекста. Этот заключительный шаг называют «переформатированием» документа и примечаний. Эти три аспекта позволяют раскрытым здесь способу и системе обработки цифровых рукописных примечаний обрабатывать цифровые рукописные примечания в цифровом документе так, чтобы примечания сохраняли связь с тем местом в документе, к которому они относятся. Это поддерживается даже в том случае, если документ редактируется, изменяются его размеры или он отображается на другом устройстве либо подвергается иной модификации.

В общем случае система цифровых рукописных примечаний включает в себя несколько компонент для обработки цифрового документа и примечаний, обеспечивающих правильное позиционирование примечаний в переформатированном цифровом документе. Система включает в себя модуль классификации, модуль привязки, модуль переформатирования и модуль очистки. Модуль классификации группирует цифровые рукописные штрихи для определения примечания, а затем классифицирует это примечание. Модуль привязки строит обобщенную двухмерную модель компоновки документа и использует способы жесткой привязки для соединения (или «привязки») примечания с той областью цифрового документа, с которой связано данное примечание. Модуль переформатирования использует классификацию и информацию о контексте привязки, связанную с каждым примечанием, для переформатирования или повторной визуализации примечания на основе изменений в цифровом документе. Модуль переформатирования обеспечивает сохранение исходной цели и значения примечания, заданных пользователем, при каждой модификации цифрового документа. Модуль очистки является необязательной компонентой, которую можно использовать для исключения исходных рукописных примечаний пользователя и повторного отображения формализованных «очищенных» версий примечаний. Модуль очистки осуществляет «стилизацию» каждого примечания путем изначального определения его классификации. Затем на основе правил очистки классификации рукописное примечание преобразуют в стилизованное примечание.

Модуль классификации инкапсулирует способ обработки, посредством которого группируют и классифицируют соседние рукописные штрихи в цифровом документе для определения цифрового рукописного примечания. Это выполняется путем выделения и анализа признаков цифровых рукописных штрихов для определения начальной группировки и классификации с последующей детализацией этой группировки и классификации на основе гипотетического контекста привязки для примечания в цифровом документе. На основе результата детализированной группировки и классификации определяют более точную оценку для контекста привязки и так далее. После ряда циклических повторений операций группировки и классификации и определения контекста привязки система получает окончательный результат группировки и классификации с соответствующим доверительным уровнем и контекстом привязки. Если способ группировки и классификации приводит к оценке с низким доверительным уровнем для классификации и/или контекста привязки для конкретного примечания (например, ниже некоторого порогового значения), то тогда определяют, что необходимо использовать ручную группировку и обращаются за консультацией к пользователю.

Группировка рукописных штрихов может быть основана на временном порядке следования штрихов, их пространственном расположении или комбинации того и другого. В способе обработки цифровых рукописных примечаний автоматически распознают по меньшей мере шесть типов или классов цифровых рукописных примечаний: примечания типа подчеркивания, примечания типа выделения, примечания типа сноски, примечания типа кружка, примечания типа скобки на полях и примечания типа выноски или соединителя. Каждый из этих классов имеет отдельные характеристики, которые определяют какой тип контекста привязки ожидается, и какого рода преобразование по переформатированию будет выполнено.

Сразу после группировки рукописных штрихов примечания, классифицирования примечания и определения вероятного контекста привязки модуль привязки осуществляет привязку примечания к намеченному контексту. Другими словами, примечание должно быть логически привязано к той области или позиции в документе, к которой оно относится, так что одна и та же область или позиция в документе может быть восстановлена даже в том случае, если компоновка, формат или содержание документа изменились. Способ привязки определяет правила привязки для каждого класса цифрового рукописного примечания, применяет эти правила привязки к каждому цифровому рукописному примечанию и создает логическую привязку для каждого примечания. Кроме того, способ привязки определяет действительность привязки на основе контекста примечания в документе и выясняет, необходимо ли взаимодействие с пользователем, на основе оценки достоверности привязки. Например, если определено, что в результате редактирования контекст отсутствует, то привязка данного примечания определяется как недействительная, и к пользователю обращаются за консультацией с тем, чтобы он определил, что делать с подвижным примечанием.

Если компоновка документа, к которому привязано примечание, затем изменяется, но привязка примечания не признана недействительной в результате такого изменения, то модуль переформатирования вновь визуализирует примечание на основе его классификации и контекста привязки. Модуль переформатирования определяет новую компоновку цифрового документа, затем преобразует и вновь визуализирует примечание для согласования с новой компоновкой без потери значения или цели примечания.

Кроме того, система цифровых рукописных примечаний включает в себя модуль обратной связи с пользователем. Модуль обратной связи с пользователем предоставляет интерфейс, посредством которого пользователь может взаимодействовать с системой для повышения точности и эффективности системы. Интерфейс обратной связи с пользователем находится на связи с модулем классификации, модулем привязки, модулем переформатирования и модулем очистки. Пользователь может также заблокировать автоматические функции системы в любой момент времени и выполнить задачу (такую, как группировка или классификация) вручную.

Перечень фигур чертежей

Настоящее изобретение может быть более детально осмыслено при обращении к последующему описанию и прилагаемым чертежам, которые иллюстрируют аспекты настоящего изобретения. Другие признаки и преимущества станут очевидными из последующего подробного описания, которое следует рассматривать вместе с сопроводительными чертежами, где на примерах иллюстрируются принципы настоящего изобретения.

Обратимся теперь к чертежам, на которых одинаковые ссылочные позиции относятся к соответствующим частям на всех чертежах:

фиг. 1 - блок-схема, иллюстрирующая среду для обработки примечания, включающую в себя раскрытые здесь систему и способ обработки цифровых рукописных примечаний;

фиг. 2А - блок-схема, иллюстрирующая подробности примерного варианта реализации системы для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе группировки, классификации и привязки примечаний;

фиг. 2В - блок-схема, иллюстрирующая подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе переформатирования примечаний;

фиг. 3 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля классификации, показанного на фиг. 2А;

фиг. 4 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля привязки, показанного на фиг. 2А;

фиг. 5 - блок-схема, иллюстрирующая подробности примерного варианта реализации модуля переформатирования, показанного на фиг. 2В;

фиг. 6 - общая блок-схема последовательности операций, иллюстрирующая функционирование способа обработки цифровых рукописных примечаний в системе цифровых рукописных примечаний, показанной на фигурах 1, 2А и 2В;

фиг. 7 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 8А - иллюстрация того, как пользователь выполняет примечание на цифровом документе путем создания цифровых рукописных штрихов на этом документе;

фиг. 8В - иллюстрация способа ручной группировки и классификации примечания;

фиг. 8С - иллюстрация способа переформатирования документа и примечания с использованием способа обработки цифровых рукописных примечаний;

фиг. 9 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации привязки для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 10 - подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации переформатирования для способа обработки цифровых рукописных примечаний, показанного на фиг. 6;

фиг. 11А - иллюстрация обработки цифрового рукописного примечания типа подчеркивания;

фиг. 11В - иллюстрация обработки цифрового рукописного примечания типа выделения;

фиг. 11С - иллюстрация обработки цифрового рукописного примечания типа сноски;

фиг. 11D - иллюстрация обработки цифрового рукописного примечания типа строчного кружка;

фиг. 11Е - иллюстрация обработки цифрового рукописного примечания типа кружка для области;

фиг. 11F - иллюстрация обработки цифрового рукописного примечания типа скобки на полях;

фиг. 11G - иллюстрация обработки цифрового рукописного примечания типа соединителя;

фиг. 12 - иллюстрация панели инструментальных средств для рабочего примера реализации способа и системы для обработки цифровых рукописных примечаний;

фиг. 13 - пример подходящей вычислительной среды, в которой можно реализовать способ и систему для обработки цифровых рукописных примечаний, показанную на фиг. 1.

Подробное описание изобретения

В последующем описании изобретения сделаны ссылки на сопроводительные чертежи, составляющие его часть, причем эти чертежи приведены в качестве иллюстрации конкретного примера возможной практической реализации изобретения. Следует понимать, что могут быть использованы и другие варианты, а также произведены структурные изменения, не выходящие за рамки объема настоящего изобретения.

I. Введение

На протяжении буквально сотен лет люди пером и чернилами делают примечания на бумажных документах. Обычно примечание представляет собой пометку (текстовую, или графическую), либо символ, добавленный к документу для комментария, пояснения или исправления. Примечания являются естественными и интуитивными средствами записи соображений и впечатлений пользователя о документе. Кроме того, примечание можно использовать для указания ошибок в документе, которые необходимо исправить.

Современная технология позволяет пользователю создавать цифровые рукописные примечания на зафиксированном цифровом документе по аналогии с примечаниями, выполняемыми ручкой на бумажном документе. Например, пользователь настольного персонального компьютера может сделать цифровые рукописные примечания на изображении документа (таком как изображение документа в теговом формате файлов изображений (TIFF)) с использованием пера для записей на экране. Пользователь имеет все гибкие возможности, которые предоставляет ему бумага, однако он также испытывает и все связанные с ней ограничения. Подлинные «динамические» цифровые документы, такие как документы, полученные в результате электронной обработки текстов, или Web-страницы HTML (языка гипертекстовой разметки документов), являются гораздо более гибкими и с большими возможностями изменения, чем их бумажные (или графически отображенные) аналоги. Например, динамические цифровые документы можно легко поместить в окно или переформатировать для отображения на устройстве отображения больших или меньших размеров. В настоящее время отсутствуют способы, которые поддерживают адаптацию примечаний в этих более гибких динамических цифровых документах при изменении их компоновок.

Раскрытые здесь система и способ обработки цифровых рукописных примечаний поддерживают цифровые рукописные примечания в динамическом цифровом документе, так что примечания сохраняют связь с тем местом в документе, к которому они относятся, когда и если изменяется компоновка документа. Это остается в силе даже в том случае, если документ редактируют, изменяют в размерах, отображают на другом устройстве или модифицируют иным образом. Предположим, например, что пользователь подчеркивает однострочное предложение на Web-странице, используя планшетный персональный компьютер. Если Web-страница затем переформатируется для отображения на меньшем экране PDA, то возможно, что подчеркивание придется разбить на множество строк в документе. Этим будет обеспечено подчеркивание всех частей предложения, и исходная цель пользователя (автора примечания) будет сохранена.

II. Общие положения

Система и способ обработки цифровых рукописных примечаний представляют важный шаг в развитии традиционной парадигмы примечаний, выполняемых пером на бумаге, - переход от статических документов к динамическим документам. Имеются по меньшей мере три главных аспекта, относящихся к системе и способу обработки цифровых рукописных примечаний. Первый аспект заключается в том, что цифровые рукописные примечания распознают и классифицируют автоматически либо вручную. Второй аспект заключается в том, что затем классифицированные примечания привязывают к элементам (текст, изображения, таблицы и т.д.) в документе. Это гарантирует, что в случае модификации документа имеющиеся в нем примечания попадут в новую компоновку документа с сохранением исходной цели и значения примечания, подразумеваемых пользователем. Третьим аспектом является способ модификации рукописных штрихов, обеспечивающий правильное отображение цифровых рукописных примечаний после переформатирования документа, его модификации либо после того и другого.

На фиг. 1 представлена блок-схема, иллюстрирующая среду для выполнения примечаний, включающую в себя раскрытые здесь систему и способ обработки цифровых рукописных примечаний. В общем случае система 100 для обработки цифровых рукописных примечаний реализуется в среде 110 для выполнения примечаний таким образом, что пользователь 120 может создать цифровой документ с правильно форматированными примечаниями 130. Система 100 для обработки цифровых рукописных примечаний обычно находится в вычислительном устройстве 140. Как обсуждается ниже в разделе VII, это вычислительное устройство 140 обычно содержит процессор (не показан) для выполнения способа обработки цифровых рукописных примечаний в виде машиноисполняемых команд.

В частности, как показано на фиг. 1, пользователь 120 взаимодействует с вычислительным устройством 140 через пользовательский интерфейс 150. Пользовательский интерфейс 150 позволяет пользователю 120 просматривать цифровой документ 160 и взаимодействовать с ним. Кроме того, пользователь 120 имеет возможность вносить в цифровой документ 160 свои рукописные цифровые примечания 170 в произвольной форме, используя перо или устройство перьевого ввода. Цифровой документ 160 и связанные с ним примечания 170 пользователя передаются в систему 100 цифровых рукописных примечаний для обработки. Как подробно объяснено ниже, система 100 для обработки цифровых рукописных примечаний обрабатывает цифровой документ 160 и примечания 170 пользователя и выдает цифровой документ с примечаниями 130, отформатированными соответствующим образом. Затем цифровой документ вместе с правильно отформатированными примечаниями 130 обрабатывается, как если бы он был цифровым документом 160. Пользователь может добавлять дополнительные примечания (или иным образом взаимодействовать с документом; например, удалять или перемещать существующие примечания, редактировать содержание документа и т.д.), причем указанные команды относят к системе 100 цифровых рукописных примечаний для последующей обработки. Более того, пользователь 120 может также непосредственно взаимодействовать с системой 100 для обработки цифровых рукописных примечаний через пользовательский интерфейс 150, например, для управления параметрами и предпочтениями системы примечаний.

III. Подробности системы

Система 100 для обработки цифровых рукописных примечаний включает в себя несколько компонент. Эти компоненты позволяют системе 100 обрабатывать цифровой документ 160 и примечания 170 пользователя и обеспечивать правильное позиционирование примечаний 170 пользователя в переформатированном цифровом документе.

На фигурах 2А и 2В показаны блок-схемы, иллюстрирующие подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1. Обычно, когда пользователь добавляет новые примечания в документ, система 100 для обработки цифровых рукописных примечаний обрабатывает цифровой документ 160 и связанные с ним примечания 170 пользователя, создавая цифровой документ с правильно отформатированными примечаниями 130. Цифровой документ с правильно отформатированными примечаниями 130 можно затем модифицировать вне сферы действия системы 100 цифровых рукописных примечаний, используя какой-нибудь способ внешней модификации (например, документ можно отредактировать либо отобразить в окне другого размера), в результате чего получается модифицированный цифровой документ 135 с примечаниями. В этом случае модифицированный цифровой документ 135 с примечаниями подается в качестве входных данных обратно в систему 100 цифровых рукописных примечаний, так что его примечания могут быть правильно переформатированы, чтобы они «не отставали» от тех мест в новой компоновке документа, к которым они относятся, и создается новый цифровой документ с правильно отформатированными примечаниями 130.

На фиг. 2А представлена блок-схема, иллюстрирующая подробности примерного варианта реализации системы 100 для обработки цифровых рукописных примечаний, показанной на фиг. 1, в ходе группировки, классификации и привязки примечания. В частности, система 100 для обработки цифровых рукописных примечаний, показанная на фиг. 2А, включает в себя модуль 200 классификации и модуль 210 привязки. В качестве входных данных модуль 200 классификации принимает цифровые рукописные штрихи, составляющие примечания 170 пользователя, вместе с цифровым документом 160 и группирует рукописные штрихи вместе для определения комбинаций 230 группировки, классификации и контекста привязки для каждого примечания.

Модуль 210 привязки использует способы жесткой привязки для соединения (или «привязки») группировок рукописных штрихов, выданных модулем 200 классификации, с соответствующим контекстом привязки (например, с областью в цифровом документе, с которой скорее всего связана данная группа). Модуль 210 привязки в качестве входных данных берет контекстные комбинации 230 группировки, классификации и привязки, выдаваемые модулем 200 классификации, и цифровой документ 160. Для каждой группировки модуль 210 привязки выделяет из цифрового документа 160 признаки привязки, описывающие контекст привязки, а затем связывает эти признаки с группировкой. После обработки всех группировок модуль 210 привязки выдает цифровой документ с правильно отформатированными примечаниями 130.

Как показано на фиг. 2В, цифровой документ 130 с правильно отформатированными примечаниями может затем быть модифицирован в результате выполнения некоторого способа 240 внешней модификации вне сферы действия системы 100 цифровых рукописных примечаний для создания модифицированного цифрового документа 135 с примечаниями. Способ 240 внешней модификации может включать в себя любые изменения, такие как редактирование содержания документа, либо отображение документа на другом устройстве или в окне другого размера, которые вызывают изменения в двумерной компоновке документа, но которые не вызывают соответствующую модификацию примечаний. В результате примечания могут появиться в неправильном виде и, следовательно, должны быть преобразованы для согласования с новой компоновкой документа с тем, чтобы сохранить их связь с теми местами, к которым они относятся.

На фиг. 2В показана блок-схема, подробно иллюстрирующая примерный вариант реализации системы 100 для обработки цифровых рукописных примечаний, показанный на фиг.1, во время переформатирования примечаний. Система 100 для обработки цифровых рукописных примечаний включает в себя модуль 250 переформатирования и модуль 260 очистки. Модуль 250 переформатирования в качестве входных данных принимает модифицированный цифровой документ 135 с примечаниями и создает в качестве выходных данных новый цифровой документ 270 с правильно отформатированными примечаниями. То есть модуль 250 переформатирования преобразует и повторно визуализирует примечания, которые присутствуют в модифицированном цифровом документе 135 с примечаниями для адаптации к новой компоновке документа. Модуль 250 выполняет это путем анализа каждого из логических признаков привязки отдельного примечания для обнаружения места перемещения контекста привязки в новой компоновке документа. Каждый отличный от другого тип или класс примечания (подчеркивание, кружок, комментарий на полях и т.д.) имеет свой собственный набор правил, задающий способ переформатирования примечания этого типа. Как только модуль 250 переформатирования определяет место перехода контекста привязки примечания, он выбирает соответствующий набор правил переформатирования, чтобы использовать их для указанного типа или классификации примечания и преобразует данное примечание. Такой способ переформатирования обеспечивает сохранение исходной цели и смысла, подразумеваемого пользователем, всякий раз, когда изменяется цифровой документ 130 с правильно отформатированными аннотациями.

Модуль 260 очистки является необязательной компонентой (показан в виде блока, ограниченного пунктирной линией), которая заменяет исходные рукописные примечания пользователя произвольной формы формализованными, «очищенными» версиями примечаний. Как поясняется ниже, некоторые примечания лучше сохранять в том виде, как их выполнил пользователь, так что они проходят через модуль 260 очистки без замены. Модуль 260 очистки стилизует каждое примечание, определяя в начале его тип или классификацию. Затем, на основе набора правил очистки для конкретного типа примечания, примечание преобразуют в стилизованную форму.

Обратимся к фигурам 2А и 2В, где система 100 для обработки цифровых рукописных примечаний также включает в себя модуль 280 обратной связи с пользователем, который предоставляет интерфейс, посредством которого пользователь может взаимодействовать с системой 100 для обработки цифровых рукописных примечаний. Обратная связь с пользователем гарантирует точность и эффективность работы системы 100. Пользовательский интерфейс 280 обратной связи может управлять аспектами модуля 200 классификации, модуля 210 привязки, модуля 250 переформатирования и модуля 260 очистки и тем самым дает возможность пользователю взаимодействовать с автоматическими функциональными возможностями этих модулей и блокировать их. Пунктирные линии, связывающие пользовательский интерфейс 280 обратной связи с указанными четырьмя модулями, показывают, что в любом случае обратная связь с пользователем является необязательной.

Модуль 200 классификации может, например, отображать через пользовательский интерфейс 280 обратной связи контекст группировки, классификации и привязки примечания. Пользователь может проверить эту информацию и выбрать ее модификацию, например, путем изменения группировки рукописных штрихов, которые составляют примечание, либо изменения классификации примечания, либо изменения области в документе, с которой связано это примечание. Пользователь может использовать пользовательский интерфейс 280 обратной связи для модификации того, каким образом модуль 210 привязки создает логические привязки для примечаний, например, путем изменения типа признаков, которые выделяются из цифрового документа 160 для описания контекстов привязки. Пользователь может использовать пользовательский интерфейс 280 обратной связи для задания вручную того, какой набор правил должен использовать модуль 250 переформатирования при переформатировании конкретного примечания, например, если стандартный набор правил переформатирования для данного типа примечания некорректен, с учетом конкретных характеристик примечания. Наконец, пользователь может использовать пользовательский интерфейс 280 обратной связи для задания вручную набора правил, который должен использовать модуль 260 очистки при отображении формализованной или «очищенной» версии примечания, например, если стандартный набор правил «очистки» для примечания данного типа некорректен, с учетом конкретных характеристик примечания. Посредством пользовательского интерфейса 280 обратной связи пользователь имеет возможность взаимодействовать с системой 100 для дальнейшего повышения ее точности, надежности и эффективности.

На фиг. 3 представлена блок-схема, иллюстрирующая подробности примерного варианта модуля 200 классификации, показанного на фиг. 2А. В общем случае модуль 200 классификации использует признаки примечаний 170 пользователя и контекстуальную информацию из цифрового документа 160 для группировки и классификации каждого примечания и для определения соответствующего контекста привязки и выдает комбинации 230 группировки, классификации и контекста привязки для каждого примечания. Модуль 200 классификации включает в себя: модуль 300 выделения признаков рукописного штриха; модуль 310 классификации и группировки, имеющий модуль 320 временного отсечения и модуль 330 пространственного отсечения; модуль 340 определения контекста привязки; и модуль 350 ручной группировки, классификации и определения привязки.

Модуль 300 выделения признаков рукописных штрихов измеряет характеристики рукописных штрихов в примечаниях 170 пользователя. Для конкретного рукописного штриха эти характеристики могут включать в себя, например: угол ориентации штриха; длину штриха; момент времени создания штриха по отношению ко всем другим рукописным штрихам; и положение штриха относительно всех других рукописных штрихов. Эти характеристики подаются в модуль 310 группировки и классификации для определения правильной группировки рукописных штрихов вместе.

Модуль 310 группировки и классификации отвечает за группировку рукописных штрихов в примечаниях 170 пользователя в отдельные группы с соответствующими метками классов и контекстами привязки путем глобальной оптимизации. В общем случае модуль 310 группировки и классификации использует динамическое программирование для оценки всех возможных группировок и классификаций рукописных штрихов, содержащихся в примечаниях 170 пользователя, а также для определения оптимальной, или правильной с максимальной вероятностью, группировки и классификации всех штрихов в отдельных комплексных непересекающихся группах. Оценка всех возможных группировок и классификаций является трудоемкой комбинаторной задачей с точки зрения времени компьютерной обработки, так что пространство поиска для динамического программирования заранее усекают на основе временного упорядочивания штрихов (с использованием модуля 320 временного отсечения), либо пространственного размещения штрихов (с использованием модуля 330 пространственного отсечения), либо и того, и другого вместе. Другими словами, в качестве части динамической программы модуля 310 группировки и классификации рассматриваются только те группы штрихов, которые являются смежными друг относительно друга во времени и/или в пространстве. Обоснование такого предварительного усечения состоит в том, что рукописные штрихи, удаленные друг от друга во времени или в пространстве, вряд ли принадлежат одной и той же группе.

Каждой из оставшихся возможных групп штрихов, оцененных модулем 310 группировки и классификации, присваивают вероятность на основе того, насколько вероятно, что штрихи в данной группе должны формировать один из типов примечаний, который система распознает (например, подчеркивание, выделение, кружок, комментарии на полях, черта на полях или соединитель), а затем эта группа поступает в модуль 340 определения контекста привязки. Затем модуль 340 определения контекста привязки пытается определить наиболее вероятный контекст привязки для этой группы. Например, если рукописные штрихи в конкретной группе представляют собой горизонтальные линии, и модуль 310 классификации определил, что данная группа, по всей вероятности, представляет примечание типа подчеркивания, то модуль 440 определения контекста привязки будет искать слова в документе, которые расположены непосредственно над этими линиями. Если определено, что рукописные штрихи в другой группе вероятнее всего образуют примечание типа кружка, то модуль 340 идентификации контекста привязки будет искать слова, которые заключены в кружок. Модуль определения контекста привязки выдвигает наилучшее предположение применительно к контексту привязки для группы рукописных штрихов, которыми он представлен, присваивает вероятность правильности этого контекста привязки и направляет эту информацию обратно в модуль 310 группировки и классификации.

Модуль 310 группировки и классификации принимает информацию об определении контекста привязки для данной группы, объединяет ее с вероятностью исходной классификации, которую он вычислил для данной группы, и помещает комбинированное значение в ее таблицу решений подзадач динамического программирования. Если конкретная группировка рукописных штрихов имеет классификацию с малой вероятностью и/или контекст привязки с малой вероятностью (например, отсутствуют слова над линиями в группе штрихов, которые первоначально были классифицированы как подчеркивание), то это уменьшает вероятность того, что данная конкретная группа включена в окончательную общую группировку всех штрихов в примечаниях 170 пользователя, определенных модулем 310 группировки и классификации. После того как модуль 310 группировки и классификации оценит все возможные группировки (которые не были заранее отсечены), он просматривает таблицу решений подзадач и выбирает набор комбинаций группировок /классификаций /контекстов привязки, которые учитывают все штрихи в приложениях 170 пользователя, не перекрываются и обеспечивают максимум вероятности скомбинированной группировки. Затем эта окончательная оптимальная группировка выводится в виде комбинаций 230 группировки, классификации и контекста привязки.

Модуль 350 ручной группировки, классификации и определения привязки предоставляет интерфейс пользователя, посредством которого пользователь может вручную выбрать набор рукописных штрихов, классифицировать их в соответствии со списком распознаваемых типов примечаний и задать их контекст привязки. Если пользователь решает использовать этот интерфейс либо для того, чтобы обойти автоматическую группировку, либо чтобы исправить ошибку автоматической группировки, - в любом случае результат выбора вручную считается более предпочтительным, чем результат автоматической обработки, и рукописные штрихи в данной группировке будут игнорироваться автоматическим способом обработки.

На фиг.4 представлена блок-схема, иллюстрирующая подробности примерного варианта реализации модуля 210 привязки, показанного на фиг. 2А. В общем случае в модуле 210 привязки используются комбинации 230 группировки, классификации и контекста привязки, выдаваемые модулем 200 классификации, для создания логических привязок, которые связывают каждую группу штрихов с намеченной привязкой для области в документе таким образом, что область привязки для каждой группы может быть восстановлена даже в том случае, если компоновка и/или содержание документа изменилось. Модуль 210 привязки включает в себя правила 400 привязки примечаний, модуль 410 выделения контекстных признаков и модуль 420 создания логических привязок.

В качестве входных данных модуль 210 привязки берет комбинации 230 группировки, классификации и контекста привязки, выдаваемые модулем 200 классификации, и цифровой документ 160. Правила 400 привязки примечаний предписывают, каким образом осуществляется привязка для каждого отдельного типа примечания. Например, примечание типа подчеркивания привязывается к тексту, который оно подчеркивает, в то время как кружок привязывается к тесту, который он охватывает. Модуль 410 выделения контекстных признаков выделяет явно выраженные признаки привязки из цифрового документа 160 и делает их доступными модулю 420 создания логических привязок. Для каждой группировки рукописных штрихов модуль 420 создания логических привязок выбирает соответствующие признаки привязки из выделенных на основе классификации группировки и правил привязки для примечания данного типа. Эти признаки привязки присваиваются группировке в качестве логической привязки этой группировки. Далее группировка наряду с ее классификацией, контекстом привязки и логической привязкой рассматривается как полностью переформатируемое примечание. После того как модуль 420 создания логических привязок завершил свое задание для всех комбинаций 230 группировки, классификации и контекста привязки, полностью переформатируемые примечания готовы для отображения в цифровом документе 160, после чего создается цифровой документ 130 с правильно отформатированными примечаниями.

На фиг. 5 представлена блок-схема, иллюстрирующая подробности примерного варианта модуля 250 переформатирования, показанного на фиг. 2В. В общем случае модуль 250 переформатирования выполняет преобразование и повторную визуализацию каждого полностью переформатируемого примечания в модифицированном цифровом документе 135 с примечаниями на основе логической привязки примечания и его классификации. Модуль 250 переформатирования включает в себя модуль 500 определения компоновки, модуль 510 преобразования примечания и модуль 520 повторной визуализации и выводит новый цифровой документ 270 с правильно отформатированными примечаниями.

Модуль 250 переформатирования в качестве входных данных принимает модифицированный цифровой документ 135 с примечаниями, компоновка которого была модифицирована с момента последнего переформатирования примечания в документе. Для каждого примечания в документе модуль 500 определения компоновки восстанавливает контекст привязки примечания, используя логическую привязку данного примечания, и определяет новую компоновку контекста привязки для этого примечания. После определения новой компоновки модуль 510 преобразования примечаний используют для преобразования примечаний таким образом, чтобы они соответствовали новой компоновке документа (например, чтобы они сохраняли связь с тем местом в документе, для которого они первоначально предназначались). Обработка согласования отличается для каждого отдельного типа примечаний. Например, для примечаний типа подчеркивания такая обработка включает в себя операции объединения для объединения двух или более рукописных штрихов для подчеркивания, которые попадают на одну и ту же строку текста, и операции расщепления для расщепления рукописного штриха подчеркивания, который распространяется на две или более строки текста в новой компоновке. Для примечаний типа кружка обработка включает аффинные преобразования (сдвиги, повороты и операции масштабирования), так чтобы они соответствовали новой компоновке контекстов привязки.

IV. Обзор функционирования

В раскрытой здесь системе 100 для обработки цифровых рукописных примечаний используется способ обработки цифровых рукописных примечаний, обеспечивающий их динамическую адаптацию. Это означает, что при модификации документа, содержащего примечания, эти примечания могут адаптироваться к новой компоновке документа. Такая динамическая адаптация гарантирует сохранение исходной цели и значения каждого примечания.

Способ обработки цифровых рукописных примечаний включает в себя три основных признака. Во-первых, рукописные штрихи цифрового рукописного примечания группируют и классифицируют, после чего определяют вероятный контекст привязки. Во-вторых, для классифицированного примечания создают логическую привязку, которая определяет область в документе, с которой связано данное примечание, таким образом, что эта область может быть восстановлена, если изменилась компоновка документа и/или его содержание. Привязка примечания гарантирует размещения примечания в нужной области документа даже после его модификации. В-третьих, обработанные цифровые рукописные примечания переформатируют или повторно визуализируют, если компоновка документа изменилась.

На фиг. 6 представлена общая блок-схема последовательности операций, иллюстрирующая функционирование способа обработки цифровых рукописных примечаний в системе 100 цифровых рукописных примечаний, показанной на фигурах 1, 2А и 2В. Способ начинается с ввода цифрового рукописного примечания и цифрового документа (этап 600). Затем выполняют классификацию цифрового рукописного примечания и определяют контекст привязки (этап 610). Эту классификацию выполняют на основе характеристик примечания и контекстуальной информации в цифровом документе. Затем примечание жестко привязывают к области или месту в цифровом документе (этап 620). Эту привязку выполняют на основе классификации примечания и определенного таким образом контекста привязки. Наконец, цифровое рукописное примечание переформатируют в новой компоновке цифрового документа (этап 630). Этот способ обработки переформатирования выполняют на основе привязки примечания и классификации примечания.

V. Подробности функционирования

На фиг. 7 представлена подробная последовательности операций блок-схема, иллюстрирующая функционирование способа классификации для способа обработки цифровых рукописных примечаний, показанного на фиг. 6. Способ начинается с группировки рукописных штрихов в цифровом документе всеми возможными путями, отсечения в соответствии с ограничениями, связанными с временной и пространственной близостью, и оценки для каждой группы правдоподобия соответствия комбинации рукописных штрихов, которые она содержит, характеристикам каждого класса примечаний (этап 700). Затем определяют наиболее вероятный контекст привязки для каждой комбинации группировки/классификации (этап 710). После этого заполняют таблицу решений подзадач динамического программирования значениями вероятности для каждой комбинации группировки/классификации/контекста привязки (этап 720). Наконец, после оценки всех подзадач (которые не были отсечены) просматривают таблицы решений подзадач, чтобы определить оптимальную общую группировку рукописных штрихов, которая учитывает все штрихи, не включает в себя перекрывающиеся группы и обеспечивает максимум результирующей вероятности для всех групп (этап 730).

Когда пользователь разметит цифровой документ, описываемый способ обработки группирует рукописные штрихи, чтобы определить тип примечания, который составляют эти штрихи. Например, примечание может представлять собой подчеркивание, кружок, соединитель, черту на полях или комментарий на полях. Группировка происходит примерно на том же уровне абстракции и с той же точностью, как если бы группировку рукописных штрихов и определение примечание выполнял человек.

Объединение рукописных штрихов в группы может выполняться на основе временного порядка, в котором создавались эти штрихи, или на основе пространственного расположения штрихов, либо комбинации того и другого. Иными словами, усекается пространство поиска динамического программирования для алгоритма группировки и классификации на основе ограничений по временной и пространственной близости. Ориентация на временной порядок позволяет получить быстрый и легкий результат. Кроме того, временная группировка использует то обстоятельство, что рукописные штрихи, используемые в большинстве примечаний, создаются последовательно. Однако возможны случаи, когда штрихи создаются беспорядочно. Например, когда пользователь возвращается назад и ставит точку над символом «i» или ставит черточку в букве «t». В этой ситуации пространственное расположение становится более подходящим критерием для группировки.

Цифровые рукописные примечания являются неоднозначными по своей природе, и их неправильная классификация может привести к путанице. Например, если горизонтальная стрелка, указывающая на текст, ошибочно классифицируется как подчеркивание, то она может быть расщеплена на множество линий при переформатировании. Таким образом, в некоторых вариантах полностью автоматизированная группировка и классификация может оказаться невыполнимой. В этих вариантах можно использовать смешанный подход, например, запросить помощь пользователя, когда доверительная оценка для общей группировки оказывается ниже некоторого порогового значения.

На фиг. 8А показан пользователь, выполняющий примечание в цифровом документе путем создания цифровых рукописных штрихов на этом документе. В этом случае слово «how?» было написано на полях, а текст, к которому относится примечание, обведен в кружок. На фиг. 8В показана ручная группировка и классификация данного примечания. На фиг. 8С показано переформатирование документа и примечания с использованием способа обработки цифровых рукописных примечаний (независимо от того, как было сгруппировано и классифицировано примечание - автоматически или вручную). Заметим, что примечание в переформатированном документе на фиг. 8С согласуется с примечанием на исходном документе по фиг. 8А, поскольку оно было перемещено, или переформатировано, для того, чтобы оно не потеряло связь с тем местом в документе, к которому оно относится.

На фиг. 9 представлена подробная блок-схема последовательности операций, иллюстрирующая функционирование способа логической привязки для способа обработки цифровых рукописных примечаний на фиг.6. Логическая привязка гарантирует, что при изменении компоновки документа и последующем переформатировании его примечаний сохранится исходное значение и цель примечаний. Например, если примечание было классифицировано как подчеркивание, то тогда это примечание должно оставаться под соответствующей областью в подчеркиваемом тексте. Для этого может потребоваться расщепление или объединение рукописных штрихов, образующих примечание, в зависимости от того, будет ли переформатирована область в тексте, к которой привязано примечание. С другой стороны, если примечание было классифицировано как стрелочный соединитель, то тогда должен сохраниться указатель у того места, на которое указывал и от которого первоначально исходил стрелочный соединитель. Однако стрелочный соединитель может быть растянут, повернут и преобразован во время переформатирования иным образом. После группировки рукописных штрихов примечания и классификации примечания должна быть выполнена логическая привязка классифицированного примечания к намеченному содержанию. Другими словами, примечание должно быть привязано к области или месту в документе, к которому оно относится, так чтобы можно было восстановить значение и цель примечания даже в случае изменения компоновки, формата или содержания документа.

Примечания, сделанные пером на бумаге, привязаны к конкретному месту в бумажном документе. Однако физическое место в цифровом документе теряет свой смысл при переформатировании цифрового документа. Вместо этого примечание должно быть привязано к окружающему логическому контексту (такому как область текста рядом с примечанием). Это представляет проблему по двум причинам. Во-первых, цифровые рукописные примечания часто не предусматривают строгое указание на то место, к которому они должны быть привязаны. Например, комментарии на полях могут относиться к текстовой области в непосредственной окрестности примечания, либо к тексту на другой стороне страницы. Во-вторых, документ между моментом создания исходного примечания и моментом отображения этого примечания может быть подвергнут редактированию. Это затрудняет восстановление контекста привязки примечания.

Одним из способов обеспечения жесткой привязки является использование усложненного автоматического анализа содержания документа. Эти способы жесткой привязки известны специалистам в данной области техники. Например, один из способов жесткой привязки, который можно использовать вместе с способом обработки цифровых рукописных примечаний, раскрыт в статье A.J.Brush, D.Bargeron, A.Gupta и J.J.Cadiz «Robust Annotation Positioning in Digital Documents», опубликованной в Proceedings of CHI 2001, p. 285-292, ACM Press 2001. Однако автоматические способы все же могут привести к ошибкам, но способ обработки цифровых рукописных примечаний также включает в себя возможность запроса пользователя для задания привязки в явном виде для данного примечания, если выясняется, что привязку примечания невозможно восстановить исходя из его логической привязки (например, если контекст привязки, который описывает логическая привязка, был удален из документа).

Обратимся к фиг. 9, где способ привязки начинается с выделения признаков привязки из цифрового документа, в котором делается примечание (этап 900). Далее выбирают признаки привязки для каждой группы рукописных штрихов, созданных в ходе группировки и классификации на фиг.7 на основе классификации группы и контекста привязки, а также в соответствии с набором правил привязки для каждого типа примечаний (этап 910). Эти правила для каждого типа примечаний более подробно обсуждаются ниже. Наконец, каждой группе рукописных штрихов присваивают соответствующие признаки привязки для формирования полностью переформатируемых примечаний. После привязки примечаний к документу они готовы к переформатированию, так что при изменении компоновки документа примечания сохранят связь с тем местом в документе, к которому они относятся, и смогут сохранить свои визуальные значения.

На фиг. 10 представлена подробная блок-схема последовательности операций, иллюстрирующая функционирование способа классификации переформатирования для способа обработки цифровых рукописных примечаний, показанного на фиг.6. Если исходный документ изменился, то способ обработки переформатирования повторно визуализирует примечания на основе своих классификаций и логических привязок, чтобы примечания не потеряли связь с теми местами в документе, к которым они относятся. Например, если предложение подчеркнуто, а колонка, в которой находится это предложение, оказалась более узкой, то предложение возможно придется переформатировать с образованием большего количества строк, чем в исходном варианте. В этом случае рукописное примечание типа подчеркивания должно быть разделено и отображено с большим числом линий, чем это было на исходном рисунке. В другом примере, если абзац был взят в кружок, а колонка, в которой он находится, сделана более широкой, то тогда рукописное примечание типа кружка, окружающего этот абзац, должно быть растянуто вширь и укорочено по высоте.

Способ обработки переформатирования начинается с определения новой компоновки цифрового документа (этап 1000). Затем выполняют преобразование цифрового рукописного примечания для согласования с новой компоновкой (этап 1010). Наконец, выполняют повторную визуализацию преобразованного цифрового рукописного примечания в новой компоновке документа (этап 1020).

Способ обработки цифровых рукописных примечаний автоматически распознает шесть наиболее общих типов или классификаций цифровых рукописных примечаний типа «активного считывания», а система является расширяемой в том смысле, что она сможет в будущем распознавать большее количество типов примечаний (таких как редакторские правки). Типы примечаний, которые распознаются автоматически, включают в себя: примечания типа подчеркивания, примечания типа выделения, примечания типа сноски или «комментария на полях», примечания типа кружка, примечания типа скобки на полях и примечания типа выноски или «соединителя». Характеристики примечаний, контекст и правила привязки для каждой из упомянутых классификаций примечаний обсуждаются ниже.

Для иллюстрации вышеописанных принципов на фигурах 12А-G предложены примеры того, как может функционировать способ обработки цифровых рукописных примечаний. На фигурах 12А-G колонка «А» представляет пользовательское примечание цифрового документа с использованием цифровых рукописных штрихов; колонка «В» представляет примечание, переформатированное в новой компоновке документа, а колонка «С» представляет «очищенное» примечание, которое было стилизовано модулем очистки.

Примечания типа подчеркивания

Обратимся к фиг. 11А, где примечания типа подчеркивания содержат один либо несколько приблизительно горизонтальных прямолинейных рукописных штрихов. В контексте цифрового документа примечания типа подчеркивания обычно находятся под текстом, в частности, под одним или несколькими словами.

Каждый рукописный штрих в примечании типа подчеркивания индивидуальным образом привязан к области текста, которую он подчеркивает. Слова в этой области текста и их последовательность известны, и эту информацию используют для управления переформатированием рукописного штриха, когда и если в документе переформатируется данная область текста.

В процессе переформатирования, если множество штрихов оказываются по соседству друг с другом на одной и той же строке текста, то их объединяют вместе, а если окажется, что один штрих подчеркивания проходит чрез две или более строк, он будет разделен, и его части будут перемещены соответствующим образом, чтобы они остались под исходно подчеркнутым контекстом.

Примечания типа выделения

Обратимся к фиг. 11В, где уникальные характеристики примечаний типа выделения включают в себя то обстоятельство, что они похожи на зачеркивание за исключением того, что рукописные штрихи, образующие выделение, являются широкими, а их раскраска является частично прозрачной. Иными словами, примечания типа выделения обрабатываются аналогично подчеркиваниям: определяют контекст способом, аналогичным для примечания типа подчеркивания за исключением того, что рукописные штрихи выделения непосредственно покрывают область текста, к которой они должны быть привязаны (в отличие от примечаний типа подчеркивания, где эти штрихи располагаются под строкой текста). Правило переформатирования для примечаний типа выделения также аналогичны примечаниям типа подчеркивания за исключением того, что во время переформатирования рукописный штрих покрывает область текста, а раскраска располагается широко и частично прозрачна.

Примечания типа сноски

Обратимся к фиг. 11С, где примечания типа сноски или комментария на полях определены в виде какого-либо цифрового рукописного штриха, который находится на полях или на свободном месте цифрового документа, но, с другой стороны не является соединителем. Сноска включает в себя рисунки, символы (такие как «!» и «*», и текст на полях или свободном месте).

Правило привязки примечаний типа сноски заключается в том, что их привязывают к любой части документа, с которой они соседствуют по горизонтали. Верхняя горизонтальная линия, соответствующая верхней части ограничивающего прямоугольника примечания типа сноски, и нижняя горизонтальная линия, соответствующая нижней части ограничивающего прямоугольника примечания типа сноски, проецируются на документ из любого места, где расположено примечание типа сноски. Содержание документа между верхней и нижней горизонтальными линиями рассматривается в качестве контекста привязки для примечания типа сноски.

При изменении компоновки документа выполняют вертикальные перемещения примечаний типа сноски, так чтобы сохранить их вертикальную центровку относительно контекстов их привязки. Предположим, например, что примечание типа сноски в исходном цифровом документе привязано к четырем строкам текста. Предположим далее, что изменилась компоновка цифрового документа, так что четыре строки текста превратились в восемь строк. В этом случае привязанное примечание типа сноски центрируется в вертикальном направлении рядом с этими восьмью строками текста.

Примечание типа кружка

Обратимся к фиг. 11D, где примечания типа кружка делятся на два типа: «строчные» кружки и кружки «для области». Строчные кружки обычно окружают одну строку текста, а кружки для области обычно окружают множество неполных строк текста или другое содержание документа. При распознавании группа рукописных штрихов может быть определена как своего рода кружок, если штрихи образуют фигуру без вогнутостей, причем группы рукописных штрихов, образующих кружки, можно разделить на строчные кружки и кружки для области в зависимости от их вероятного контекста привязки. Например, если кружок охватывает одну строку текста, его можно отметить как строчный кружок, а если кружок охватывает текст, который располагается более чем на одной строке, его можно отметить как кружок для области.

Кружки любого типа привязывают к тексту и другому содержанию документа, которое они охватывают.

Во время переформатирования примечание типа строчного кружка обычно перемещают по горизонтали, чтобы сохранить связь с его контекстом привязки, если его контекст привязки (например, область текста, которую он окружает) не расщепляется на две или более строк. При возникновении такого рода расщепления кружок копируют, масштабируют и преобразуют таким образом, чтобы две или более части текста, содержащие исходные контекст привязки, были окружены по отдельности. На фиг. 11Е видно, как примечания типа кружка для области масштабируют и преобразуют, чтобы сохранить окружение контекстов привязки, но без копирования.

Примечания типа скобки на полях

Обратимся к фиг. 11F, где примечания типа скобки на полях аналогичны примечаниям типа сноски. Группы рукописных штрихов распознаются как примечания типа скобки на полях, если они образуют примерно вертикальные линии на полях документа, которые находятся рядом с содержанием документа.

По аналогии с привязкой примечаний типа сноски привязка примечаний типа скобки на полях осуществляется к любой части документа, с которой они соседствуют по горизонтали. Создают верхнюю и нижнюю горизонтальные линии, и содержание документа между этими верхней и нижней горизонтальными линиями считается привязкой примечания типа скобки на полях.

В отличие от примечаний типа сноски, при переформатировании области текста, к которой привязано примечание типа скобки на полях, примечание типа скобки на полях перемещают и масштабируют в вертикальном направлении, с тем чтобы появилась растянутая скобка для охвата всего контекста привязки.

Примечания типа выноски или соединителя

Обратимся к фиг. 11G, где примечания типа выноски или соединителя представляют собой примечания, которые соединяют области текста путем перехода с одного места на другое. Одна из характеристик рукописных штрихов, образующих примечание типа выноски или сноски, заключается в том, что такого рода штрихи не являются прямолинейными, а могут иметь некоторую кривизну. Другой характеристикой является то, что примечание типа выноски или соединителя находится под углом по отношению к горизонтальному и вертикальному направлениям. Еще одной характеристикой является то, что концы примечания типа выноски или соединителя находятся рядом с текстом или содержанием документа, рядом с цифровыми рукописными штрихами от других примечаний или рядом и с тем, и другим. Другими словами, примечания типа выноски или соединителя соединяют текст или содержание с примечанием либо другим текстом или содержанием.

Правила привязки для примечаний типа выноски или соединителя основаны на привязке конечных точек выноски. Для каждой конечной точки контекстом привязки считают содержание документа либо другое цифровое рукописное примечание произвольной формы, ближайшее к этой конечной точке. Таким образом, каждая выноска имеет два отдельных и отличающихся контекста привязки.

Во время переформатирования выноску перемещают, поворачивают и масштабируют таким образом, чтобы каждая конечная точка не изменила своего расположения относительно своего контекста привязки. Это можно увидеть на фиг. 11G.

VI. Рабочий пример

Для более полного понимания раскрытых здесь способа и системы для обработки цифровых рукописных примечаний на рабочем примере раскрываются их подробности. Следует отметить, что данный рабочий пример является лишь одним из вариантов возможной реализации раскрытых здесь способа и системы для обработки цифровых рукописных примечаний.

Аппаратные средства

Для этого рабочего примера способ цифровых рукописных примечаний был реализован для выполнения на аппаратных средствах планшетного персонального компьютера с операционной системой Microsoft WindowsXP Tablet PC Edition. Компьютеры этого типа поддерживают цифровой преобразователь перьевого ввода данных, интегрированный в их дисплейные экраны, что позволяет компьютеру имитировать конструктивные параметры клавиатуры для печати. Пользователи взаимодействуют с компьютером, используя перо, которое дает возможность пользователю управлять курсором и выполнять записи непосредственно на экране.

Программные средства

В этом рабочем примере раскрытые здесь способ и система для обработки цифровых рукописных примечаний были воплощены в виде подключаемой программы для Microsoft Internet Explorer (IE). Эта подключаемая программа (под кодовым названием «Callisto») поддерживает панель инструментальных средств IE с пером и средством выделения, которые позволяют пользователю пометить любую часть любой Web-страницы цифровой «краской». Рукописные штрихи хранятся в локальной кэш-памяти в компьютере пользователя. На фиг. 12 показана панель инструментальных средств для способа и системы для обработки цифровых рукописных примечаний, которая облегчает процесс создания и классификации цифровых примечаний в цифровом документе.

Группировка, классификация и привязка

Для группировки и классификации необработанных цифровых рукописных штрихов в цифровые примечания способ и система для обработки цифровых рукописных примечаний, воплощенная в подключаемой программе Callisto, позволяет пользователю выбрать автоматическую группировку и классификацию либо ручную группировку и классификацию. Если выбрана автоматическая группировка и классификация, то программные средства Callisto принимают решения о группировке и классификации рукописных штрихов пользователя автоматически и автоматически определяют привязки примечаний в соответствии с способом обработки, подробно описанным выше в разделах III, IV и V.

Если выбрана ручная группировка и классификация, то пользователь сначала выбирает рукописные штрихи, которые он хочет сгруппировать вместе, используя средство выбора. Затем пользователь выбирает классификацию из заранее установленного списка типов примечаний. Вновь обратимся к фиг. 9В, где пользователь вручную выбирает классификацию примечания из заранее установленного списка примечаний. Этот список типов примечаний включает в себя подчеркивания, выделения, сноски на полях (такие как комментарии и символы на полях), кружки, черты на полях и соединители. Выбор примечания одного из указанных типов автоматически привязывает выбранную группу штрихов в виде примечания к контексту в документе. Эта привязка выполняется с использованием набора правил, раскрытых выше в разделе V.

Переформатирование цифровых примечаний

После группировки, классификации и привязки, всякий раз, когда изменятся размеры окна документа IE, способ и система для обработки цифровых рукописных примечаний автоматически переформатирует любые примечания на текущей странице, так чтобы сохранилась их связь с соответствующими контекстами привязки, для каждого способа, раскрытого выше в разделах III, IV и V.

Очистка цифровых примечаний

Кроме переформатирования цифровых примечаний для сохранения первоначального рукописного стиля пользователя способ и система для обработки цифровых рукописных примечаний, воплощенная в подключаемой программе Callisto для IE может также создать формализованные, «очищенные» версии цифровых примечаний для каждого способа, раскрытого выше в разделе III. В данном рабочем примере способ и система для обработки цифровых рукописных примечаний очищали примечания следующим образом. Способ и система для обработки цифровых рукописных примечаний визуализировали примечания типа подчеркивания в виде отрезков прямых линий, примечания типа выделения - в виде прозрачных горизонтальных прямоугольников поверх текста привязки, кружки - в виде прямоугольников со скругленными углами, черты на полях - в виде простых кривых Безье, перекрывающих текст привязки по высоте, а соединители - в виде прямых линий, идущих между контекстами привязки их конечных точек. Комментарии и символы на полях не анализировались, а были оставлены в том виде, в котором их изобразил пользователь, поскольку они обычно отличаются настолько большим разбросом и индивидуальностью стиля, что их очень трудно преобразовать в подходящий формализованный стиль.

VII. Примерная вычислительная среда

Раскрытые здесь способ и система для обработки цифровых рукописных примечаний предназначены для функционирования в вычислительной среде. Последующее обсуждение имеет целью дать краткое общее описание подходящей вычислительной среды, в которой могут быть реализованы способ и система для обработки цифровых рукописных примечаний.

На фиг. 13 показан пример подходящей вычислительной системной среды 1300, в которой могут быть реализованы способ и система для обработки цифровых рукописных примечаний. Вычислительная системная среда 1300 является лишь одним примером подходящей вычислительной среды и не претендует на какое-либо ограничение сферы использования или функциональных возможностей изобретения. Не следует считать, что вычислительная среда 1300 зависит либо обязательно требует наличия любой одной компоненты, показанной в приведенной в качестве примера вычислительной среде 1300, либо любой комбинации из этих компонент.

Способ и система для обработки цифровых рукописных примечаний может работать с множеством других вычислительных сред или конфигураций общего или специального назначения. Примеры известных вычислительных систем, сред и/или конфигураций, которые могут подойти для использования с способом и системой для обработки цифровых рукописных примечаний, включают в себя, но не в ограничительном смысле, персональные компьютеры, компьютеры-серверы, карманные компьютеры, лэптопы или мобильные компьютеры, либо устройства связи, такие как сотовые телефоны и PDA, мультипроцессорные системы, системы на базе микропроцессоров, компьютерные приставки, бытовую электронику, программируемую пользователем, сетевые PDA, миникомпьютеры, универсальные компьютеры, распределенные вычислительные среды, которые включают в себя любые из вышеперечисленных систем или устройств, и т.п.

Способ и система для обработки цифровых рукописных примечаний могут быть описаны в общем контексте машиноисполняемых программ, таких как программные модули, выполняемые компьютером. Программные модули обычно включают в себя процедуры, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют определенные абстрактные типы данных. Способ и систему для обработки цифровых рукописных примечаний на практике также можно реализовать в распределенных вычислительных средах, где задания выполняются удаленными устройствами обработки, которые связаны через сеть связи. В распределенной вычислительной среде программные модули могут находиться как на локальных, так и на удаленных компьютерных носителях данных, включая запоминающие устройства. Обратимся к фиг.13, где примерная система для реализации способа и системы для обработки цифровых рукописных примечаний включает в себя вычислительное устройство общего назначения в виде компьютера 1310 (компьютер 1310 является примером вычислительного устройства 140, показанного на фиг. 1).

Компоненты компьютера 1310 могут включать в себя, но не в ограничительном смысле, блок 1320 обработки данных, системную память 1330 и системную шину 1321, которая соединяет различные системные компоненты, включая системную память, с блоком 1320 обработки. Системная шина 1321 может быть реализована в виде шинной структуры любого из нескольких типов, в том числе в виде шины памяти или контроллера памяти, периферийной шины, и локальной шины с использованием любой из множества различных шинных архитектур. Такие архитектуры могут, например, включать в себя, но не в ограничительном смысле, шину с архитектурой промышленного стандарта (ISA), шину с микроканальной архитектурой (MCA), шину с расширенной архитектурой ISA (EISA), локальную шину Ассоциации по стандартам видеооборудования (VESA) и шину межсоединений периферийных компонент (PCI) (известную также как мезонинная шина).

Компьютер 1310 обычно включает в себя множество различных машиночитаемых носителей. Машиночитаемые носители могут представлять собой любые имеющиеся носители, к которым компьютер 1310 может осуществить доступ, и могут включать в себя как энергозависимые, так и энергонезависимые носители, а также как съемные, так и несъемные носители. В качестве примера, но не как ограничение, машиночитаемые среды могут содержать компьютерные носители данных и среды связи. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или по любой технологии для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные.

Компьютерные носители данных включают в себя, но не в ограничительном смысле, ОЗУ (RAM), ПЗУ (ROM), электрически стираемое программируемое ПЗУ (EEPROM), флэш-память, либо память, выполненную по другой технологии, ПЗУ на компакт-диске (CD ROM), цифровые универсальные диски (DVD), либо другое запоминающее устройство на оптическом диске, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные запоминающие устройства, либо любой другой носитель, которую можно использовать для хранения требуемой информации и к которой компьютер 1310 может осуществить доступ. Среды связи обычно воплощают машиночитаемые команды, структуры данных, программные модули либо другие данные в сигнале, модулированном данными, таком как сигнал несущей или другой механизм транспортировки, и включают в себя любые среды для доставки информации.

Заметим, что термин «сигнал, модулированный данными» означает сигнал, имеющий одну или несколько характеристик, установленных или измененных таким образом, чтобы закодировать информацию в этом сигнале. Например, но не как ограничение, среды связи включают в себя проводные среды, такие как проводная сеть или непосредственное проводное соединение, и беспроводные среды, такие как акустические, радиочастотные (RF), инфракрасные и другие беспроводные среды. Понятием машиночитаемый носитель также охватываются комбинации из любых вышеперечисленных сред.

Системная память 1330 включат в себя компьютерный носитель данных в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство 1331 (только для считывания) (ROM) и оперативное запоминающее устройство 1332 (с произвольной выборкой) (RAM). В памяти ROM 1331 обычно находится базовая система 1333 ввода/вывода (BIOS), содержащая базовые процедуры, которые помогают пересылать информацию между элементами в компьютере 1310, к примеру, во время запуска. Память RAM 1332 обычно содержит данные и/или программные модули, которые оперативно доступны блоку 1320 обработки данных и/или обрабатываются им в настоящий момент. На фиг. 13 в качестве примера, но не как ограничение, показаны операционная система 1334, прикладные программы 1335, другие программные модули 1336 и данные 1337 программ.

Компьютер 1310 может также включать в себя другие съемные/несъемные, энергозависимые/энергонезависимые компьютерные носители данных. Только в качестве примера, на фиг. 13 показаны накопитель 1341 на жестких магнитных дисках, который осуществляет считывание или запись на несъемный, энергонезависимый магнитный носитель; дисковод 1351 для магнитного диска, который осуществляет считывание или запись на съемный энергонезависимый магнитный диск 1352; и дисковод 1355 для оптического диска, который осуществляет считывание или запись на съемный энергонезависимый оптический диск 1356, такой как CD ROM либо другой оптический носитель.

Другие съемные/несъемные энергозависимые/энергонезависимые компьютерные носители данных, которые можно использовать в приведенной в качестве примера операционной среде, включают в себя, но не в ограничительном смысле, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, цифровую видеоленту, твердотельное RAM, твердотельное ROM и т.п. Накопитель 1341 на жестких магнитных дисках обычно подсоединен к системной шине 1321 через интерфейс несъемной памяти, такой как интерфейс 1340, а дисковод 1351 для магнитного диска и дисковод 1355 для оптического диска обычно подсоединены к системной шине 1321 через интерфейс съемной памяти, такой как интерфейс 1350.

Накопители и дисководы и связанные с ними компьютерные носители данных, обсужденные выше и показанные на фиг.13, обеспечивают хранение машиночитаемых команд, структур данных, программных модулей и других данных для компьютера 1310. На фиг. 13 в качестве примера показано, что в накопителе 1341 на жестких магнитных дисках хранятся операционная система 1344, прикладные программ 1345, другие программные модули 1346 и данные 1347 программ. Заметим, что эти компоненты могут совпадать с операционной системой 1334, прикладными программами 1335, другими программными модулями 1336 и данными 1337 программ, либо отличаться от них. Операционная система 1344, прикладные программы 1345, другие программные модули 1346 и программные данные 1347 имеют здесь другие цифровые обозначения, чтобы показать, что они, как минимум, являются другими копиями. Пользователь может ввести в компьютер 1310 команды и информацию через устройства ввода, такие как клавиатура 1362 и указательное устройство 1361, известное как «мышь», шаровой манипулятор или сенсорный планшет.

Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, игровую приставку, спутниковую антенну, сканер, радиоприемник либо телевизионный или широковещательный видеоприемик или т.п. Эти и другие устройства ввода часто подсоединены к блоку 1320 обработки через интерфейс 1360 пользовательского ввода, который соединен с системной шиной 1321, но могут быть подсоединены с помощью других интерфейсных и шинных структур, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). К системной шине 1321 через интерфейс, такой как видеоинтерфейс 1390, также подсоединен монитор 1391 либо устройство отображения другого типа. Вдобавок к монитору компьютеры могут также включать в себя другие периферийные устройства вывода, такие как громкоговорители 1397 и принтер 1396, которые могут быть подсоединены через выходной периферийный интерфейс 1395.

Компьютер 1310 может работать в сетевой среде, используя логические соединения с одним или несколькими удаленными компьютерами, такими как удаленный компьютер 1380. Удаленный компьютер 1380 может представлять собой персональный компьютер, сервер, маршрутизатор, сетевой персональный компьютер, одноранговое устройство либо другой известный сетевой узел, причем такой компьютер обычно включает в себя многие или все элементы, описанные выше в связи с компьютером 1310, хотя на фиг.13 показано только запоминающее устройство 1381. Логические соединения, изображенные на фиг. 13, включают в себя локальную сеть (LAN) 1371 и глобальную сеть (WAN) 1373, но также могут включать другие сети. Такие сетевые среды типичны для офисов, компьютерных сетей масштаба предприятия, интрасетей и Интернет.

При использовании в сетевой среде LAN компьютер 1310 подсоединен к LAN 1371 через сетевой интерфейс или адаптер 1370. При использовании в сетевой среде WAN компьютер 1310 обычно включает в себя модем 1372 либо другое средство для установления связи через сеть WAN 1373, такую как Интернет. Модем 1372, который может быть встроенным или внешним, может быть подсоединен к системной шине 1321 через интерфейс 1360 пользовательского ввода, либо другой подходящий механизм. В сетевой среде программные модули, показанные применительно к компьютеру 1310 или его частям, могут храниться в удаленном запоминающем устройстве. На фиг. 13 в качестве примера, но не как ограничение, показано, что удаленные прикладные программы 1385 находятся в запоминающем устройстве 1381. Очевидно, что показанные сетевые соединения являются лишь примерами и что можно использовать другие средства для установления линии связи между компьютерами.

Приведенное выше описание изобретения было представлено в иллюстративных и описательных целях. Здесь не предполагается, что описание носит исчерпывающий характер и что изобретение должно быть сведено к раскрытому здесь определенному варианту. В свете вышеописанного замысла возможно множество модификаций и вариантов осуществления изобретения. Предполагается, что объем изобретения ограничивается не представленным здесь подробным описанием, а прилагаемой формулой изобретения.