осведомленное о стиле использование письменного ввода

Классы МПК:G06K9/62 способы и устройства для распознавания с использованием электронных средств
Автор(ы):
Патентообладатель(и):МАЙКРОСОФТ КОРПОРЕЙШН (US)
Приоритеты:
подача заявки:
2006-08-29
публикация патента:

Изобретение относится к вычислительной технике, а именно к системам обработки рукописного ввода на основе стиля написания пользователя. Техническим результатом является расширение функциональных возможностей, обеспечивающих высокую степень точности распознавания стиля рукописного написания пользователя. Инструментальное средство анализа стиля написания содержит считываемый компьютером носитель хранения, имеющий сохраненные на нем исполняемые компьютером инструкции, которые при исполнении одним или более процессором компьютера управляют модулем сбора письменного содержимого, который собирает рукописное содержимое от пользователя; и модулем анализа стиля, который анализирует собранное рукописное содержимое для определения стиля собранного рукописного содержимого. Способ описывает работу данного устройства. 4 н. и 13 з.п. ф-лы, 15 ил. осведомленное о стиле использование письменного ввода, патент № 2419871

осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871 осведомленное о стиле использование письменного ввода, патент № 2419871

Формула изобретения

1. Инструментальное средство анализа стиля рукописного написания, содержащее считываемый компьютером носитель хранения, имеющий сохраненные на нем исполняемые компьютером инструкции, которые при исполнении одним или более процессором компьютера управляют

модулем сбора письменного содержимого, который собирает рукописное содержимое от пользователя; и

модулем анализа стиля, который анализирует собранное рукописное содержимое для определения стиля собранного рукописного содержимого, причем анализ использует алгоритм иерархической группировки, который создает иерархию вложенных группировок [C1, С 2, осведомленное о стиле использование письменного ввода, патент № 2419871 , CM], причем для каждой пары (ci , ci+1) в С ci представляет собой подмножество ci+1, и каждое ci+1 получено из предшествующего ci посредством применения функции неподобия группировки для определения различия между образцами чернил письменного содержимого.

2. Инструментальное средство анализа стиля рукописного написания по п.1, в котором модуль анализа стиля дополнительно идентифицирует сообщество, ассоциированное с собранным рукописным содержимым.

3. Инструментальное средство анализа стиля рукописного написания по п.2, в котором сообщество определяется географической областью, культурной группой или религиозной принадлежностью.

4. Инструментальное средство анализа стиля рукописного написания по п.1, в котором анализ стиля идентифицирует стиль, который является идиосинкразическим для пользователя.

5. Машиночитаемый носитель данных, имеющий сохраненные на нем исполняемые компьютером инструкции, которые при исполнении одним или более процессором компьютера управляют

модулем анализа рукописного содержимого, который анализирует рукописное содержимое, собранное от пользователя, для определения стиля собранного рукописного содержимого, причем анализ использует алгоритм иерархической группировки, который создает иерархию вложенных группировок [C1, С 2, осведомленное о стиле использование письменного ввода, патент № 2419871 , CM], причем для каждой пары (ci , ci+1) в С ci представляет собой подмножество ci+1, и каждое ci+1 получено из предшествующего ci посредством применения функции неподобия группировки для определения различия между образцами чернил письменного содержимого;

базой данных стилей рукописного написания, содержащей стили написания выявления используемой руки; и

модулем определения используемой руки, который сравнивает стиль собранного рукописного содержимого со стилями написания выявления используемой руки для определения используемой руки пользователя.

6. Машиночитаемый носитель данных по п.5, в котором модуль анализа рукописного содержимого дополнительно обеспечивает интерфейс для пользователя, предлагая пользователю подтвердить определенную используемую руку.

7. Машиночитаемый носитель данных по п.5, в котором модуль анализа рукописного содержимого конфигурирует компьютер для работы на основе определенной используемой руки.

8. Способ обучения приложения распознавания рукописного содержимого, выполняемый в вычислительной среде, содержащей, по меньшей мере, один процессор компьютера и считываемый компьютером носитель, причем способ заключается в том, что

собирают рукописное содержимое от множества пишущих людей;

определяют стили написания для множества пишущих людей, причем определение содержит использование алгоритма иерархической группировки, который создает иерархию вложенных группировок [C1, С2, осведомленное о стиле использование письменного ввода, патент № 2419871 , CM], причем для каждой пары (ci , ci+1) в С ci представляет собой подмножество ci+1, и каждое ci+1 получено из предшествующего ci посредством применения функции неподобия группировки для определения различия между образцами чернил письменного содержимого,

выбирают образцы чернил для конкретной группировки в качестве представителя конкретной группировки,

обучают приложение распознавания рукописного содержимого, используя обучающие образцы, выбранные из, по меньшей мере, одного из определенных стилей написания.

9. Способ обучения приложения распознавания рукописного содержимого по п.8, дополнительно содержащий обучение приложения распознавания рукописного содержимого, используя только обучающие образцы, выбранные из, по меньшей мере, одного из определенных стилей написания.

10. Способ обучения приложения распознавания рукописного содержимого по п.8, дополнительно содержащий

анализ рукописного содержимого, собранного от пользователя;

ассоциирование, по меньшей мере, одного из определенных стилей с пользователем; и

обучение приложения распознавания рукописного содержимого, используя обучающие образцы, выбранные из, по меньшей мере, одного из определенных стилей написания, ассоциированных с пользователем.

11. Способ обучения приложения распознавания рукописного содержимого по п.10, в котором ассоциированный, по меньшей мере, один из определенных стилей представляет собой стиль, общий для сообщества.

12. Способ обучения приложения распознавания рукописного содержимого по п.11, в котором сообщество определяется географической областью, культурной группой или религиозной принадлежностью.

13. Способ обучения приложения распознавания рукописного содержимого по п.10, в котором ассоциированный, по меньшей мере, один из определенных стилей представляет собой стиль идиосинкразический для пользователя.

14. Способ обучения приложения распознавания рукописного содержимого по п.10, в котором ассоциированный, по меньшей мере, один из определенных стилей представляет собой стиль выявления используемой руки.

15. Способ обучения приложения распознавания рукописного содержимого по п.8, дополнительно содержащий

анализ рукописного содержимого, собранного от пользователя;

ассоциирование, по меньшей мере, одного из определенных стилей с пользователем; и

использование ассоциированного, по меньшей мере, одного из определенных стилей для предсказания стиля написания для символов, написанных пользователем.

16. Способ обучения приложения распознавания рукописного содержимого по п.15, дополнительно содержащий предложение пользователю подтвердить предсказанный стиль написания.

17. Способ обучения приложения распознавания рукописного

содержимого, заключающийся в том, что

собирают рукописное содержимое от множества пишущих людей;

определяют стили написания для множества пишущих людей, обучают приложение распознавания рукописного содержимого, используя обучающие образцы, выбранные из, по меньшей мере, одного из определенных стилей написания,

анализируют рукописное содержимое, собранное от пользователя;

ассоциируют, по меньшей мере, одно из определенных стилей с пользователем,

используют ассоциированный, по меньшей мере, один из определенных стилей для предсказания стиля написания для символов, написанных пользователем, и

применяют основанную на памяти совместную фильтрацию для предсказания стиля написания для символов, написанных пользователем.

Описание изобретения к патенту

Уровень техники

Компьютеры постоянно используются для разнообразных целей по всему миру. Так как компьютеры стали обычным явлением, производители компьютеров непрерывно пытаются сделать их более доступными и удобными для пользователя. Одной такой попыткой была разработка способов естественного ввода. Например, распознавание речи позволяет пользователю вводить данные в компьютер, просто громко произнося данные. Фонемы речи пользователя затем анализируются для преобразования их в машинописный текст. Распознавание рукописного содержимого альтернативно позволяет пользователю вводить данные посредством писания на дигитайзере при помощи стилуса для создания электронных чернил. Компьютер анализирует формы чернил для преобразования их в машинописный текст.

Приход способов рукописного ввода был особенно выгодным для многих пользователей компьютеров. Некоторые пользователи могут писать символы от руки быстрее, чем они могут набирать эти же символы с использованием клавиатуры. Эти пользователи таким образом могут создавать рукописный ввод быстрее, чем ввод на клавиатуре. Большинство пользователей восточно-азиатских языков также считают рукописный ввод более эффективным, чем ввод с помощью клавиатуры. Восточно-азиатские языки обычно пишутся с использованием набора пиктографических символов, имеющего тысячи символов. Даже большая клавиатура не может содержать достаточно клавиш, чтобы пользователь писал на восточно-азиатском языке. Таким образом, пользователю клавиатуры необходимо трудоемко преобразовывать фонетические символы, представленные на клавиатуре, в требуемые пиктографические символы. С компьютером, который принимает и распознает рукописный ввод, пользователь восточноазиатского языка теперь может просто писать требуемый пиктографический символ непосредственно электронными чернилами. Далее, некоторые пользователи используют компьютеры в окружающих обстановках, которые не позволяют использовать клавиатуры. Например, врач, делая обход в больнице, может создавать рукописный ввод, где использование клавиатуры было бы невозможным.

Хотя способы рукописного ввода могут быть очень удобными для многочисленных пользователей, полезность этих способов в большой степени зависит от их точности распознавания. Может быть трудным получение единообразно точного распознавания рукописного содержимого, однако, так как различные пользователи пишут один и тот же символ, используя широкое многообразие различных форм.

Обращаясь к вопросу распознавания рукописного содержимого, некоторые разработчики программного обеспечения создали приложения программного обеспечения для распознавания рукописного содержимого, которые являются обобщенными для большого количества пользователей. Эти приложения программного обеспечения используют один или несколько способов распознавания рукописного содержимого, которые являются общими для всех форм рукописного содержимого для некоторого языка. Например, некоторые из этих способов могут сравнивать рукописный символ с набором прообразов символа для определения, на какой прообраз рукописный символ больше всего похож. Набор прообразов тогда будет включать в себя один или несколько обычных аллографов для каждого символа в алфавите пользователя. Хотя эти обобщенные способы распознавания будут распознавать рукописное содержимое «идеально» для большого количества пользователей, они обычно не обеспечивают высокую степень точности распознавания любого конкретного пользователя. Кроме того, точность способов распознавания этих типов обычно не улучшается со временем.

Некоторые разработчики программного обеспечения альтернативно обеспечивают персонализированные приложения программного обеспечения для распознавания рукописного содержимого, которые обучаются распознавать характерное для индивидуального лица рукописное содержимое. Эти приложения обычно требуют, однако, чтобы пользователь вводил большое количество рукописных данных во время процесса обучения. В результате некоторые из этих приложений программного обеспечения для распознавания рукописного содержимого не являются «идеально» очень точными. Далее, многие пользователи неохотно тратят время, необходимое для надлежащего обучения программного обеспечения этого вида программного обеспечения распознавания рукописного содержимого пользователя. Кроме того, эти персонализированные приложения программного обеспечения для распознавания рукописного содержимого подвержены переобучению. Так как программное обеспечение продолжает улучшать свой процесс распознавания во времени, оно может включать в свои обучающие данные неправильные формы символов, написанных пользователем. Эти время от времени ненормальные формы символов, редко встречающиеся в обычном написании пользователя, могут фактически снижать точность распознавания приложения во времени.

Краткая сущность изобретения

Различные аспекты изобретения относятся к способам обработки рукописного ввода, основанного на стиле написания пользователя. Некоторые аспекты изобретения могут использовать стиль, в котором пользователь пишет отдельный символ. Другие аспекты изобретения могут, альтернативно или дополнительно, использовать группу аллографов, которые формируют стиль рукописного написания.

Например, некоторые реализации изобретения могут анализировать один или несколько символов, написанных пользователем, для идентификации сообщества, такого как географическая область или культурная группа, к которой принадлежит стиль рукописного написания пользователя. С этими реализациями пользователь тогда может обеспечиваться приложением распознавания рукописного содержимого, адаптированным на распознавание стилей рукописного написания, используемых этим сообществом. Другие реализации изобретения могут анализировать один или несколько символов рукописного содержимого пользователя, чтобы, альтернативно или дополнительно, категоризировать рукописное содержимое пользователя в конкретный стиль рукописного написания. Пользователь тогда может обеспечиваться приложением распознавания рукописного содержимого, конкретно сконфигурированным для персонального стиля рукописного написания данного пользователя. Выгодно, что оба типа приложений распознавания рукописного содержимого могут обеспечивать большую точность распознавания, чем обобщенное приложение распознавания рукописного содержимого, не требуя чтобы пользователь представлял большое количество обучающих данных.

С еще другими реализациями изобретения стиль рукописного написания пользователя, альтернативно или дополнительно, может применяться для предотвращения использования приложением распознавания рукописного содержимого неправильно написанного символа в качестве обучающих данных для улучшения процесса распознавания. Некоторые примеры изобретения тогда могут, альтернативно или дополнительно, анализировать один или несколько из аллографов пользователя для предсказания, как пользователь напишет другие символы. Чем требовать чтобы пользователь представил обучающие данные, соответствующие каждому из этих символов, например, эти реализации могут вместо этого предлагать пользователю подтвердить, как он или она пишут эти другие символы. Эти реализации, например, могут просто предлагать пользователю выбрать между аллографами, принадлежащими к такому же стилю написания, что и проанализированные аллографы.

Еще другие реализации изобретения альтернативно или дополнительно могут анализировать стиль написания пользователя для определения, пишет ли пользователь правой рукой или левой рукой. Эти реализации тогда, например, могут конфигурировать один или несколько пользовательских интерфейсов компьютера для соответствия с «используемой рукой» пользователя.

Ниже подробно описываются эти и другие признаки и преимущества различных реализаций изобретения.

Краткое описание чертежей

Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии этой публикации патента или заявки на патент с цветными чертежами будут представлены Ведомством при запросе и оплате необходимой пошлины.

Фиг.1А и 1В изображают образцовые стили рукописного написания, обычно используемые для обучения писания в школах.

Фиг.2 и 3 изображают примеры рабочей среды, которая может использоваться для реализации способов распознавания рукописного содержимого согласно различным примерам изобретения.

Фиг.4 иллюстрирует инструментальное средство анализа стиля написания, которое может быть реализовано в соответствии с различными примерами изобретения.

Фиг.5 изображает один пример группировки различных образцов чернил буквы К.

Фиг.6 иллюстрирует различные аллографы выявления используемой руки и статистику используемой руки соответствующих им пишущих людей.

Фиг.7 иллюстрирует инструментальное средство распознавания рукописного содержимого, которое сравнивает образцы письменного содержимого пользователя с одним или несколькими аллографами выявления используемой руки согласно различным примерам изобретения.

Фиг.8 иллюстрирует пользовательский интерфейс, предлагающий пользователю подтвердить его или ее используемую руку, что может использоваться согласно различным примерам изобретения.

Фиг.9 иллюстрирует результирующие стили для букв «q», «t» и «x», полученные из выполнения алгоритма иерархической группировки согласно различным примерам изобретения для 71600 образцов чернил, соответствующих 99 буквам, написанным 267 пишущими людьми из США.

Фиг.10 иллюстрирует результирующие стили для букв «q», «t» и «x», полученные из выполнения алгоритма иерархической группировки согласно различным примерам изобретения для 70000 образцов чернил, соответствующих 99 буквам, написанным 228 пишущими людьми из США.

Фиг.11 иллюстрирует приложение распознавания рукописного содержимого, которое было специально обучено (или сконфигурировано для специального обучения) аллографам, общим для конкретного сообщества, в котором оно будет использоваться.

Фиг.12 иллюстрирует изменения интенсивности ошибок тестирования в результате исключения различных уровней шума среди различных приложений распознавания рукописного содержимого.

Фиг.13 и 14 изображают интенсивности ошибок тестирования для каждого из трех приложений распознавания рукописного содержимого, использующих различные способы обучения.

Фиг.15 иллюстрирует пользовательский интерфейс, предлагающий пользователю подтвердить, как он или она могут написать конкретный символ, основываясь на предсказанном стиле рукописного написания.

Подробное описание изобретения

Стиль написания

Различные аспекты изобретения относятся к использованию стиля написания пользователя для улучшения способов письменного ввода. Некоторые примеры изобретения могут применять стиль, в котором пользователь пишет отдельный символ, упоминаемый ниже в данном документе как «аллограф». Как используется ниже в данном документе, термин «символ» в основном относится как к индивидуальной букве, цифре или другому знаку, так и к лигатуре (т. е. отдельной форме или глифу, который представляет два или более лежащих в основе букв, цифр или других знаков). Аллограф символа может определяться, например, количеством штрихов, которые выполняет пользователь для написания символа, порядком, в котором пишется каждый штрих, и направлением, в котором пишется каждый штрих.

Другие аспекты изобретения, альтернативно или дополнительно, могут использовать группу аллографов, которая формирует стиль рукописного написания. Например, фиг.1А иллюстрирует образцовый стиль рукописного написания Modern Cursive, тогда как фиг.1В иллюстрирует образцовый стиль рукописного написания Simple Cursive. Как можно видеть из этих фигур, оба образцовых стиля рукописного написания совместно используют подобный аллограф для прописной буквы «Т» (хотя аллограф в стиле рукописного написания Simple Cursive несколько больше наклонен, чем аллограф в стиле рукописного написания Modern Cursive). Эти стили рукописного написания, однако, имеют существенно различные аллографы для строчной буквы «р». Как используется в данном документе, термин «стиль написания» в основном ссылается на отдельный аллограф, группу аллографов или стиль рукописного написания, составленный из многочисленных аллографов.

Стили рукописного написания, изображенные на фиг.1А и 1В, представляют собой образцовые стили рукописного написания, используемые обычно для обучения письму новых пишущих людей в школах. Более опытный пишущий человек, однако, разработает свой собственный идиосинкразический стиль рукописного написания, который может включать в себя как рукописное, так и курсивное написание. Этот идиосинкразический стиль рукописного написания обычно объединяет аллографические характеристики многочисленных разнообразных образцовых стилей рукописного написания с эксцентричными аллографическими характеристиками, которые не принадлежат ни к какому конкретному образцовому стилю рукописного написания. Если пишущий человек разработал персонализированный стиль рукописного написания, он обычно не изменяется во времени. Таким образом, идиосинкразический стиль рукописного написания пользователя будет иметь как уникальные характеристики, так и некоторые характеристики, которые совместно используются одним или несколькими другими пишущими людьми. Уникальный набор характеристик может упоминаться как набор индивидуальных характеристик, тогда как совместно используемые характеристики могут упоминаться как набор «стилевых» характеристик. Таким образом, как будет объяснено более подробно ниже, два или более идиосинкразических стиля рукописного написания могут быть сгруппированы вместе в более широкий стиль рукописного написания на основе одной или нескольких совместно используемых «стилевых» характеристиках.

Среда реализации

Как понятно для специалиста в данной области техники, различные примеры изобретения могут быть реализованы с использованием аналоговых схем. Обычно, однако, аспекты изобретения реализуются с использованием программируемого вычислительного устройства, исполняющего инструкции программирования или «программного обеспечения». Следовательно, общий пример среды вычислительного устройства, которая может использоваться для реализации различных примеров изобретения, ниже описывается в отношении фиг.2 и 3.

Более конкретно фиг.2 иллюстрирует один пример цифровой вычислительной среды общего назначения, которая может использоваться для реализации различных примеров изобретения. В частности, фиг.2 изображает схематическое представление компьютера 200. Компьютер 200 обычно включает в себя, по меньшей мере, некоторый вид считываемых компьютером носителей. Считываемые компьютером носители могут быть любыми доступными носителями, к которым может обращаться компьютер 200. В качестве примера и не ограничения считываемые компьютером носители могут содержать компьютерные носители данных и среды передачи данных. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализуемые по любому способу или технологии для хранения информации, такой как считываемые компьютером инструкции, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не ограничиваются ими, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое программируемое ПЗУ (ЭСППЗУ), флэш-память или другую технологию изготовления памяти, компакт-диск, цифровые многофункциональные диски (ЦМД) или другие оптические запоминающие устройства, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитных дисках или другие магнитные запоминающие устройства, отперфорированные носители, голографические запоминающие устройства или любые другие носители, которые могут использоваться для хранения требуемой информации, и к которым может обращаться компьютер 200.

Среды передачи данных обычно осуществляют передачу считываемых компьютером инструкций, структур данных, программных модулей или других данных в модулированном данными сигнале, таком как несущая волна или другой транспортный механизм, и включают в себя любые среды доставки информации. Термин «модулированный данными сигнал» означает сигнал, в котором одна или несколько из его характеристик устанавливается или изменяется таким образом, что кодирует информацию в сигнале. В качестве примера и не ограничения среды передачи данных включают в себя проводные среды, такие как проводные сети или непосредственное проводное соединение, и беспроводные среды, такие как акустические, радиочастотные (РЧ), инфракрасные и другие беспроводные среды передачи. Комбинации любых из вышеперечисленных также должны быть включены в сферу рассмотрения считываемых компьютером сред.

Как показано на фиг.2, компьютер 200 включает в себя блок 210 обработки, системную память 220 и системную шину 230, которая соединяет различные системные компоненты, включая системную память 220 с блоком 210 обработки. Системная шина 230 может быть любой из нескольких типов шинных структур, включая шину памяти или контроллер памяти, периферийную шину и локальную шину, используя любую из многочисленных шинных архитектур. Системная память 220 может включать в себя постоянное запоминающее устройство (ПЗУ) 240 и оперативное запоминающее устройство (ОЗУ) 250.

Базовая система 260 ввода/вывода (БСВВ) содержит базовые подпрограммы, которые способствуют переносу информации между элементами в компьютере 200, например, во время запуска, и хранится в ПЗУ 240. Компьютер 200 также может включать в себя накопитель 270 на жестком диске для считывания и записи на жесткий диск (не показан), накопитель 280 на магнитных дисках для считывания или записи на съемный магнитный диск 281, и накопитель 290 на оптических дисках для считывания или записи на съемный оптический диск 291, такой как компакт-диск, ЦМД только для чтения или другой оптический носитель. Накопитель 270 на жестком диске, накопитель 280 на магнитных дисках и накопитель 290 на оптических дисках подключаются к системной шине 230 при помощи интерфейса 292 накопителя на жестком диске, интерфейса 293 накопителя на магнитных дисках и интерфейса 294 накопителя на оптических дисках соответственно. Эти накопители и связанные с ними считываемые компьютером носители обеспечивают энергонезависимое хранение считываемых компьютером инструкций, структур данных, программных модулей и других данных для персонального компьютера 200. Для специалиста в данной области техники понятно, что другие типы считываемых компьютером носителей, которые могут хранить данные, к которым может обращаться компьютер, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ) и т.п., также могут использоваться в примерной рабочей среде.

Ряд программных модулей может храниться в накопителе 270 на жестком диске, магнитном диске 281, оптическом диске 291, ПЗУ 240 или ОЗУ 250, включая операционную систему 295, одну или несколько программ 296 приложений, другие программные модули 297 и программные данные 298. Пользователь может вводить команды и информацию в компьютер 200 при помощи устройств ввода, таких как клавиатура 201 и указательное устройство 202 (такое, как мышь). Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, игровой планшет, антенну спутниковой связи, сканер или т.п. Эти и другие устройства ввода часто подключаются к блоку 210 обработки через интерфейс 206 последовательного порта, который подключается к системной шине 230, но они также могут подсоединяться при помощи других интерфейсов, таких как параллельный порт, игровой порт или универсальную последовательную шину (УПШ) и т.п. Далее, эти устройства могут подключаться непосредственно к системной шине 230 через соответствующий интерфейс (не показан).

Монитор 207 или устройство отображения другого типа также может подключаться к системной шине 230 через интерфейс, такой как видеоадаптер 208. В дополнение к монитору 207 персональные компьютеры обычно включают в себя другие периферийные устройства вывода (не показаны), такие как громкоговорители и принтеры. В одном примере предусматриваются перьевой дигитайзер 265 и прилагаемое перо или стилус 266, чтобы выполнять цифровой захват рукописного ввода. Хотя соединение между перьевым дигитайзером 265 и интерфейсом 206 последовательного порта показано на фиг.2, на практике перьевой дигитайзер 265 может непосредственно подключаться к блоку 210 обработки, или оно может подключаться к блоку 210 обработки любым подходящим образом, например через параллельный порт или другой интерфейс и системную шину 230, что известно в технике. Кроме того, хотя дигитайзер 265 показан отдельно от монитора 207 на фиг.2, используемая область ввода дигитайзера 265 может иметь совместную протяженность с областью отображения монитора 207. Кроме того, дигитайзер 265 может быть интегрирован в монитор 207 или он может существовать в виде отдельного устройства, наложенного или иным образом присоединенного к монитору 207.

Компьютер 200 может работать в сетевой среде, используя логические подключения к одному или нескольким удаленным компьютерам, таким как удаленный компьютер 209. Удаленным компьютером 209 может быть сервер, маршрутизатор, сетевой персональный компьютер (ПК), одноранговое устройство или другой общий узел сети, и он обычно включает в себя многие или все элементы, описанные выше в отношении компьютера 200, хотя для простоты на фиг.2 изображено только запоминающее устройство 211 памяти. Логические подключения, изображенные на фиг.2, включают в себя локальную сеть (ЛС) 212 и глобальную сеть (ГС) 213. Такие сетевые окружения являются обычным явлением в офисах, компьютерных сетях масштаба предприятия, интрасетях и Интернете, используя как проводные, так и беспроводные подключения.

При использовании в сетевом окружении ЛС компьютер 200 подключается к локальной сети 212 через сетевой интерфейс или адаптер 214. При использовании в сетевом окружении ГС персональный компьютер 200 обычно включает в себе модем 215 или другое средство для установления линии связи по глобальной сети 213, такой как Интернет. Модем 215, который может быть внутренним или внешним для компьютера 200, может подключаться к системной шине 230 через интерфейс 206 последовательного порта. В сетевом окружении программные модули, описанные в отношении персонального компьютера 200, или его частей, могут храниться в удаленном запоминающем устройстве памяти.

Понятно, что показанные сетевые подключения являются примерами и могут использоваться другие способы установления линии связи между компьютерами. Предполагается существование любых из различных общеизвестных протоколов, таких как протокол управления передачей (ПУП) / протокол Интернета (ПИ), Эзернет, протокол передачи файлов (ППФ), протокол передачи гипертекста (ППГТ), протокол пользовательских дейтаграмм (ППД) и т.п., и система может работать в конфигурации пользователь - сервер, позволяя пользователю выводить веб-страницы с веб-сервера. Любые из многочисленных обычных веб-браузеров могут использоваться для отображения и манипулирования данными на веб-страницах.

Хотя окружение на фиг.2 изображает один пример рабочей среды для различных вариантов осуществления изобретения, необходимо понять, что также могут использоваться другие вычислительные среды. Например, один или несколько примеров настоящего изобретения могут использовать среду, имеющую меньшее количество, чем все различные аспекты, показанные на фиг.2 и описанные выше, и эти аспекты могут появляться в различных комбинациях и подкомбинациях, которые очевидны для специалиста в данной области техники.

Фиг.3 иллюстрирует перьевой персональный компьютер (ПК) 301, который может использоваться в соответствии с различными аспектами настоящего изобретения. Любые или все из признаков, подсистем и функций в системе по фиг.2 могут быть включены в компьютер 301 по фиг.3. Система 301 перьевого персонального компьютера включает в себя большую поверхность 302 отображения, например дисплей на плоской панели для оцифровки, такой как экран жидкокристаллического дисплея (ЖКД), на котором отображается множество графических пользовательских интерфейсов 303, таких как графические пользовательские интерфейсы с окнами. Используя стилус 266, пользователь может выбирать, выделять и писать на области отображения для оцифровки. Примеры подходящих панелей отображения для оцифровки включают в себя электромагнитные перьевые дигитайзеры, такие как перьевые дигитайзеры, имеющиеся в продаже у компании Mutoh Co (теперь известной как FinePoint Innovations Co.) или Wacom Technology Co. Также могут использоваться перьевые дигитайзеры других типов, например оптические дигитайзеры и сенсорные дигитайзеры. Перьевая вычислительная система 301 интерпретирует жесты, сделанные с использованием стилуса 266, чтобы манипулировать данными, вводить текст и выполнять обычные задачи приложения компьютера, такие как создание, редактирование и изменение электронных таблиц, программ обработки текстов и т.п.

Стилус 266 может быть оснащен кнопками или другими функциями для расширения своих возможностей. В одном примере стилус 266 может быть реализован как «карандаш» или «ручка», в которых один конец образует пишущую часть. Другой конец стилуса 266 тогда образует конец «ластика», который при проведении им по дисплею указывает части электронных чернил на дисплее, которые должны быть стерты. Также могут использоваться устройства ввода других типов, такие как мышь, шаровой манипулятор, клавиатура или т.п. Кроме того, собственный палец пользователя может использоваться для выбора или указания частей отображаемого изображения, если дисплей является сенсорным или бесконтактным дисплеем. Следовательно, термин «устройство пользовательского ввода», используемый в данном документе, как предполагается, имеет широкое определение и охватывает многие варианты общеизвестных устройств ввода.

В дополнение к использованию перьевых вычислительных систем или «планшетных ПК» с максимальной производительностью (например, конвертируемых портативных компьютеров или планшетных ПК типа «грифельной доски») аспекты данного изобретения могут использоваться в связи с другими типами перьевых вычислительных систем и/или других устройств, которые принимают данные в виде электронных чернил и/или принимают ввод электронным пером или стилусом, такие как карманные или наладонные вычислительные системы; персональные цифровые помощники; карманные персональные компьютеры; мобильные и сотовые телефоны, пейджеры и другие устройства связи; часы; бытовые электронные устройства; и любые другие устройства и системы, которые включают в себя монитор или другое устройство отображения и/или дигитайзер, который представляет отпечатанную или графическую информацию пользователям и/или позволяет выполнять ввод, используя электронное перо или стилус, или которые могут обрабатывать электронные чернила, собранные другим устройством (например, обычный настольный компьютер, который может обрабатывать электронные чернила, собранные планшетным ПК).

Инструментальное средство анализа стиля написания

Фиг.4 иллюстрирует инструментальное средство 401 анализа стиля написания, которое может быть реализовано согласно различным примерам изобретения. Как показано на этой фигуре, инструментальное средство 401 анализа стиля написания включает в себя модуль 403 сбора письменного содержимого, модуль 405 анализа стиля, базу 407 данных обучения распознавания и модуль 409 обучения распознавания. Как подробно объяснено ниже, инструментальное средство 401 анализа стиля написания принимает ввод рукописных данных от многих пользователей 411 и, в свою очередь, обеспечивает приложения 413 распознавания рукописного содержимого для одного или нескольких пользователей, которые настраиваются на стиль рукописного написания пользователя-получателя.

Как показано на фиг.4, инструментальное средство 401 анализа стиля написания может быть доступным для многочисленных пользователей. Таким образом, с многочисленными примерами изобретения, по меньшей мере, модуль 403 сбора письменного содержимого может быть реализован на серверном компьютере, доступном для многочисленных пользователей по одной или нескольким сетям, таким как Интернет. В дополнение к сбору рукописного содержимого пользователя модуль 403 сбора письменного содержимого также может включать в себя дополнительную персональную информацию, касающуюся пользователя. Например, модуль 403 сбора письменного содержимого также может получать используемую руку пользователя (т.е. пишет ли пользователь правой рукой или левой рукой). Модуль 403 сбора письменного содержимого, альтернативно или дополнительно, может получать информацию относительно одного или нескольких сообществ, к которым принадлежит пользователь, такую как географическую, религиозную и/или культурную информацию пользователя. Таким образом, модуль 403 сбора письменного содержимого может устанавливать страну или другую географическую область, где пользователь научился писать, получил ли пользователь образование в религиозной школе, или принадлежит ли пользователь к отдельной культурной группе.

Как более подробно объяснено ниже, модуль 405 анализа стиля организует принятые образцы 411 рукописного содержимого в связанные группы или «группировки», основанные на сходствах в их характеристиках. Как понятно из предшествующего описания, каждая группировка может определяться как стиль рукописного написания, общий для одного или нескольких пользователей, образцы рукописного содержимого которых включены в группировку. С различными примерами изобретения два отдельных способа могут использоваться для организации принятых образцов 411 рукописного содержимого в группировки: нисходящий принцип обнаружения грубых субстилей или восходящий принцип группировки.

В изображенном примере модуль 405 анализа стиля использует восходящий принцип, так как информация, полученная с использованием данного принципа, может непосредственно использоваться модулем 409 обучения распознавания, что будет очевидно из нижеследующего описания. Используя этот принцип, группировка C множества данных образца рукописного содержимого осведомленное о стиле использование письменного ввода, патент № 2419871 определяет выделение данных в множество осведомленное о стиле использование письменного ввода, патент № 2419871 непересекающихся множеств, так что осведомленное о стиле использование письменного ввода, патент № 2419871 . Группировка C вычисляется независимо для каждой буквы в образце 411 рукописного содержимого.

С различными примерами изобретения модуль 405 анализа стиля использует алгоритм иерархической группировки, который создает иерархию вложенных группировок осведомленное о стиле использование письменного ввода, патент № 2419871 , так что Cm-1 представляет собой подмножество Cm. Эта иерархия составляется за M шагов, где группировка на шаге m создается из группировки, созданной на шаге m-1. На шаге 1 каждый член в множестве X образцов представляет свою собственную группировку. Используя функцию неподобия осведомленное о стиле использование письменного ввода, патент № 2419871 двух группировок, применяется следующий алгоритм. Во-первых, инициализируем осведомленное о стиле использование письменного ввода, патент № 2419871 . Во-вторых, для m=2, осведомленное о стиле использование письменного ввода, патент № 2419871 , M: получим новую группировку Cm посредством объединения группировок ckосведомленное о стиле использование письменного ввода, патент № 2419871 min и ck'осведомленное о стиле использование письменного ввода, патент № 2419871 minCm-1, где (k min, k'min)=argmin(k,k'),kосведомленное о стиле использование письменного ввода, патент № 2419871 k'D(ck,ck' ).

Функция неподобия группировок осведомленное о стиле использование письменного ввода, патент № 2419871 может основываться, например, на функции неподобия образцов чернил осведомленное о стиле использование письменного ввода, патент № 2419871 . Хотя может использоваться любая требуемая функция неподобия для определения различия между образцами чернил, различные примеры изобретения могут использовать алгоритм гибкого сравнения (также известный как алгоритм динамической трансформации шкалы времени) для определения, насколько подобен один образец чернил с другим образцом чернил.

Таким образом, для образцов чернил k (которые состоят из S штрихов) и k' (состоят из S' штрихов):

осведомленное о стиле использование письменного ввода, патент № 2419871

и

осведомленное о стиле использование письменного ввода, патент № 2419871

если S=S', где P и P' представляют собой соответствующие повторно выбранные координатные векторы образцов k, k', и N представляет собой количество точек выборки. Элемент p в векторе P имеет 3 координаты (x, y, осведомленное о стиле использование письменного ввода, патент № 2419871 ), где x, y представляют собой координаты прямоугольной системы координат точки p, и осведомленное о стиле использование письменного ввода, патент № 2419871 представляет собой оценку наклона в этой же точке.

Из этого определения понятно, что образцы чернил с различным числом штрихов не будут объединяться в одной и той же группировке до самого конца процесса. В этой точке объединение фактически останавливается.

Таким образом:

осведомленное о стиле использование письменного ввода, патент № 2419871

Решение использовать максимальное значение, а не среднее или минимальное значение, и использовать для определения расстояния между двумя образцами чернил с различным количеством штрихов до осведомленное о стиле использование письменного ввода, патент № 2419871 способствует компактным группировкам.

Образец чернил в группировке выбирается так, чтобы он был представителем группировки. Выбранным представителем для каждой группировки может быть, например, медиана группировки. Медиана x ~k для группировки ck определяется как образец чернил с наименьшим расстоянием медианы относительно оставшихся образцов чернил членов группировки:

осведомленное о стиле использование письменного ввода, патент № 2419871

Результаты группирования для каждого символа могут быть визуализированы в виде двоичного дерева (также упоминаемого как «древовидная схема неподобия»). Фиг.5 изображает один пример результирующей древовидной схемы 501 для различных образцов чернил буквы К. На этой фигуре штрихи кодированы цветом, так что цвет штрихов обозначает порядок, в котором он был написан: (1) красный, (2) зеленый, (3) синий и (4) пурпурный. Каждый штрих также иллюстрируется, так что штрих становится постепенно более светлым от его начальной точки к его конечной точке.

С различными примерами изобретения количество группировок для каждой буквы может определяться как требуемый порог D max, выше которого больше не происходит объединение группировок. Активные группировки, остающиеся в момент времени, когда останавливается объединение, тогда могут определяться как различные стили символов или аллографы соответствующего символа. Следовательно, количество результирующих стилей будет отличаться от одной буквы к другой в зависимости от разнообразия форм символов.

Определение используемой руки пользователя

С некоторыми реализациями изобретения модуль 409 обучения распознавания может использовать данные, созданные модулем 405 анализа стиля, для создания приложения распознавания рукописного содержимого, которое распознает используемую руку пишущего человека. Как ранее отмечено, в дополнение к форме штрихов в символе различные примеры изобретения также принимают во внимание направление каждого штриха и порядок, в котором пишется каждый штрих, при определении аллографа. Посредством использования примера изобретения субъективно была обнаружена очень высокая корреляция между конкретными аллографами и используемой рукой пишущих людей, которые используют эти аллографы. Эти аллографы таким образом могут служить в качестве аллографов выявления используемой руки. Фиг.6 изображает некоторые из этих аллографов и статистику используемой руки их соответствующих пишущих людей.

Как видно из этой фигуры, различные аллографы пишутся почти исключительно пишущими людьми с конкретной используемой рукой. Например, 94,44% пишущих людей, кто писал букву Т в стиле 601 (при этом поперечная линия пишется справа налево, а не слева направо), пишут своей левой рукой. И наоборот, только 4,95% из пишущих людей, кто писал букву Т в стиле 603 (при этом поперечная линия пишется слева направо), пишут своей левой рукой.

Следовательно, модуль 409 обучения распознавания может обеспечить для пользователя приложение распознавания рукописного содержимого, такое как инструментальное средство 701 распознавания рукописного содержимого, показанное на фиг.7, которое сравнивает образцы письменного содержимого от пользователя с одним или несколькими аллографами выявления используемой руки. Как видно на этой фигуре, приложение 701 распознавания рукописного содержимого включает в себя модуль 703 сбора письменного содержимого, который принимает ввод 411 рукописного содержимого от пользователя. Оно также включает в себя модуль 705 анализа рукописного содержимого, который определяет стиль рукописного написания ввода 411 письменного содержимого. Модуль 709 определения используемой руки затем сравнивает стиль рукописного написания пользователя со стилями рукописного написания выявления используемой руки в базе 707 данных стилей рукописного написания. Основываясь на сравнении, модуль 709 определения используемой руки может определять используемую руку пользователя.

С некоторыми примерами изобретения модуль 709 определения используемой руки может просто сделать вывод, что пользователь имеет определенную используемую руку. Альтернативно приложение распознавания может представить пользователю пользовательский интерфейс 711, предлагающий пользователю подтвердить его или ее используемую руку. Один пример этого типа пользовательского интерфейса изображен на фиг.8. Как видно на этой фигуре, приложение 701 распознавания предоставляет пользовательский интерфейс 711 в ответ на представление пользователем образцов рукописного содержимого пользовательскому интерфейсу 801 панели ввода текста. Основываясь на определении используемой руки из образцов письменного содержимого пользователя, приложение 701 распознавания может, например, сконфигурировать один или несколько пользовательских интерфейсов компьютера для используемой руки пользователя.

Основанное на сообществе распознавание письменного содержимого

С различными примерами изобретения модуль 409 обучения распознавания может использовать данные, созданные модулем 405 анализа стиля, для создания приложения распознавания письменного содержимого, обученного на основе стилей рукописного написания или аллографов, характерных для географической области, религиозной принадлежности, этнического происхождения, культурной группы или сообщества любого другого типа. Например, алгоритм иерархической группировки, описанный выше, применялся к 71 600 образцам чернил, соответствующих 99 буквам, написанным 267 пишущими людьми из США. Фиг.9 иллюстрирует результирующие стили для букв «q», «t», «x» вместе с их частотностью после удаления «зашумленных» группировок (т.е. группировок с очень низкой частотой появления). Этот же эксперимент был повторен на наборе из 70 000 образцов чернил, соответствующих 99 буквам, написанным 228 пишущими людьми из Великобритании. Фиг.10 иллюстрирует результирующие стили, полученные из этих данных для букв «q», «t», «x» вместе с их частотностью после удаления «зашумленных» группировок.

Из этого эксперимента было определено, что преобладающие аллографы для обоих географических сообществ, по-видимому, являются примерно одинаковыми для большинства символов, хотя преобладающие аллографы имеют место с другими частотами. Также некоторые редко встречающиеся (т.е. с низкой частотой) аллографы, по-видимому, существуют для одного географического сообщества, но не для другого географического сообщества. Далее, даже когда редко встречающийся аллограф появляется для обоих географических сообществ, его частота существенно различается между географическими сообществами.

Используя этот тип информации об основанном на сообществе аллографе и стиле рукописного написания, полученной модулем 405 анализа стиля, модуль 409 обучения распознавания может обеспечить для пользователя приложение распознавания рукописного содержимого, которое было специально обучено (или сконфигурировано на конкретное обучение) на аллографы, общие для конкретного сообщества, в котором оно будет использоваться. Одно такое инструментальное средство 1101 распознавания рукописного содержимого показано на фиг.11. Как видно на этой фигуре, приложение 1101 распознавания рукописного содержимого включает в себя модуль 1103 сбора письменного содержимого, который принимает ввод 411 рукописного содержимого от пользователя. Оно также включает в себя модуль 1105 анализа рукописного содержимого, который определяет стиль рукописного написания ввода 411 письменного содержимого. Модуль 1109 распознавания рукописного содержимого затем сравнивает стиль рукописного написания пользователя с одним или несколькими стилями рукописного написания в базе 1107 данных стилей рукописного написания для определения, например, соответствует ли один или несколько аллографов рукописного содержимого пользователя аллографу, ассоциированному с заданным сообществом, таким как сообщество, принадлежащее конкретной географической области.

Основываясь на этом сравнении, модуль 1109 распознавания рукописного содержимого может использовать стили рукописного написания в базе 1107 данных стилей рукописного написания для распознавания текущего и будущего рукописного ввода 411 от пользователя. С некоторыми примерами изобретения модуль 1109 распознавания рукописного содержимого может просто сделать вывод, что пользователь принадлежит к определенному сообществу. Альтернативно приложение 1101 распознавания может предоставить пользователю пользовательский интерфейс, предлагающий пользователю подтвердить, что он или она принадлежат к конкретному сообществу.

Конечно, информация об аллографе и стиле рукописного написания, полученная модулем 405 анализа стиля, может использоваться для предоставления характерных для сообщества приложений распознавания рукописного содержимого для сообщества любого требуемого типа, которое может ассоциироваться с идентифицируемым стилем написания, такого как религиозная принадлежность, этническое происхождение, культурная группа или сообщество любого другого типа, которое может оказать влияние на стиль рукописного написания пользователя.

Обучение распознавания со знанием стиля

Информация об аллографе и стиле рукописного написания, полученная модулем 405 анализа стиля, также может быть получена для улучшения операции обучения приложений распознавания рукописного содержимого различных типов, включая обычные приложения распознавания рукописного содержимого. Например, информация об аллографе и стиле рукописного написания, полученная модулем 405 анализа стиля, может использоваться для фильтрации ошибочных образцов рукописного содержимого во время процесса обучения приложений распознавания рукописного содержимого.

Например, в вышеописанном эксперименте наблюдалось, что были группировки (т.е. аллографы), которые были составлены большей частью из зашумленных и плохих образцов чернил. Что касается тенденции, однако, эти группировки, главным образом, были с малым количеством элементов. Это ожидается, так как зашумленные гипотезы (или резко отклоняющиеся значения данных) обычно являются рассеянными и несовместимыми. Эта группировка или аллографы поэтому могут рассматриваться незначащими аллографами.

Измерялось влияние исключения этих незначащих аллографов из обучения приложения распознавания рукописного содержимого (т.е. исключение незначащих аллографов из множества обучающих символов, используемых для обучения приложения распознавания рукописного содержимого). Может быть определен требуемый порог Qmin, ниже которого стиль считается незначащим. Как понятно для специалиста в данной области техники, значение, которое выбирается для этого порога, основывается на величине допустимого шума, требуемого для набора обучения рукописному содержимому. Чтобы измерить влияние исключения этих незначащих аллографов на точность распознавания приложения распознавания рукописного содержимого, использовалась база данных с 18628 образцами чернил, написанная 14 пишущими людьми (два из которых левши). Индивидуальные интенсивности ошибок, а также средняя интенсивность ошибок затем сравнивались для пяти различных приложений распознавания рукописного содержимого. Первое приложение распознавания рукописного содержимого обучалось на полном обучающем наборе (т.е. 100% распознаватель). Второе приложение распознавания рукописного содержимого обучалось на 15% от полного обучающего набора, включая незначащие аллографы. Три остальных приложения распознавания рукописного содержимого затем обучались на 15% от полного обучающего набора, но исключая незначащие аллографы, основанные на различных значениях Qmin.

Фиг.12 иллюстрирует, как интенсивность ошибок тестирования изменялась со значением Qmin среди различных приложений распознавания рукописного содержимого. Основываясь на результатах тестирования, было отмечено, что для 10 из 14 индивидуальных лиц и в среднем был «усеченный» обучающий набор (т.е. обучающий набор, который исключал незначащие аллографы), который создал приложение распознавания рукописного содержимого, имеющее интенсивность ошибок тестирования менее чем соответствующее «неусеченное» приложение распознавания рукописного содержимого. Далее, для 5 из 14 пишущих человек интенсивность ошибок тестирования, достигаемая обучением на 15% данных, исключая незначащие аллографы, была ниже, чем интенсивность ошибок, достигаемая посредством обучения приложения распознавания рукописного содержимого по полному обучающему набору (т.е. 100% обучающего набора).

Соответственно различные примеры изобретения могут использовать стили рукописного написания, идентифицированные модулем 405 анализа стиля для определения, какие аллографы будут использоваться приложением 413 распознавания рукописного содержимого для обучения самого себя, чтобы более точно выполнять распознавание рукописного содержимого пользователя. Как понятно для специалиста в данной области техники, значение Qmin может экспериментально выбираться для обеспечения наиболее точного набора обучающих данных, основываясь, например, на сообществе, для которого будет использоваться приложение распознавания рукописного содержимого.

Персонализированное распознавание рукописного содержимого

С еще другими примерами изобретения модуль 409 обучения распознавания может использовать данные, полученные модулем 405 анализа стиля для создания приложения распознавания письменного содержимого, которое специально адаптировано для распознавания персонального стиля рукописного написания пользователя (т.е. совокупность аллографов, как правило, используемых пользователем).

Обычные приложения распознавания рукописного содержимого основываются на модели дискриминантного классификатора. Классификаторы, используемые для этих обычных приложений распознавания рукописного содержимого, включая классификатор отдельной буквы, обычно обучаются с обучающим набором, который охватывает данные, собранные от сотней пишущих людей. Чтобы персонализировать приложение распознавания рукописного содержимого для заданного пишущего человека, эти классификаторы дополнительно обучаются на малом образце рукописных данных, которые пишущий человек предоставляет явными или неявными средствами. Обычно характерное для пишущего человека обучение выполняется для ограниченного количества итераций, чтобы принять меры предосторожности от переобучения. Этот обычный подход к персонализации упоминается в данном документе как «классическая» персонализация.

Различные примеры изобретения, однако, могут применять альтернативный подход, использующий информацию о стиле, полученную модулем 405 анализа стиля. Этот альтернативный подход упоминается как «основанная на стиле» персонализация. Более конкретно с данным подходом модуль 409 обучения распознавания использует образцы чернил, представленные пользователем, для вычисления группы аллографов, обычно применяемых пользователем. Эта группа аллографов составляет стиль рукописного написания пользователя или «вектор принадлежности стилю». Вектор затем используется для вычисления поднабора из обучающего набора, который наилучшим образом соответствует стилю пишущего человека. Классификатор тогда может обучаться на вычисленном поднаборе из обучающего набора.

Для оценки этого подхода, основанной на стиле персонализации, был проведен эксперимент, который сравнивал рабочие характеристики приложения распознавания рукописного содержимого, обученного с использованием этого подхода, с базовым приложением распознавания рукописного содержимого (т.е. обобщенным приложением распознавания рукописного содержимого) и с приложением распознавания рукописного содержимого, обученным посредством классической персонализации. Обучающий набор, состоящий из 70 000 образцов чернил, написанных 267 пишущими людьми, использовался для создания базового приложения распознавания рукописного содержимого. Группа из 14 пишущих человек, два из которых левши, и ни один из которых не имел никаких данных в обучающем наборе, были выбраны для эксперимента по персонализации. Каждый из этих пишущих людей представил 2 образца чернил для каждого из 99 поддерживаемых символа для целей персонализации, составляя в сумме 198 образцов чернил. Каждый пишущий человек также предоставил 14 образцов для символов для целей тестирования.

Приложение распознавания рукописного содержимого персонализировалось для каждого пишущего человека посредством обучения обобщенного приложения распознавания рукописного содержимого по исходному обучающему набору, дополненному образцами чернил для персонализации пишущего человека. Как отмечено выше, эти приложения распознавания рукописного содержимого упоминаются как классически персонализированные приложения распознавания рукописного содержимого. Другое обобщенное приложение распознавания рукописного содержимого затем персонализировалось для каждого пишущего человека посредством использования данных персонализации пишущего человека для выбора поднабора из обучающего набора, который соответствовал стилю рукописного написания пишущего человека. Т.е. после выполнения анализа стиля по обучающему набору каждый образец чернил персонализации пишущего человека использовался для включения одного из аллографов для каждого символа в обучающем наборе. Приложение распознавания рукописного содержимого затем обучалось для этого пишущего человека по этому поднабору обучающих данных, дополненному образцами чернил персонализации. Как отмечено выше, эти приложения распознавания рукописного содержимого упоминаются как персонализированные по стилю приложения распознавания рукописного содержимого. Каждое из этих трех приложений распознавания рукописного содержимого оценивалось по отношению к тестовому набору, представленному каждым пишущим человеком.

Фиг.13 и 14 изображают интенсивности ошибок тестирования для каждого из этих трех приложений распознавания рукописного содержимого, упомянутых выше, для каждого из 14 пишущих человек, выбранных в данном эксперименте, а также процентное содержание обучающего набора, которое было выбрано для обучения каждого персонализированного по стилю приложения распознавания рукописного содержимого. Из этих фигур отмечается, что для каждого из 14 пишущих человек как классически персонализированное приложение распознавания рукописного содержимого, так и персонализированное по стилю приложение распознавания рукописного содержимого уменьшило интенсивность ошибок тестирования по сравнению с тем, которое представил базовый распознаватель. Также для 12 пишущих человек персонализированное по стилю приложение распознавания рукописного содержимого обеспечило более высокое снижение ошибок, чем то, которое обеспечило классически персонализированное приложение распознавания рукописного содержимого. Кроме того, среднее относительно снижение ошибок, обеспечиваемое персонализированным по стилю приложением распознавания рукописного содержимого, составило примерно 27%, тогда как оно было только около 20% для классически персонализированного приложения распознавания рукописного содержимого. Кроме того, средний размер части обучающего набора, выбранного в основанной на стиле персонализации, составлял грубо 68% от базового обучающего набора.

Соответственно после того как модуль 405 анализа стиля проанализировало образцы рукописного содержимого, полученные от пользователя, модуль 409 обучения распознавания может использовать данные, представленные модулем 405 анализа стиля для создания персонализированного по стилю приложения распознавания письменного содержимого, которое обеспечивает более высокую степень точности распознавания для пользователя, в то же время также требующее меньшее обучение от пользователя для достижения повышенной точности. Более конкретно инструментальное средство 401 анализа стиля написания может обеспечивать для пользователя приложение 413 распознавания рукописного содержимого, которое использует обучающий набор, включающий в себя или ограниченный аллографами, которые соответствуют стилю рукописного написания пользователя.

Предсказание стиля

В дополнение к улучшению обучающего набора приложения распознавания рукописного содержимого, с различными примерами изобретения инструментальное средство 401 анализа стиля написания может, альтернативно или дополнительно, предсказывать стиль написания пользователя из рукописного ввода 411 пользователя (и/или обеспечивать приложение распознавания рукописного содержимого, которое предсказывает стиль написания пользователя из рукописного ввода 411 пользователя). Например, инструментальное средство 401 анализа стиля написания может применять, например, совместную фильтрацию для предсказания, как пишущий человек напишет некоторые символы, основываясь на собранных образцах чернил других символов.

Совместная фильтрация представляет собой известный способ, который обычно используется для предсказания используемости элементов для конкретного пользователя, основываясь на базе данных мажоритарных выборок пользователей из образца или численности других пользователей. Особой значимостью для реализации различных примеров изобретения является класс совместной фильтрации, известный как основанные на памяти алгоритмы.

С этим типом совместной фильтрации база данных пользователя, которая состоит из мажоритарных выборок vi,j (соответствующих мажоритарной выборке для пользователя i по элементу j), используется для предсказания мажоритарных выборок активного пользователя, основываясь на некоторой частичной информации, касающейся нового пользователя u и множества весовых коэффициентов, вычисленных из базы данных пользователя. Предполагается, что предсказанная мажоритарная выборка нового пользователя u для элемента j равна Pu,j. Pu,j представляет собой взвешенную сумму мажоритарных выборок других пользователей в базе данных:

осведомленное о стиле использование письменного ввода, патент № 2419871

гдеN представляет собой количество пользователей в базе данных совместной фильтрации. Весовые коэффициенты w(u,i) отражают корреляцию или подобие между каждым пользователем i и пользователем u. Величина осведомленное о стиле использование письменного ввода, патент № 2419871 представляет собой нормирующий коэффициент для гарантирования, что мажоритарные выборки суммируются в единицу.

Самым простым и наиболее общим способом вычисления весовых коэффициентов является использование коэффициента корреляции. Используя этот коэффициент, корреляция между пользователями i и u определяется:

осведомленное о стиле использование письменного ввода, патент № 2419871

Суммирование по j выполняется по элементам, для которых оба пользователя u и i выполнили мажоритарную выборку.

При предсказании стиля рукописного написания пишущего человека база данных пользователя соответствует базе данных стилей рукописного написания, мажоритарные выборки пользователя соответствуют значениям вектора принадлежности стилю пишущих людей, и пользователь u, частичные мажоритарные выборки которого известны, соответствует пишущему человеку, частичная принадлежность стилю которого известна из данных ввода рукописного содержимого и для которого требуется инструментальное средство 401 анализа стиля написания (или приложение 413 распознавания рукописного содержимого) для предсказания остальных стилей. С различными примерами изобретения инструментальное средство 401 анализа стиля написания (или приложение 413 распознавания рукописного содержимого) может предсказывать стиль написания пользователя, основываясь, например, на символах a, A, I , 0, 1, 2 и 9, так как эти символы являются отличительными и, вероятно, фиксируются во время каждодневного использования распознавателя рукописного содержимого. Конечно, альтернативные примеры изобретения могут применять любые комбинации символов для предсказания стиля написания пользователя.

С некоторыми примерами изобретения инструментальное средство 401 анализа стиля написания (или приложение 413 распознавания рукописного содержимого) может просто предсказывать, что пользователь имеет конкретный стиль рукописного написания, и применять аллографы, составляющие данный стиль, для распознавания рукописного содержимого пользователя. Альтернативно инструментальное средство 401 анализа стиля написания (или приложение 413 распознавания рукописного содержимого) может предоставлять пользователю пользовательский интерфейс, предлагающий пользователю подтвердить, как он или она могут написать конкретный символ, основываясь на предсказанном стиле рукописного написания. Один пример пользовательского интерфейса этого типа изображен на фиг.15. Как видно на этой фигуре, пользовательский интерфейс 1501 обеспечивает предварительный выбор аллографов 1503 в стиле написания, который наиболее полно соответствует рукописному вводу пользователя. Пользовательский интерфейс 1501 также может предоставить альтернативный набор аллографов 1505 в стиле написания, которые также соответствуют рукописному вводу пользователя в некоторой степени меньше, чем предварительный выбор аллографов. Основываясь на определении стиля рукописного написания пользователя, приложение 413 распознавания рукописного содержимого может более точно распознавать рукописный ввод пользователя, как подробно описано выше.

Заключение

Хотя изобретение было описано в отношении конкретных примеров, включающих в себя предпочтительные в настоящее время варианты осуществления изобретения, для специалиста в данной области техники должно быть понятно, что существуют многочисленные вариации и изменения вышеописанных систем и способов, которые находятся в пределах сущности и объема изобретения, как изложено в прилагаемой формуле изобретения.

Класс G06K9/62 способы и устройства для распознавания с использованием электронных средств

устройство обработки бумажных листов и способ обработки бумажных листов -  патент 2527203 (27.08.2014)
система и способ для автоматического планирования двухмерных видов в объемных медицинских изображениях -  патент 2526752 (27.08.2014)
способ комплексного контроля людей на пунктах пропуска -  патент 2524561 (27.07.2014)
способ аутентификации владельца банковского счета при дистанционном банковском обслуживании -  патент 2523743 (20.07.2014)
классификация данных выборок -  патент 2517286 (27.05.2014)
способ и система поиска нарушений авторских прав на изображения -  патент 2515706 (20.05.2014)
классификация изображения на основе сегментации изображения -  патент 2513905 (20.04.2014)
способ маркирования и распознавания сигналов -  патент 2510624 (10.04.2014)
устройство ассоциативного распознавания -  патент 2504837 (20.01.2014)
способ и устройство для выполнения видеоаутентификации пользователя -  патент 2504004 (10.01.2014)
Наверх