способ реализации пользовательского интерфейса с помощью фотокамеры и мобильный терминал связи для этого способа

Формула изобретения

1. Мобильный терминал связи, содержащий

модуль фотокамеры, в который вводится движение пользователя;

память для запоминания управляющих команд в соответствии с по меньшей мере одной моделью движения и комбинаций символов согласно заранее определенным трассировочным меткам и

контроллер для моделирования движения пользователя, если движение пользователя введено от пользователя посредством модуля фотокамеры, для считывания из памяти управляющей команды, соответствующей модели движения пользователя, и для выполнения данной управляющей команды,

причем контроллер создает трассировочную метку, соответствующую движению пользователя, в режиме ввода символов и считывает из памяти символ, соответствующий трассировочной метке.

2. Мобильный терминал связи по п.1, в котором контроллер считывает из памяти управляющую команду мыши, соответствующую модели движения пользователя в режиме работы мыши.

3. Мобильный терминал связи по п.2, в котором контроллер отображает курсор в режиме работы мыши.

4. Мобильный терминал связи по п.1, в котором контроллер считывает из памяти управляющую команду игры, соответствующую модели движения пользователя в режиме игры.

5. Способ реализации пользовательского интерфейса при помощи фотокамеры в мобильном терминале связи, содержащем память, хранящую управляющие команды, соответствующие по меньшей мере одной модели движения, и комбинацию символов, соответствующую заданным трассировочным меткам, заключающийся в том, что

принимают движение пользователя;

моделируют движение пользователя, если движение пользователя введено от пользователя посредством модуля фотокамеры; и

выполняют управляющую команду посредством считывания из памяти управляющей команды, соответствующей движению пользователя, причем этап выполнения управляющей команды включает в себя этапы, на которых создают трассировочную метку, соответствующую модели движения пользователя, и считывают символ, соответствующий трассировочной метке, из памяти в режиме ввода символов.

6. Способ по п.5, в котором выполнение управляющей команды включает в себя выполнение управляющей команды мыши, соответствующей модели движения пользователя, осуществляемое посредством считывания управляющей команды мыши из памяти в режиме работы мыши.

7. Способ по п.5, в котором выполнение управляющей команды включает в себя выполнение управляющей команды, соответствующей модели движения пользователя, осуществляемое посредством считывания управляющей команды мыши из памяти в режиме игры.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Изобретение относится к способу реализации пользовательского интерфейса с помощью фотокамеры и к мобильному терминалу связи для этого способа.

Уровень техники

В последнее время мобильные терминалы связи получили широкое распространение, и при этом стали доступными разнообразные услуги, такие как информационная услуга дорожного движения для информирования едущего в автомобиле пользователя о состоянии дорожного движения через экран мобильного терминала связи, услуга MYBELL (мой звонок) (пользователь может зарегистрировать звучание своего звонка в мобильном терминале связи и использовать это звучание звонка) и услуга вызовов мобильных телефонов, которая уведомляет о поступлении сообщения в почтовый ящик голосовой корреспонденции. Пользователь мобильного терминала связи может получать различные удобные функции помимо функций собственно телефонной связи, т.к. мобильный терминал связи может принимать от поставщика услуг различные дополнительные услуги, такие как функция почтового ящика голосовой корреспонденции, функция получения специальной информации.

Поскольку эти услуги и дополнительные функции становятся все более распространенными, система мобильной связи предоставляет мультимедийные услуги уровня цифровой сети интегрированных услуг (ISDN) со скоростью передачи данных в несколько Мбит/с и также передачу речи и данных. Разработан терминал, соответствующий этой системе мобильной связи. Один из примеров этой разработки - мобильный терминал связи с фотокамерой, запоминающий изображение, полученное фотографированием объекта.

Так как мобильный терминал связи становится все более популярным, пользователь с его помощью может получить изображение независимо от времени и места. Помимо этого, т.к. постоянно находящийся у пользователя мобильный терминал связи оборудован фотокамерой, он может сфотографировать объект или может извлечь изображение, когда это потребуется.

Соответственно, исходя из этих преимущества, желательно использовать мобильный терминал связи с фотокамерой более эффективно и в различных дополнительных вариантах. Помимо этого, необходимо ввести дополнительные услуги и дополнительные функции для мобильного терминала связи с фотокамерой, чтобы повысить эффективность использования мобильного терминала связи и удовлетворить различные потребности пользователя. Например, функция оптического распознавания символов (ОРС) дает мобильному терминалу связи возможность распознавать телефонные номера и данные, напечатанные в документе, при помощи фотокамеры мобильного терминала связи.

Сущность изобретения

Техническая проблема

Несмотря на то что для имеющего фотокамеру мобильного терминала связи имеются разнообразные применения, использование фотокамеры мобильного терминала связи все же для некоторых функций, например для ОРС, ограничено.

Техническое решение

Соответственно, изобретение разработано для решения упомянутых проблем известного уровня техники, и задача изобретения заключается в обеспечении способа реализации пользовательского интерфейса с помощью фотокамеры и мобильного терминала связи для этого способа.

Для решения этих задач разработан мобильный терминал связи, содержащий: модуль фотокамеры, в который вводится движение пользователя; память для запоминания управляющих команд согласно по меньшей мере одной модели движения или символов в соответствии с заранее определенными трассировочными метками (следами); и контроллер для моделирования движения пользователя, если движение пользователя введено от него, для считывания из памяти управляющей команды, соответствующей модели движения пользователя, и для выполнения управляющей команды.

Дающие преимущество результаты

Согласно изобретению модуль пользовательского интерфейса реализован при помощи модуля фотокамеры, входящего в состав мобильного терминала связи, благодаря чему имеется возможность расширения функции применения модуля фотокамеры и повышения удобства использования мобильного терминала связи пользователем.

Краткое описание чертежей

Эти и прочие задачи, технические признаки и преимущества изобретения поясняются в приводимом ниже описании в совокупности с прилагаемыми чертежами, на которых

Фиг. 1 - блок-схема, иллюстрирующая структуру мобильного терминала связи согласно варианту осуществления изобретения;

Фиг. 2 - блок-схема способа реализации пользовательского интерфейса при помощи модуля фотокамеры согласно первому варианту осуществления изобретения;

Фиг. 3 - блок-схема способа реализации пользовательского интерфейса при помощи модуля фотокамеры согласно второму варианту осуществления изобретения;

Фиг. 4 - блок-схема способа реализации пользовательского интерфейса при помощи модуля фотокамеры согласно третьему варианту осуществления изобретения.

Оптимальное осуществление изобретения

Далее предпочтительные варианты осуществления изобретения подробно излагаются со ссылкой на прилагаемые чертежи. Аналогичные или похожие компоненты на чертежах имеют одинаковые ссылочные обозначения на разных чертежах. В описании изобретения включаемые в него известные функции и конфигурации подробно не излагаются, если они не нужны для пояснения изобретения.

Согласно варианту осуществления изобретения реализуется модуль пользовательского интерфейса при помощи модуля фотокамеры в мобильном терминале связи. Если пользователь совершает заранее определенное движение, когда работает модуль фотокамеры мобильного терминала связи, то мобильный терминал связи распознает и моделирует движение пользователя и выполняет заранее определенное действие в соответствии с моделью движения.

Действие, выполняемое согласно модели движения, может соответствовать управляющему действию мыши в режиме работы мыши или управляющему игровому действию в игровом режиме работы. И также это действие может соответствовать вводу символа в режиме введения символа.

Блок-схема структуры мобильного терминала связи излагается со ссылкой на Фиг. 1.

Блок-схема Фиг. 1 поясняет структуру мобильного терминала 100 связи. Мобильный терминал 100 связи содержит радиочастотный (РЧ) модуль 110, модуль 120 обработки немодулированных сигналов (сигналов основной полосы частот), модуль 130 пользовательского интерфейса, модуль 140 обработки звуковых сигналов, контроллер 150, память 160, дисплей 170, модуль 180 распознавания движения, модуль 190 фотокамеры и модуль 200 распознавания символов.

Контроллер 150 мобильного терминала 100 связи осуществляет общее управление для мобильного терминала связи. Контроллер 150 также управляет каждым модулем, указанным на фиг. 1, в целях реализации пользовательского интерфейса для работы модуля фотокамеры в соответствии с предпочтительным вариантом осуществления настоящего изобретения.

Подробнее о работе контроллера 150: контроллер 150 приводит в действие модуль 190 фотокамеры, распознает движение пользователя при помощи модуля 190 фотокамеры и моделирует движение пользователя.

Контроллер 150 считывает управляющую команду мыши, соответствующую модели движения пользователя, из памяти 160 в режиме работы мыши в соответствии с первым вариантом осуществления изобретения. Пользователь перемещает свою руку в соответствии с моделью движения в поле фотографирования модуля 190 фотокамеры мобильного терминала 100 связи. Модель движения предварительно запомнена в памяти 160, и управляющая команда, соответствующая модели движения, также запомнена в памяти 160. Если пользователь выполняет действие заранее определенной модели движения на основе запомненной модели движения, то мобильный терминал связи выполняет управляющую команду, соответствующую данной модели движения. Например, пользователь может сделать щелчок мышью или крутить колесо мыши, как если бы пользователь действительно действовал мышью. Контроллер 150 выполняет управляющее действие, и в результате этого управляющая команда мыши, идентичная команде при действительном щелчке мышью или при прокрутке колеса мыши пользователем, выдается по соответствующему движению.

Контроллер 150 считывает из памяти 160 управляющую команду игры, соответствующую движению пользователя в режиме игры, согласно второму варианту осуществления изобретения. Например, если пользователь совершает такие движения, как взятие объекта в руку, соударение или перемещение своей рукой, как если бы пользователь действительно играл в игру, тогда контроллер 150 моделирует движение пользователя и считывает из памяти 160 управляющую команду игры, соответствующую модели движения пользователя. Управляющая команда игры запомнена в памяти 160 таким же образом, что и модель движения, в соответствии с управляющей командой игры.

Контроллер 150 в соответствии с третьим вариантом осуществления изобретения считывает символ согласно трассировочной метке, соответствующей модели движения пользователя, чтобы отобразить данный символ на дисплее 170 в режиме ввода символов. Пользователь перемещает свою руку в области фотографирования модуля 190 фотокамеры мобильного терминала 100 связи, в результате чего создается модель движения пользователя. Например, пользователь действительно может перемещать руку таким движением, каким он действительно пишет символы. Затем контроллер 150 считывает из памяти 160 данный символ по трассировочной метке, соответствующей модели движения пользователя, чтобы отобразить символ на дисплее 170. Эта функция ввода символа в основном используется для передачи сообщения службы коротких сообщений (SMS), для памяток и пр.

Модуль 190 фотокамеры фотографирует перемещение пользователя (т.е. движение пользователя) в поле фотографирования, чтобы предоставить сфотографированное изображение движения пользователя контроллеру 150, модулю 180 распознавания движения и модулю 200 распознавания символа. Модуль 180 распознавания движения распознает и моделирует модель движения пользователя и затем предоставляет модель движения пользователя контроллеру 150. Помимо этого, модуль 200 распознавания символов создает трассировочную метку, соответствующую движению пользователя, чтобы предоставить трассировочную метку контроллеру 150.

Память 160 содержит постоянное запоминающее устройство (ПЗУ), запоминающее устройство с произвольной выборкой и голосовую память, используемые для запоминания программ и информации, нужных для управления работой мобильного терминала 150 связи. Помимо этого, память 160 запоминает управляющие команды, соответствующие по меньшей мере одной модели движения, и символы, соответствующие заранее определенным трассировочным меткам, согласно изобретению.

Помимо этого, РЧ-модуль 110 передает/принимает РЧ-сигнал в базовую станцию/от базовой станции через антенну. РЧ-модуль 110 преобразует принимаемый сигнал в сигнал промежуточной частоты (ПЧ) и выдает преобразованный сигнал в модуль 120 обработки немодулированных сигналов. РЧ-модуль 110 преобразует ПЧ-сигнал, введенный от модуля 120 обработки немодулированных сигналов, в РЧ-сигнал и передает этот РЧ-сигнал. При этом модуль 120 обработки немодулированных сигналов является аналоговой специализированной интегральной схемой для немодулированных сигналов, обеспечивающей интерфейс между контроллером 150 и РЧ-модулем 110. Модуль 120 обработки немодулированных сигналов преобразует цифровой немодулированный сигнал, поступивший из контроллера 150, в аналоговый ПЧ-сигнал, чтобы направить этот цифровой немодулированный сигнал в контроллер 150.

Модуль 140 обработки звуковых сигналов выводит принятые аудиоданные - после преобразования аудиоданных в слышимый звук - в громкоговоритель под управлением контроллера 150. Модуль 140 обработки звуковых сигналов преобразует звуковой сигнал, введенный пользователем через микрофон, в электрический сигнал, который передается в контроллер 150. Пользовательский интерфейс 130 содержит цифровые клавиши и функции, и он выводит в контроллер 150 введенные клавишами данные, соответствующие нажатым пользователем клавишам. Дисплей 170 обычно представляет собой жидкокристаллический дисплей и отображает сообщения и изображения под управлением контроллера.

Фиг. 2-4 показывают блок-схемы метода управления, используемого для реализации пользовательского интерфейса при помощи модуля фотокамеры в соответствии с вариантами осуществления изобретения; и Фиг. 2 показывает вариант, когда пользовательский интерфейс реализован при помощи модуля фотокамеры в режиме работы мыши.

Обращаясь к Фиг. 2: в режиме работы мыши контроллер 150 отображает курсор на экране дисплея 170 и вводит в работу модуль 190 фотокамеры - этап 310. При этом курсор может отображаться или не отображаться. Затем контроллер 150 определяет факт ввода движения пользователя - этап 320. Если движение пользователя введено, то контроллер 150 переходит к этапу 330 и осуществляет управление модулем 180 распознавания движения, чтобы смоделировать движение пользователя. Если модуль 180 распознавания движения моделирует движение пользователя, предоставляемое контроллеру 150, то контроллер 150 на этапе 340 считывает из памяти 160 управляющую команду мыши, соответствующую данной модели движения. Затем контроллер 150 выполняет управляющую команду мыши в соответствии со считанной управляющей командой мыши - этап 350. Например, если пользователь использует движение мыши с щелчком рукой, как если бы пользователь действительно щелкнул мышью, то контроллер 150 выполняет управляющее движение, соответствующее тому варианту, когда пользователь защелкивает позицию в меню или Интернет-пиктограмму, для которых установлен курсор на экране дисплея 170. Если пользователь выполняет движение кручения колеса мыши, как если бы пользователь действительно крутил колесо мыши, то контроллер 150 перемещает курсор на экране дисплея 170 в соответствии с движением поворота колеса мыши.

Фиг. 3 показывает вариант, когда пользовательский интерфейс реализован при помощи модуля фотокамеры в режиме игры.

Обращаясь к фиг. 3: в режиме игры контроллер 150 вводит в работу модуль 190 фотокамеры - этап 410. Затем контроллер 150 определяет факт движения пользователя - этап 420. Если движение пользователя введено, то контроллер 150 переходит к этапу 430 и управляет модулем 180 распознавания движения для моделирования движения пользователя. Если модуль 180 распознавания движения моделирует движение пользователя, чтобы направить его в контроллер 150, то контроллер 150 на этапе 440 считывает из памяти 160 управляющую команду игры, соответствующую данной модели движения. Затем контроллер 150 выполняет управляющую команду игры согласно считанной команде игры - этап 450. Например, если пользователь совершает такое движение рукой, как взятие в руку, соударение или перемещение, как если бы пользователь действительно играл в игру, то контроллер 150 считывает из памяти 160 управляющую команду игры для соответствующего движения и выполняет данную управляющую команду игры.

Фиг. 4 показывает вариант, в котором пользовательский интерфейс реализуется при помощи модуля фотокамеры в режиме ввода символа.

Обращаясь к фиг. 4: в режиме ввода символа контроллер 150 вводит в действие модуль 190 фотокамеры - этап 510. Затем контроллер 150 определяет факт введения движения пользователя - этап 520. Если движение пользователя введено, то контроллер 150 переходит к этапу 530 и управляет модулем 200 распознавания символа, чтобы создать трассировочную метку, соответствующую движению пользователя. Если модуль 200 распознавания знака создает трассировочную метку, соответствующую движению пользователя и предоставляемую контроллеру 150, то контроллер 150 считывает из памяти надлежащий один из 160 имеющихся символов, соответствующий трассировочной метке, - на этапе 540, и отображает считанные символы - этап 550. Эту функцию введения символов можно целесообразным образом использовать при написании сообщения службы коротких сообщений или когда составляется график.

Несмотря на то, что изобретение здесь поясняется и излагается со ссылкой на его определенные предпочтительные варианты осуществления, специалистам в данной области техники будет ясно, что в рамках идеи и объема изобретения в него можно ввести различные изменения по форме и деталям. Следовательно, объем изобретения не ограничивается этими вариантами осуществления, и его следует истолковывать в рамках прилагаемой формулы изобретения и ее эквивалентов.