способ и устройство компактного графического интерфейса пользователя

Формула изобретения

1. Устройство ввода, содержащее:

блок генерации изображения GUI, который генерирует изображение GUI (графический интерфейс пользователя);

дисплей, который воспроизводит изображение GUI, сгенерированное упомянутым блоком генерации изображения GUI;

сенсорную панель, которая покрывает экран упомянутого дисплея и распознает то положение, в котором пользователь касается упомянутого дисплея; и

блок преобразования информации операции, который идентифицирует содержание операции, осуществляемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной упомянутой сенсорной панелью, и изображением выведенного на экран GUI, при этом

упомянутый блок генерации изображения GUI создает комбинированную область GUI в упомянутом изображении GUI, упомянутая комбинированная область GUI объединяет несколько таких GUI комбинированием графических изображений, которые составляются из комбинации по меньшей мере части графических изображений нескольких GUI, и

когда пользователь впервые контактирует с упомянутым комбинированным GUI, упомянутый блок преобразования информации операции идентифицирует из многих упомянутых GUI, которые объединены в таком комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, а упомянутый блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на упомянутой сенсорной панели, переключая для этого упомянутый комбинированный GUI на один из GUI, который идентифицирован упомянутым блоком преобразования информации операции.

2. Устройство ввода в соответствии с п.1, отличающееся тем, что упомянутые несколько GUI, которые объединены в упомянутом комбинированном GUI, содержит GUI, который получает аналоговую величину, соответствующую упомянутой точке контакта, и

в упомянутом комбинированном GUI создается область распознавания для переключения на GUI, получающего эту аналоговую величину, которая меньше, чем область распознавания GUI, получающего упомянутую аналоговую величину, после переключения из упомянутого комбинированного GUI.

3. Устройство ввода в соответствии с п.2, отличающееся тем, что упомянутые несколько GUI, которые объединены в упомянутом комбинированном GUI, содержат также GUI, который переключает в состояние включено или выключено функцию, установленную на упомянутой точке контакта, посредством контакта или прекращения контакта.

4. Устройство ввода в соответствии с п.1, отличающееся тем, что когда непрерывный контакт с одним из GUI, на который переключается упомянутый комбинированный GUI, заканчивается, упомянутый блок генерации изображения GUI переключает данный один из GUI обратно в упомянутый комбинированный GUI.

5. Устройство ввода в соответствии с п.1, отличающееся тем, что в состав упомянутых несколько GUI, которые объединены в упомянутом комбинированном GUI, входит:

GUI аналогового ввода, который получает аналоговую величину, в соответствии с упомянутой точкой контакта, и

GUI двухпозиционного ввода, который переключает в состояние включено или выключено функцию, установленную на точке контакта, посредством контакта или прекращения контакта.

6. Устройство ввода в соответствии с п.1, отличающееся тем, что упомянутые комбинированные графические изображения содержат:

графическое изображение крестообразного переключателя направления, который соответствует GUI крестообразного переключателя направления, при этом несколько ключей, которые показывают несколько направлений, расположены по окружности; и

графическое изображение джойстика, который соответствует GUI псевдоджойстика, получающего входные данные произвольного направления и произвольной величины,

при этом упомянутое графическое изображение джойстика расположено в центре упомянутого графического изображения крестообразного переключателя направления.

7. Устройство ввода в соответствии с п.6, отличающееся тем, что упомянутый блок преобразования информации операции последовательно получает направление и расстояние от точки, где начинается упомянутый контакт, до точки контакта в текущий момент времени, и задает упомянутые полученные значения в качестве входных значений направления и величины, в течение периода времени, когда один из GUI, на который был переключен упомянутый комбинированный GUI, является GUI упомянутого псевдоджойстика.

8. Устройство ввода в соответствии с п.1, отличающееся тем, что упомянутый дисплей воспроизводит изображение GUI, сгенерированное упомянутым блоком генерации изображения GUI, как экранный дисплей, на выходном изображении, которое было сгенерировано в результате обработки информации, выполненной в устройстве обработки информации, с которым связано упомянутое устройство ввода.

9. Устройство ввода в соответствии с п.1, отличающееся тем, что упомянутый блок генерации GUI создает области нескольких упомянутых комбинированных GUI на одном изображении экрана.

10. Устройство ввода в соответствии с п.6, отличающееся тем, что упомянутый блок генерации изображения GUI воспроизводит индикатор, который представляет собой точку, с которой контактирует в текущий момент пользователь, в течение периода времени, когда один из GUI, на который был переключен упомянутый комбинированный GUI, является GUI упомянутого псевдоджойстика.

11. Устройство ввода в соответствии с п.5, отличающееся тем, что упомянутый блок генерации изображения GUI:

при переключении из упомянутого комбинированного GUI на упомянутый GUI двухпозиционного ввода сохраняет графическое изображение переключения на упомянутый GUI аналогового ввода, которое было воспроизведено в упомянутом комбинированном GUI; и

при переключении из упомянутого комбинированного GUI на упомянутый GUI аналогового ввода отключает графическое изображение переключения на упомянутый GUI двухпозиционного ввода, которое было воспроизведено в упомянутом комбинированном GUI.

12. Устройство обработки информации, содержащее:

блок генерации изображения GUI, который генерирует изображение GUI (графический интерфейс пользователя);

блок обработки информации, который выполняет обработку информации в соответствии с операцией пользователя, соответствующей упомянутому GUI;

дисплей, который воспроизводит на экране изображение GUI, сгенерированное упомянутым блоком генерации изображения GUI, на выходном изображении, которое сгенерировано в результате обработки информации, выполненной упомянутым устройством обработки информации;

сенсорную панель, которая покрывает упомянутый дисплей и распознает то положение, в котором пользователь касается упомянутого дисплея;

блок преобразования информации операции, который идентифицирует содержание операции, выполняемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной упомянутой сенсорной панелью, и выведенным на экран изображением GUI, при этом

упомянутый блок генерации изображения GUI создает комбинированную область GUI в упомянутом изображении GUI, упомянутая комбинированная область GUI объединяет несколько GUI комбинированием графических изображений, которые являются объединением по меньшей мере части графических изображений нескольких GUI, и

когда пользователь впервые контактирует с упомянутым комбинированным GUI, упомянутый блок преобразования информации операции идентифицирует среди упомянутых нескольких GUI, которые объединены в этом комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, и упомянутый блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на упомянутой сенсорной панели переключением упомянутого комбинированного GUI на один из GUI, идентифицированный упомянутым блоком преобразования информации операции.

13. Способ воспроизведения графического интерфейса пользователя GUI, содержащий:

этап, на котором генерируется изображение GUI (графический интерфейс пользователя), и

этап, на котором воспроизводится на экране дисплея упомянутое изображение GUI, являющееся выходным изображением, которое сгенерировано в результате обработки информации, и

этап, на котором распознается положение, где пользователь касается сенсорной панели, которая покрывает упомянутый дисплей, и

этап, на котором идентифицируется содержание операции, выполняемой пользователем, базируясь на отношении соответствия между обнаруженной точкой контакта и изображением GUI на экране, при этом

этап, на котором генерируется упомянутое изображение GUI, создается область комбинированного GUI в упомянутом изображении GUI, и упомянутая область комбинированного GUI является объединением нескольких таких GUI, полученного скомбинированными графическими изображениями, которые являются комбинациями по меньшей мере части графических изображений многих GUI, и

когда пользователь впервые касается упомянутого комбинированного GUI, то на этапе, на котором идентифицируется упомянутое содержание операции, из многих упомянутых GUI, которые объединены в упомянутом комбинированном GUI, идентифицируется один из GUI, соответствующий графическому изображению, содержащему точку, с которой начинается этот контакт, а на этапе, на котором генерируется упомянутое изображение GUI, обеспечивается совместное использование многими GUI общей области распознавания на упомянутой сенсорной панели переключением упомянутого комбинированного GUI на один упомянутый идентифицированный GUI.

14. Машиночитаемый носитель, содержащий компьютерную программу, исполняемую на компьютере и содержащую:

функцию, которая генерирует изображение GUI (графический интерфейс пользователя);

функцию, которая воспроизводит на экране дисплея упомянутое изображение GUI, являющееся выходным изображением, которое сгенерировано в результате обработки информации, и

функцию, которая идентифицирует содержание операции, выполняемой пользователем, базируясь на отношении соответствия между изображением GUI на экране и точкой контакта пользователя, распознанной на сенсорной панели, которая покрывает упомянутый дисплей, и при этом

функция, которая генерирует упомянутое изображение GUI, создает область комбинированного GUI в упомянутом изображении GUI, и упомянутая область комбинированного GUI является объединением нескольких таких GUI, полученного скомбинированными графическими изображениями, которые являются комбинациями по меньшей мере части графических изображений многих GUI, и

когда пользователь впервые касается упомянутого комбинированного GUI, то функция, которая идентифицирует упомянутое содержание операции, из многих упомянутых GUI, которые объединены в упомянутом комбинированном GUI, идентифицирует один из GUI, соответствующий графическому изображению, содержащему точку, с которой начинается этот контакт, а функция, которая генерирует упомянутое изображение GUI, обеспечивает совместное использование многими GUI общей области распознавания на упомянутой сенсорной панели переключением упомянутого комбинированного GUI на один упомянутый идентифицированный GUI.

15. Устройство ввода, содержащее: дисплей, находящийся в корпусе с устройством обработки информации и составляющий с ним одно целое; и сенсорную панель, покрывающую дисплей,

при этом устройство ввода преобразует информацию в точке контакта с указательным пальцем или большим пальцем, которая обнаруживается сенсорной панелью, в операцию, выполняемую пользователем, и позволяет устройству обработки информации обрабатывать операцию,

при этом дисплей отображает:

когда пользователь держит корпус, ориентированным вертикально длинной стороной, выходное изображение, генерируемое в результате обработки информации, выполняемой устройством обработки информации, и изображение комбинированного GUI (графический интерфейс пользователя) на экране дисплея, а когда пользователь держит корпус ориентированным горизонтально длинной стороной изображения комбинированного GUI, экранное изображение GUI в виде отображения дополнительной информации на выходном изображении, при этом все GUI расположены на изображении комбинированного GUI в соответствии с положением указательного пальца пользователя и большого пальца пользователя, когда пользователь держит корпус с обеих сторон так, что указательный палец и большой палец находятся на верхней поверхности устройства, напротив среднего пальца, который поддерживает корпус снизу.

Описание изобретения к патенту

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству ввода, которое получает входные данные операции от руки пользователя, устройству обработки информации и способу получения входных значений, используемому в этом устройстве.

ОПИСАНИЕ ИЗВЕСТНОГО УРОВНЯ ТЕХНИКИ

За последние годы широкое распространение получили малогабаритные информационные устройства, предполагающие возможность их переноса, такие как мобильные игровые устройства, мобильные телефоны, PDA (персональные электронные секретари) и прочие. Подобные малогабаритные устройства имеют и в значительной мере ограниченные средства ввода данных, что следует из ограниченности размеров этих устройств. В результате этого были разработаны специфические функции и средства ввода, ориентированные на такие малогабаритные устройства. Например, покрывая поверхность дисплея сенсорной панелью и предоставляя пользователю возможность вводить пальцем или сенсорным пером входные данные, можно создать у пользователя впечатление непосредственного манипулирования объектами, которые отображаются на экране дисплея.

С другой стороны, к использованию подобных малогабаритных устройств полностью применимы также среды, в которых проводится обработка информации в консольных игровых машинах, персональных компьютерах и алогичных стационарных устройствах. Например, предоставив пользователю возможность работать на малогабаритном устройстве и подсоединив при этом малогабаритное устройство через сеть к стационарному устройству, которое будет в действительности вести обработку информации, становится возможным получать все особенности игры высокого уровня безотносительно к местонахождению пользователя. Кроме того, эмуляцией игры для устройства стационарного типа становится также возможно исполнение игры на малогабаритном устройстве.

Таким образом, в последние годы появилось технологическое направление, которое позволяет устройству проводить обработку информации, такую как игра, безотносительно к размеру устройства или к среде, в которой используется это устройство. Однако при попытке проведения такой хорошо развитой обработки информации, используя для этого устройство небольших размеров, возникает проблема недостаточного удобства и простоты использования, которая является следствием ограниченности средств ввода данных, как это было описано выше.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение позволяет решать упомянутую выше проблему, а целью изобретения является создание технологии, которая обеспечивает реализацию средства ввода данных, предоставляющего достаточное удобство и простоту использования даже при ограниченных размерах средства ввода данных.

В соответствии с примером осуществления настоящего изобретения предлагается устройство ввода данных. Предлагаемое устройство ввода данных содержит: блок генерации изображения GUI, который генерирует изображение GUI (Graphical User Interface - графический интерфейс пользователя); дисплей, который воспроизводит изображение GUI, генерируемое блоком генерации изображения GUI; сенсорную панель, которая покрывает экран дисплея и распознает то положение, в котором пользователь касается этого дисплея; блок преобразования информации операции, который идентифицирует содержание операции, осуществляемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной сенсорной панелью, и изображением выведенного GUI, при этом блок генерации изображения GUI создает комбинированную область GUI в изображении GUI, а комбинированная область GUI объединяет несколько таких GUI комбинированием графических изображений, которые составляются из объединения по меньшей мере части графических изображений нескольких GUI, и когда пользователь впервые контактирует с таким комбинированным GUI, блок преобразования информации операции идентифицирует из многих упомянутых GUI, которые объединены в таком комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, а блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на сенсорной панели, переключая для этого комбинированный GUI на один из GUI, который идентифицирован блоком преобразования информации операции.

В соответствии с другим примером осуществления настоящего изобретения, предлагается устройство обработки информации. Это устройство обработки информации содержит: блок генерации изображения GUI, которое генерирует изображение GUI (графический интерфейс пользователя); блок обработки информации, который выполняет обработку информации в соответствии с операцией пользователя, соответствующей этому GUI; дисплей, который воспроизводит на экране изображение GUI, сгенерированное блоком генерации изображения GUI, на выходном изображении, которое сгенерировано в результате обработки информации, выполненной устройством обработки информации; сенсорную панель, которая покрывает экран дисплея и распознает то положение, в котором пользователь касается этого дисплея; блок преобразования информации операции, который идентифицирует содержание операции, выполняемой пользователем, базируясь на отношении соответствия между точкой контакта, распознанной сенсорной панелью, и выведенным на экран изображением GUI, при этом блок генерации изображения GUI создает комбинированную область GUI в изображении GUI, комбинированная область GUI объединяет несколько GUI комбинированием графических изображений, которые являются комбинациями по меньшей мере части графических изображений нескольких GUI, и когда пользователь впервые контактирует с таким комбинированным GUI, блок преобразования информации операции идентифицирует среди нескольких GUI, которые объединены в этом комбинированном GUI, один из GUI, соответствующий графическому изображению, содержащему ту точку, от которой начинается этот контакт, и блок генерации изображения GUI обеспечивает совместное использование несколькими GUI одной и той же области распознавания на сенсорной панели переключением комбинированного GUI на один из GUI, идентифицированный блоком преобразования информации операции.

В соответствии с еще одним примером осуществления настоящего изобретения, предлагается способ получения входной величины. Этот способ получения входной величины содержит: этап, на котором генерируется изображение GUI (графический интерфейс пользователя), этап, на котором воспроизводится на экране дисплея изображение GUI, являющееся выходным изображением, которое сгенерировано в результате обработки информации, этап, на котором распознается положение, где пользователь касается сенсорной панели, которая покрывает экран упомянутого дисплея, этап, на котором идентифицируется содержание операции, выполняемой пользователем, базируясь на отношении соответствия между обнаруженной точкой контакта и изображением GUI на экране, при этом на этапе, на котором генерируется изображение GUI, создается область комбинированного GUI в изображении GUI, и эта область комбинированного GUI является объединением нескольких таких GUI, полученного скомбинированными графическими изображениями, которые являются комбинациями по меньшей мере части графических изображений многих GUI, и когда пользователь впервые касается такого комбинированного GUI, то на этапе, на котором идентифицируется содержание операции, из многих упомянутых GUI, которые объединены в таком комбинированном GUI, идентифицируется один из GUI, соответствующий графическому изображению, содержащему точку, с которой начинается этот контакт, а на этапе, на котором генерируется изображение GUI, обеспечивается совместное использование многими GUI общей области распознавания на сенсорной панели переключением комбинированного GUI на один идентифицированный GUI.

На практике, в качестве дополнительных форм реализации настоящего изобретения могут также использоваться произвольно выбранные комбинации и реализации описанных выше составляющих компонентов изобретения в виде способов, устройств, систем, компьютерных программ и тому подобного.

В соответствии с настоящим изобретением, может быть реализован широкий диапазон операций, обеспечивая при этом удобство использования даже при работе на устройстве небольшого размера.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

Далее будут описаны примеры осуществления изобретения со ссылками на прилагаемые фигуры чертежей, которые являются только примерными, не ограничивающими изобретение, при этом подобные элементы на различных чертежах будут обозначаться одинаковыми цифрами, где:

Фиг.1 - рисунок, который иллюстрирует пример структуры обычно используемого пульта управления;

Фиг.2 - рисунок, который иллюстрирует пример внешнего вида устройства обработки информации, использующего устройство ввода данных, в соответствии с примером осуществления;

Фиг.3 - рисунок, который иллюстрирует подробную структуру устройства обработки информации, в соответствии с примером осуществления;

Фиг.4 - рисунок, который иллюстрирует пример расположения нескольких GUI на изображении экрана GUI, в соответствии с примером осуществления;

Фиг.5 - рисунок, который иллюстрирует изображение, воспроизводимое в первой области комбинированного GUI, и область распознавания на сенсорной панели, в соответствии с примером осуществления;

Фиг.6 - рисунок, который иллюстрирует изображение, воспроизводимое в области ввода джойстиком, и способ манипулирования джойстиком, в соответствии с примером осуществления;

Фиг.7 - рисунок, который иллюстрирует пример изменения изображения экрана GUI, в соответствии с примером осуществления;

Фиг.8 - рисунок, который иллюстрирует пример изменения области ввода кнопками L1/L2, в соответствии с примером осуществления;

Фиг.9 - рисунок, который иллюстрирует другой пример расположения изображения экрана GUI и контента изображения, в соответствии с примером осуществления;

Фиг.10 - рисунок, который иллюстрирует пример сконфигурированного изображения режима вывода GUI, в соответствии с примером осуществления.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В соответствии с примером осуществления, реализовано устройство ввода данных в малогабаритном устройстве обработки информации, таком как мобильный телефон, мобильный терминал или подобное устройство. Это устройство ввода обеспечивает удобство манипулирования, аналогичное тому, что, например, у пульта управления игровой консоли. Сначала будет дано описание на примере традиционного пульта управления. На Фиг.1 показан пример структуры обычно используемого пульта управления. Пульт управления 120 содержит крестообразный переключатель направления 121, джойстики 127а и 127b, группу кнопок четырех типов операций 126, кнопку L1/L2 130а и кнопку R1/R2 130b, являющиеся теми рабочими компонентами, которые предоставляют пользователю возможность манипулирования. Группа кнопок четырех типов операций 126 состоит из кнопки с кругом 122, кнопки с крестом 123, кнопки с квадратом 124 и кнопки с треугольников 125.

Крестообразный переключатель направления 121 организован таким образом, что предоставляет пользователю возможность переключения в одном из четырех направлений (вверх, вниз, вправо и влево), или в одном из восьми направлений (вверх, вниз, влево и вправо и четыре направления между упомянутыми четырьмя направлениями), или же переключения в произвольном направлении. Например, крестообразный переключатель направления 121 используется для перемещения курсора на изображении экрана дисплея или для прокрутки различных типов информации на экранном изображении. На группу кнопок четырех типов работы 126 соответственно назначаются прикладной программой различные функции.

Джойстики 127а и 127b содержат стержни, которые закреплены с возможностью наклона в произвольном направлении, и сенсор, который считывает величину этого наклона. Стержни смещены смещающим приспособлением (например, пружиной) к нейтральному положению и возвращаются к нейтральному положению, когда ими не манипулируют. Сенсор содержит переменный резистор, величина сопротивления которого изменяется в соответствии с наклоном стержня, и схему аналого-цифрового преобразователя, который преобразует величину сопротивления в цифровую величину. Если стержень наклонен, то значения наклонов по нескольким базовым направлениям преобразуются в соответствующие цифровые значения, и эти значения передаются на игровое устройство в качестве управляющих сигналов.

Кнопка L1/L2 130а и кнопка R1/R2 130b составлены из двух кнопок, а именно, соответственно из кнопки L1 и кнопки L2 и из кнопки R1 и кнопки R2. В обеих комбинациях две кнопки расположены соответственно вверху и внизу на боковой поверхности пульта управления 120. Например, кнопка используется для изменения направления линии взгляда в игре или используется для добавления другого движения, когда пользователь манипулирует этой кнопкой совместно с другой кнопкой. Однако на эти кнопки прикладной программой могут также назначаться самые различные функции.

Пользователь держит левой рукой левую рукоятку 128а, а правой рукой - правую рукоятку 128b и манипулирует на пульте управления 120. Крестообразный переключатель направления 121, джойстики 127а и 127b и группа кнопок четырех типов операций 126 расположены на верхней поверхности пульта управления 120, так что пользователь может манипулировать ими, держа при этом левую рукоятку 128а и правую рукоятку 128b левой и правой рукой соответственно. Кнопка L1/L2 130а и кнопка R1/R2 130b установлены на поверхностях, находящихся соответственно на обратной стороне левой рукоятки 128а и правой рукоятки 128b, так что этими кнопками можно манипулировать указательными пальцами левой руки и правой руки.

В соответствии с примером осуществления, каждое средство манипулирования, входящее в состав пульта управления, который показан на Фиг.1, воспроизводится на плоской поверхности в виде GUI. Объяснение будет дано далее на примере устройства ввода, в соответствии с примером осуществления. На Фиг.2 показан пример внешнего вида устройства обработки информации, использующего устройство ввода, в соответствии с данным примером осуществления. Это устройство обработки информации 10 является устройством небольшого размера, которое может носиться пользователем, и может быть любым из устройств, таких как мобильный телефон, PDA, игровое устройство портативного типа и прочим. В альтернативном варианте, устройство обработки информации 10 может обладать функцией, которая является комбинацией функций этих устройств. Поэтому устройство обработки информации 10 может содержать различные механизмы обработки, соответствующие этими функциям, однако надлежащее объяснение будет опущено, поскольку в этом случае можно применять традиционно используемые технологии.

Устройство обработки информации 10 имеет такую конфигурацию, в которой дисплей 14 находится на лицевой поверхности корпуса, а на его боковой поверхности находится клавиша включения 40. На обратной поверхности дисплея 14 встроены механизмы, необходимые для различных типов обработки информации, такие как ЦП, графический процессор, процессор звука, память или аналогичные компоненты (не показаны). Дисплей 14 может быть одним из традиционно используемых типов дисплеев, таких как жидкокристаллический дисплей, плазменный дисплей, ЭЛ (электролюминесцентный) дисплей и другим типом. Верхняя поверхность дисплея 14 покрыта сенсорной панелью 12. Сенсорная панель 12 реализована любым способом, нашедшим практическое применение, таким как панель резистивного типа, оптического типа или емкостного типа.

Кроме того, устройство обработки информации 10 может содержать громкоговоритель для выдачи звуковых сигналов, порт для подсоединения наушников, инфракрасный порт или механизм беспроводной локальной сети (LAN) для обмена данными с другими устройствами, отсек аккумуляторной батареи или другого источника питания. Однако эти элементы не показаны на Фиг.2.

На дисплее 14 воспроизводится изображение экрана, которое, в соответствии с назначенной функцией, необходимо пользователю для ввода операции (например, изображение экранного меню, пиктограммы и прочее), изображение экрана, создаваемое в результате обработки информации (например, изображение выведенной на экран игры, изображение, воспроизводящее на экране движущееся изображение, изображение выведенного на экран текста, изображение выведенной на экран фотографии и прочее). Кроме того, воспроизводится, как экранный дисплей, GUI (графический интерфейс пользователя), предоставляющий пользователю возможность вводить операции, глядя на изображение на экране.

Пользователь осуществляет ввод операции в устройство обработки информации 10, касаясь пальцем руки сенсорной панели 12, или же скользя пальцем руки по сенсорной панели 12, как если бы он/она манипулирует таким GUI. На Фиг.2 на GUI представлены область ввода крестообразного переключателя направления 42, которая представляет собой графическое изображение переключателя направления, и область ввода кнопками 44, которая представляет собой графическое изображение кнопок четырех типов операций (то есть, кнопка с кругом, кнопка с крестом, кнопка с квадратом и кнопка с треугольником). Пунктирные линии на Фиг.2, окружающие область ввода крестообразного переключателя направления 42, и область ввода кнопками 44 представлены только для иллюстрации границ этих областей и потому не связаны с реальными выводимыми изображениями или функциями. То же самое справедливо и для последующих фигур.

Например, при выборе желаемого пункта экранного меню пользователь сначала из показанного на экране списка пунктов меню или пиктограмм перемещает пункт, который он хочет вывести на экран, касанием одного из ключей направления в области ввода крестообразного переключателя направления 42, а затем подтверждает выбор этого пункта меню или пиктограммы касанием кнопки с кругом в области ввода кнопками 44. Затем пользователь изменяет направление движения знака, появляющегося в игре, касанием одного из ключей направления в области ввода крестообразного переключателя направления 42. В другом варианте, в игре интерактивного типа, пользователь высказывает намерение, например, "да", касанием кнопки с кругом или "нет", касанием кнопки с крестом.

Таким образом, ввод операции, который можно реализовать созданием области ввода крестообразного переключателя направления 42 и/или области ввода кнопками 44, может быть изменен самыми различными способами посредством назначения кнопкам функций в соответствии с функциями, реализуемыми устройством обработки информации 10. В соответствии с примером осуществления, воспроизведением средства ввода данных игровой консоли или персонального компьютера в виде сенсорной панели, может быть обеспечено большое разнообразие вариантов операций ввода в информационных устройствах небольшого размера, даже в устройстве такого типа, как игровая консоль.

Кроме того, на информационном устройстве небольшого размера можно будет также играть в игру, в которую пользователь привык играть на игровой консоли, с таким же удобством использования и без создания дискомфорта для пользователя. Проиллюстрированные формы или знаки области ввода крестообразного переключателя направления 42 или области ввода кнопками 44 показаны только в качестве примеров, поэтому формы и знаки не предполагается ограничивать тем, что показаны на Фиг.2. Область ввода крестообразного переключателя направления 42 или область ввода кнопками 44 может быть заменена другими средствами ввода, которые будут соответствовать тому пульту управления, который предполагается воспроизвести.

На Фиг.3 показана подробная структура устройства обработки информации 10. Помимо сенсорной панели 12 и дисплея 14, описанных выше, устройство обработки информации 10 содержит память контента 16, память изображений GUI 18, блок управления вводом/выводом 20, блок преобразования информации операции 22, блок обработки контента 24, блок генерации изображений GUI 26, буферную память изображений GUI 28, блок генерации изображений контента 30, буферную память изображений контента 32 и блок синтеза изображений 34. В памяти контента 16 хранятся программы контентов и/или различные типы данных. В памяти изображений GUI 18 хранятся графические изображения аппликаций, которые используются при создании GUI. Блок управления вводом/выводом 20 управляет получением входных сигналов от сенсорной панели 12 и/или вводом/выводом данных изображений. Блок преобразования информации операции 22 преобразует входные сигналы от сенсорной панели 12 в информацию о содержании операции. Блок обработки контента 24 обрабатывает контент в соответствии с информацией о содержании операции. Блок генерации изображений GUI 26 генерирует изображение GUI. В буферной памяти изображений GUI 28 временно хранятся сгенерированные изображения GUI. Блок генерации изображений контента 30 генерирует изображения контентов. В буферной памяти изображений контента 32 временно хранятся сгенерированные изображения контентов. Блок синтеза изображений 34 генерирует изображения, при этом изображение GUI отображается как экранный дисплей на изображении контента.

Элементы, показанные на Фиг.3 как функциональные блоки выполнения различного типа операций обработки, реализованы аппаратными средствами, таким как ЦП, запоминающие устройства или другие СБИС, и программными средствами, такими как программы, которые обрабатывают контенты или выполняют обработку изображений и прочие операции. Следовательно, специалисту в данной области техники будет понятно, что эти функциональные блоки могут быть реализованы различными путями, только аппаратно, только программно или же комбинацией того и другого способов реализации.

Блок управления вводом/выводом 20 соединен с сенсорной панелью 12, дисплеем 14, памятью контента 16 и памятью изображений GUI с использованием существующих способов и управляет вводом/выводом данных. Входной сигнал, получаемый от сенсорной панели 12, представляет собой координату точки контакта, к которой касается пользователь на сенсорной панели 12, координаты траектории движения, когда точка контакта движется непрерывно и прочее. Поскольку способ распознавания точек касания на сенсорной панели 12 различен для различных типов панелей, то конкретный способ здесь не упоминается. Кроме того, блок управления вводом/выводом 20 выдает также видеосигналы выводимого на дисплей 14 изображения.

Далее, блок управления вводом/выводом 20 обращается к памяти контента 16 и считывает из нее программу или различные типы данных, требуемых для обработки этого контента. Кроме того, блок управления вводом/выводом 20 обращается к памяти изображений GUI 18 и считывает из нее графические изображения аппликаций крестообразного переключателя направления, кнопок или аналогичных компонентов, которые были описаны выше. Что касается "контента", то он не ограничивается теми типами контента, которые могли бы быть обработаны и представлены компьютером, такими как компьютерная игра, кинофильм, музыкальный фрагмент, маленький рассказ, фотография или прочее. Этот пример осуществления, помимо обычного "контента", может быть применен к самой общей обработке информации, такой как передача данных, управление расписанием, адресная книга, электронная таблица и прочее, при этом в последующем объяснении подразумевается, что "контент" может содержать все упомянутые выше типы контента.

В случае, когда контентом является игра, память контента 16 хранит информацию о программе этой игры, информацию об игроке, достигнутом уровне, когда игра игралась последний раз, и другие данные. В случае, когда контентом является кинофильм или музыка, память контента 16 хранит сжатые и закодированные видеоданные, аудиоданные, программу декодирования и воспроизведения этих данных и прочее. Памятью контента 16 может быть дисковод жесткого диска или эта память может быть комбинацией стираемого носителя записи (например, карта памяти, диск ПЗУ, оптический диск, магнитооптический диск и прочее) и устройства его считывания.

Память изображений GUI 18 является памятью (например, дисководом жесткого диска и т.п.), хранящей данные изображений, которые могут быть использованы как графические данные аппликаций изображения GUI, таких как крестообразный переключатель направления, различные типы кнопок и прочее. Как будет описано позднее, само изображение GUI может быть изменено в результате операции на GUI, в соответствии с примером осуществления. Поэтому в памяти изображений GUI 18 хранятся данные изображений, соответствующих такому широкому диапазону вариантов GUI.

Блок преобразования информации операции 22 получает входной сигнал через сенсорную панель 12 от блока управления вводом/выводом 20 и преобразует координаты точки контакта или другие данные, содержащиеся в сигнале, в информацию о содержании операции. Как было описано выше, в соответствии с этим примером осуществления, сам GUI может быть изменен, как результат некоторой операции над этим GUI. Поэтому в памяти предварительно записывается соответствие между типом GUI и его положением при воспроизведении на экране. Далее, базируясь на полученных координатах точки контакта и типе GUI, который воспроизводится в текущий момент, идентифицируется содержание операции, выполняемой пользователем (например, тип нажимаемой кнопки, уровень и/или направление операции и прочее).

Эта информация о содержании операции предоставляется соответственно блоку обработки контента 24 и устройству генерации изображений GUI. Блок обработки контента 24 в соответствии с программой, которая хранится в памяти контента 16, исполняет процесс, необходимый для того, чтобы приступить к игре, или процесс, необходимый для воспроизведения движущихся изображений и/или музыки в соответствии с содержанием операции. Реальная процедура обработки является подобной той процедуре, что исполнялась в соответствии с содержанием контента.

Блок генерации изображений GUI 26 генерирует новое изображение GUI, когда такая необходимость возникает, исходя из содержания операции, и хранит сгенерированное изображение в буферной памяти изображений GUI 28. Хотя конкретные примеры изменения изображения GUI будут даны позднее, однако заметим, что помимо того, что пользователь может, например, видеть изменение цвета, как будто он касается сенсорной панели, или видеть, что кнопка как будто нажата, можно также и сами ключи и/или кнопки заменять ключами и/или кнопками другого GUI.

Поэтому блок генерации изображений GUI 26 хранит внутри информацию, которая связывает содержание операции и изменения, которые должны быть сделаны с изображением, информацию идентификации изображения, которое будет заново использоваться, и другую информацию. Далее, блок генерации изображений GUI 26 считывает надлежащие данные изображения необходимого GUI из памяти изображений GUI 18 и генерирует данные нового экранного изображения таким образом, что на этом изображении представляются изменения, которые связаны с содержанием операции и которые производятся с GUI, выведенном на экран в текущий момент времени.

В случае, когда не требуется изменения GUI, что зависит от содержания операции, блок генерации изображений GUI 26 может и не выполнять процесс генерации нового изображения. Блок генерации изображений контента 30 генерирует данные изображения, которое должно быть выведено на экран, как результат обработки, выполняемой блоком обработки контента 24, и сохраняет соответствующие данные в буферной памяти изображений контента 32.

Блок синтеза изображений 34, исполнением процесса рендеринга с использованием данных изображений, хранимых в буферной памяти изображений GUI 28, и данных изображений, хранимых в буферной памяти изображений контента 32, генерирует изображение, при этом изображение GUI воспроизводится как экранный дисплей на изображении контента, и это изображение соответственно сохраняется во внутренней буферной памяти кадров. За счет того, что видеосигнал, соответствующий изображению, которое хранится в буферной памяти кадров, передается на дисплей 14 под управлением устройства управления вводом/выводом 20, на дисплее 14 воспроизводится изображение, соответствующее операции на GUI, выполненной пользователем.

Далее будет представлен конкретный пример изображения экрана GUI в соответствии с настоящим примером осуществления. В соответствии с настоящим примером осуществления, изображение экрана GUI воспроизводится как экранный дисплей на изображении контента, такого, например, как игра. Поэтому важно обеспечить такую же простоту и удобство использования, как и в пульте управления игровой консоли или аналогичного устройства, не создавая при этом помех для изображения контента, представленного на экране.

В соответствии с настоящим примером осуществления, в дополнение к крестообразному переключателю направления и кнопкам четырех типов операций воспроизводится также в качестве GUI и джойстик. При этом пользователю предоставляется возможность вводить данные воспроизведенным джойстиком таким же образом, как и реальным джойстиком, в том числе произвольное направление и произвольную величину, или же в соответствии с обстоятельствами выдавать команды направления таким же образом, что и в реальном пульте управления, манипулированием крестообразным переключателем направления. Этот GUI позволяет вводить произвольное направление и произвольную величину и может использоваться для управления направлением движения и/или скоростью движения объектов, появляющихся в игре, для поворота поля зрения и прочих операций. В последующем объяснении ввод, производимый посредством такого псевдоджойстика, который представляется как GUI, будет также называться "ввод джойстиком".

Если на изображении экрана GUI будут непосредственно располагаться три типа описанных выше GUI или даже более трех GUI, то все эти GUI будут затруднять обозримость изображения контента на экране. Поэтому, в соответствии с настоящим примером осуществления, создается комбинированная область GUI, которая является комбинацией нескольких GUI, что позволяет этим нескольким GUI совместно использовать одну и ту же область распознавания. Когда пользователь впервые контактирует с этой областью, то во всей целиком комбинированной области GUI определяется, что зависит от положения точки контакта в комбинированной области GUI, тот из них, который будет использоваться в качестве GUI.

На Фиг.4 показан пример расположения нескольких GUI в экранном изображении GUI. Каждое из изображений GUI 50a, 50b, 50с, 50d и 50е являются изображением, которое воспроизводится как экранный дисплей на изображении контента на дисплее 14. Операцией, выполняемой пользователем, производится переключение изображения GUI 50a на одно из изображений GUI 50b, 50с, 50d и 50е. Изображение экрана GUI 50a является стандартным изображением экрана и содержит первую комбинированную область GUI 52 и вторую комбинированную область GUI 56 соответственно внизу слева и внизу справа на изображении экрана.

Первая комбинированная область GUI 52 представляет собой область GUI, которая является комбинацией GUI крестообразного переключателя направления и GUI джойстика, и имеет ту же самую конфигурацию, что и конфигурация области ввода крестообразного переключателя направления 42, показанная на Фиг.2. Эта первая комбинированная область GUI 52 образована графическим изображением крестообразного переключателя направления 51, который является по меньшей мере частью графического символа GUI крестообразного переключателя направления, и графическим изображением джойстика 53, который представлен символом (например, кругом или аналогичным символом) в центре всего этого графического изображения крестообразного переключателя направления 51, и который является по меньшей мере частью графического изображения GUI джойстика.

Вторая комбинированная область GUI 56, таким же образом, что и первая комбинированная область GUI, представляет собой область GUI, которая является комбинацией GUI кнопок четырех типов операций, и GUI джойстика, и имеет ту же самую конфигурацию, что и конфигурация области ввода кнопками 44, показанной на Фиг.2. Конфигурация второй комбинированной области GUI 56 представляет собой комбинацию графического изображения кнопок операции 55, которое является по меньшей мере частью графического изображения GUI кнопок четырех типов операций, и графического изображения джойстика 57, которое представлено фигурами (например, кругом или аналогичным символом) в центре всего графического изображения кнопок операций 55, и который является по меньшей мере частью графического изображения GUI джойстика.

Если на экранном изображении GUI 50a, которое является стандартным изображением, пользователь сначала коснется графического изображения джойстика 53 первой комбинированной области GUI 52, то запустится процесс получения входных данных через джойстик, и первая комбинированная область GUI 52 переключится на область ввода джойстиком 58, которая не содержит графического изображения крестообразного переключателя направления 51 (изображение GUI 50b). Более подробно, если пользователь ставит палец на графическое изображение джойстика 53 первой комбинированной области GUI 52, то эта область переключается на область ввода джойстика 58, и дальнейшим скольжением пальца по сенсорной панели без отрыва от нее будет получено в качестве входных данных направление движения пальца и расстояние, на которое перемещается палец.

В течение того периода времени, пока палец непрерывно контактирует с сенсорной панелью, эта область представляет собой область ввода джойстика 58, и обеспечивается последовательное получение входных данных от движения пальца. Далее, когда пользователь отрывает палец, то эта область возвращается обратно в первую комбинированную область GUI 52 (изображение GUI 50a).

С другой стороны, если на изображении GUI 50a пользователь сначала касается графического изображения крестообразного переключателя направления 51 первой комбинированной области GUI 52, то запускается процесс получения входных данных через крестообразный переключатель направления, и первая комбинированная область GUI 52 переключается на область ввода крестообразного переключателя направления 42 (изображение GUI 50с). В этом случае, также в тот период времени, пока палец продолжает непрерывно касаться сенсорной панели, эта область работает как область ввода крестообразного переключателя направления 42 и обеспечивает ввод данных через крестообразный переключатель направления, и когда пользователь отрывает палец, эта область возвращается обратно в первую комбинированную область GUI 52 (изображение GUI 50a).

Однако графическое изображение джойстика 53 может оставаться выведенным на экран также в области ввода крестообразного переключателя направления 42, при этом первая комбинированная область GUI 52 и область ввода крестообразного переключателя направления 42 будут иметь тот вид, что представлен на Фиг.4. Это исключает неудобство исчезновения и повторного появления графического изображения джойстика 53 даже при прерывистом касании крестообразного переключателя направления для ввода данных через крестообразный переключатель направления.

Вторая комбинированная область GUI 56 также работает аналогичным образом, то есть, если пользователь сначала касается графического изображения джойстика 57, то запускается процесс получения входных данных через джойстик, и эта область переключается на область ввода джойстиком 58, которая не содержит графического изображения кнопок четырех типов операций 55 (изображение GUI 50d), и если палец отрывается от сенсорной панели, то эта область возвращается обратно во вторую комбинированную область GUI (изображение 50a). В том интервале времени, пока палец продолжает касаться, эта область работает как область ввода джойстиком 58 и отслеживает движения пальца.

С другой стороны, если пользователь сначала касается графического изображения кнопок четырех типов операций 55 на второй комбинированной области GUI 56, то запускается процесс получения входных данных через эти кнопки, и вторая комбинированная область GUI 56 переключается на область ввода кнопками 44 (изображение GUI 50e). Затем, если пользователь отсоединяет палец, то эта область возвращается обратно во вторую комбинированную область GUI 56 (изображение GUI 50а). В этом процессе может оставаться также выведенным на экран графическое изображение джойстика 57 в области ввода кнопками 44 по той же самой причине, что и для области ввода крестообразного переключателя направления 42.

Подобным образом, предоставляя возможность переключения между областью ввода крестообразного переключателя направления 42 и областью ввода джойстиком 58, а также между областью ввода кнопками 44 и областью ввода джойстиком 58 соответственно, может быть уменьшен размер области, занимаемой изображением GUI. В результате, даже при воспроизведении в виде экранного дисплея затруднения, связанные с воспроизведением контента на экране будут небольшими, и на ограниченном пространстве экрана могут совместно находиться изображение контента и изображение GUI. Кроме того, видя, что стержень джойстика наклонен в заданном направлении, и при этом центр задан как начальная точка реального джойстика, действие, необходимое для переключения, выглядит натуральным из-за того, что движение при скольжении пальца от центра области будет связано с процессом ввода через джойстик.

Далее, за счет того, что предоставляется возможность переключения как первой области комбинированного GUI 52 внизу слева, так и второй области комбинированного GUI 56 внизу справа на область ввода джойстика 58, может быть изменена одновременно воспроизводимая на экране комбинация средств ввода или может быть быстро определена и по желанию выбрана рука, которой проводится манипулирование (то есть, левая рука или правая рука), что зависит от типа контента, содержания игры, вида сцены и других факторов.

В приведенном выше примере все GUI области ввода крестообразного переключателя направления 42 и области ввода кнопками 44 могут быть реализованы средствами GUI для двухпозиционного ввода данных, при этом такой GUI включает или выключает функцию, предоставляемую отдельной кнопкой, которая для этого должна быть нажата или отпущена соответственно при касании или при отсутствии касания отдельной области, которая представляет обычно используемую кнопку. Таким образом, все эти GUI не предполагается ограничивать переключателем, показывающим направление, и кнопкой с кругом, кнопкой с крестом, кнопкой с квадратом и кнопкой с треугольником. Далее, GUI области ввода джойстиком 58 также может быть реализован как GUI с использованием аналогового ввода, который получает аналоговые данные в соответствии с положением контакта в определенной области, и тем самым не предполагается ограничивать этот GUI только функцией джойстика.

Так или иначе, комбинированный GUI представляет собой комбинацию GUI для двухпозиционного ввода включено/выключено и GUI для аналогового ввода. Далее, в таком комбинированном GUI осуществляется переключение на GUI двухпозиционного ввода включено/выключено и в таком виде на экране выводится графическое изображение GUI ввода включено/выключено; одновременно с этим задается небольшая область распознавания, которая переключается на GUI аналогового ввода, и после переключения эта область распознавания расширяется. Подобным образом осуществляется процесс переключения из комбинированного GUI в несколько соответствующих GUI, при этом операции на соответствующих GUI выполняются, естественно, в едином потоке последовательностей операций. Когда в этом процессе происходит переключение на GUI двухпозиционного ввода включено/выключено, на экране сохраняется графическое изображение переключения на GUI аналогового ввода, которое было представлено на части комбинированного GUI, и тем самым исключается неудобство, связанное с исчезновением и повторным появлением графического изображения в интервале времени прерывистой работы с GUI двухпозиционного ввода включено/выключено.

Кроме того, на изображении экрана GUI 50a может быть также воспроизведена кнопка переключения 54. Если коснуться этой кнопки переключения 54, то можно также обеспечить появление из нижней части изображения кнопки, которая не была выведена на экран (например, кнопка, необходимая в соответствии с такой функцией, как выбор кнопки пункта меню, пусковая кнопка, инициирующая запуск воспроизведения звука или видео и прочее). Конфигурированием подобным образом примера осуществления может быть спрятана кнопка, которая мало используется, а контент изображения на экране может быть сконфигурирован так, что его очень легко можно будет видеть.

На Фиг.5 представлен рисунок, который иллюстрирует изображение, воспроизводимое в первой комбинированной области GUI 52, и область распознавания на сенсорной панели. На левой части Фиг.5 представлено изображение первой комбинированной области GUI, а на правой части представлена область распознавания, которая наложена на изображение. Первая комбинированная область GUI 52 построена из окружности 60, графического изображения крестообразного переключателя направления 62, состоящего из четырех ключей, которые показывают четыре направления - вверх, вниз, вправо, влево - и которые расположены по периферии окружности 60, и графического изображения джойстика 53, которое расположено в центре окружности 60.

Окружность 60, воспроизводимая на первой комбинированной области GUI 52, показывается также в области ввода крестообразного переключателя направления 42 и создает впечатление единого целого двумерной группы из четырех ключей, которая в реальном пульте управления может быть представлена своей трехмерной формой. При изображении в виде такой окружности группа ключей может быть легко воспринята как GUI, даже когда изображение контента представляется в виде менее выделяющегося фонового изображения.

Окружность 60 можно представлять на экране в полупрозрачном виде, тем самым изображение такой окружности не будет закрывать изображение контента на экране. При этом пользователю предоставляется возможность задавать коэффициент прозрачности, принимая во внимание, например, тип контента или другие факторы. Выводом на экран аналогичной окружности также во второй комбинированной области GUI 56 и в области ввода кнопок 44 создается впечатление единого целого группы ключей. Кроме того, крестообразный переключатель направления и кнопки четырех типов операций предпочтительно окрашивать в монотонные цвета, с тем чтобы приоритет отдавался цветам изображения контента на экране.

Четыре ключа графического изображения крестообразного переключателя направления 62 связаны с соответствующими прямоугольными областями распознавания 64а, 64b, 64с и 64d заранее заданного размера, которые окружают графические изображения соответствующих ключей на сенсорной панели. Кроме того, устанавливается соответствие графического изображения джойстика 53 с областью распознавания 68, расположенной в центре окружности 60. Определением формы областей распознавания 64а, 64b, 64с и 64d как формы, которая может быть задана математическим выражением, таким как треугольник, окружность и другие (за исключением прямоугольника), эти области могут быть легко связаны с изображениями ключей, безотносительно к разрешению дисплея и/или сенсорной панели.

Далее, задав размер областей распознавания 64а, 64b, 64с и 64d достаточно большим, с тем чтобы эти области включали окрестности графических изображений соответствующих ключей, операция может быть распознана даже в случае, когда точка касания пальцем слегка отклоняется от конкретного ключа, и одновременно с этим при частичном пересечении областей 64а, 64b, 64с и 64d может быть обеспечено распознавание в смежных областях. Эти пересекающиеся части областей 64а, 64b, 64с и 64d связаны с четырьмя диагональными направлениями, которые являются промежуточными направлениями четырех направлений, то есть, вверх, вниз, вправо и влево. Это удваивает число направлений, которое может быть введено, в отличие от случая, когда только часть каждого ключа задается как область распознавания, предоставляя тем самым пользователю возможность задавать команды направления по многим уровням.

Для случая области ввода крестообразного переключателя направлений 42 области распознавания, соответствующие этому крестообразному переключателю направления, определяются таким образом, как это показано на Фиг.5. Однако область распознания того, продолжает ли пользователь непрерывно касаться сенсорной панели, что является критерием переключения из области ввода крестообразного переключателя направления 42 обратно в первую комбинированную область GUI 52, определяется отдельно, например, как заранее заданная концентрическая окружность, имеющая радиус, который равен радиусу окружности 60 или превышает этот радиус. Тем самым исключается обратное движение к первой комбинированной области GUI 52, несмотря на намерение пользователя, или обратное переключение в область ввода джойстика 58 в случае, когда палец пользователя, который вводит информацию через крестообразный переключатель направления, движется через центральную часть области ввода крестообразного переключателя направления 42. В случае, когда точка контакта отклоняется от области распознавания, область ввода крестообразного переключателя направления 42 переключается на первую комбинированную область GUI 52.

На Фиг.6 показан рисунок, который иллюстрирует изображение, представляемое в области ввода джойстиком 58, и способ работы с джойстиком. Как было описано выше, область ввода джойстиком 58 воспроизводится на экране в течение периода времени, когда пользователь скользит пальцем по сенсорной панели, не отрывая палец от этой панели после того, как пользователь коснулся, например, области распознавания 68 графического изображения джойстика 53 первой комбинированной области GUI 52. В этом процессе, как показано в левой части на Фиг.6, в том месте на области, к которому прикасается палец пользователя, воспроизводится индикатор 70 (например, окружность). Предпочтительно, чтобы индикатор 70 имел такой размер и такую форму, при которых этот индикатор не закрывался бы пальцем. Кроме того, индикатор 70 будет легко восприниматься, когда, например, периферийная область индикатора будет искриться, или при небольшом сдвиге области таким образом, чтобы при этом отслеживалось движение точки касания, или при слабом воспроизведении траектории движения.

Индикатор 70 движется в соответствии с движением точки касания с сенсорной панелью пальца 76. В области ввода джойстиком 58 воспроизводится также окружность 72, имеющая такой же радиус и находящаяся в том же самом положении, что и окружности, показанные в первой комбинированной области GUI 52, второй комбинированной области GUI 56, области ввода переключателей направления 42 и области ввода кнопками 44. Поскольку графическое изображение джойстика находится в первой комбинированной области GUI 52 и во второй комбинированной области GUI 56, в их центральных частях, то центр окружности располагается в той точке, которой пользователь сначала касается для ввода данных джойстиком. Далее, как показано справа на Фиг.6, область распознавания 79 определяется как концентрическая окружность, имеющая радиус, равный или больший, чем радиус окружности 12. Если точка контакта отходит от области распознавания 79, то эта область переключается обратно в исходную первую комбинированную область GUI 52 или обратно во вторую комбинированную область GUI 56.

Как это следует из Фиг.5 и Фиг.6, область распознавания 79, которая принимает входные данные джойстика в области ввода джойстиком 58, представляет собой область, являющуюся концентрическим расширением области распознавания 68, которая переключается на область ввода джойстиком 58 в первой комбинированной области GUI 52. То же самое применимо к взаимосвязи между областью распознавания, которая переключается на ввод джойстиком во второй комбинированной области GUI 56, и областью распознавания после переключения.

Окружность 72 может быть воспроизведена на экране в полупрозрачном виде или же может быть не воспроизведена вообще. В области ввода джойстиком 58 координаты точки контакта 78 считываются непрерывно в заранее заданные интервалы времени, а вектор направления от центра окружности 74 области распознавания 79 к точке контакта 78 задается как совокупность входных значений в каждый момент времени. Интервалы времени получения координат делаются более коротким, чем, например, интервалы времени вывода кадров на дисплей 14.

В блоке преобразования информации операции 22 хранится информация, которая связывает между собой направление от центра окружности 74 до точки контакта 78 вектора направления и направление наклона реального джойстика, а также расстояние от центра 74 до точки контакта 78 и величину наклона реального джойстика. При обращении к этой информации блок преобразования информации операции 22 преобразует вектор направления в каждый момент времени в направление наклона и величину наклона реального джойстика и передает сообщение об этом преобразовании на блок обработки контента 24. Это предоставляет блоку обработки контента 24 возможность выполнять обработку таким же образом, что и в случае, когда ввод данных проводится через реальный джойстик. В другом варианте, направление или расстояние могут непосредственно использоваться для обработки контента.

Если точка контакта достигает границы окружности 72, то получаемая входная величина определяется как входная величина максимально наклоненного джойстика. Если точка контакта выходит за границы окружности 72, находясь при этом внутри диапазона области распознавания 79, то получается только направление от центра окружности 74 в соответствии с точкой контакта, и принимается, что это расстояние ограничивается радиусом окружности 72 и безотносительно к точке контакта. При этом индикатор 70 отображается на экране так, как будто бы он перемещается по направлению к точке контакта на границе окружности 72. Подобным образом же, образованием области ввода джойстика 58 на плоской поверхности может быть реализовано средство ввода, мало чем отличающееся по способу работы и удобству использования от реального джойстика. Кроме того, блокировкой вывода на экран окружности 72 или выводом на экран полупрозрачной окружности 72 может быть минимизировано влияние на экран с изображением контента, при этом могут быть введены произвольное направление и произвольная величина.

На Фиг.7 показан измененный пример изображения экрана GUI. Изображение экрана GUI 50f устройства обработки информации 10 на Фиг.7 подобным же образом, что и изображение экрана GUI 50a, показанное на Фиг.4, содержит первую комбинированную область GUI 52 внизу слева на изображении экрана и вторую комбинированную область GUI 56 внизу справа на изображении экрана. Изображение экрана GUI 50f содержит также вверху слева на экране область ввода кнопками L1/L2 80, а вверху справа на экране - область ввода кнопками R1/R2 82. Область ввода кнопками L1/L2 80 образована кнопками, которые соответствуют кнопке L1 и кнопке L2, показанным на Фиг.1. Область ввода кнопками R1/R2 82 образована кнопками, которые соответствуют кнопке R1 и кнопке R2, показанным на Фиг.1.

В соответствии с настоящим примером осуществления, принимается, что пользователь оперирует с GUI пальцами левой и правой руки 84, держа при этом левой и правой рукой 84 корпус устройства обработки информации 10, как это показано на Фиг.7. Поэтому, располагая на изображении экрана первую комбинированную область GUI 52 и вторую комбинированную область GUI 56 соответственно внизу слева и внизу справа, обеспечивается возможность манипулирования пальцами на этих областях.

Кроме того, расположение области ввода кнопками L1/L2 80 и области ввода кнопками R1/R2 82 вверху слева и вверху справа на экранном изображении, как это показано на Фиг.7, позволяет манипулировать указательным пальцем. Хотя на Фиг.7 устройство обработки данных 10 и руки 84 показаны раздельно, так что можно легко видеть экранное изображение GUI 50f, когда действительно держишь устройство, большой и указательный пальцы будут находиться на изображении экрана GUI 50f.

При расположении нескольких GUI таким образом, пользователь может оперировать устройством обработки информации 10 без искажений, держа при этом устройство, и, кроме того, пользователь может одновременно оперировать двумя или более областями из имеющихся четырех областей. Область ввода кнопками L1/L2 80 и область ввода кнопками R1/R2 82 образованы в форме секторов окружности, при этом, как показано на Фиг.7, центральные углы соответствующих секторов окружности являются прямыми углами двух верхних углов экрана, а внутри каждый сектор окружности разделен по центру так, чтобы каждый из двух образуемых секторов по двум углам экрана позволял бы различать между собой соответственно кнопку L1 и кнопку L2, кнопку R1 и кнопку R2.

В случае, когда пользователь держит устройство обработки информации 10 таким образом, как это показано на Фиг.7, нижние фаланги указательных пальцев рук 84 обычно размещаются напротив средних пальцев так, чтобы образовывать форму для захвата корпуса устройства обработки информации 10. Поэтому области, где указательные пальцы могут беспрепятственно взаимодействовать с сенсорным экраном, имеют форму секторов окружности, которые образованы изгибанием верхних частей от суставов указательных пальцев. При определении формы области ввода кнопками L1/L2 80 и формы области ввода кнопками R1/R2 82 как секторов окружности, пользователь может касаться кнопки L1/L2 и кнопки R1/R2 и различать их между собой просто изменением угла наклона пальцев. При изменении числа областей, которые имеют вид секторов, может быть образовано более двух кнопок.

Углы, на которые разделяется внутренняя часть исходного угла, могут быть не равны между собой. Например, исходя из того предположения, что чем меньше будет угол изгиба, создаваемого пальцем, тем легче можно будет манипулировать этим пальцем, угол сектора кнопки в верхней части экрана может быть задан небольшим, а угол сектора кнопки, более близкой к левой или правой стороне экрана, может быть сделан побольше. Для наилучшего соответствия с диапазоном движения пальцев можно помимо формы кнопок сконфигурировать и положение этих кнопок.

На Фиг.8 показан измененный пример области ввода кнопками L1/L2. Хотя в области ввода кнопками L1/L2/L3 86, показанной на Фиг.8 в качестве примера, имеется три кнопки, то есть, кнопка L1 88а, кнопка L2 88b и кнопка L3 88с, однако число кнопок совсем не ограничено этой величиной. С одной стороны, форма каждой кнопки задается независимо друг от друга, а с другой стороны, кнопки располагаются таким образом, что они образуют дугообразную форму. Хотя на Фиг.8 форма каждой кнопки задается в виде окружности, эта форма может быть также, например, прямоугольником. При этом, когда форма кнопок будет даже самой общей формы, за счет дугообразного размещения кнопок пользователю предоставляется возможность манипулировать ими без искажений и эти манипуляции будут различаться в зависимости от угла наклона указательного пальца. Также из этого примера видно, что чем дальше будет находиться положение кнопки от верхней стороны экрана и чем ближе будет это положение к левой стороне, тем большим может быть задано расстояние между этой кнопкой и смежной с ней кнопкой. То же самое справедливо для кнопок, расположенных напротив, например, таких, как кнопка R1/R2, показанная на Фиг.7.

На Фиг.9 показан другой пример расположения изображения экрана GUI и изображения контента на экране. В примере осуществления, который был описан выше, изображение GUI представлялось как экранное изображение на изображении контента. В примере, показанном на Фиг.9, устройство обработки информации 10 используется с ориентацией вертикально вниз длинной стороной, а изображение контента 100 и изображение GUI 102 отображаются в различных областях. Кроме того, в этом случае устройство обработки информации 10 может быть сконфигурировано таким же образом, как это показано на Фиг.3, а блок синтеза изображения 34 обеспечивает синтез рендерингом изображения контента и изображения GUI в раздельных и заранее заданных областях, соответственно. Способы работы различных типов GUI реализуются таким же образом, как это было описано выше.

Хотя в этом случае размер области, где воспроизводится изображение контента 100, становится меньше, однако изображение GUI совсем не закрывает изображение контента 100, и тем самым область ввода крестообразного переключателя направления, область ввода кнопками, область ввода джойстиком и другие области могут быть воспроизведены на дисплее совместно, без создания серьезных неудобств. Кроме того, этот случай по форме руки, держащей устройство, и/или пальцу, которым проводится манипулирование в областях ввода данных, с большой вероятностью отличается от случая, описанного выше. Поэтому кнопка L1, кнопка L2, кнопка R1 и кнопка R2 могут и не иметь форму секторов окружности, организованных, например, в форме дуги.

Что касается того, будет ли устройство обработки информации 10 использоваться с вертикальной ориентацией длинной стороны или с горизонтальной ориентацией длинной стороны, то пользователь может сам определять это в соответствии с типом контента, содержанием игры и другими соображениями. На Фиг.10 представлен пример сконфигурированного изображения режима вывода нескольких GUI. Сконфигурированное изображение GUI 90 задано таким образом, что при любом предварительном ли запуске обработки контента, в середине ли обработки контента пользователь может вызвать на экран сконфигурированное изображение GUI 90 в любое время касанием заранее заданной кнопки на GUI, и сконфигурированное изображение GUI 90 воспроизведется как некоторое дополнение на экране дисплея. В альтернативном варианте, сначала может быть вызван экран меню, а затем может быть вызвано сконфигурированное изображение GUI 90 выбором из этого меню.

Сконфигурированное изображение GUI 90 содержит поле 92, воспроизводящее содержание конфигурирования, линейку задания коэффициента прозрачности 94 и кнопку ok/cancel (подтверждение/отмена) 96. Поле 92, воспроизводящее содержание конфигурирования, показывает содержание конфигурации, такое как ориентация устройства обработки информации 10; режим, который определяет, переключается ли область ввода джойстика 58 на область ввода крестообразного переключателя направления 42 и/или на область ввода кнопками 44, или же область ввода джойстиком 58 показывается регулярно; показывается ли окружность, имеющаяся в области ввода крестообразного переключателя направления 42 и/или в области ввода кнопками 44 полупрозрачной или нет, а также цвет этой окружности, и прочее. Линейка задания коэффициента прозрачности 94 определяет коэффициент прозрачности окружности в случае, когда эта окружность воспроизводится в полупрозрачном виде. Кнопка ok/cancel 96 предоставляет пользователю возможность подтверждать детали конфигурации или же отменять изменение конфигурации.

В примере, показанном на Фиг.10, поле 92, воспроизводящее заданное содержание конфигурации, представлено таким образом, что устройство обработки информации 10 используется с горизонтальной ориентацией длинной стороны, и используется режим, при котором область ввода джойстиком 58 переключается на область ввода крестообразного переключателя направления 42 и/или область ввода кнопками 44, а окружности, которые входят в GUI, являются полупрозрачными.

Вызовом на экран изображения конфигурации GUI 90, когда пользователь хочет изменить заданную конфигурацию, и касанием кнопки команды направления 98, которая показана для каждого пункта меню в поле 92, воспроизводящим заданное содержание конфигурации, изображение текущей конфигурации, которое было выведено на экран, переключается на изображение другой возможной конфигурации. Если желаемая конфигурация выведена на экран, то пользователь подтверждает эту конфигурацию касанием кнопки «ok», входящей в число кнопок ok/cancel 96. В случае, когда окружности будут воспроизводиться полупрозрачными, пользователь также надлежащим образом регулирует это на линейке задания коэффициента прозрачности 94.

Таким образом, предоставляя пользователю возможность легко изменять конфигурацию режима вывода на экран GUI, можно обеспечить работу устройства обработки информации в оптимальной среде в соответствии с типом контента, содержанием или сценой игры и в соответствии с предпочтениями конкретных пользователей. Следовательно, даже когда устройство ориентировано горизонтально длинной стороной, область ввода крестообразного переключателя направления 42, область ввода кнопками 44 и область ввода джойстиком 58 могут быть легко воспроизведены совместно, или же форма области ввода кнопками L1/L2 80 и области ввода кнопками R1/R2 82 могут быть легко заданы в виде прямоугольников.

В соответствии с описанным выше примером осуществления, изображение GUI воспроизводится как экранный дисплей на экране дисплея устройства обработки информации. Такой GUI, воспроизводимый в этом процессе, является двумерным представлением крестообразного переключателя направления, кнопок различного типа, джойстика или подобных компонентов, которые были сформированы в трехмерном виде, как в обычном пульте управления игрового устройства. Тем самым, даже тот пользователь, который привык манипулировать на трехмерном пульте управления, может легко манипулировать с подобным же средством и с таким же удобством.

Изображение каждого GUI располагается по углам экрана, так что поверхность выходного изображения контента, которая перекрывается GUI, становится небольшой. Кроме того, образованием комбинированной области GUI и предоставлением возможности переключения на отдельные GUI в зависимости от того, какое графическое изображение GUI содержит точку, от которой начинается контакт пользователя, несколькими GUI совместно используется одна и та же область распознавания. Далее, предоставляется GUI, который может легко вызывать GUI, определяемый, фактически, как неотображаемый GUI. За счет такой особенности изображение контента на экране и изображение GUI могут естественным образом располагаться совместно.

В режиме, когда устанавливается область комбинированного GUI, графическое изображение джойстика создается в центральной части графического изображения, образованного крестообразным переключателем направления или четырьмя кнопками, и скольжением пальца от точки в центральной части, где начинается контакт, может быть реализован ввод произвольного направления и произвольной величины. Такое непрерывное движение похоже на соприкосновение пальца со стержнем реального устройства ввода джойстиком и манипулирование наклоном этого джойстика, создавая тем самым меньший дискомфорт пользователю при переключении различных GUI или при работе с GUI.

Далее, расположением на экране дисплея нескольких GUI ниже слева, ниже справа, выше справа или выше слева в соответствии с положением пальцев, которые держат устройство обработки информации, предоставляется возможность естественного манипулирования с использованием больших и/или указательных пальцев обеих рук. Дополнительно к этому, при образовании нескольких кнопок, располагаемых вверху слева и вверху справа (работа на которых будет, по всей вероятности, вестись указательными пальцами) в виде непрерывных областей в форме секторов окружности, или при расположении нескольких кнопок в форме дуги, учитывая при этом область движения указательных пальцев, пользователь может касаться кнопок различимым образом и без искажений.

Предоставляя пользователю возможность задавать ориентацию устройства обработки информации, включать или не включать несколько GUI, или воспроизводить или не воспроизводить часть изображения, образующего GUI, полупрозрачным образом, может быть легко реализована рабочая среда, которая согласуется с типом контента, предпочтениями пользователя и тому подобными факторами.

Приведенное выше объяснение базировалось на примерах осуществления изобретения. Эти примеры осуществления являются только иллюстрациями, и специалистам в данной области техники будет очевидно, что могут быть разработаны различные модификации составляющих элементов и процессов, и что такие модификации также находятся в пределах сущности и объема изобретения.