способ и устройство для управления осветительным устройством в виртуальной комнате

Формула изобретения

1. Способ управления одним или более устройствами внутри физической комнаты сооружения, включающий следующие шаги:

подключают, прямо или опосредованно, одно или более устройств, находящихся внутри сооружения, к программируемому мультимедийному контроллеру, выполненному с возможностью подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств;

отображают на экране дисплея пользовательский интерфейс на основе виртуальной комнаты, включающий одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные визуальные изображения одной или более границ этой части сооружения, одного или более предметов мебели, находящихся внутри этой части сооружения, и одного или более устройств, расположенных внутри этой части сооружения;

получают выбранный элемент конкретного по существу фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;

подают, в ответ на выбор конкретного фотореалистичного визуального изображения конкретного устройства, с помощью программируемого мультимедийного контроллера команды управления, которые, после их реализации, изменяют состояние этого конкретного устройства; и

обновляют внешний вид конкретной виртуальной комнаты таким образом, чтобы по существу фотореалистичное визуальное изображение конкретного устройства, а также по существу фотореалистичные визуальные изображения одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, отражали изменившееся состояние этого конкретного устройства.

2. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одно или более осветительных устройств, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретного осветительного устройства, при этом команды управления после их реализации изменяют состояние конкретного осветительного устройства путем изменения освещенности конкретного осветительного устройства.

3. Способ по п.2, отличающийся тем, что при изменении освещенности конкретного осветительного устройства включают или выключают конкретное осветительное устройство.

4. Способ по п.3, отличающийся тем, что при обновлении внешнего вида конкретной виртуальной комнаты показывают по существу фотореалистичное изображение физической комнаты с освещенным конкретным осветительным устройством.

5. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одно или более аудио/видео устройств, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретного аудио/видео устройства, при этом команды управления после их реализации изменяют состояние конкретного аудио/видео устройства.

6. Способ по п.1, отличающийся тем, что одно или более устройств включают в себя одну или более автоматических светонепроницаемых штор, выбор конкретного фотореалистичного визуального изображения соответствует фотореалистичному визуальному изображению конкретной автоматической светонепроницаемой шторы, при этом команды управления после их реализации поднимают или опускают конкретную автоматическую светонепроницаемую штору.

7. Способ по п.1, отличающийся тем, что одна или более виртуальных комнат соответствуют части физической комнаты сооружения, одна или более границ части сооружения являются границами физической комнаты, а один или более предметов мебели, находящихся внутри части сооружения, являются предметами мебели, находящимися в этой физической комнате.

8. Способ по п.1, отличающийся тем, что пользовательский интерфейс на основе виртуальной комнаты включает одну или более дополнительных виртуальных комнат, при этом, по меньшей мере, одна дополнительная виртуальная комната включает по существу фотореалистичное изображение открытого пространства и по существу фотореалистичные визуальные изображения одного или более устройств, находящихся в этом открытом пространстве.

9. Способ по п.1, отличающийся тем, что подключают, прямо или опосредованно, пульт управления к программируемому мультимедийному контроллеру, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране дисплея пульта управления и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью пульта управления.

10. Способ по п.9, отличающийся тем, что экран дисплея пульта управления представляет собой сенсорный дисплей, а при приеме выбранного элемента конкретного фотореалистичного визуального изображения принимают касание сенсорного дисплея, относящееся к конкретному фотореалистичному визуальному изображению.

11. Способ по п.1, отличающийся тем, что предусматривают мобильное устройство, которое выполнено с возможностью взаимодействия с программируемым мультимедийным контроллером, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране дисплея мобильного устройства и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью мобильного устройства.

12. Способ по п.11, отличающийся тем, что мобильное устройство представляет собой мультимедийный смартфон, многофункциональное планшетное вычислительное устройство или переносной медиа-плейер.

13. Способ по п.1, отличающийся тем, что подключают, прямо или опосредованно, телевизор к программируемому мультимедийному контроллеру; подключают, прямо или опосредованно, дистанционный пульт управления к программируемому мультимедийному контроллеру, при этом отображают пользовательский интерфейс на основе виртуальной комнаты на экране телевизора и принимают выбранный элемент конкретного фотореалистичного визуального изображения конкретного устройства с помощью дистанционного пульта управления.

14. Способ по п.1, отличающийся тем, что осуществляют первый набор фотоснимков части сооружения, и получают фотореалистичное изображение этой части сооружения в каждом из второго набора состояний, причем второй набор больше первого.

15. Устройство для управления одним или более устройствами внутри физической комнаты сооружения, включающее:

экран дисплея;

программируемый мультимедийный контроллер, подключенный к одному или более устройствам, находящимся внутри сооружения, и выполненный с возможностью подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств, а также с возможностью вывода отображения пользовательского интерфейса на основе виртуальной комнаты на экран дисплея, при этом пользовательский интерфейс на основе виртуальной комнаты включает одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные визуальные изображения одной или более границ этой части сооружения, одного или более предметов мебели, находящихся внутри этой части сооружения, и одного или более устройств, расположенных внутри этой части сооружения, при этом внешний вид одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, зависит от состояния одного или более устройств;

интерфейс для приема выбранного элемента конкретного по существу фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;

причем программируемый мультимедийный контроллер выполнен с возможностью, в ответ на выбор конкретного фотореалистичного визуального изображения устройства, подавать команды управления, которые, после их реализации, изменяют состояние этого конкретного устройства.

16. Устройство по п.15, отличающееся тем, что программируемый мультимедийный контроллер выполнен с возможностью обновлять внешний вид конкретной виртуальной комнаты на экране дисплея таким образом, чтобы по существу фотореалистичное визуальное изображение устройства, а также по существу фотореалистичные визуальные изображения одной или более границ части сооружения и одного или более предметов мебели, находящихся внутри этой части сооружения, отражали изменившееся состояние этого конкретного устройства.

17. Устройство по п.16, отличающееся тем, что одно или более устройств включают в себя одно или более осветительных устройств, выбор конкретного фотореалистичного визуального изображения устройства соответствует фотореалистичному визуальному изображению конкретного осветительного устройства, при этом команды управления после их реализации изменяют состояние конкретного осветительного устройства путем изменения освещенности конкретного осветительного устройства.

18. Устройство по п.17, отличающееся тем, что программируемый мультимедийный контроллер выполнен с возможностью обновлять внешний вид конкретной виртуальной комнаты, чтобы показать фотореалистичное изображение физической комнаты с конкретным включенным осветительным устройством.

19. Устройство по п.16, отличающееся тем, что экран дисплея и интерфейс представляют собой часть пульта управления с сенсорным экраном, подключенного, прямо или опосредованно, к программируемому мультимедийному контроллеру.

20. Устройство для управления одним или более устройствами внутри физической комнаты сооружения, включающее:

средства для подачи команд управления, которые, после их реализации, изменяют состояние одного или более устройств;

средства для отображения пользовательского интерфейса на основе виртуальной комнаты, включающего одну или более виртуальных комнат, каждая из которых содержит по существу фотореалистичное изображение части сооружения, причем фотореалистичное изображение части сооружения содержит по существу фотореалистичные изображения одного или более устройств, расположенных внутри этой части сооружения;

средства для приема выбранного элемента конкретного фотореалистичного визуального изображения конкретного устройства внутри конкретной виртуальной комнаты;

средства для подачи, в ответ на выбор конкретного фотореалистичного визуального изображения устройства, команд управления, которые, после их реализации, изменяют состояние этого конкретного устройства; и

средства для обновления внешнего вида конкретной виртуальной комнаты таким образом, чтобы фотореалистичное визуальное изображение конкретного устройства отражало изменившееся состояние этого конкретного устройства.

Описание изобретения к патенту

Связанные заявки

В настоящей заявке испрашивается приоритет по предварительной заявке на патент США, серийный № 61/183,825, поданной Robert P. Madonna 3 июня 2009 г. и озаглавленной «Способ и устройство для управления осветительным устройством в виртуальной комнате», содержание которой полностью включено в настоящий документ посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение в целом относится к осветительному устройству и устройству для управления, а, конкретнее, к способам и устройству для управления осветительным устройством в виртуальной комнате.

Уровень техники

По мере увеличения размеров домов и других сооружений и появления в них все большего количества электрических и электронных устройств нагрузка на системы управления этими электрическими и электронными устройствами также возрастает. Одной из конкретных областей, в которых возникает эта проблема, является управление освещением.

Как правило, управление осветительными устройствами в жилом доме или другом сооружении преимущественно осуществляется с помощью настенных механических переключателей света, таких как механические тумблерные переключатели, клавишные переключатели, нажимные кнопочные переключатели и т.п. Такие механические переключатели принимают форму 2-позиционных переключателей, когда управление осветительным устройством осуществляется из одного места расположения переключателя, 3-позиционных переключателей, когда управление осветительным устройством осуществляется из двух мест расположения переключателей, 4-позиционных переключателей, когда управление осветительным устройством осуществляется из трех мест расположения переключателей и т.д. В некоторых случаях механические переключатели комбинируются с механическими регуляторами силы света, которые позволяют делать свет, излучаемый осветительным устройством, более тусклым или ярким, например, поворачивая рукоятку, регулирующую переменный резистор, включенный последовательно с осветительным устройством.

Хотя механические переключатели и регуляторы силы света зарекомендовали себя надежными и экономически эффективными устройствами, они все в большей степени демонстрируют свои ограничения в случае установки в больших домах и других сооружениях. В одной только комнате большого дома или другого сооружения может находиться большое количество отдельных осветительных устройств. Например, в большой комнате могут находиться несколько отдельно стоящих осветительных устройств, таких как лампы, которые создают рабочее освещение; несколько стационарных осветительных устройств, таких как утопленные корпусные светильники и(или) настенные бра, которые обеспечивают общее освещение; а также несколько осветительных устройств специального назначения, таких как местные точечные светильники, которые обеспечивают освещение предметов искусства, архитектурных деталей или других элементов комнаты. Для управления всеми осветительными устройствами в большой комнате с помощью традиционных механических переключателей и регуляторов света обычно применяются «групповые» панели переключателей. ФИГ.1 представляет собой изображение традиционной 6-позиционной механической панели переключателей 100, содержащей шесть механических переключателей 110, 120, 130, 140, 150, 160, каждый из которых может управлять одним или несколькими осветительными устройствами. Для большой комнаты с большим количеством осветительных устройств может потребоваться несколько таких панелей, расположенных в комнате в нескольких местах, например возле разных входов, чтобы обеспечить достаточные средства для управления всеми осветительными устройствами в комнате.

Очевидно, что, хотя применение схемы управления данного типа в большой комнате технически целесообразно, она, как правило, неудобна для пользователя. Пользователю приходится запоминать, какой из многих механических переключателей управляет каждым отдельным осветительным устройством или устройствами. Любой оказавшийся в комнате новый посетитель, который не запомнил эту взаимозависимость, как правило, вынужден действовать методом проб и ошибок, чтобы определить, какой механический переключатель управляет каждым осветительным устройством или устройствами, щелкая всеми переключателями, пока не удастся добиться желаемого результата. Это может быстро привести в состояние растерянности.

В последнее время разработан ряд электронных систем управления освещением различных типов, в которых сделана попытка усовершенствовать традиционную практику управления освещением. Такие электронные системы управления освещением включают один или несколько программируемых электронных контроллеров освещения, которые связаны с помощью цепей управления с реле и(или) регуляторами света, подключенными к каждому отдельному осветительному устройству. Электронные контроллеры освещения могут также быть подключены к ряду настенных, настольных или переносных панелей переключателей с помощью проводных или беспроводных линий связи. Некоторые электронные системы управления освещением поддерживают ряд «сцен» освещения таким образом, чтобы можно было совместно включать, выключать или регулировать яркость некоторого количества источников света с помощью единственного управляющего воздействия, например единственного нажатия на кнопку. Например, конкретная сцена освещения в помещении может включать определенное рабочее освещение и стационарное освещение при полной яркости, подходящее для чтения, при этом другая сцена освещения может включать только определенное местное освещение при очень низком уровне яркости, создавая обстановку, подходящую для просмотра фильмов.

Однако многие традиционные электронные системы управления освещением по-прежнему используют кнопочно-ориентированные пользовательские интерфейсы, напоминающие механические переключатели и регуляторы света, которые они заменили. На ФИГ.2 изображен традиционный настенный пульт управления 200 для традиционной электронной системы управления освещением. В состав пульта 200 входит набор физических нажимных кнопок, на которые нанесена текстовая маркировка. Кнопки 205, 210, 215, 220 выбора сцены освещения позволяют выбирать различные сцены освещения, при этом предусмотрены регуляторы света 230 для регулировки яркости. Кроме того, пульт управления 200 включает кнопки 240 для выбора осветительных устройств в других комнатах дома или сооружения, а также кнопки 250, 255 «Все включены» и «Все выключены» для общего управления.

Хотя традиционные электронные системы управления освещением, использующие традиционные кнопочно-ориентированные пульты управления 200, могут обеспечить некоторое улучшение характеристик по сравнению с традиционными групповыми механическими переключателями и регуляторами света, на практике управление освещением по-прежнему остается довольно недружелюбным к пользователю. Хотя общее количество органов управления может быть сокращено, по-прежнему сохраняется необходимость определять, какая нажимная кнопка управляет каждым из осветительных устройств или групп осветительных устройств в большой комнате. Как правило, на лицевой стороне каждой кнопки в качестве подсказки предусмотрено только короткое неясное название. Далее, если пользователь пожелает отойти от предусмотренных сцен и включать, выключать и(или) регулировать яркость конкретных осветительных устройств, ему придется разбираться с запутанным множеством вариантов отключения и ручного управления. Таким образом, опыт практического управления устройством в целом может, как и раньше, оказаться довольно обескураживающим для пользователя.

В дополнение к традиционным кнопочно-ориентированным пультам управления, в которых используются физические нажимные кнопки, некоторые традиционные электронные системы управления освещением работают совместно с устройствами управления с сенсорным экраном, на котором отображается пользовательский интерфейс на основе меню. Вместо того чтобы манипулировать физическими нажимными кнопками, пользователь одним касанием может выбирать изображения кнопок на сенсорном экране. НА ФИГ.3 изображен традиционный сенсорный пользовательский интерфейс 310 для традиционной электронной системы управления освещением на устройстве управления 300 с сенсорным экраном. Аналогично обсуждавшемуся выше кнопочно-ориентированному пульту управления 200, пользовательский интерфейс 310 отображает набор кнопок 320, 330, 340, 350 для выбора различных сцен освещения. Кроме того, пользовательский интерфейс 310 включает регуляторы света 360 для регулировки яркости, а также средства управления меню 370 для доступа к интерфейсам других комнат в доме или сооружении. Очевидно, что, хотя пользователю больше не приходится нажимать физические кнопки, в целом его действия, предусмотренные традиционным устройством управления 300 с сенсорным экраном, часто мало отличаются от тех, которые предусматриваются традиционным кнопочно-ориентированным пультом управления 200. Просто теперь пользователь использует цифровые кнопки вместо физических. Пользователь по-прежнему должен запоминать, какие кнопки управляют каждым из осветительных устройств или групп осветительных устройств, и, как и раньше, вынужден прибегать к методу проб и ошибок, чтобы точно определить, какое именно действие выполняет каждая кнопка. Таким образом, действия пользователя в целом могут оказаться такими же обескураживающими, как при использовании традиционного кнопочно-ориентированного пульта управления 200.

Кроме того, обсуждавшиеся выше ограничения традиционных систем управления не сводятся только к области управления освещением. В домах и других сооружениях, как правило, имеются другие электрические и электронные устройства разнообразных типов, которые обычно страдают такими же недостатками управления. Например, большая комната в доме или другом сооружении может содержать ряд электроприводных устройств, таких как автоматические светонепроницаемые шторы или потолочные вентиляторы, которыми пользователь может выборочно управлять и регулировать их по своему желанию. Аналогичным образом, большая комната в доме или другом сооружении может содержать ряд аудио- и видеокомпонентов, которыми пользователь хотел бы управлять по своему выбору, а также других устройств, которые он хотел бы эксплуатировать с возможностью управления. Кроме того, в комнате дома или другого сооружения могут находиться различные устройства обогрева, вентиляции и кондиционирования воздуха и(или) устройства управления энергопотреблением, которыми пользователь хотел бы управлять. Как и в случае осветительных устройств, пользователю приходится запоминать, какой механический переключатель, физическая нажимная кнопка или цифровая кнопка связана с каждым устройством и(или) каждой функцией устройства, при этом он может растеряться, когда простое включение или выключение устройства, или иное изменение его состояния потребует значительных усилий.

Следовательно, существует потребность в усовершенствованных способах управления осветительными и другими устройствами, устанавливаемыми в жилых домах или других сооружениях.

Раскрытие изобретения

Недостатки известного уровня техники частично устраняются благодаря программируемому мультимедийному контроллеру, который поддерживает новейший пользовательский интерфейс на основе виртуальной комнаты. В одном из вариантов осуществления пользовательский интерфейс на основе виртуальной комнаты включает набор интерфейсных окружений виртуальной комнаты (в дальнейшем именуемых «виртуальные комнаты»). Каждая виртуальная комната соответствует той или иной физической комнате (или части физической комнаты) в доме или другом сооружении. В некоторых случаях несколько виртуальных комнат могут соответствовать различным частям одной физической комнаты, например, чтобы охватить всю физическую комнату. Каждая виртуальная комната может включать практически фотореалистичное изображение границ физической комнаты (или части физической комнаты), например стен, потолка, пола и т.д., которые очерчивают комнату; может отображать, по меньшей мере, часть мебели, находящейся в физической комнате (или части физической комнаты), например диваны, стулья, кровати, стенные драпировки и т.д., которые находятся в физической комнате; и может отображать устройства, например осветительные устройства, управляемые (прямо или косвенно) программируемым мультимедийным контроллером, которые находятся в физической комнате (или части физической комнаты).

Практически фотореалистичные изображения управляемых устройств предпочтительно показаны в таких местах виртуальной комнаты, которые соответствуют фактическому местоположению устройств в физической комнате. В предпочтительном варианте осуществления практически фотореалистичные изображения комнаты и устройств получены на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Однако ниже в явной форме рассмотрен и описан ряд других методов создания фотореалистичных изображений комнаты и устройств.

С помощью пользовательского интерфейса на основе виртуальной комнаты пользователь может выбирать, управлять или иным образом взаимодействовать с устройствами, например осветительными устройствами в физической комнате, манипулируя практически фотореалистичными визуальными изображениями устройств, находящихся в виртуальной комнате, например, путем выбора визуальных изображений устройств в виртуальной комнате на сенсорном экране. Внешний вид виртуальной комнаты может динамически обновляться в ответ на манипуляции, производимые пользователем в виртуальной комнате. Кроме того, внешний вид виртуальной комнаты может динамически обновляться в ответ на данные, полученные от устройств, находящихся в физической комнате, и(или) в ответ на изменения окружающих условий. Таким образом, виртуальная комната может непрерывно обновляться, демонстрируя практически фотореалистичное изображение, по меньшей мере, части соответствующей физической комнаты так, чтобы то, что видит пользователь в виртуальной комнате, отражало или, по меньшей мере, напоминало зрительные впечатления, воспринимаемые им в данное время в соответствующей физической комнате.

Краткое описание чертежей

Ниже приведено описание, относящееся к прилагаемым чертежам примеров осуществления.

На ФИГ.1 показано изображение традиционной 6-позиционной механической панели переключателей, содержащей шесть отдельных механических переключателей.

На ФИГ.2 показано изображение традиционного настенного пульта управления для традиционной электронной системы управления освещением.

На ФИГ.3 показано изображение традиционного сенсорного пользовательского интерфейса для традиционной электронной системы управления освещением.

На ФИГ.4 показана блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера, связанного с рядом устройств.

На ФИГ.5 показана блок-схема, иллюстрирующая пример архитектуры аппаратных средств программируемого мультимедийного контроллера, представленного на ФИГ.4.

На ФИГ.6 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты.

На ФИГ.7 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, в котором виртуальная комната была обновлена, чтобы продемонстрировать включение конкретных осветительных устройств.

На ФИГ.8А показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, в котором части двух виртуальных комнат изображены смещенными на пол-экрана, например, в ответ на скольжение пальца пользователя по экрану.

На ФИГ.8В показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, в котором части двух виртуальных комнат, соответствующие одной и той же физической комнате, изображены смещенными на пол-экрана, например, в ответ на скольжение пальца пользователя по экрану.

На ФИГ.8С показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат.

На ФИГ.8D показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат, и демонстрируется дополнительное использование движений пальцев.

На ФИГ.8Е показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса на основе виртуальной комнаты, на которой изображен набор виртуальных комнат, распределенных по группам в рамках древовидной структуры виртуальных комнат.

На ФИГ.9 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, на которой выделена вкладка «Освещение».

На ФИГ.10 показана схема, иллюстрирующая пример пользовательского интерфейса на основе виртуальной комнаты, на которой выделена вкладка «Аудио/видео».

На ФИГ.11 показана структурная схема, иллюстрирующая пример последовательности шагов по управлению устройствами в физической комнате с помощью пользовательского интерфейса на основе виртуальной комнаты.

На ФИГ.12 показана функциональная блок-схема, изображающая пример метода визуализации изображения виртуальной комнаты на основе ограниченного количества предварительно записанных изображений физической комнаты в различных состояниях.

Осуществление изобретения

На ФИГ.4 показана блок-схема, иллюстрирующая пример программируемого мультимедийного контроллера 400, связанного с рядом устройств. Термин «программируемый мультимедийный контроллер» следует толковать расширительно в качестве устройства, способного осуществлять управление, коммутацию данных и(или) иное взаимодействие с различными электрическими и электронными устройствами, такими как аудио-, видео- и телефонное оборудование, средства обработки данных и безопасности, устройства с приводным и релейным управлением, системы обогрева, вентиляции и кондиционирования воздуха (ОВКВ) и(или) управления энергопотреблением и(или) другие типы устройств.

Программируемый мультимедийный контроллер 400 может подключаться к различным аудио- и видеоустройствам, в том числе источникам аудиосигнала 410, таким как проигрыватели компакт-дисков (CD-проигрыватели), проигрыватели цифровых видеодисков (DVD-проигрыватели), микрофоны, цифровые видеомагнитофоны (DVR), блоки кабельного телевидения, аудио- и видеоусилители со встроенным тюнером, персональные медиа-плейеры и другие устройства, которые являются источниками аудиосигналов; может подключаться к различным источникам видеосигнала 420, таким как проигрыватели цифровых видеодисков (DVD-проигрыватели), цифровые видеомагнитофоны (DVR), блоки кабельного телевидения, аудио- и видеоусилители со встроенным тюнером, персональные медиа-плейеры и другие устройства, которые являются источниками видеосигналов; может подключаться к различным устройствам со звуковым выходом 430, таким как громкоговорители, устройства, в состав которых входят громкоговорители, и другие устройства, формирующие выходные аудиосигналы; а также может подключаться к различным устройствам с видеовыходом 440, таким как телевизоры, мониторы и другие устройства, формирующие выходные видеосигналы.

Кроме того, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с различными устройствами других типов, напрямую или через один или несколько промежуточных контроллеров. Например, программируемый мультимедийный контроллер 400 может подключаться к системе управления охранным видеонаблюдением (ОВН) 470, которая управляет системой камер, расположенных в доме или другом сооружении, системе управления ОВКВ и(или) энергопотреблением 475, которая управляет устройствами ОВКВ в целях регулирования параметров окружающей среды и(или) устройств управления энергопотреблением в доме или другом сооружении, и(или) системе безопасности 480, которая управляет набором отдельных охранных датчиков в доме или другом сооружении. В ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, система управления ОВН 470, система управления ОВКВ и(или) система управления энергопотреблением 475 и система безопасности 480 может управлять устройствами, находящимися соответственно под их непосредственным контролем.

Кроме того, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с одним или несколькими электронными контроллерами освещения 490. Один или несколько электронных контроллеров освещения 490 могут подключаться, например, с помощью проводных или беспроводных линий связи к набору реле 492 и(или) регуляторов света 493, распределенных по дому или другому сооружению и подсоединенных к цепи электропитания отдельных находящихся там осветительных устройств. В ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, один или несколько электронных контроллеров освещения 490 могут выборочно вызывать срабатывание реле 492 и(или) настраивать регуляторы света 493, которые подсоединены к конкретным осветительным устройствам (не показаны), с целью создания нужного уровня освещенности или темноты в различных комнатах дома или другого сооружения.

Аналогичным образом, программируемый мультимедийный контроллер 400 может подключаться, управлять или иным образом взаимодействовать с одним или несколькими контроллерами электроприводных устройств 495, например одним или несколькими контроллерами автоматических светонепроницаемых штор или другими типами контроллеров. Как и в случае управления освещением, в ответ на команды управления, получаемые от программируемого мультимедийного контроллера 400, контроллеры электроприводных устройств 495 могут выборочно вызывать срабатывание электроприводных устройств (не показаны) в различных комнатах дома или сооружения для достижения желаемых эффектов.

Программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью одного или нескольких пультов управления 450, например настенных пультов управления, настольных пультов управления, ручных переносных пультов управления и тому подобных устройств, которые имеют дисплейный экран. Один или несколько пультов управления 450 могут включать сенсорно-экранный интерфейс, интерфейс на основе мыши и указателя или интерфейс другого типа. Пульты управления 450 могут представлять собой специализированные модули, предназначенные для работы с программируемыми мультимедийными контроллерами 400, или устройства общего назначения, например переносные персональные компьютеры, настольные компьютеры и т.д., оснащенные программным обеспечением, позволяющим реализовать пользовательский интерфейс в соответствии с описанными ниже методами. В некоторых случаях пульты управления 450 могут подключаться к программируемому мультимедийному контроллеру 400 через промежуточное устройство 453, например компьютер, с помощью проводных или беспроводных соединений или сетей. В других случаях пульты управления 450 могут непосредственно взаимодействовать с программируемым мультимедийным контроллером 400.

Программируемый мультимедийный контроллер 400 может также получать вводимые пользователем данные с помощью одного или нескольких ручных дистанционных кнопочно-ориентированных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, или с помощью одного или нескольких ручных дистанционных пультов управления, включающих круговой сенсорный датчик 457. Дистанционные пульты управления, включающие круговой сенсорный датчик 457, могут быть приспособлены для манипулирования и выделения элементов управления с помощью системы экранных меню, отображаемых на индикаторном устройстве. Дополнительные подробности, касающиеся дистанционных пультов управления, включающих круговой сенсорный датчик, приведены в заявке на патент США, серийный № 11/520,328, поданной Madonna и др. 13 сентября 2006 г. и озаглавленной «Дистанционный пульт управления для программируемого мультимедийного контроллера», содержание которой полностью включено в настоящий документ посредством ссылки.

Программируемый мультимедийный контроллер 400 может также получать вводимые пользователем данные с помощью одного или нескольких мобильных устройств 460. В данном контексте термин «мобильное устройство» относится к электронным устройствам, пригодным для индивидуальной переноски, включая мультимедийные смартфоны, такие как мультимедийный телефон iPhone®, выпускаемый компанией Apple Inc., и устройство Blackberry®, выпускаемый компанией Research In Motion Limited, многофункциональные планшетные вычислительные устройства, такие как планшет iPad® компании Apple Inc., переносные медиа-плейеры с расширенными возможностями, такие как iPod® touch компании Apple Inc., карманные персональные компьютеры (КПК), электронные книги и т.п. Такие мобильные устройства могут взаимодействовать с программируемым мультимедийным контроллером 400 непосредственно или косвенно, через различные беспроводные, сотовые и(или) проводные сети (не показаны).

Кроме того, программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью сенсорного экрана или другого интерфейса, входящего в состав мультимедийных средств самого программируемого контроллера 400, например сенсорного экрана или другого интерфейса, представленных на передней панели 465 программируемого мультимедийного контроллера 400.

В дополнение к этому, программируемый мультимедийный контроллер 400 может получать вводимые пользователем данные с помощью сенсорного экрана, входящего в состав устройства с видеовыходом 440, такого как телевизор.

В ответ на ввод данных пользователем с одного из пультов управления 450, кнопочно-ориентированных дистанционных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, дистанционных пультов управления, включающих круговой сенсорный датчик 457, мобильных устройств 460, передней панели 465 и(или) устройств с видеовыходом 440, программируемый мультимедийный контроллер 400 может коммутировать данные, подавать команды управления и(или) иным образом взаимодействовать с источниками звукового сигнала 410, источниками видеосигнала 420, устройствами со звуковым выходом 430 и(или) устройствами с видеовыходом 440. Кроме того, в ответ на вводимые пользователем данные программируемый мультимедийный контроллер 400 может подавать команды управления или иным образом взаимодействовать с системой управления ОВН 470, системой управления ОВКВ и(или) энергопотреблением 475, системой безопасности 480, электронными контроллерами освещения 490, а также контроллерами электроприводных устройств 495. Вводимые пользователем данные, которые, по меньшей мере, частично, определяют выполняемые функции, могут быть получены при помощи нового пользовательского интерфейса на основе виртуальной комнаты, как подробнее объясняется ниже.

В предпочтительном варианте осуществления изобретения новый пользовательский интерфейс на основе виртуальной комнаты отображается на экране пульта управления 450, мобильного устройства 460, дисплея передней панели 465 или другого устройства, имеющего сенсорный экран, при этом пользователь выбирает на нем элементы, касаясь выделенных частей интерфейса пальцем, сенсорным карандашом или аналогичным приспособлением. В других вариантах осуществления пользовательский интерфейс на основе виртуальной комнаты отображается на экране дисплея, не имеющего возможности распознавания касаний, при этом пользователь может взаимодействовать с интерфейсом при помощи какого-либо другого типа интерфейса, например мыши. В одной из конфигураций пользователь может выбирать элементы при помощи кнопочно-ориентированных дистанционных пультов управления и(или) настенных кнопочно-ориентированных пультов управления 455, дистанционных пультов управления, включающих круговой сенсорный датчик 457, или другого устройства. В ответ на выбор пользователем элементов пользовательского интерфейса на основе виртуальной комнаты программируемый мультимедийный контроллер 400 может отдавать конкретные команды управления подключенным к нему устройствам.

На ФИГ.5 показана структурная схема, иллюстрирующая пример архитектуры аппаратных средств 500 программируемого мультимедийного контроллера 400. Различные показанные на схеме компоненты могут быть расположены на «материнской плате» контроллера 400 или на нескольких печатных платах, взаимосвязанных при помощи объединительной панели (не показана). Микроконтроллер 510 управляет работой контроллера 400 в целом. Микроконтроллер 510 подключен к аудиокоммутатору 515 и видеокоммутатору 520 при помощи шины 518. Аудиокоммутатор 515 и видеокоммутатор 520 предпочтительно представляют собой матричные коммутаторы, способные коммутировать ряд соединений одновременно. Однако могут также применяться многие другие типы коммутаторов, способных коммутировать цифровые сигналы, например, коммутаторы с временным разделением каналов (TDM, Time Division Multiplexing) или другие устройства. Кроме того, хотя на рисунке показаны два отдельных коммутатора 515, 520, функции коммутации аудио- и видеосигналов могут быть объединены в одном коммутаторе, который поддерживает коммутацию обоих типов данных.

Срединная объединительная панель 535 связывает аудио- и видеокоммутаторы 515, 520 с различными входными и выходными модулями, например одним или несколькими модулями входных/выходных видеосигналов 587, одним или несколькими модулями входных/выходных аудиосигналов 590 и(или) одним или несколькими другим модулями 595. Такие модули могут включать множество соединительных портов, позволяющих подключаться к аудио- и видеоустройствам. Дополнительные подробности, касающиеся работы одного или нескольких модулей входных/выходных видеосигналов 587, одного или нескольких модулей входных/выходных аудиосигналов 590 и(или) одного или нескольких других модулей 595, приведены в заявке на патент США, серийный № 11/314,664, поданной Madonna и др. 20 декабря 2005 г. и озаглавленной «Система и способ для программируемого мультимедийного контроллера», содержание которой полностью включено в настоящий документ посредством ссылки.

Срединная объединительная панель 535, кроме того, подключена к коммутатору Ethernet 530, который связывает порты Ethernet 532 и подсистему обработки 540 с микроконтроллером 210. В одном из вариантов осуществления подсистема обработки 540 включает один или несколько «универсальных вычислительных машин» 545. В данном контексте термин «универсальная вычислительная машина» 545 относится к устройству, которое выполнено с возможностью исполнять набор команд и, в зависимости от конкретных исполняемых команд, может реализовывать ряд различных функций или задач. Как правило, хотя и не всегда, универсальная вычислительная машина 545 исполняет операционную систему общего назначения, такую как операционную систему Windows®, предлагаемую компанией Microsoft Corporation, операционную систему Linux®, предлагаемую рядом других поставщиков, операционную систему OSX®, предлагаемую компанией Apple Inc., или другую операционную систему. Универсальная вычислительная машина 545 может включать машиночитаемый носитель, например жесткий диск, компакт-диск для однократной записи данных (CDROM), флэш-память или устройство хранения данных другого типа, и(или) может быть связана с устройством хранения данных, предусмотренным в другом месте подсистемы обработки 540.

Подсистема обработки 540 предпочтительно имеет один или несколько устройств графического вывода данных 541, 542, таких как аналоговые разъемы VGA (Video Graphics Array, видеографическая матрица), разъемы DVI (Digital Visual Interface, цифровой видеоинтерфейс), разъемы ADC (Apple Display Connector, разъем дисплея Apple), или разъемы другого типа для передачи графических данных. Данные на такие устройства графического вывода данных 541, 542 могут поступать, например, непосредственно от одной или нескольких универсальных вычислительных машин 545 подсистемы обработки 540.

Пример программируемого мультимедийного контроллера 400 может также включать интерфейс карты памяти и ряд портов USB (Universal Serial Bus, универсальная последовательная шина) 542, соединенных с концентратором USB 543. Такие порты USB 542 могут подключаться к внешним устройствам. Коммутатор USB 544 используется для коммутации сигналов USB, полученных концентратором, на подсистему обработки 540. Аналогичным образом, ряд портов IEEE 1394 (FireWire ) 546 может подключаться к внешним устройствам и пропускать данные к концентратору IEEE 1394 547 и коммутатору IEEE 1394 548 для коммутации на подсистему обработки 540.

Микроконтроллер 510 также соединен со схемой распределения 550 последовательного периферийного интерфейса (SPI, Serial Peripheral Interface) и шины для соединения ИС (Inter-lntegrated Circuit, I²C), которая обеспечивает последовательный асинхронный интерфейс связи для устройств с относительно низкой скоростью передачи данных. Контроллер SPI/I²C 550 соединен со срединной объединительной панелью 535 и вследствие этого обеспечивает подачу команд управления от микроконтроллера 510 на модули 587, 590, 595 программируемого мультимедийного контроллера 300. Кроме того, обеспечиваются соединения контроллера SPI/I² C 550 с такими компонентами, как контроллер вентилятора 551, датчик температуры 552 и схема диспетчера питания 553, которые совместно управляют тепловыми характеристиками программируемого мультимедийного контроллера 400.

Микроконтроллер 510 соединен также с интерфейсом управления устройствами 575, которое может взаимодействовать с системой управления ОВН 470, системой управления ОВКВ и(или) энергопотреблением 475, системой безопасности 480, одним или несколькими электронными контроллерами освещения 490, а также одним или несколькими контроллерами электроприводных устройств 495. Кроме того, может быть предусмотрен телефонный интерфейс 570 для подключения к телефонной сети и(или) телефонным трубкам. В дополнение к этому, может предусматриваться порт расширения 580 для соединения нескольких программируемых мультимедийных контроллеров 100 с целью образования расширенной системы, при этом дисплей передней панели 465, например сенсорный дисплей, предусматривается для отображения статуса, конфигурации и(или) другой информации для пользователя, а также приема вводимых пользователем данных.

Такой программируемый мультимедийный контроллер 400 или другая платформа могут поддерживать новый пользовательский интерфейс на основе виртуальной комнаты. В одном из вариантов осуществления пользовательский интерфейс на основе виртуальной комнаты включает набор интерфейсных окружений виртуальной комнаты (в дальнейшем именуемых «виртуальные комнаты»). Каждая виртуальная комната соответствует другой физической комнате (или части физической комнаты) в доме или другом сооружении. В некоторых случаях несколько виртуальных комнат могут соответствовать различным частям одной физической комнаты, например, чтобы охватить всю физическую комнату. Каждая виртуальная комната может включать практически фотореалистичное изображение границ физической комнаты (или части физической комнаты), например стен, потолка, пола и т.д., которые очерчивают комнату; может отображать, по меньшей мере, часть мебели, находящейся в физической комнате (или части физической комнаты), например диваны, стулья, кровати, стенные драпировки и т.д., которые находятся в физической комнате; и может отображать устройства, например осветительные устройства, управляемые (прямо или косвенно) программируемым мультимедийным контроллером, которые находятся в физической комнате (или части физической комнаты).

Практически фотореалистичные изображения управляемых устройств предпочтительно показаны в таких местах виртуальной комнаты, которые соответствуют фактическому местоположению устройств в физической комнате. В предпочтительном варианте осуществления практически фотореалистичные изображения комнаты и устройств получены на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Однако ниже в явной форме рассмотрены и описаны различные другие методы создания фотореалистичных изображений комнаты и устройств.

С помощью пользовательского интерфейса на основе виртуальной комнаты пользователь может выбирать, управлять или иным образом взаимодействовать с устройствами, например осветительными устройствами в физической комнате, манипулируя практически фотореалистичными визуальными изображениями устройств в виртуальной комнате, например, путем выбора визуальных изображений устройств в виртуальной комнате на сенсорном экране. Внешний вид виртуальной комнаты может динамически обновляться в ответ на манипуляции, производимые пользователем в виртуальной комнате. Внешний вид виртуальной комнаты может также динамически обновляться в ответ на данные, полученные от устройств, находящихся в физической комнате, и(или) в ответ на изменения окружающих условий, например времени дня. Таким образом, виртуальная комната может непрерывно обновляться, демонстрируя практически фотореалистичное изображение, по меньшей мере, части соответствующей физической комнаты так, чтобы то, что видит пользователь в виртуальной комнате, отражало или, по меньшей мере, напоминало зрительные впечатления, воспринимаемые им в данное время в соответствующей физической комнате.

На ФИГ.6 показана схема, иллюстрирующая пример пользовательского интерфейса 600 на основе виртуальной комнаты. Пример пользовательского интерфейса 600 на основе виртуальной комнаты может включать основную область 610, которая образует виртуальную комнату для управления устройствами в соответствующей физической комнате. Пример пользовательского интерфейса 600 на основе виртуальной комнаты может также включать область меню 620, выполненную с возможностью отображения выбираемых вкладок меню, соответствующих различным типам выполняемых функций, и функционально-ориентированную область 630, выполненную с возможностью отображения опций, относящихся к выбранной вкладке меню.

В примере пользовательского интерфейса 600 на основе виртуальной комнаты показана виртуальная комната, соответствующая части «большой комнаты». На дисплее показано практически фотореалистичное изображение части «большой комнаты», включая границы физической комнаты, предметы мебели и устройства, управляемые программируемым мультимедийным контроллером 400, которые находятся в пределах этой части комнаты. Так, в примере виртуальной комнаты показаны практически фотореалистичные изображения отдельно стоящих осветительных устройств, таких как лампы 640, 642; стационарных осветительных устройств, таких как настенные бра 645, 647, 650 и люстра 662; а также осветительные устройства специального назначения, такие как светильники направленного света 665, 667 и 670. Кроме того, в примере виртуальной комнаты показаны практически фотореалистичные визуальные изображения телевизора с плоским экраном 672 и автоматические светонепроницаемые шторы 675, которые также находятся под управлением программируемого мультимедийного контроллера 400. Пользователь может манипулировать практически фотореалистичными визуальными изображениями устройств в виртуальной комнате, чтобы выбирать, управлять или иным образом взаимодействовать с устройствами, находящимися в физической комнате.

Например, пользователь может выбрать конкретные осветительные устройства, чтобы включить их, выделяя, т.е. прикасаясь или нажимая на практически фотореалистичные визуальные изображениями осветительных устройств в виртуальной комнате. Так, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение лампы 640 и люстры 662. В ответ на это программируемый мультимедийный контроллер 400 может послать на один или несколько электронных контроллеров освещения 490 команды управления, под действием которых такие контроллеры включают реле, подсоединенные к цепи электропитания лампы 640 и люстры 662. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение физической комнаты с конкретными включенными осветительными устройствами.

На ФИГ.7 показана схема, иллюстрирующая пример пользовательского интерфейса 700 на основе виртуальной комнаты, в котором виртуальная комната была обновлена, чтобы продемонстрировать включение конкретных осветительных устройств. Как видно на ФИГ.7, практически фотореалистичные визуальные изображения лампы 640 и люстры 662 изменились и показывают включенные осветительные устройства. Кроме того, эффекты такого освещения воспроизведены в виртуальной комнате таким образом, чтобы помещение и предметы мебели отображали световые эффекты, создаваемые лампой 640 и люстрой 662. Например, на отражающих поверхностях показаны реалистические отсветы, соответствующие тени показывают направление света и т.д. Как подробнее обсуждается ниже, обновленный внешний вид виртуальной комнаты, включая реалистичные эффекты освещения, может визуализироваться на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты, сделанных из заранее заданного положения и показывающих комнату в различных состояниях. Альтернативно, для создания практически фотореалистичных изображений комнаты и находящихся в ней устройств в различных состояниях может использоваться ряд других методов.

Кроме того, пользователь может выбрать устройство, отличное от осветительного устройства, находящегося в физической комнате, чтобы включить и(или) управлять им, выбирая, т.е. прикасаясь или нажимая на практически фотореалистичное визуальное изображение устройства в виртуальной комнате. Например, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение телевизора с плоским экраном 572 в виртуальной комнате. В ответ на это программируемый мультимедийный контроллер 400 может послать команды управления для включения телевизора с плоским экраном. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение физической комнаты с включенным телевизором. Например, на практически фотореалистичном изображении телевизора с плоским экраном 572 в виртуальной комнате может быть представлено миниатюрное воспроизведение программы, идущей по ТВ в данный момент. Точно так же можно управлять разнообразными типами других аудио- и видеоустройств, связанных с физической комнатой.

Аналогичным образом, пользователь может выбрать, т.е. прикоснуться или нажать на практически фотореалистичное визуальное изображение конкретного комплекта светонепроницаемых штор 675 в виртуальной комнате. В ответ на это программируемый мультимедийный контроллер 400 может послать команды управления на один или несколько контроллеров электроприводных устройств 495, чтобы поднять или опустить выбранные шторы в зависимости от ситуации. Кроме того, программируемый мультимедийный контроллер 400 может обновить виртуальную комнату так, чтобы показать практически фотореалистичное изображение поднятых или опущенных штор 675. Таким образом, то, что видит пользователь в виртуальной комнате, может отражать или, по меньшей мере, напоминать зрительные впечатления, воспринимаемые им в соответствующей физической комнате.

В дополнение к поддержке выбора двоичных (т.е. выкл/вкл) элементов в виртуальной комнате, пользовательский интерфейс на основе виртуальной комнаты может поддерживать более развитые типы управляющих входных данных. Такое более совершенное управление может поддерживаться с помощью области меню 620 пользовательского интерфейса виртуальной комнаты и функционально-ориентированной области 630 пользовательского интерфейса на основе виртуальной комнаты. Альтернативно, оно может поддерживаться при помощи распознавания движений пальцев в основной области 610 пользовательского интерфейса на основе виртуальной комнаты.

Область меню 620 интерфейса может включать набор функциональных вкладок, например вкладку «Безопасность» 677, на которой можно получить доступ к некоторым дополнительным функциям, связанным с системой ОВН и(или) системой безопасности, вкладку «Аудио/видео» 680, на которой можно получить доступ к некоторым дополнительным функциям, связанным с аудио- и видеоданными, вкладку «ОВКВ/Шторы» 682, на которой можно получить доступ к некоторым дополнительным функциям, связанным с системами ОВКВ и(или) системами автоматических светонепроницаемых штор, вкладку «Освещение» 685, на которой можно получить доступ к некоторым дополнительным функциям, связанным с управлением осветительными устройствами, вкладку «Услуги» 687, на которой можно получить доступ к некоторым функциям, связанным с программируемыми услугами, и вкладку «Зоны» 690, на которой можно выбирать различные виртуальные комнаты для отображения в основной области 610 экрана.

После выбора конкретной вкладки функционально-ориентированная область 630 пользовательского интерфейса может отображать выбранные значки, кнопки, текст и другие элементы, связанные с такими функциями. Так, в примере пользовательского интерфейса 600 виртуальной комнаты на ФИГ.6 изображена выбранная вкладка «Зоны» 690, при этом функционально-ориентированная область 630 отображает набор выбранных значков 691, 692, 693, 694, 695, 696, соответствующих различным доступным виртуальным комнатам, причем каждая виртуальная комната соответствует другой физической комнате (или части физической комнаты) в доме или сооружении. В ответ на выбор элемента, т.е. прикосновение к конкретному значку 691, 692, 693, 694, 695, 696 другой комнаты, основная часть 610 пользовательского интерфейса на основе виртуальной комнаты может быть обновлена с целью отображения соответствующей другой виртуальной комнаты.

Альтернативно, различные виртуальные комнаты можно выбирать при помощи движений пальцев, например движений пальцев по сенсорной поверхности. Например, виртуальные комнаты могут быть расположены в логическом порядке в виде линейного или кругового массива. Пользователь может «скользить» пальцем, сенсорным карандашом или аналогичным приспособлением по сенсорному экрану, например, в основной области 610 пользовательского интерфейса на основе виртуальной комнаты, чтобы перемещаться из одной виртуальной комнаты в другую. В данном контексте термин «скольжение» относится к быстрому, непрерывному, практически линейному движению по пользовательскому интерфейсу. В ответ на него виртуальная комната, отображаемая в основной области 610 пользовательского интерфейса на основе виртуальной комнаты, может переместиться. На ФИГ.8А показана схема, иллюстрирующая пример пользовательского интерфейса 800 на основе виртуальной комнаты, в котором части двух виртуальных комнат 810, 810, соответствующие разным физическим комнатам, изображены смещенными на пол-экрана, например, в ответ на совершаемое пользователем скольжение по экрану. Поскольку виртуальные комнаты могут также соответствовать какой-либо части физической комнаты, скольжение альтернативно может использоваться для передвижения между виртуальными комнатами, которые соответствуют части одной и той же физической комнаты. На ФИГ.8В показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 830 на основе виртуальной комнаты, в котором части двух виртуальных комнат 835, 840, соответствующие одной и той же физической комнате, изображены смещенными на пол-экрана, например, в ответ на скольжение по экрану.

В других вариантах осуществления виртуальные комнаты могут быть логически расположены в более сложном порядке. Например, в некоторых конфигурациях виртуальные комнаты и(или) группы виртуальных комнат могут быть расположены в виде древовидной структуры. В зависимости от текущего уровня древовидной структуры пользователь, взаимодействуя с интерфейсом при помощи движений пальцев, может выполнять различные функции. Такое расположение может использоваться вместе с набором движений различного типа, включая «мультисенсорные» движения, то есть движения, которые включают выбор двух или нескольких точек пользовательского интерфейса. Альтернативно, такое расположение может использоваться с другими типами средств управления, например со схемой управления с помощью указателя и мыши.

На ФИГ.8С показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса виртуальной комнаты 845, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат. Просматривая виртуальную комнату на этом уровне, пользователь может совершить мультисенсорное «сжимающее движение» 850. В данном контексте термин «сжимающее движение» относится к выбору двух точек в пользовательском интерфейсе и перетаскиванию таких точек в направлении друг к другу практически непрерывным движением. В ответ интерфейс может увеличить масштаб изображения части виртуальной комнаты вокруг того места, где было сделано движение пальцами. Аналогичным образом, пользователь может совершить мультисенсорное «расширяющее движение» 855. В данном контексте термин «расширяющее движение» относится к выбору двух точек в пользовательском интерфейсе и перетаскиванию таких точек в направлении друг от друга практически непрерывным движением. В ответ интерфейс может уменьшить масштаб изображения, чтобы показать большую часть виртуальной комнаты.

На ФИГ.8D показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 860 на основе виртуальной комнаты, на которой изображена виртуальная комната, соответствующая низшему уровню древовидной структуры виртуальных комнат, и демонстрируется дополнительное использование движений пальцев. В таком альтернативном варианте осуществления пользователь может совершить «перетаскивающее движение» 865 в одном из нескольких направлений, например вверх, вниз, влево или вправо. В данном контексте термин «перетаскивающее движение» относится к непрерывному, практически линейному движению по пользовательскому интерфейсу. В ответ на перетаскивающее движение интерфейс может выполнить панорамирование в пределах виртуальной комнаты в соответствующем направлении, если имеются части виртуальной комнаты, которые в данный момент не показаны в видимой области интерфейса.

В таком альтернативном варианте осуществления, если пользователь уменьшает масштаб в достаточной степени, он может перейти к отображению более высокого уровня древовидной структуры. На ФИГ.8Е показана схема, иллюстрирующая альтернативный пример пользовательского интерфейса 870 на основе виртуальной комнаты, на которой изображен набор виртуальных комнат, распределенных по группам в рамках древовидной структуры виртуальных комнат. В одной из конфигураций первая группа 890 может соответствовать «1 этажу» сооружения и включать одну или несколько виртуальных комнат, связанных с этим этажом, вторая группа 885 может соответствовать «2 этажу» сооружения и включать одну или несколько виртуальных комнат, связанных с этим этажом, а третья группа 880 может соответствовать «2 этажу» сооружения и включать виртуальные комнаты, связанные с этим этажом, тогда как дополнительная группа 895 может соответствовать наружной части сооружения и включать виртуальные комнаты, связанные с ней. Следует понимать, что такой вариант группирования дан только в качестве примера и что нетрудно реализовать широкий спектр других конфигураций. Чтобы снова вернуться на нижний уровень древовидной структуры виртуальных комнат, пользователь может выбрать одну из виртуальных комнат, показанных на интерфейсе 870.

Возвращаясь к ФИГ.6, отметим, что, аналогично выбору вкладки «Зоны» 690, выбор вкладки «Освещение» 685 может обеспечить доступ к выбранным значкам, кнопкам, тексту и другим элементам в функционально-ориентированной области 630 пользовательского интерфейса, связанным с управлением освещением. На ФИГ.9 показана схема, иллюстрирующая пример пользовательского интерфейса 900 на основе виртуальной комнаты, на которой выбрана вкладка «Освещение». Как показано на ФИГ.9, функционально-ориентированная область 630 пользовательского интерфейса в примере пользовательского интерфейса 900 может включать набор кнопок 910, 920, 930, 940, соответствующих различным «сценам» освещения, выбор которых позволяет включать, выключать и(или) уменьшать/увеличивать яркость множества осветительных устройств в комнате.

Кроме того, функционально-ориентированная область 630 пользовательского интерфейса в примере пользовательского интерфейса 900 на основе виртуальной комнаты может включать один или несколько скользящих маркеров регулировки яркости 950. Перемещение маркеров инициирует подачу программируемым мультимедийным контроллером 400 команд управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры производят корректировку регуляторов света 493, подсоединенных к цепи электропитания отдельных осветительных устройств или групп осветительных устройств.

Альтернативно, при помощи движений пальцев, например движений пальцев по сенсорной поверхности, можно инициировать подачу программируемым мультимедийным контроллером 400 команд управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры производят корректировку регуляторов света 493, подсоединенных к цепи электропитания отдельных осветительных устройств или групп осветительных устройств. Пользователь может совершить движение пальцами, например движение по сенсорной поверхности поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства или группы осветительных устройств. Такое движение может быть преобразовано в команду управления увеличением или уменьшением яркости. Например, пользователь может совершить мультисенсорное «расширяющее» движение поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства и, перетаскивая такие точки в противоположных направлениях, указать, что яркость соответствующего осветительного устройства следует увеличить. Аналогичным образом, пользователь может совершить мультисенсорное «сжимающее» движение поверху или рядом с практически фотореалистичным изображением конкретного осветительного устройства, указывая, что яркость соответствующего осветительного устройства следует уменьшить. В дополнение к «расширяющим» и «сжимающим» движениям, поддержка ряда других движений в явной форме рассматривается с целью использования для управления яркостью осветительных устройств или параметров настройки других устройств.

Кроме того, вкладка «Аудио/видео» 680 может обеспечить доступ к выбранным значкам, кнопкам, тексту и другим элементам в функционально-ориентированной области 630 пользовательского интерфейса для управления аудио- и видеоустройствами. Так, пользователь может выбрать аудио/видеоустройство, находящееся под управлением программируемого мультимедийного контроллера 400, например телевизор, выбирая, т.е. прикасаясь к практически фотореалистичному изображению устройства в виртуальной комнате, отображаемой в основной части 610 пользовательского интерфейса на основе виртуальной комнаты. После этого в распоряжение пользователя предоставляются ориентированные на конкретное устройство значки, кнопки, текст и другие управляющие элементы, манипулирование которыми позволяет управлять выбранным устройством.

На ФИГ.10 показана схема, иллюстрирующая пример пользовательского интерфейса 1000 на основе виртуальной комнаты, на которой выделена вкладка «Аудио/видео» 685. Как показано на ФИГ.10, функционально-ориентированная область 630 в примере пользовательского интерфейса 1000 на основе виртуальной комнаты может включать набор кнопок, относящихся к аудио- и видеоустройствам, например кнопки громкости 1010, 1020, кнопку отключения звука 1030, кнопки контроля воспроизведения 1040, кнопку питания 1050 и(или) кнопки выбора каналов 1060, 1070.

На ФИГ.11 показана структурная схема, иллюстрирующая пример последовательности шагов 1100 по управлению устройствами в физической комнате с помощью пользовательского интерфейса на основе виртуальной комнаты. На шаге 1110 программируемый мультимедийный контроллер 400 визуализирует изображение виртуальной комнаты, включая практически фотореалистичные изображения физической комнаты (или части физической комнаты) и практически фотореалистичные изображения устройств, например осветительных устройств в физической комнате. На шаге 1120 визуализированная виртуальная комната отображается на экране дисплея пульта управления 450, мобильного устройства 460, дисплея передней панели 465 программируемого мультимедийного контроллера 400, телевизора 440 или, альтернативно, на другом устройстве. На шаге ИЗО, мультимедийный контроллер 400 воспринимает выбранный пользователем элемент, например выбранный элемент сенсорной поверхности, нажатие кнопки, данные, введенные с помощью кругового сенсорного датчика, и т.д. Выбранный элемент указывает на конкретное практически фотореалистичное визуальное изображение устройства, например конкретного осветительного устройства внутри виртуальной комнаты.

На шаге 1140 программируемый мультимедийный контроллер 400 посылает команды управления на устройство в физической комнате или на промежуточный контроллер, подключенный к этому устройству, с целью изменения его состояния. Например, программируемый мультимедийный контроллер 400 может посылать команды управления на один или несколько электронных контроллеров освещения 490, под действием которых такие контроллеры включают реле 492, подсоединенные к цепи электропитания выбранного осветительного устройства. На шаге 1150 программируемый мультимедийный контроллер 400 обновляет внешний вид виртуальной комнаты и возвращается к шагу 1010 в начале цикла для визуализации виртуальной комнаты и формирования визуальных изображений устройств в виртуальной комнате, чтобы отобразить обновленное состояние, например показать включенное осветительное устройство.

Изображение виртуальной комнаты, включая практически фотореалистичное изображение физической комнаты и практически фотореалистичные изображения устройств внутри физической комнаты, визуализируется на шаге 1110, показанном на ФИГ.11, любым из множества различных способов. В одном из вариантов осуществления установщик в процессе конфигурирования системы может зафиксировать изображения, например, сделать цифровые фотоснимки физической комнаты из заранее заданного положения, при этом каждое изображение комнаты фиксируется, пока она потенциально находится в другом состоянии. Например, первое изображение физической комнаты может быть зафиксировано при отсутствии включенных осветительных устройств, второе изображение - при первом включенном осветительном устройстве, третье изображение - при втором включенном осветительном устройстве, четвертое изображение физической комнаты может быть зафиксировано при включенных первом и втором осветительных устройствах, и так далее, чтобы получить все потенциальные комбинации. Изображения могут согласовываться, чтобы одинаковые признаки изображений совпадали по месту, и сохраняться в библиотеке программируемого мультимедийного контроллера 400 или на другом устройстве. В таком варианте осуществления шаг визуализации 1110 может просто включать доступ к соответствующему сохраняемому изображению физической комнаты, которое показывает комнату с устройствами в соответствующих состояниях.

Однако хотя такой метод может оказаться целесообразным для некоторых применений, по мере увеличения количества устройств в комнате количество предварительно записанных изображений, необходимое, что представлять комнату в каждом потенциальном состоянии, возрастает экспоненциально. Для комнаты, в которой находится n устройств, может потребоваться 2ⁿ предварительно записанных изображений, чтобы представить все возможные комбинации устройств, предполагая, что каждое устройство имеет только двоичные состояния (т.е. вкл/выкл). Введение устройств, имеющих больше двух возможных состояний, например ряд параметров настройки регулятора света, может дополнительно увеличить необходимое количество предварительно записанных изображений. Соответственно, желательно использовать метод, которые позволяет получать дополнительные состояния комнаты на основе меньшего количества предварительно записанных изображений.

В предпочтительном варианте осуществления изображение виртуальной комната, включая практически фотореалистичное изображение физической комнаты и практически фотореалистичные изображения устройств внутри физической комнаты, визуализируется на шаге 1110, показанном на ФИГ.11, на основе ограниченного количества предварительно записанных изображений, например ограниченного количества цифровых фотоснимков физической комнаты. В процессе конфигурирования системы установщик из заранее заданного положения фиксирует изображение комнаты, в которой нет включенных устройств, а также изображений комнаты, в которой каждое из находящихся в ней устройств включено отдельно (т.е. включено, когда все остальные устройства в комнате выключены). Например, первое изображение физической комнаты может быть зафиксировано, когда выключены все осветительные устройства, второе изображение - когда включено только первое осветительное устройство (предпочтительно, при максимальной яркости), третье изображение - когда включено только второе осветительное устройство (предпочтительно, при максимальной яркости), четвертое изображение физической комнаты может быть зафиксировано, когда включено только третье осветительное устройство (предпочтительно, при максимальной яркости), и так далее. Для комнаты, в которой находится n устройств, можно зафиксировать n+1 изображений. Изображения в количестве n+1 могут согласовываться, чтобы одинаковые признаки изображений совпадали по месту, и сохраняться в библиотеке программируемого мультимедийного контроллера 400 или на другом устройстве. Затем, в соответствии с новым методом смешения, все возможные состояния комнаты могут генерироваться во время воспроизведения изображения на основе n+1 предварительно записанных изображений.

На ФИГ.12 показана функциональная блок-схема 1200, изображающая пример метода визуализации виртуальной комнаты на основе ограниченного количества предварительно записанных изображений физической комнаты в различных состояниях. Ограниченное количество изображений может храниться в библиотеке изображений, например в памяти 1202 программируемого мультимедийного контроллера 400 или другого устройства. В состав изображений входят первое изображение 1210 физической комнаты, в которой нет включенных устройств, например осветительных устройств, второе изображение 1230 физической комнаты, в которой включено только первое устройство, например первое осветительное устройство (предпочтительно, при максимальной яркости), третье изображение 1250 физической комнаты, в которой включено только второе устройство, например второе осветительное устройство (предпочтительно, при максимальной яркости), четвертое изображение 1270 физической комнаты, в которой включено только третье устройство, например третье осветительное устройство (предпочтительно, при максимальной яркости), вплоть до n-го изображения 1290 комнаты, в которой включено только n-е устройство, например n-е осветительное устройство (предпочтительно, при максимальной яркости).

Доступ к изображениям 1210, 1230, 1250, 1270, 1290 может быть получен процессором 1204, например программируемого мультимедийного контроллера 400 или другого устройства, которое реализует функции двоичного виртуального управления 1232, 1252, 1272, 1292. Функции двоичного виртуального управления могут представлять собой стандартные программы, которые, в ответ на выбор пользователем визуального изображения устройства на пользовательском интерфейсе на основе виртуальной комнаты, либо передают соответствующее изображение, представляющее включенное устройство, либо блокируют изображение. Переданные изображения поступают на графический процессор (graphical processing unit, GPU) 1206, например, программируемого мультимедийного контроллера 400 или другого устройства.

Графический процессор GPU 1206 предпочтительно выполняет набор программ регулировки 1234, 1254, 1274, 1294, которые регулируют свойства изображений 1230, 1250, 1270, 1290. Например, в варианте осуществления, где каждое из устройств представляет собой осветительные устройства, программы регулировки 1234, 1254, 1274, 1294 могут представлять собой программы регуляторов света, которые регулируют яркость изображений 1230, 1250, 1270, 1290, например, в диапазоне от 0% до 100%, в ответ на выбор регуляторов света, сделанный пользователем в пользовательском интерфейсе на основе виртуальной комнаты.

Кроме того, графический процессор GPU 1206 предпочтительно выполняет набор программ-фильтров 1236, 1256, 1276, 1296, которые получают два или несколько изображений и выполняют попиксельную фильтрацию изображений для получения выходных изображений 1238, 1258, 1278, 1298. Получаемые изображения могут включать отрегулированные изображения, предоставляемые программами регулировки 1234, 1254, 1274, 1294, а также выходные изображения, предоставляемые предшествующими программами-фильтрами 1236, 1256, 1276 по линиям 1237, 1257, 1277. В варианте осуществления, где каждое из устройств представляет собой осветительное устройство, программы-фильтры 1236, 1256, 1276, 1296 могут среди соответствующих пикселей в каждом полученном изображении выбирать пиксель с наибольшей величиной (т.е. наибольшей яркостью) и формировать выходное изображение 1238, 1258, 1278, 1298 из таких пикселей. Таким способом можно результативно комбинировать эффекты освещения, создаваемые различными осветительными устройствами. Кроме того, подавая выходное изображение от какой-либо программы-фильтра на программу-фильтр следующей ступени, можно аппроксимировать накопленные эффекты освещения от множества различных включенных осветительных устройств.

Селектор 1240 графического процессора GPU 1206 выбирает подходящее выходное изображение 1238, 1258, 1278, 1298, которое представляет комбинацию устройств, включенных в комнате. Такое выходное изображение подается затем на дисплей пользовательского интерфейса на основе виртуальной комнаты, например изображение, используемое на шаге отображения 1120, показанном на ФИГ.11.

Хотя в приведенном выше описании обсуждаются некоторые примеры осуществления изобретения, следует понимать, что в него может быть внесен ряд модификаций и(или) дополнений.

Например, хотя выше говорится о том, что устройства, управляемые с помощью пользовательского интерфейса на основе виртуальной комнаты, расположены внутри комнаты дома или другого сооружения, такой как большая комната или кухня, следует понимать, что эти методы можно использовать применительно к различным комнатам другого типа, находящихся в сооружениях различных типов. Например, виртуальная комната может соответствовать (или соответствовать части) конференц-зала, зала заседаний, выставочного помещения, классной комнаты, зала ресторана или бара, заводского цеха, складского помещения и т.д. Кроме того, устройства необязательно должны располагаться внутри «помещения» любого типа. Например, устройствами, расположенными снаружи дома или сооружения, такими как внешние осветительные устройства, также можно управлять с помощью пользовательского интерфейса на основе виртуальной комнаты. В таком варианте осуществления одну или несколько виртуальных комнат можно задавать для открытого пространства, при этом каждая виртуальная комната будет включать практически фотореалистичное изображение конкретной части открытого пространства.

Точно так же устройствами, расположенными в нескольких домах или других сооружениях, можно управлять с помощью пользовательского интерфейса на основе виртуальной комнаты. В таком варианте осуществления одну или несколько виртуальных комнат можно задать для каждого отдельного сооружения. В некоторых вариантах осуществления каждое сооружение может быть оснащено собственным программируемым мультимедийным контроллером 400, подключенным к устройствам и промежуточным контроллерам, например к электронным контроллерам освещения 490, контроллерам электроприводных устройств 495 и т.п. Программируемые мультимедийные контроллеры 400 могут быть связаны сетью, например глобальной вычислительной сетью (ГВС), позволяющей передавать команды управления между ними. Такая конфигурация может позволить пользователю, с помощью пользовательского интерфейса на основе виртуальной комнаты, находящегося в первом сооружении, включать, выключать и(или) регулировать работу устройств во втором сооружении, расположенном на расстоянии от первого.

Кроме того, хотя выше говорилось о том, что практически фотореалистичные изображения комнаты и устройств, используемые для создания каждой виртуальной комнаты, могут быть визуализированы на основе изображений, например цифровых фотоснимков, практически фотореалистичные изображения могут быть визуализированы и другими способами. Например, практически фотореалистичные изображения могут быть визуализированы при помощи полномасштабного видео, а не фотоснимков. В таком альтернативном варианте осуществления полномасштабное видео может быть заранее снято и сохранено в процессе конфигурирования системы, либо сохраненная информация может содержать, по меньшей мере, часть реальной полномасштабной видеосъемки физической комнаты (или ее части) дома или другого сооружения, например, произведенной в реальном времени одной или несколькими видеокамерами, подключенными к системе управления ОВН 470. Точно так же практически фотореалистичные изображения могут быть визуализированы на основе трехмерных (3-D) лазерных сканов высокой четкости или других типов высококачественной съемки комнат дома или другого сооружения. В таком альтернативном варианте осуществления модель CAD (computer aided design, система автоматического проектирования) высокой четкости может быть построена для каждой комнаты на основе данных, зафиксированных с помощью лазерных 3-D сканов или других типов съемки, причем такая модель используется для визуализации изображения.

Кроме того, хотя выше предполагалось, что пульты управления 450, кнопочно-ориентированные дистанционные пульты управления и(или) настенные кнопочно-ориентированные пульты управления 455, дистанционные пульты управления, включающие круговой сенсорный датчик 457, мобильные устройства 460, передняя панель 465 и(или) устройства с видеовыходом 440, подключенные к программируемому мультимедийному контроллеру 400, расположены внутри дома или другого сооружения, следует понимать, что, по меньшей мере, некоторые из этих устройств могут располагаться на расстоянии, позволяя пользователю взаимодействовать с системой дистанционно, например, с помощью сети Интернет. Например, программируемый мультимедийный контроллер 400 может быть подключен через сетевой интерфейс (не показан) к сети Интернет. Пользовательский интерфейс на основе виртуальной комнаты может отображаться для пользователя в рамках web-браузера или другого приложения на устройстве, расположенном на значительном расстоянии от дома или сооружения. Элементы, выбранные пользователем, могут передаваться через сеть Интернет программируемому мультимедийному контроллеру 400. Таким образом, пользователь может дистанционно управлять устройствами, находящимися в доме или другом сооружении, на больших расстояниях и наблюдать за последствиями выбора таких управляющих элементов.

Помимо этого, следует понимать, что процедуры или процессы, описанные выше, могут быть реализованы с помощью аппаратного обеспечения, программного обеспечения (выполненного в виде машиночитаемого носителя, содержащего команды программы), аппаратно-программного обеспечения или их сочетания. Машиночитаемый носитель может представлять собой память, такую как память с произвольным доступом (RAM, random access memory), диск, такой как компакт-диск постоянной памяти (CD-ROM), или другой материальный носитель информации.

Таким образом, следует понимать, что приведенные выше описания представлены только в качестве примера.