комбинированная система захвата объекта и отображающее устройство и связанный способ

Формула изобретения

1. Система для 3D измерения формы материального объекта, содержащая:

отображающее устройство; и,

по меньшей мере, одно проекционное устройство для проецирования структурированного светового шаблона на поверхность объекта;

по меньшей мере, одно устройство обнаружения для захвата, по меньшей мере, одного изображения поверхности объекта, причем, по меньшей мере, одно из устройств обнаружения захватывает, по меньшей мере, одно изображение структурированного светового шаблона на поверхности объекта;

вычислительное устройство для определения измерения, относящегося к захваченному изображению,

при этом отображающее устройство обеспечивает положение и ориентацию для объекта для соотнесения с, по меньшей мере, одним устройством обнаружения перед захватом, по меньшей мере, одного изображения.

2. Система по п.1, в которой, по меньшей мере, одно проекционное устройство и, по меньшей мере, одно устройство обнаружения интегрированы с отображающим устройством.

3. Система по п.1, в которой, по меньшей мере, одно проекционное устройство и, по меньшей мере, одно устройство обнаружения отделены от отображающего устройства.

4. Система по п.1, в которой отображающее устройство является компьютерным дисплеем.

5. Система по п.1, в которой объект является лицом пользователя отображающего устройства.

6. Система по п.1, в которой упомянутое измерение определяет уровень доступа компьютера, подсоединенного к отображающему устройству.

7. Система по п.1, в которой вычислительное устройство сравнивает упомянутое измерение с, по меньшей мере, одним историческим измерением.

8. Система по п.7, в которой историческое измерение связано с заранее определенным уровнем доступа компьютера, подсоединенного к упомянутой системе.

9. Система по п.8, в которой упомянутое измерение обрабатывается периодически для определения уровня доступа компьютера, подсоединенного к упомянутой системе.

10. Способ 3D измерения формы объекта, расположенного около отображающего устройства, содержащий этапы, на которых:

проецируют структурированный световой шаблон из, по меньшей мере, одного проекционного устройства на поверхность объекта, расположенного около отображающего устройства;

захватывают, по меньшей мере, одно изображение поверхности объекта с помощью, по меньшей мере, одного устройства обнаружения, причем, по меньшей мере, одно из захваченных изображений включает в себя изображение структурированного светового шаблона на поверхности объекта, при этом отображающее устройство обеспечивает положение и ориентацию для объекта для соотнесения с, меньшей мере, одним устройством обнаружения перед захватом, по меньшей мере, одного изображения; и

определяют измерение, относящееся к поверхности объекта.

11. Способ по п.10, в котором, по меньшей мере, одно проекционное устройство и, по меньшей мере, одно устройство обнаружения являются интегрированными с отображающим устройством.

12. Способ по п.10, в котором, по меньшей мере, одно проекционное устройство и, по меньшей мере, одно отображающее устройство являются отделенными от отображающего устройства.

13. Способ по п.10, в котором отображающее устройство является компьютерным дисплеем.

14. Способ по п.10, дополнительно содержащий этап, на котором позиционируют, по меньшей мере, одно проекционное устройство и, по меньшей мере, одно устройство обнаружения для воздействия на объект, размещенный для использования отображающего устройства.

15. Способ по п.14, дополнительно содержащий этап, на котором обеспечивают уровень доступа компьютера, связанного с отображающим устройством, на основе упомянутого измерения.

16. Способ по п.15, в котором обеспечение уровня доступа компьютера, связанного с отображающим устройством, дополнительно содержит этапы, на которых:

сравнивают упомянутое измерение с, по меньшей мере, одним историческим измерением;

если упомянутое измерение соответствует историческому измерению, то разрешают использовать компьютер; и

запрещают использовать компьютер, если упомянутое измерение не соответствует историческому измерению.

17. Способ по п.16, в котором историческое измерение связано с заранее определенным уровнем доступа компьютера.

18. Способ по п.17, дополнительно содержащий этап, на котором обрабатывают упомянутое измерение периодически для определения уровня доступа компьютера.

Описание изобретения к патенту

Область техники

Раскрытие относится к комбинированной системе захвата объекта и отображающему устройству и связанному способу на основании трехмерных (3D) измерений и двумерных измерений объекта около отображающего устройства.

Уровень техники

Известны устройства и способы для выполнения бесконтактного измерения формы трехмерной поверхности материального объекта, такие как использование способа триангуляции структурированным светом. Способ триангуляционного измерения формы поверхности материальных объектов использует проецирование света на поверхность объекта, который является, обычно, амплитудно-модулированным, модулированным по времени и/или модулированным по длине волны (структурированный свет). Изображение структурированного света, спроецированного на поверхность объекта (здесь и далее упоминаемое как изображение), захватывается камерой в направлении, отличном от направления проецирования структурированного света. Изображение затем анализируется для вычисления формы поверхности объекта. Несколько параметров влияют на результат анализа, а именно параметры конкретной системы, которая формирует структурированный свет и сканирует изображение, форма поверхности, расстояние между поверхностью объекта и компонентами системы, ориентация объекта относительно компонентов системы. Поскольку большая часть перечисленных параметров или была известна ранее, или легко идентифицируется, за исключением формы объекта, расстояния между поверхностью объекта и компонентами системы, ориентации объекта относительно компонентов системы, то является возможным определение формы поверхности объекта с использованием анализа изображения способом триангуляции.

Сущность изобретения

В соответствии с вариантами осуществления настоящего раскрытия обеспечивается система захвата объекта, комбинированная с, интегрированная с, или по-другому присоединенная к, или по-другому расположенная вдоль устройства отображения, содержащая, по меньшей мере, одно проецирующее устройство для проецирования структурированного светового шаблона на поверхность объекта, по меньшей мере, одно устройство обнаружения, причем, по меньшей мере, одно из устройств обнаружения захватывает, по меньшей мере, одно изображение структурированного светового шаблона на поверхности объекта, и вычислительное устройство для определения измерений, относящихся к захваченному изображению.

В соответствии с вариантами осуществления настоящего раскрытия, обеспечивается способ захвата объекта около отображающего устройства, содержащий этапы, на которых проецируют, по меньшей мере, один структурированный световой шаблон из, по меньшей мере, одного проецирующего устройства на поверхность объекта, захватывают, по меньшей мере, одно изображение объекта с помощью, по меньшей мере, одного устройства обнаружения, причем, по меньшей мере, одно изображение включает в себя изображение структурированного светового шаблона на поверхности объекта, и определяют измерения, относящиеся к поверхности объекта.

В соответствии с вариантами осуществления настоящего раскрытия, отображающее устройство может обеспечивать положение и ориентацию для объекта относительно устройств проецирования и обнаружения. Поверхность объекта может находиться в положении и ориентации, возникающих во время использования отображающего устройства.

В соответствии с вариантами осуществления настоящего раскрытия, измерения, относящиеся к поверхности объекта, могут определить уровень использования отображающего устройства или компьютера, подсоединенного к отображающему устройству, или любого другого устройства, подсоединенного к отображающему устройству.

В соответствии с вариантами осуществления настоящего раскрытия, измерения, относящиеся к поверхности объекта, могут обрабатываться постоянно для определения уровня использования отображающего устройства или компьютера, подсоединенного к отображающему устройству, или любого другого устройства, подсоединенного к отображающему устройству.

Краткое описание чертежей

Описанные выше признаки и задачи настоящего раскрытия станут более понятными со ссылкой на последующее описание, взятое вместе с прилагающимися чертежами, на которых одинаковые ссылочные номера обозначают одинаковые элементы и на которых

Фиг.1 показывает вид в перспективе варианта осуществления комбинированной системы захвата объекта и отображающего устройства для захвата объекта около отображающего устройства в соответствии с одним или более вариантами осуществления настоящего раскрытия;

Фиг.2 показывает блок-схему комбинированной системы захвата объекта и отображающего устройства для захвата объекта около отображающего устройства в соответствии с одним или более вариантами осуществления настоящего раскрытия;

Фиг.3 показывает вариант осуществления комбинированной системы захвата объекта и отображающего устройства, включающего в себя настольный компьютер в соответствии с одним или более вариантами осуществления настоящего раскрытия; и

Фиг.4 показывает вариант осуществления комбинированной системы захвата объекта и отображающего устройства, включающего в себя переносной компьютер в соответствии с одним или более вариантами осуществления настоящего раскрытия.

Подробное описание

В основном, настоящее раскрытие включает в себя комбинированную систему захвата объекта и отображающее устройство для захвата изображений объектов, расположенных около отображающего устройства. А теперь будут обсуждаться конкретные варианты осуществления настоящего раскрытия со ссылкой на упомянутые выше чертежи, в которых одинаковые ссылочные номера обозначают одинаковые компоненты. Фиг.1 показывает вид в перспективе варианта осуществления комбинированной системы для захвата объекта и отображающее устройство 100 для захвата, по меньшей мере, одного изображения, сцены или видеоизображения объекта 111, расположенного около интегрированной системы захвата объекта или отображающего устройства 100 в соответствии с одним или более вариантами осуществления настоящего раскрытия. Комбинированная система захвата объекта и отображающее устройство 100 могут включать в себя систему 102 захвата объекта.

В одном или более вариантах осуществления система 102 захвата объекта является комбинированной или интегрированной с отображающим устройством 101. Несмотря на то, что система 102 захвата объекта будет упоминаться здесь как комбинированная или интегрированная с отображающим устройством 101, следует понимать, что термины «комбинированный» или «интегрированный» также должны обозначать систему 102 захвата объекта, подсоединенную или каким-либо другим образом прикрепленную к отображающему устройству с помощью постоянного или съемного крепления, или по-другому расположенную вдоль или вблизи отображающего устройства 101. В одном или более вариантах осуществления, система 102, расположенная вдоль или вблизи отображающего устройства 101, является интегрированным устройством.

Система 102 захвата объекта включает в себя, по меньшей мере, одно проекционное устройство 106, которое проецирует структурированный свет 113 на проекционную область 114. Структурированный свет 113 может быть спроецирован на поверхность 110 объекта 111 около отображающего устройства 101.

Система 102 захвата объекта дополнительно включает в себя, по меньшей мере, одно устройство 108 обнаружения, где, по меньшей мере, одно из устройств 108 обнаружения захватывает, по меньшей мере, одно изображение структурированного света 113 на поверхности 110 объекта 111. Устройство 108 обнаружения может включать в себя поле 118 зрения, которое охватывает часть поверхности 110 объекта 111. Далее будет описано, что система 102 захвата объекта захватывает изображения объекта 111, где следует понимать, что такой захват изображения может включать в себя любое количество захваченных изображений или видеоизображений, или сцен объекта 111. В одном или более вариантах осуществления вычислительное устройство 104 подсоединено к проекционному устройству 106, и устройство 108 обнаружения, такое как вычислительное устройство 104, может анализировать изображения, захваченные устройством 108 обнаружения, для выполнения требуемых вычислений, таких как, но не ограниченных ими, 3D формы поверхности 110 объекта 111, расстояния до объекта 111, ориентации захватываемой поверхности 110, 2D изображений поверхности 110 объекта 111 и распознавание объекта 111. Вычислительное устройство 104 может также управлять проекционным устройством 106 и/или устройством 108 обнаружения и их соответствующими компонентами.

В одном или более вариантах осуществления вычислительное устройство 104 может быть интегрировано с системой 102 захвата объекта, в одном или более вариантах осуществления вычислительное устройство 104 может быть отделено от системы 102 захвата объекта.

Отображающее устройство 101 может быть любым устройством, которое отображает информацию пользователю или в направлении объекта 111. Отображающее устройство 101 может включать в себя, но не ограничено ими, компьютерный монитор, жидкокристаллический дисплей (LCD), настольный компьютер, переносной компьютер, телевизор, переносной или мобильный телефон, персональный цифровой помощник, переносное вычислительное устройство, удаленный терминал, или любой тип дисплея или устройства, которое может включать в себя дисплей.

В одном или более вариантах осуществления, по меньшей мере, один компонент системы 102 захвата изображения может быть неподвижно или подвижно закреплен или интегрирован в отображающее устройство 101. Например, проецирующее устройство 106 и устройство 108 обнаружения узла 102 захвата объекта могут быть неподвижно или съемно прикреплены или интегрированы с отображающим устройством 101. В одном или более вариантах осуществления, по меньшей мере, один компонент системы 102 захвата объекта может быть расположен вдоль или вплотную к отображающему устройству 101.

В одном или более вариантах осуществления положение и ориентация объекта 111 по отношению к системе 100 захвата объекта могут быть определены на основании положения и ориентации объекта 111 по отношению к отображающему устройству 101. Отображающее устройство 101 может обеспечивать эталонное положение и/или эталонную ориентацию для положения и ориентации объекта 111. Например, объект 111 может быть расположен вплотную к части дисплея или экрана отображающего устройства 101 и ориентирован так, что поверхность 110 может быть проанализирована системой 102 захвата объекта, направленной к части отображающего устройства 101. В положении и ориентации, допускаемой по отношению к отображающему устройству 101, система 102 захвата объекта может анализировать поверхность 110 объекта 111. В одном или более вариантах осуществления система 102 захвата объекта может основывать свои вычисления на допущении, что объект 111 расположен в эталонном положении и/или эталонной ориентации.

В одном или более вариантах осуществления вычислительное устройство 104 может быть скомбинировано или интегрировано с отображающим устройством 101. В одном или более вариантах осуществления вычислительное устройство может быть отделено от отображающего устройства 101. В одном или более вариантах осуществления вычислительное устройство 104 взаимодействует с отображающим устройством так, что вычислительное устройство 104 заставляет отображающее устройство 101 обеспечивать изображение. В одном или более вариантах осуществления обеспеченное изображение представляет информацию, расположенную или сохраненную в вычислительном устройстве 104.

Вычислительное устройство 104 системы 100 захвата объекта может включать в себя компьютерную систему общего назначения, которая подходит для применения способов 3D и 2D измерений формы материальных объектов в соответствии с настоящим раскрытием. Вычислительная система 104 является только одним примером подходящей вычислительной среды и не предполагается для предложения любого ограничения объема использования или функциональности изобретения. В разных вариантах осуществления настоящая система и способ для комбинированной системы захвата объекта и отображающего устройства 100 работают со многими другими средами или конфигурациями вычислительных систем общего или специального назначения. Примеры хорошо известных вычислительных систем, сред и/или конфигураций, которые могут быть подходящими для использования с изобретением, включают в себя, но не ограничены ими, персональные компьютеры, серверные компьютеры, ручные или переносные устройства, многопроцессорные системы, системы на основе микропроцессоров, программируемую потребительскую электронику, сетевые компьютеры, миникомпьютеры, большие вычислительные машины, распределенные вычислительные среды, которые включают в себя любые вышеперечисленные системы или устройства, и им подобные.

В различных вариантах осуществления анализ, выполняемый вычислительной системой 104 с помощью алгоритмов и способов, которые будут обсуждаться более подробно, могут быть описаны в общем контексте компьютерно выполнимых инструкций, таких как программные модули, выполняемые компьютером. В основном, программные модули включают в себя процедуры, программы, объекты, компоненты, структуры данных и так далее, которые выполняют конкретные задачи или воплощают конкретные абстрактные типы данных. Эти алгоритмы и способы могут также быть использованы в распределенных вычислительных средах, где задачи выполняются удаленными процессорными устройствами, которые соединены через сеть связи в распределенной вычислительной среде, программные модули могут быть расположены как в локальных, так и в удаленных компьютерных носителях, включающих в себя устройства хранения. В одном или более вариантах осуществления вычислительная система 104 может анализировать изображение, захваченное устройством 108 обнаружения, путем выполнения одной или более компьютерных программ. Компьютерные программы могут храниться в носителе памяти или носителе хранения, таких как память и/или память только для чтения, или они могут быть доставлены до процессора через сетевое соединение или другое соединение.

Несмотря на то, что компьютер или вычислительное устройство будут упоминаться здесь как подсоединенные к или связанные с отображающим устройством 101, следует понимать, что термины «компьютер» и «вычислительное устройство» следует употреблять также и для вычислительной системы 104 или для другого устройства, подсоединенного или связанного с отображающим устройством 101.

Объект 111 может быть любым материальным объектом, способным быть захваченным с помощью системы 102 захвата объекта, включающим в себя, но не ограниченным ими, лицо пользователя отображающего устройства 101, часть тела (например, рука, ладонь, отпечаток пальца и так далее) пользователя устройства отображения 101, захватываемые опознавательные знаки и любой другой объект, который может быть идентифицирован комбинированной системой захвата объекта и отображающим устройством 100. В одном или более вариантах осуществления, в которых объект связан с пользователем отображающего устройства 101, эталонное положение и/или эталонная ориентация, обеспечиваемая отображающим устройством 101, может соответствовать положению и/или ориентации, связанной с пользователем отображающего устройства 101. Например, там, где объект 111 является лицом пользователя отображающего устройства 101, эталонное положение и/или ориентация, обеспечиваемая отображающим устройством 101, может быть положением и/или ориентацией, в которой пользователь удерживает свое лицо во время работы с отображающим устройством 101.

В одном или более вариантах осуществления объект 111 может быть захвачен системой 102 захвата объекта, и затем захваченные изображения могут быть использованы для целей идентификации на основании исторической операции комбинированной системы захвата объекта и отображающего устройства 100. Историческая операция может включать в себя фазу настройки системы 102 захвата объекта, в которой проецирующее устройство 106 проецирует структурированный свет 113 на объект 111, устройства 108 обнаружения захватывают изображения поверхности 110 объекта 111, и вычислительное устройство 104 анализирует захваченное изображение. Измерение, основанное на результате исторической операции объекта 111, может быть записано. В последующей операции системы 102 захвата объекта измерение последующей операции, сгенерированное вычислительной системой 104, может быть сравнено с измерением исторической операции. Если измерение последующей операции соответствует измерению исторической операции, то объект 111 идентифицируется как исторический объект, иначе объект 111 идентифицируется как объект, отличный от исторического объекта.

В одном или более вариантах осуществления результаты, использованные в фазе настройки, могут быть получены из внешнего источника и введены в комбинированную систему захвата изображения и отображающего устройства 100.

По меньшей мере, в одном варианте осуществления система 102 захвата объекта может быть способна взаимодействовать с отображающим устройством 101 так, что измерение, сделанное во время операции комбинированной системы захвата объекта и отображающего устройства 100, может заставлять отображающее устройство 101 выполнять функцию отображающего устройства 101. По меньшей мере, в одном варианте осуществления система 102 захвата объекта может быть способна взаимодействовать с отображающим устройством 101 так, что уровень доступа к отображающему устройству 101 или вычислительному устройству 104, или другому устройству, подсоединенному к отображающему устройству 101 или вычислительному устройству 104, может быть обеспечен на основании измерения, сделанного во время работы системы 102 захвата объекта, где объект 111 может быть идентифицирован как исторический объект, объекту 111 может быть назначен уровень доступа к отображающему устройству 101 или другому устройству, где уровень доступа связан с историческим объектом. Например, уровень доступа, связанный с историческим объектом, может быть определен во время фазы настройки системы 102 захвата объекта. Например, лицо пользователя может быть проанализировано так, что пользователь будет обеспечен безопасным доступом к вычислительной системе 104 и/или использованием отображающего устройства 101 посредством распознавания определенных характеристик пользователя, захваченных системой 102 захвата объекта.

По меньшей мере, в одном варианте осуществления уровень доступа к отображающему устройству 101 может определять, по меньшей мере, одно из изображений, которое может быть изображено на отображающем устройстве 101, доступ или использование функции, которую пользователь может выполнить на отображающем устройстве 101 или вычислительном устройстве 104, или любом другом устройстве, подсоединенном к отображающему устройству 101 или вычислительному устройству 104, и функцию, которая может быть автоматически отображена отображающим устройством 101 или выполнена вычислительным устройством 104. По меньшей мере, в одном варианте осуществления пользователь может не выполнять определенные функции отображающего устройства 101 или вычислительного устройства 104, если объект 111 не идентифицирован как исторический объект, связанный с уровнем доступа, необходимым для выполнения таких функций.

В одном или более вариантах осуществления описанные здесь измерения могут выполняться непрерывно.

Фиг.2 показывает блок-схему комбинированной системы захвата объекта и отображающего устройства 100 для захвата объекта 111 около отображающего устройства 101. В соответствии с одним или более вариантами осуществления настоящего раскрытия, комбинированная система захвата объекта и отображающее устройство 100 могут включать в себя, по меньшей мере, одно проекционное устройство 106 и, по меньшей мере, одно устройство 108 отображения. По меньшей мере, в одном варианте осуществления проекционное устройство 106 является проектором слайдов, включающим в себя источник 126 света и устройство 122 модулирования света для модулирования света, излученного источником 126 света. Устройство 122 модулирования света может быть типа проектора слайдов, включающего в себя слайд, типа жидкокристаллического дисплея, включающего в себя жидкокристаллический экран, или другое устройство для создания структурированного света 113. По меньшей мере, в одном варианте осуществления проекционное устройство 106 может включать в себя линзу 181, имеющую оптический центр 124 для проецирования изображения слайда в виде структурированного света 113 на проекционную область 114 на поверхности 110 объекта 111 около отображающего устройства 101. В соответствии с этим и другими вариантами осуществления, структурированный свет 113 может также быть сгенерирован с использованием других способов, таких как интерференция, муар и способы дифракционной генерации света.

По меньшей мере, в одном варианте осуществления проекционное устройство 106 проецирует структурированный свет 113 в диапазоне длин волн, выбранном из оптического, видимого и инфракрасного диапазонов длин волн. По меньшей мере, в одном варианте осуществления проекционное устройство 106 является непрерывным источником света. По меньшей мере, в одном варианте осуществления проекционное устройство 106 встроено в само отображающее устройство 101, где отображающее устройство 101 проецирует структурированный свет 113.

По меньшей мере, в одном варианте осуществления устройство 108 обнаружения может включать в себя фотографическую линзу 180, имеющую оптический центр 130, матричный приемник 128 излучения и привод 132. Фотографическая линза 180 формирует изображение на поверхности матричного приемника 128 излучения. Привод 132 работает как узел управления и обработки электронного сигнала, которые управляет работой матричного приемника 128 излучения, и может конвертировать изображение, захваченное матричным приемником 128 излучения в другой формат (например, VGA, bmp, jpeg и так далее) по желанию или требованию до того, как захваченное изображение передается вычислительному устройству 104. Устройство 108 обнаружения может включать в себя поле 118 зрения, которое охватывает часть поверхности 110 объекта 111. Проекционное устройство 106 может включать в себя проекционную ось 112, и устройство 108 обнаружения может включать в себя ось 116 обнаружения, так что триангуляционный угол 120 является углом между проекционной осью 112 и осью 116 обнаружения.

В соответствии с одним или более вариантами осуществления, как показано на Фиг.3, комбинированная система захвата объекта и отображающее устройство 100 могут включать в себя отображающее устройство 101, которое содержит дисплей или монитор для настольного компьютера 104.

Фиг.4 показывает вариант осуществления комбинированной системы захвата объекта и отображающее устройство 100, в котором отображающее устройство 101 является компонентом переносного компьютера 104 в соответствии с одним или более вариантами настоящего раскрытия.

Несмотря на то, что устройство и способ были описаны в терминах того, что в настоящее время считается наиболее практическими вариантами осуществления, следует понимать, что раскрытие не должно быть ограниченным раскрытыми вариантами осуществления. Оно предназначено для покрытия различных модификаций и похожих размещений, включенных в сущность и объем формулы изобретения, объем которой должен быть согласован с самой широкой интерпретацией, так чтобы захватывать все такие модификации и подобные структуры. Настоящее раскрытие включает в себя любые и все варианты осуществления следующей формулы изобретения.