способ наведения машины на объект

Формула изобретения

1. Способ наведения машины на объект оператором, включающий указание оператором места обработки объекта и дальнейшее перемещение машины и/или ее подвижных частей и/или совершение технологической операции в указанном месте, отличающийся тем, что координаты места обработки объекта определяют по указанным оператором точкам места обработки на изображениях зоны обработки, которые получены, по меньшей мере, с двух видеокамер, о которых известно их положение, углы их направления и фокусные расстояния их объективов в момент указания.

2. Способ по п.1, отличающийся тем, что оператор указывает место обработки объекта компьютерным указательным устройством на изображении объекта или световым пятном луча указателя на самом объекте, подлежащем обработке, например, лазерным указателем.

3. Способ по п.1, отличающийся тем, что после указания оператором места обработки, система управления автоматически рассчитывает координаты места обработки и составляет оптимальную траекторию перемещения и/или оптимальную технологию выполнения технологической операции и управляет процессами перемещения и технологической операции.

4. Способ по п.2, отличающийся тем, что место обработки указывают посредством компьютерной мыши, или джойстика, или указки и/или клавиатурой или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным или с большим количеством координат указательным устройством.

5. Способ по п.1, отличающийся тем, что на экране монитора отображают изображение объекта, последовательно с двух видеокамер или на экран выводят сразу два изображения объекта по отдельности или частично прозрачные, наложенные друг на друга.

6. Способ по п.3, отличающийся тем, что на экране монитора отображают изображение объекта, программно измененного цвета с разных видеокамер, или на объективах камер установлены светофильтры разных цветов.

7. Способ по п.1, отличающийся тем, что отображают изображение объекта на два монитора, на каждом изображение со своей видеокамеры.

8. Способ по п.1, отличающийся тем, что отображают изображение объекта на 3D видеоочки или используют комплекс 3D очков с соответствующим монитором.

9. Способ по п.1, отличающийся тем, что в процессе наведения изменяют фокусное расстояние объективов видеокамер.

10. Способ по п.1, отличающийся тем, что используют местное увеличение изображения в зоне указания на экране монитора.

11. Способ по п.1, отличающийся тем, что изменяют форму курсора на экране монитора в зависимости от операции, место проведения которой в данный момент указывается.

12. Способ по п.2, отличающийся тем, что при указании мест обработки объекта указывают точку, или проводят линию, или указывают характерные точки линии или геометрической фигуры, например, противоположные вершины прямоугольника.

13. Способ по п.1, отличающийся тем, что в зависимости от технологической операции используют курсоры специальной формы, например, в виде отрезка при указании места спила дерева.

14. Способ по п.1, отличающийся тем, что часть параметров обработки объекта указывают численно, с клавиатуры или выбором из меню.

15. Способ по п.1, отличающийся тем, что после указания места обработки объекта координаты места запоминают для дальнейшего анализа работы машины и/или оператора.

16. Способ по п.1, отличающийся тем, что для указания места обработки объекта поворачивают как минимум одну камеру для получения совпадения изображения в требуемой точке.

17. Способ по п.15, отличающийся тем, что на изображение с видеокамер наносят линии прицеливания для совмещения оператором изображений в месте обработки объекта с двух видеокамер.

18. Способ по п.2, отличающийся тем, что цвет светового пятна луча указателя выбирают соответственно диапазону максимальной чувствительности видеокамеры и/или противоположно преобладающим цветам окружающей среды в месте обработки для более контрастного выделения пятна луча.

19. Способ по п.1, отличающийся тем, что момент указания точки определяют по нажатию и/или отпусканию или щелчку или двойному щелчку кнопкой мыши или совместно с нажатой соответствующей клавишей клавиатуры.

20. Способ по п.1, отличающийся тем, что для указания различных технологических операций в указанном месте обработки осуществляют нажатие соответствующих кнопок или педалей оператором.

21. Способ по п.1, отличающийся тем, что оператор указывает несколько мест обработки, не ожидая начала операции или завершения текущей, а система управления, получив задание на несколько мест обработки, комплексно оптимизирует общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность.

22. Способ по п.1, отличающийся тем, что оператор указывает место обработки и/или перемещения машины, находясь вне машины.

23. Способ по п.1, отличающийся тем, что оператор указывает место обработки паузой в перемещении пятна луча указателя, или заранее заданными движениями луча, например, для указания места спила достаточно провести световым пятном луча линию в месте будущего спила.

24. Способ по п.1, отличающийся тем, что оператор указывает место обработки, наблюдая за положением светового пятна луча указателя на мониторе.

25. Способ по п.1, отличающийся тем, что, по меньшей мере, одну видеокамеру располагают на подвижной части машины и учитывают изменение взаимного расположения камер при расчете координат указанного места обработки объекта.

Описание изобретения к патенту

Изобретение относится к транспортно-технологическим и грузоподъемным машинам и может использоваться в управлении, например, различными лесными машинами, погрузчиками, экскаваторами, грузоподъемными кранами, строительными машинами.

Известен «Способ наведения рабочего органа манипулятора лесной машины на объект» (заявка на изобретение № 2010147210, A01G 23/08, B25J 9/00, G01B 11/03, опубл. 27.05.2012), в котором оператор указывает положение места захвата или спила объекта пятном луча дальномера и одновременно с расстоянием до объекта автоматически измеряются углы поворота дальномера, с дальнейшими компьютерными расчетами и управлением движениями лесной машины, манипулятора и рабочего органа.

Недостатком данного способа наведения и управления рабочим органом лесной машины является то, что для его реализации требуется закреплять указывающее устройство (дальномер) в определенном месте, механически связывая его с датчиками поворота, сигналы с которых поступают в компьютер. Устройство для реализации способа загромождает кабину, стесняет оператора и получается дорогим.

Данным изобретением устраняется такой недостаток, как жесткая привязка указывающего устройства к определенному месту, что становится более удобным для оператора, не стесняет его движений и снижается стоимость технической реализации способа.

На чертеже - схема, показывающая алгоритм передачи информации о точке.

Указанный технический результат при осуществлении изобретения достигается тем, что в способе наведения машины на объект оператором, включающий указание оператором места обработки объекта и дальнейшее перемещение машины и/или ее подвижных частей и/или совершение технологической операции в указанном месте, особенностью является то, что координаты места обработки объекта определяют по указанным оператором точкам места обработки на изображениях зоны обработки, которые получены, по меньшей мере, с двух видеокамер, о которых известно их положение, углы их направления и фокусные расстояния их объективов в момент указания, при этом оператор указывает место обработки объекта компьютерным указательным устройством на изображении объекта или световым пятном луча указателя на самом объекте, подлежащем обработке, например, лазерным указателем, а после указания оператором места обработки система управления автоматически рассчитывает координаты места обработки и составляет оптимальную траекторию перемещения и/или оптимальную технологию выполнения технологической операции и управляет процессами перемещения и технологической операции.

Место обработки указывают посредством компьютерной мыши, или джойстика, или указки и/или клавиатурой или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным или с большим количеством координат указательным устройством.

На экране монитора отображают изображение объекта, последовательно с двух видеокамер или на экран выводят сразу два изображения объекта по отдельности или частично прозрачные, наложенные друг на друга, или отображают изображение объекта на два монитора, на каждом изображение со своей видеокамеры, а также возможно на экране монитора отображать изображение объекта, программно измененного цвета с разных видеокамер, или на объективах камер устанавливать светофильтры разных цветов, еще возможно отображать изображение объекта на 3D видеоочки или использовать комплекс 3D очков с соответствующим монитором.

Рассмотрим алгоритм передачи информации в случае, когда оператор указывает положение места обработки на двух мониторах. В других описанных в заявке случаях передача информации и расчеты производятся с небольшими изменениями. На фиг.1 показаны экраны двух мониторов, которые обозначены Мa (левый) и Мb (правый), на которые бортовым компьютером системы управления выводятся изображения с левой (Кa) и с правой (Кb) камер, которые нацелены на зону обработки. Оператор последовательно на обоих мониторах (на двух изображениях), например, двумя щелчками компьютерной мыши, в точках Ca и Cb отмечает место обработки (цель) в окружающем пространстве, обозначенное на рисунке буквой C. Точка D - проекция точки C на плоскость, проходящую через оптические оси объективов камер. Т.к. камеры Кa и Кb разнесены на расстояние [AB], изображения будут отличаться друг от друга, а указанные оператором точки Ca и Cb будут смещены на разное расстояние от центров изображений по горизонтали (обозначены Xa и Xb) и по вертикали (Za и Zb) соответственно. Центры изображений (середины экранов мониторов) удобно принять за нулевые точки Oa и Ob, т.к. в них проецируются оптические оси объективов камер.

Рассмотрим вариант, когда количество пикселей по горизонтали у камеры и у монитора равно 1980, а угол обзора камеры по горизонтали на момент указания точек равен 30 градусам. При соответствующей калибровке смещение точки указания на 66 пикселей по горизонтали будет соответствовать, например, 1 градусу отклонения указанного места обработки от оси камеры по горизонтали (1980/30=66). Аналогичный расчет можно провести и для вертикального смещения, пока допустим для упрощения расчетов, что и по вертикали на 1 градус приходится также 66 пикселей.

Таким образом, зная отклонение от центра монитора до указанных оператором точек Ca и Cb в пикселах, по калибровочной таблице или формуле (содержащей, например, arctg( ) и фокусное расстояние объектива) можно получить углы отклонения двух векторов [AC] и [BC] направленных из объективов камер в место обработки по точкам, отмеченным оператором на экране. Будем считать, что оси камер параллельны и расположены в одной горизонтальной плоскости (как и изображено на фиг.1). Иное известное расположение камер, например, когда их оси не параллельны и/или смещены по вертикали, незначительно усложнит алгоритм расчета, но все равно позволяет однозначно рассчитать положение указанной точки в пространстве.

После указания оператором точек на экранах мониторов система управления с помощью программы, заложенной в бортовой компьютер, автоматически считывает координаты указанных оператором точек на изображениях и решает треугольники ADB и BDC для нахождения длины [BC]. Для их решения известны: длина [AB] - расстояние между камерами и углы альфа и бета - это углы отклонения направления на указанную точку от осей камер в горизонтальной плоскости. В треугольнике ADB известны: одна сторона [AB] и два прилежащих угла DAB=(90-альфа) и DBA=(90-бета), что вполне достаточно для расчетов всех его сторон, в частности [BD]. В треугольнике BDC известны одна сторона [BD] (из решения треугольника ADB) и два прилежащих угла CDB=90° и DBC, полученный по калибровочной таблице или формуле из Zb - этого тоже достаточно для нахождения расстояния [BC].

На втором этапе координаты точки C в трехмерном пространстве в полярной системе координат (известны расстояние [BC] и два угла: бета и DBC) автоматически пересчитываются системой управления (бортовым компьютером) в требуемую систему координат, например, в XYZ с центром в точке B и/или в положение звеньев манипулятора управляемой машины. Для промышленных роботов пересчет координат указанной в пространстве точки в положение звеньев называется «обратная задача кинематики», которая, в частности, рассмотрена в книге «Промышленные роботы агрегатно-модульного типа» / Е.И. Воробьев и др. М.: Машиностроение, 1988. - 240 с.: ил., и в книге «Робототехника» / Фу К., Гонсалес Р., Ли К. Пер. с англ. М.: Мир, 1989 - 624 с.: ил. В этой книге описана не только кинематика с.69, но и динамические расчеты позволяющие рассчитать оптимальную траекторию перемещения рабочего органа манипулятора любой машины, т.е. эффективно автоматически управлять ее манипулятором.

Все вышеприведенное позволяет системе управления, автоматически включая и выключая соответствующие приводы машины, переместить рабочий орган машины в указанное оператором место обработки и обеспечить выполнение машиной технологической операции в этом месте.

В процессе наведения изменяют фокусное расстояние объективов видеокамер, а также используют местное увеличение изображения в зоне указания на экране монитора.

При необходимости изменяют форму курсора на экране монитора в зависимости от операции, место проведения которой в данный момент указывается, или при указании мест обработки объекта указывают точку или проводят линию, или указывают характерные точки линии или геометрической фигуры, например, противоположные вершины прямоугольника, а также в зависимости от технологической операции используют курсоры специальной формы, например, в виде отрезка при указании места спила дерева, и часть параметров обработки объекта указывают численно, с клавиатуры или выбором из меню.

После указания места обработки объекта координаты места запоминают для дальнейшего анализа работы машины и/или оператора.

Для указания места обработки объекта поворачивают как минимум одну камеру для получения совпадения изображения в требуемой точке, если необходимо, то на изображение с видеокамер наносят линии прицеливания, для совмещения оператором изображений в месте обработки объекта с двух видеокамер.

Цвет светового пятна луча указателя выбирают соответственно диапазону максимальной чувствительности видеокамеры и противоположно преобладающим цветам окружающей среды в месте обработки для более контрастного выделения пятна луча.

Момент указания точки определяют по нажатию и/или отпусканию или щелчку или двойному щелчку кнопкой мыши или совместно с нажатой соответствующей клавишей клавиатуры, при этом для указания различных технологических операций в указанном месте обработки осуществляют нажатие соответствующих кнопок или педалей оператором.

Если требуется, то оператор указывает несколько мест обработки, не ожидая начала операции или завершения текущей, а система управления, получив задание на несколько мест обработки, комплексно оптимизирует общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность, при этом оператор может указывать место обработки и/или перемещения машины, находясь вне машины.

Оператор указывает место обработки паузой в перемещении пятна луча указателя, или заранее заданными движениями луча, например, для указания места спила достаточно провести световым пятном луча линию в месте будущего спила, оператор может указывать место обработки, наблюдая за положением светового пятна луча указателя на мониторе.

По меньшей мере, одну видеокамеру располагают на подвижной части машины и учитывают изменение взаимного расположения камер при расчете координат указанного места обработки объекта.

Способ осуществляется следующим образом.

Рассмотрим способ наведения машины на объект на примере валочно-пакетирующей машины при спиливании деревьев. Оператор устанавливает лесную машину в положение, наиболее удобное для проведения запланированных технологических операций, и переводит ее в соответствующий режим. Взяв в руку указатель, который может быть представлен в виде лазерной указки или любого компьютерного устройства указания, оператор указывает им место на дереве в месте будущего спила. Т.к. операция уже определена оператором, например, «спилить дерево», курсор на экране монитора может представлять собой линию, показывающую место будущего среза для упрощения прицеливания. При других операциях форма курсора может иметь другую форму, напоминая оператору о выбранной технологической операции. Нажав кнопку мыши или специальную кнопку при указании лазерной указкой, оператор инициирует процедуру измерения, расчетов и дальнейшего автоматического управления машиной. При необходимости можно использовать клавиатуру.

В некоторых случаях удобнее поворачивать видеокамеры, добиваясь совпадения линий прицеливания двух видеокамер на указываемой точке обработки.

Т.к. часто требуется произвести различные виды обработки в указываемой точке, можно воспользоваться комбинациями клавиш клавиатуры, педалей и компьютерных устройств указания (компьютерной мыши, джойстика, указки или касанием сенсорного экрана пальцем, или рукой, или стилусом, или трехкоординатным указательным устройством или с большим количеством координат).

Если используется лазерный указатель, желательно выбирать цвет его луча (пятна) так, чтобы получился наибольший контраст с окружающей средой.

Во многих случаях эффективно указать несколько мест обработки, не дожидаясь начала операции или завершения текущей, чтобы система управления, получив задание на несколько мест обработки, комплексно оптимизировала общую траекторию перемещения машины и ее рабочих органов и несколько технологических операций, включая их последовательность.

Для повышения производительности указания может использоваться система знаков, например, оператор не указывает щелчком дерево которое надо спилить, а просто проводит курсором или лазерным лучом в месте спила дерева или делает паузу в движении указателя на месте, подлежащем обработке.

В некоторых случаях проще получить контрастное изображение пятна луча указателя на экране монитора, т.к. видеокамеры обладают чувствительностью, отличающейся от чувствительности человеческого глаза, а монитор легко покажет это пятно в видимом человеком диапазоне. В этом случае процесс наведения удобнее наблюдать на экране монитора.

Во многих случаях, по меньшей мере, одну камеру можно расположить на подвижной части машины, например, на схвате манипулятора лесной машины или на стреле экскаватора, ближе к ковшу. При этом оператор может более точно указать место обработки.

После указания оператором места обработки встроенный в кабину лесной машины компьютер считывает с установленных в кабину или над кабиной видеокамер изображения рабочей зоны и положение указанной точки на них, которые и служат для расчета координат места обработки в реальном пространстве. Положение точки может указывать и сам оператор, например, последовательно на двух мониторах устройством указания типа мышь. Используя трех и более координатные устройства указания можно еще более упростить работу оператора.

Изображения могут выводиться на два экрана и на каждом показывается оператору изображение со своей видеокамеры (например, на левый экран с левой видеокамеры, на правый с правой), или экран делится на две части (с двумя изображениями), или на экране выводятся два изображения, как минимум одно из них полупрозрачно. Если изображения накладываются друг на друга, то желательно немного изменить их цвета так, чтобы оператору было удобнее ориентироваться при указании. Оператор последовательно показывает на обоих изображениях место обработки, чем фактически указывает направление на точку обработки объекта с двух точек. При необходимости более точного указания можно изменять фокусное расстояние объективов камер, «приближая» изображение, или на изображении увеличивать его часть в районе положения курсора (экранная лупа).

Т.к. расстояние между видеокамерами и фокусное расстояние их объективов известны, то путем решения геометрической задачи о треугольнике с известной стороной и двумя углами можно рассчитать расстояние от машины до указанной точки и углы направления на нее.

Зная координаты в пространстве указанной точки, остается автоматически рассчитать на встроенном компьютере траекторию оптимального перемещения рабочего органа лесной машины в эту точку, автоматически переместить рабочий орган и/или всю машину по этой траектории в указанную точку и выполнить технологическую операцию, например, зажать дерево, сообщить ему натяг и спилить его. И дальнейшие операции могут быть произведены в автоматическом режиме.

Фактически после указания пятном луча указателя (или мышью) точки спиливания дерева оператор переходит из режима активного управления в режим контроля и до завершения технологической операции может не прикасаться к органам управления машиной, что значительно снижает нагрузку на оператора и его утомляемость.

На первом этапе встроенный компьютер производит кинематические расчеты, в частности, широко известные в робототехнике. Для промышленных роботов пересчет координат указанной точки (точки захвата, указанной пятном луча лазера) в положение звеньев манипулятора называется «обратная задача кинематики», которая, в частности, рассмотрена в 4 главе книги «Промышленные роботы агрегатно-модульного типа / Е.И. Воробьев и др. М.: Машиностроение, 1988. - 240 с.: ил.» и в главе 2.2 книги «Робототехника / Фу К., Гонсалес Р., Ли К. Пер. с англ. М.: Мир, 1989 - 624 с: ил.». В книге «Робототехника» описаны не только кинематические расчеты (с.69), но и динамические расчеты.

Если результаты кинематических расчетов показывают, что манипулятор не может дотянуться до указанной точки, т.е. указанное дерево находиться вне рабочей зоны, об этом сообщается оператору, звуковым, световым или другим сигналом вплоть до речевого сообщения через встроенные в кабину динамики, например: «Переместите машину на полметра ближе к дереву и повторно укажите точку».

Если манипулятор может дотянуться до указанной точки, т.е. захватно-срезающее устройство (ЗСУ) может быть перемещено манипулятором к указанному оператором дереву, то следующим шагом производится автоматический расчет оптимальной траектории перемещения ЗСУ из текущего положения в указанную точку. Т.е. определяются законы изменения положения звеньев манипулятора, позволяющие за минимально возможное время переместить ЗСУ к дереву, не перегружая машину. Эти расчеты, производимые на втором этапе, позволят в предлагаемом способе на следующем шаге эффективно управлять манипулятором, ЗСУ и всей машиной в целом.

По окончании расчетов компьютер начинает управлять приводами, обеспечивая согласованные, расчетные движения машины, поворотной платформы, всех звеньев манипулятора и ЗСУ. После завершения этих движений ЗСУ будет находиться в указанной оператором точке - в точке, где находилось пятно луча лазера или указанное мышью на экранах место в момент нажатия оператором кнопки.

Далее автоматически может быть произведена технологическая операция спиливания дерева, состоящая из захвата дерева, натяга, спиливания и т.д., вплоть до осуществления всей технологической операции лесной машины, включая удаление сучьев и раскряжевку, если на лесной машине вместо ЗСУ установлена хорвестерная головка.

Для заявленного способа в том виде, как он охарактеризован в независимом пункте изложенной формулы изобретения, подтверждена возможность его осуществления с помощью описанных в заявке и известных до даты приоритета средств и методов. Следовательно, заявленное изобретение соответствует условию «промышленная применимость».

Предложенный способ позволит снизить затраты при работе машин и повысить производительность труда путем более эффективного осуществления перемещений и/или технологических операций машиной.