система управления для сельскохозяйственного транспортного средства, сельскохозяйственное транспортное средство и способ управления управляемым средством транспортировки продукта

Формула изобретения

1. Система управления для сельскохозяйственного транспортного средства, осуществляющая управление средством (9) транспортировки продукта сельскохозяйственного транспортного средства (1), в частности выгрузным желобом кормоуборочного комбайна, для подачи продукции к целевой области (11), содержащая устройство (29) формирования трехмерных изображений для получения кадров, отображающих, по меньшей мере, часть целевой области, процессор (46) данных и устройство (46) памяти, причем указанная система управления выполнена с возможностью извлечения информации из указанных кадров для управления средством (9) транспортировки продукта, а именно с возможностью:

получения эталонного кадра, который содержит трехмерную информацию о расположении, по меньшей мере, части целевой области (11);

идентификации ряда характеристических точек целевой области (11) в эталонном кадре;

получения от устройства формирования трехмерных изображений (29) нового кадра, отображающего, по меньшей мере, часть целевой области;

анализа нового кадра для идентификации ряда характеристических точек в новом кадре;

поиска и сопоставления характеристических точек в эталонном кадре и новом кадре;

анализа пар (53) согласованных характеристических точек для определения группы пар, демонстрирующих общее изменение расположения от эталонного кадра к новому кадру, и

формирования сигнала с учетом результатов последнего анализа.

2. Система по п.1, отличающаяся тем, что она обеспечивает указанный сигнал с учетом указанного общего изменения расположения и/или относительных позиций отдельных пар согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения.

3. Система по п.1, отличающаяся тем, что указанный сигнал предпочтительно представляет собой управляющий сигнал для управления средством транспортировки продукта.

4. Система по п.1, отличающаяся тем, что она содержит монитор (44), при этом указанный сигнал представляет собой информационный сигнал (51', 61, 64a, 63b, 65, 67), отображаемый на мониторе (44).

5. Система по п.1, отличающаяся тем, что она выполнена с возможностью определения расположения целевой области, соответствующего эталонному кадру, и обновления указанного расположения с учетом указанного общего изменения расположения.

6. Система по любому из предшествующих пунктов, отличающаяся тем, что она выполнена с возможностью определения расположения, по меньшей мере, части целевой области (11) в системе отсчета, предпочтительно связанной с сельскохозяйственным транспортным средством (1).

7. Система по п.6, отличающаяся тем, что она выполнена с возможностью обновления расположения целевой области в указанной системе отсчета.

8. Система по любому из пп.1-5, отличающаяся тем, что она выполнена с возможностью определения поверхностей (17, 18, 20a, 20b) целевой области (11) и определения отдельных пар (53) согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения, которые не расположены на поверхности (17, 18, 20a, 20b) целевой области, представляющих поверхность продукта, подаваемого в целевую область.

9. Система по любому из пп.1-5, отличающаяся тем, что она содержит средства для определения расположения, по меньшей мере, части целевой области, которые обеспечивают меру степени надежности определенного расположения, при этом указанная система управления выполнена с возможностью обновления расположения целевой области на основе расположения, определенного средствами определения расположения, когда указанная степень надежности высока.

10. Система по п.9, отличающаяся тем, что указанные средства для определения расположения, по меньшей мере, части целевой области содержат средства (46) для анализа трехмерного кадра.

11. Система по любому из пп.1-5, отличающаяся тем, что она содержит средства для определения позиции и направления обзора устройства формирования трехмерных изображений, при этом система управления выполнена с возможностью игнорирования точек в трехмерных кадрах, показывающих позиции ниже определенного уровня относительно устройства формирования трехмерных изображений.

12. Система по любому из пп.1-5, отличающаяся тем, что она выполнена с возможностью определения областей ожидания, в пределах которых выполняется поиск характеристических точек в эталонном кадре и/или новом кадре в целях сопоставления.

13. Система по любому из пп.1-5, отличающаяся тем, что она выполнена с возможностью поиска и сопоставления характеристических точек в новом кадре с характеристическими точками в нескольких ранее полученных кадрах.

14. Сельскохозяйственное транспортное средство (1), содержащее систему управления, осуществляющую управление средством (9) транспортировки продукта сельскохозяйственного транспортного средства (1), в частности, выгрузным желобом кормоуборочного комбайна, для подачи продукции к целевой области (11), при этом указанная система управления содержит устройство (29) формирования трехмерных изображений для получения кадров, отображающих, по меньшей мере, часть целевой области, процессор (46) данных и устройство (46) памяти, причем указанная система управления выполнена с возможностью извлечения информации из указанных кадров для управления средством (9) транспортировки продукта, а именно с возможностью:

получения эталонного кадра, который содержит трехмерную информацию о расположении, по меньшей мере, части целевой области (11);

идентификации ряда характеристических точек целевой области в эталонном кадре;

получения от устройства формирования трехмерных изображений (29) нового кадра, отображающего, по меньшей мере, часть целевой области;

анализа нового кадра для идентификации ряда характеристических точек в новом кадре;

поиска и сопоставления характеристических точек в эталонном кадре и новом кадре;

анализа пар (53) согласованных характеристических точек для определения группы пар, демонстрирующих общее изменение расположения от эталонного кадра к новому кадру, и

формирования сигнала с учетом результатов последнего анализа.

15. Способ управления при помощи системы управления средством (9) транспортировки продукта сельскохозяйственного транспортного средства (1), в частности выгрузным желобом кормоуборочного комбайна, для подачи продукции к целевой области (11), при этом указанная система управления содержит устройство (29) формирования трехмерных изображений для получения кадров, отображающих, по меньшей мере, часть целевой области, процессор (46) данных и устройство (46) памяти, причем указанная система управления выполнена с возможностью извлечения информации из указанных кадров для управления средством транспортировки продукта (9), включающий следующие шаги:

получают эталонный кадр, который содержит трехмерную информацию о расположении, по меньшей мере, части целевой области (11);

идентифицируют ряд характеристических точек целевой области в эталонном кадре;

получают от устройства формирования трехмерных изображений (29) новый кадр, отображающий, по меньшей мере, часть целевой области;

анализируют новый кадр для идентификации ряда характеристических точек в новом кадре;

проводят поиск и сопоставляют характеристические точки в эталонном кадре и новом кадре;

анализируют пары (53) согласованных характеристических точек для определения группы пар, демонстрирующих общее изменение расположения от эталонного кадра к новому кадру, и

формируют сигнал с учетом результатов последнего анализа.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к системе управления для сельскохозяйственного транспортного средства, осуществляющей управление управляемым средством транспортировки продукта сельскохозяйственного транспортного средства, в частности выгрузным желобом кормоуборочного комбайна, для подачи продукции к целевой области, при этом указанная система управления содержит устройство формирования трехмерных изображений для получения кадров, отображающих, по меньшей мере, часть целевой области, процессор данных и устройство памяти, причем указанная система управления извлекает из этих кадров информацию для управления средством транспортировки продукта.

Кроме того, изобретение относится к сельскохозяйственному транспортному средству, содержащему систему управления, и способу управления управляемым средством транспортировки продукта сельскохозяйственного транспортного средства с помощью системы управления.

Уровень техники

В патентном документе DE 4426059 A1 описан комбайн со спускным или выгрузным желобом для выгрузки собранного материала в контейнер для перевозки продукции транспортной тележки. С нижней стороны желоба на некотором расстоянии от выгрузного конца присоединена камера. Камера формирует изображение конца желоба и открытого верха контейнера для перевозки продукции, причем указанное изображение передается на монитор в кабину водителя. Кроме того, предлагается использовать обработку изображения для управления желобом, чтобы удерживать его направленным на открытый верх контейнера для перевозки продукции, автоматически обеспечивая постоянное попадание выгружаемого продукта в цель, т.е. через открытый верх контейнера для перевозки продукции.

В патентном документе EP 1344445 A1 описан комбайн со спускным или выгрузным желобом с насадкой для направления материала, выгружаемого из желоба. К насадке присоединяется камера и, таким образом, направление обзора камеры параллельно направлению выгрузки из желоба. Предлагается использовать две камеры и сшивать формируемые ими изображения, тем самым обеспечивая большее поле обзора. В альтернативном варианте можно одновременно использовать только одну камеру, а именно камеру, формирующую лучшее изображение.

В патентном документе ЕР 2020174 A1 предлагается использовать стереоскопическую камеру, присоединенную к желобу комбайна с целью получения трехмерных или 3D изображений контейнера для транспортировки или хранения, в который из желоба высыпается собранный продукт, загружающий при этом контейнер, что обеспечивает возможность управления желобом и перегрузкой продукта. С помощью этих изображений предлагается получать так называемые шаблоны контейнера для хранения, окружающих его зон и уровень заполнения продукцией контейнера для хранения соответственно. Эти шаблоны можно структурировать в виде 3D шаблонов, шаблонов формы, шаблонов текстуры и (или) шаблонов цвета. Кроме того, предлагается исходя из смещения этих шаблонов от одного изображения к другому получать данные о скорости перемещения и повороте комбайна, скорости перемещения и повороте контейнера для хранения, а также изменения условий загрузки и положения желоба в пространстве соответственно.

При подаче продукта к целевой области с помощью средства транспортировки продукта, например выгрузного желоба, и контроля подачи с помощью устройства формирования трехмерных изображений, например стереоскопической камеры, могут возникнуть проблемы, связанные с пылью и частицами продукта, например листьями и частями листьев, рассеянными в воздухе вокруг средства транспортировки продукта и в зоне между средством транспортировки продукта и целевой областью, и создающими шумы на изображениях, создаваемых устройством формирования трехмерных изображений. Это, в свою очередь, затрудняет надлежащее управление средством транспортировки продукта на основе изображений. Таким образом, системам управления, относящимся к известному уровню техники, трудно отличать целевую область и продукт, высыпаемый в целевую область, от шума, такого как пыль и частицы, рассеянные в воздухе между средством транспортировки продукта и целевой областью.

Раскрытие изобретения

Задачей настоящего изобретения является преодоление или сведение к минимуму этой проблемы.

Это достигается с помощью системы управления для сельскохозяйственного транспортного средства, осуществляющей управление управляемым средством транспортировки продукта сельскохозяйственного транспортного средства, в частности выгрузным желобом кормоуборочного комбайна, для подачи продукции к целевой области, при этом указанная система управления содержит устройство формирования трехмерных изображений для получения кадров, отображающих, по меньшей мере, часть целевой области, процессор данных и устройство памяти, причем указанная система управления выполнена с возможностью извлечения информации из указанных кадров для управления средством транспортировки продукта, а именно с возможностью получения эталонного кадра, который содержит трехмерную информацию о расположении, по меньшей мере, части целевой области, идентификации ряда характеристических точек или отличительных признаков в эталонном кадре, получения от устройства формирования трехмерных изображений нового кадра, отображающего, по меньшей мере, часть целевой области, анализа нового кадра для идентификации ряда характеристических точек в новом кадре, поиска и сопоставления характеристических точек в эталонном кадре и новом кадре, анализа пары согласованных характеристических точек для определения группы пар, демонстрирующих общее изменение расположения от эталонного кадра к новому кадру, и формирования сигнала с учетом результатов последнего анализа. При помощи идентификации группы пар характеристических точек, демонстрирующих общее изменение расположения, идентифицируется группа точек изображения, принадлежащих поверхности общего твердого тела. Этим твердым телом будут являться целевая область и продукт, высыпаемый в целевую область.

Для целей настоящего изобретения «расположение» означает позицию и ориентацию. Таким образом, расположение представляет собой сочетание изменения позиции, вызванного поступательным движением, и изменения ориентации, вызванного вращением вокруг оси. Таким образом, точки, демонстрирующие общее изменение расположения, представляют собой точки, которые переместились со своей позиции в эталонном кадре к своей позиции в новом кадре за счет общего поступательного движения и общего вращения вокруг общей оси.

Таким образом, точки, демонстрирующие наличие пыли и частиц, определенным образом отфильтровываются, тогда как точки, принадлежащие с большой степенью определенности к целевой области, идентифицируются.

В предпочтительном варианте осуществления система управления обеспечивает указанный сигнал с учетом указанного общего изменения расположения и/или относительных позиций отдельных пар согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения. Принимая во внимание общее изменение расположения, можно определить текущую позицию цели относительно сельскохозяйственного транспортного средства, при этом указанный сигнал предпочтительно представляет собой управляющий сигнал для управления средством транспортировки продукта, обеспечивая, таким образом, сохранение ориентации средства транспортировки продукта на цель. Принимая во внимание относительные позиции отдельных пар согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения, можно контролировать степень заполнения различных областей цели, при этом сигнал может быть управляющим сигналом для управления средством транспортировки продукта с целью следования стратегии заполнения.

В предпочтительном варианте осуществления система содержит монитор, при этом указанный сигнал содержит информационный сигнал, отображаемый на мониторе. Принимая во внимание относительные позиции отдельных пар согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения, в этом варианте осуществления можно четко отобразить на мониторе степень заполнения различных областей цели, например, чтобы водитель транспортного средства мог отслеживать заполнение цели или осуществлять управляющие действия, следуя стратегии заполнения.

Предпочтительно система управления выполнена с возможностью определения расположения целевой области, соответствующего эталонному кадру, и обновления указанного расположения с учетом указанного общего изменения расположения. Это позволяет определять текущее расположение целевой области даже в случае, когда текущее изображение содержит слишком много шума для определения расположения на основе изображения как такового.

Предпочтительно система управления выполнена с возможностью определения расположения по меньшей мере части целевой области в системе отсчета, предпочтительно связанной с сельскохозяйственным транспортным средством.

Предпочтительно, кроме того, система управления выполнена с возможностью обновления расположения целевой области в указанной системе отсчета. Это позволяет определять расположение целевой области также для частей целевой области, выходящих за пределы изображения текущего кадра.

Предпочтительно система управления выполнена с возможностью определения поверхности целевой области и определения отдельных пар согласованных характеристических точек в группе пар, демонстрирующих общее изменение расположения, которые не расположены на поверхности целевой области, представляющих поверхность продукта, подаваемого в целевую область. Это позволяет определять точки поверхности продукта, высыпаемого в целевую область, с большой достоверностью, что обеспечивает соответствующую большую достоверность при определении количества засыпанного продукта или степень заполнения продуктом целевой области. Следует отметить, что общая поверхность продукта, засыпаемого в целевую область, обычно представляет собой подвижную поверхность, поскольку из средства транспортировки продукта более или менее непрерывно поступает новый материал. Однако поверхность в целом в большинстве случаев изменяется не одновременно, при этом отдельные области время от времени остаются неподвижными. Таким образом, характеристические точки, принадлежащие к отдельным неподвижным в данный момент областям поверхности продукта, засыпаемого в целевую область, можно отыскивать и сопоставлять в двух последовательных изображениях, например, полученным с интервалом 0,2-0,3 секунды.

Предпочтительно система управления содержит средства для определения расположения, по меньшей мере, части целевой области, которые обеспечивают меру степени надежности определенного расположения, при этом указанная система управления выполнена с возможностью обновления расположения целевой области на основе расположения, определенного средствами определения расположения, когда указанная степень надежности высока. Это позволяет всегда определять расположение с большой достоверностью, поскольку эффекта дрейфа при определении за счет суммирования незначительных изменений расположения от кадра к кадру удается избежать.

В предпочтительном варианте осуществления средства для определения расположения по меньшей мере части целевой области содержат средства для анализа трехмерного кадра. Это позволяет определить расположение по кадру, создаваемому устройством формирования трехмерных изображений, тем самым избегая необходимости в отдельном устройстве для определения расположения.

Предпочтительно система управления содержит средства для определения позиции и направления обзора устройства формирования трехмерных изображений, при этом система управления выполнена с возможностью игнорирования точек в трехмерных кадрах, показывающих позиции ниже определенного уровня относительно устройства формирования трехмерных изображений. Такой способ позволяет отфильтровать несущественные детали изображения, которые могут вносить шум. Такие несущественные детали могут быть участком земли, окружающим целевую область.

В еще одном предпочтительном варианте осуществления система управления выполнена с возможностью определения областей ожидания, в пределах которых выполняется поиск характеристических точек в эталонном кадре и/или новом кадре в целях сопоставления. Это позволяет осуществлять поиск отдельных характеристических точек в пределах ограниченной области изображения, уменьшая время обработки, при этом области изображения, в которых существенные характеристические точки не ожидаются, можно исключить из поиска, избегая тем самым возможного шума.

В еще одном варианте осуществления система управления выполнена с возможностью поиска и сопоставления характеристических точек в новом кадре с характеристическими точками в нескольких ранее полученных кадрах. Это позволяет найти в новом кадре большее количество характеристических точек, представляющих поверхность целевой области или засыпанного в нее продукта. Кроме того, сравнивая расположение характеристических точек в новом кадре с расположениями характеристических точек в нескольких кадрах, полученных за более продолжительный промежуток времени, чем промежуток времени или интервал между двумя последовательными кадрами, можно определить изменение расположения с большей определенностью.

Соответственно, задача изобретения решена с помощью сельскохозяйственного транспортного средства по пункту 14 формулы изобретения и способа по пункту 15 формулы изобретения.

Краткое описание чертежей

Ниже изобретение более подробно объясняется с помощью примеров вариантов осуществления со ссылкой на следующие схематические чертежи.

На фиг.1 показан кормоуборочный комбайн и транспортная тележка.

На фиг.2 показано изображение транспортной тележки.

На фиг.3 показано другое изображение транспортной тележки.

На фиг.4 показана блок-схема, иллюстрирующая способ в соответствии с настоящим изобретением.

Осуществление изобретения

На фиг.1 показан вид спереди кормоуборочного комбайна 1 с жаткой 3, ходовыми колесами 5, кабиной водителя 7 и выгрузной или спускной желоб 9. В процессе работы жатка 3 собирает сельскохозяйственную культуру (продукт), которая обрабатывается комбайном 1 и выгружается из желоба 9. Для сбора выгружаемого продукта транспортная тележка 11 перемещается рядом с бортом кормоуборочного комбайна 1. Из состава транспортной тележки 11 на фиг.1 показаны только ходовые колеса 13 и контейнер для перевозки продукции с днищем 15, боковыми стенками 17, 18 и открытым верхом 19.

Желоб 9 известным по существу способом монтируется на комбайне 1 с возможностью контролируемого вращения вокруг вертикальной оси 21 с помощью приводных механизмов, обозначенных номером 22. Измеритель присоединен к приводному механизму 22, благодаря чему известно положение желоба 9 по отношению к комбайну 1. Желоб 9 имеет продолговатую форму и наружный конец 23, снабженный регулируемой насадкой 25 для направления потока 27 продукта, выгружаемого из желоба 9.

Устройство формирования трехмерных изображений в виде стереоскопической камеры 29 монтируется на желобе 9 с нижней стороны и на некотором расстоянии от наружного конца 23. Стереоскопическая камера 29 содержит 2 камеры CCD или видеокамеры с объективами 36а и 36b соответственно, имеющие среднее направление 39 просмотра стереоскопической камеры 29. Две камеры помещаются в общем кожухе 41.

Стереоскопическая камера предпочтительно представляет собой широкоугольную камеру с большим углом обзора 3, позволяющим камере «видеть» одновременно открытый верх 19 и ближайшую боковую стенку 17 контейнера для перевозки продукции транспортной тележки 11, как показано на фиг.1.

В показанном варианте осуществления, помимо соединения, обеспечивающего вращение желоба 9 вокруг вертикальной оси 21, желоб 9 не содержит каких-либо других соединений между корпусом комбайна 1 и камерой 29. Таким образом, положение стереоскопической камеры 29, в частности ее высота над землей, всегда известны. Предполагается, что желоб в альтернативных вариантах осуществления содержит соединения, позволяющие поднимать и опускать желоб, изменяя его общую геометрию. В таких вариантах осуществления измерители могут прикрепляться к соединениям, позволяя задавать текущую геометрию желоба и, тем самым, высоту положения стереоскопической камеры над землей.

Наличие стереоскопической камеры 29 обеспечивает получение монохромных (или даже цветных) изображений, а также диспаратных изображений контейнера для перевозки продукции. Монохромные изображения могут, например, передаваться на монитор 44 в кабине водителя, чтобы позволить или помочь водителю отслеживать процесс перегрузки продукции в транспортную тележку 11 известным по существу способом, тогда как диспаратное изображение удовлетворяет требованиям к входной информации для автоматического или полуавтоматического управления.

Таким образом, кормоуборочный комбайн 1 содержит устройство 46 управления с процессором данных и устройством памяти. Устройство управления принимает изображения или кадры, т.е. файлы данных, содержащие пиксельную информацию об изображениях, от стереоскопической камеры 29, и обрабатывает изображения.

В настоящем варианте осуществления устройство 46 управления использует программное обеспечение, относящееся к известному уровню техники, для обработки стереоизображений, полученных от стереоскопической камеры 29. Таким образом, устройство 46 управления получает стереоскопический кадр, содержащий «левый» и «правый» кадр, обеспечиваемый соответственно двумя объективами 36a и 36b. Следует отметить, что определения «левый» и «правый» используются по отношению к двум кадрам или изображениям, формируемым двумя объективами, в соответствии со стандартом в отношении стереоскопического зрения, несмотря на то, что в настоящем варианте осуществления объективы располагаются один над другим, а не рядом друг с другом. Устройство 46 управления обрабатывает стереоскопический кадр для получения диспаратного изображения, т.е. изображения, содержащего информацию о глубине, или трехмерную информацию. Обычно диспаратное изображение получают, анализируя, например, левый кадр попиксельно, отыскивают для каждого пикселя соответствующий пиксель в правом кадре и рассчитывают расстояние от камеры до точки, изображаемой этими пикселями, методом триангуляции. Информация об этом расстоянии присоединяется к пикселю левого кадра, который, таким образом, содержит трехмерную информацию и формирует диспаратное изображение. Диспаратное изображение обрабатывается устройством 46 управления с помощью программного обеспечения, относящегося к известному уровню техники, для распознавания и определения местоположения транспортной тележки 11, в особенности горизонтального края 51 открытого верха 19.

Для этого требуется довольно хорошее стереоизображение без чрезмерных помех. Такие изображения часто могут быть получены в ходе работы, но их часто также не удается получить, например, из-за посторонних частиц и пыли, плавающих в воздухе вокруг желоба 9 и под ним.

Если устройство 46 управления не может с достаточной степенью надежности распознать и определить местоположение транспортной тележки на основе данного кадра, то ему не удается определить расположение края.

После получения стереоскопического кадра или изображения без чрезмерных помех и определения на его основе расположение края 51 открытого верха, можно сохранить или отрегулировать положение желоба 9, чтобы направить поток продукции, выгружаемый желобом, на цель, т.е. открытый верх 19, для заполнения контейнера транспортной тележки 11.

Транспортная тележка 11 содержит, как упоминалось выше, две боковые стенки, т.е. ближнюю боковую стенку 17 и дальнюю боковую стенку 18 по отношению к комбайну 1. Кроме того, транспортная тележка 11, или ее контейнер для перевозки продукции, содержит переднюю стенку 20a и заднюю стенку 20b. Соответственно, край 51 содержит ближнюю часть 51a края, дальнюю часть 51b края, переднюю часть 51c края и заднюю часть 51d края 51d.

Определив расположение края 51 на стереоизображении, можно попиксельно анализировать область изображения между ближней частью 51a края и дальней частью 51b края, при этом пиксели, которые на основании информации о диспаратном изображении, считаются представляющими точки, расположенные главным образом вертикально ниже дальней части 51b края, относят к дальней боковой стенке 18.

Информация о стереокадре, т.е. диспаратном изображении, сохраняется в памяти устройства 46 управления наряду с информацией о расположении края 51. Расположение края берется относительно комбайна 1. Таким образом, определяется расположение, т.е. позиция и ориентация, края 51 и, вследствие этого, транспортной тележки 11 по отношению к комбайну 1.

В связи с тем, что расположение или высота стереоскопической камеры 29 над земной поверхностью известна, можно отфильтровать относящуюся к земле информацию, например, исключив информацию, относящуюся к позициям ниже 50 см над уровнем земли. Исключение информации таким способом уменьшает помехи и сокращает обработку данных.

После получения и сохранения таким путем информации о кадре, по которой можно определить расположение края 51 или, по меньшей мере, части края, содержащей либо переднюю часть 51 с края, либо заднюю часть 51d края вместе с прилегающими сегментами ближней части 51a края и дальней части 51b края, этот кадр обозначают как «эталонный кадр».

Как показано на фиг.4, система, получив эталонный кадр на начальном шаге 100, действует следующим образом. На первом шаге 101 идентифицируются характеристические точки в эталонном кадре. На втором шаге 103 получают новый стереокадр от стереоскопической камеры 29, при этом новый стереокадр анализируется с целью поиска и идентификации характеристических точек или отличительных признаков в новом стереокадре.

На третьем шаге 105 характеристические точки, найденные в эталонном кадре и новом стереокадре, сопоставляют для выделения группы характеристических точек, демонстрирующих общее изменение расположения от эталонного кадра к новому стереокадру. Общее изменение расположения, найденное таким образом, соответствует изменению расположения транспортной тележки 11 по отношению к стереоскопической камере 29 в течение интервала времени между получением эталонного кадра и нового стереокадра.

Если качество нового стереокадра недостаточно для определения расположения края 51 или его части, как объяснялось выше, то на четвертом шаге 107 расположение края 51, зарегистрированное вместе с информацией о новом эталонном кадре, обновляется с учетом общего изменения расположения и принимается в качестве нового расположения, при этом устройство 46 управления может формировать какой-либо сигнал управления, позволяющий продолжать выгрузку потока продукции желобом 9, направленным на цель, т.е. открытый верх 19, или заданное место в пределах открытого верха 19.

Если качество нового стереокадра достаточно для определения расположения края 51 или его части, новый стереокадр на альтернативном четвертом шаге 109 используется в качестве нового эталонного кадра.

На фиг.2 представлено изображение транспортной тележки 11, на котором характеристические точки, найденные на указанном изображении и последующем новом изображении, показаны линиями 53, проведенными между парами согласованных характеристических точек. Видно, что на окружающем участке земли не найдено каких-либо точек, которые были отфильтрованы, как упомянуто выше. На изображении виден поток 27 продукции, поступающий в контейнер транспортной тележки 11, при этом следует отметить, что в потоке 27 продукции или в месте его падения внутри транспортной тележки 11 не найдено никаких согласованных характеристических точек. Это вызвано тем, что вокруг потока 27 продукции существуют пыльные условия, создающие помехи, и поверхность продукции, засыпаемой в транспортную тележку 11 в области падения потока продукции, выглядит живой или подвижной из-за ее постоянного поступления. Эти условия делают невозможным определение фактической позиции поверхности продукции, засыпанной в транспортной тележке 11, на основе единственного трехмерного изображения, поскольку для конкретной точки или пикселя, обнаруженной на трехмерном изображении, невозможно определить, принадлежит ли эта точка фактически поверхности засыпанной продукции, или движущемуся потоку 27 продукции. Однако рядом с местом падения потока продукции в течение интервала времени между получением двух последовательных кадров поверхность локально будет находиться в неподвижном состоянии, что позволяет идентифицировать и сопоставить характеристические точки поверхности засыпанной продукции. Эти точки надежно идентифицируют текущую поверхность засыпанной продукции, тем самым обеспечивая возможность определения степени заполнения транспортной тележки 11.

Как упоминалось выше, пиксели, расположенные между дальней и ближней частями 51b и 51a края, подвергаются анализу, по результатам которого могут быть отнесены к дальней боковой стенке 18. Идентифицированные и согласованные характеристические точки, расположенные между дальней и ближней частями 51b и 51a края, относят к поверхности засыпанной продукции, если они не отнесены к дальней боковой стенке 19.

На пятом шаге 111 (фиг.4) сигнал направляется на монитор 44 в качестве информации для водителя или оператора комбайна 1. На фиг.3 представлено полученное на мониторе изображение транспортной тележки 11, на котором край 51 показан с помощью сигналов, поступающих от программного обеспечения, распознающего и определяющего местоположение края. Край отображается в форме кадра 51' изображения, генерируемого устройством 46 управления, и накладывается на изображение, получаемое от камеры, т.е. одного из двух объективов 36a и 36b. Далее степень заполнения постепенно индицируется для различных продольных сечений транспортной тележки 11 с помощью полей 61, 63a, 63b, 65 и 67 изображения, генерируемых устройством 46 управления, и накладывается на изображение, получаемое от камеры. Это индицирование степени заполнения сообщает о том, какие части контейнера транспортной тележки успешно заполнены, а в каких еще остается место для дополнительной погрузки продукции.

Цвета используются для индикации различных степеней заполнения различных областей, например индикация красным цветом означает, что область заполнена (поле 61), индикация областей зеленым цветом - что они еще далеко не заполнены (поле 67), а индикация областей одним или несколькими оттенками желтого цвета - что они близки к заполнению (поле 63a, 63b и 65).

После четвертого и пятого шагов способ возвращается к первому шагу 101, используя информацию об обновленном эталонном кадре.

Идентификация характеристических точек на первом шаге 101 и втором шаге 103 может быть выполнена любым известным способом, например, так называемым способом «обнаружения капли» или так называемым способом «обнаружения углов». Этими способами предусматривается определение чувствительности для пикселя или небольшой группы пикселей, сконцентрированных вокруг какого-либо пикселя. Пиксель, обладающий некоторой чувствительностью, в ближайшем окружении которого обнаруживается другой пиксель с более высокой чувствительностью, отбраковывается, поскольку при слабой чувствительности вероятно возникновение помех.

Сопоставление характеристических точек на третьем шаге 105 может быть выполнено на основе текстурного анализа окрестности соответствующих точек или свойств. Такой анализ выполняется с помощью так называемого «дескриптора свойств», несколько из которых известны специалистам, например нормальная кросс-корреляция с нулевым средним (Zero-mean Normal Cross Correlation), дескриптор SURF (Speeded Up Robust Features, ускоренное отображение устойчивых признаков изображения) и дескриптор SIFT (Scale-Invariant feature transform, масштабно-инвариантная трансформация свойств).

При сопоставлении характеристической точки, найденной в новом стереокадре, с характеристической точкой в эталонном кадре поиск возможного совпадения можно ограничить областью, где предполагается правильное совпадение. Таким образом, области, которые, как предполагается, относятся не к транспортной тележке 11, а к окружающим ее зонам, например, на внешней стороне передней части края, можно исключить.

Определение общего изменения расположения

Взаимное изменение расположения стереоскопической камеры 29 и транспортной тележки 11 за время между одним (эталонным кадром) и другим кадром (новым стереокадром) описывается матрицей преобразования М:

где

R - матрица 3×3 (3 строки и 3 столбца), выражающая вращение вокруг трех пространственной осей, и

T - матрица 3×1, определяющая трансляцию в три пространственных направления;

M - представляет собой, следовательно, матрицу 4×4.

Если P _a обозначает эталонный кадр, относящийся к моменту времени a, а P_b обозначает новый стереокадр, относящийся к более позднему моменту времени b, т.е. a<b, то

P_b=M_ab P_a, где M_ab представляет собой матрицу, выражающую преобразование из a в b.

Обращаясь к упомянутому выше третьему шагу 105, получаем, что M представляет собой вариант осуществления настоящего изобретения, полученный по методу ПСД (произвольно-селективного доступа):

Если f_as - характеристическая точка № s в P_a, которая была сопоставлена с f_bs , представляющей собой характеристическую точку № s в P_b, и, соответственно, f_at - характеристическая точка № t в P_a, которая была сопоставлена с f_bt , представляющей собой характеристическую точку № t в P_b, a f_au - характеристическая точка № u в P_a, которая была сопоставлена с f_bu , представляющей собой характеристическую точку № u в P_b, и если f_s, f_t и f_u неколлинеарны, то

, , где x, y, z являются пространственными координатами f,

образует систему уравнений, по которой можно рассчитать M_ab.

M_ab согласно методу ПСД рассчитывается как оценка большого количества моментов времени для трех произвольно выбранных согласованных пар характеристических точек f_a и f_b. После того, как оценка M _ab была рассчитана таким образом, ее снова проверяют в сравнении с другими согласованными парами характеристических точек в P_a и P_b. При этом определяется лучшая оценка M_ab. Согласованные пары характеристических точек, которые согласно лучшей оценке M_ab являются несовпадающими, отклоняются в качестве выбросов.

Благодаря использованию настоящего изобретения могут быть получены несколько благоприятных эффектов.

В периоды времени, когда изображения, полученные стереоскопической камерой 29, имеют плохое качество, можно все же отслеживать взаимное положение стереоскопической камеры (и, тем самым, комбайна) и целевой области, т.е. транспортной тележки.

Можно надежно обнаруживать текущую поверхность материала в целевой области, т.е. продукции в транспортной тележке, и, тем самым, степень заполнения (тележки) или остаточный потенциал заполнения.

Кроме того, благодаря тому, что расположение края или его части определено, и информация об этом сохранена, по крайней мере, в предпочтительном варианте осуществления, можно отслеживать любой конец контейнера тележки, т.е. переднюю часть 51 с края и заднюю часть 51d края, после того, как соответствующая часть края оказалась в поле зрения камеры 29, даже если край 51 не попадает в поле зрения камеры целиком, т.е. не представлен в данном стереокадре, в любой момент времени.