способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения

Формула изобретения

Способ автоматического измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения, заключающийся в получении стереопары в виде левого и правого оцифрованных изображений с помощью двух телекамер, образующих стереосистему, сопряженную с ПЭВМ, фрагментации левого изображения, выделении на фрагменте измеряемой точки, выделении фрагмента правого изображения в соответствии с расчетным диапазоном параллаксов, выделении на фрагменте правого изображения группы отождествляемых элементов поиска корреспондирующей пары на множестве элементов группы, вычислении параллакса корреспондирующей пары, вычислении пространственных координат измеряемой точки, соответствующей этой паре, и объединении всех измеренных точек в модель внешней среды, отличающийся тем, что после получения стереопары изображений визуально осуществляют выбор области изображения на экране дополнительно введенного дисплея, выделение фрагмента области производят дополнительно по характерному перепаду яркости с применением дополнительного введенного указывающего устройства.

Описание изобретения к патенту

Изобретение относится к области робототехники и (полу) автоматического измерения трехмерных объектов на расстоянии, в частности к системам технического зрения в оптическом диапазоне.

В настоящее время известны различные способы, применяемые в фотограмметрии для измерения объектов по стереопаре изображений, на которых объекты представлены соответствующими областями, получаемых в условиях естественного освещения. Они служат основой для способов обработки стереоизображений в устройствах технического зрения роботов, состоящих из стереосистем, сопряженных с ЭВМ, использующие стереопару, преобразованную в двумерный цифровой сигнал цифровое изображение. Среди известных аналогов фотограмметрических способов измерений, применяемых в аэрофотосъемке, известен способ мнимой метки для определения плоских прямоугольных координат соответственных точек пары фотоснимков с последующим вычислением третьей координаты-высоты [1] Для его реализации используют сложное электромеханическое устройство-стереокомпаратор, который позволяет вручную, с помощью нескольких штурвалов перемещать снимки относительно двух неподвижных марок, каждая из которых совмещается с соответственными точками пары снимков. При глубинном перемещении наблюдаемой (мнимой) метки, осуществляемого путем относительного перемещения и поворота снимков, добиваются ее совмещения с объектом съемки. Перечисленные движения позволяют восстановить ход лучей зрения при съемке и получить стереомодель, измеряя которую можно получить план объекта путем определения параллаксов (продольного и поперечного) и координат Х, Y. Отсчитывание и регистрация результатов измерения автоматизированы путем преобразования величины перемещения в код для непосредственного ввода и запоминания в ЭВМ с последующим выводом на перфоленту или печатающее устройство.

В робототехнике обычно изображения стереопары специально ориентированы; их получают в плоскости перпендикулярной к оптической оси стереосистемы при нулевой конвергенции, фокусные расстояния объективов делают одинаковыми, а базис устанавливают параллельно плоскости стереопар [2] При этом существенно упрощаются автоматическая обработка и анализ стереопарных изображений.

В качестве аналога для автоматического измерения можно указать способ отождествления совокупности контурных признаков локальных экстремумов контрастности на цифровых изображениях стереопары, построенный на основе метода динамического программирования. Он обладает достаточной надежностью отождествления, даже в случае слабоконтрастных изображений, но не обладает избирательностью по принадлежности измеряемых точек к интересующему объекту и требует больших затрат машинного времени [3]

Известен способ автоматического отождествления одиночных контурных признаков на соответственных строках стереопары. Для обеспечения надежного отождествления применяется грубо-точный алгоритм последовательного отождествления, с использованием на первом этапе наиболее контрастных перепадов яркости [4] Этот способ автоматического измерения внешней среды робота выбран в качестве прототипа.

Способ заключается в том, что получают стереопару измеряемого объекта в виде двух оцифрованных изображений в системе координат Хл, Yл и Хп, Yп, где оси Хл и Хп ортогональны базису стереосистемы В; выделяют фрагменты изображений, наиболее контрастные перепады интенсивности, превышающие заданный порог, путем регулярного автоматического сканирования изображения по Yл; выделяют на фрагменте левого изображения отождествляемый элемент; выделяют на правом изображении группы отождествляемых элементов; отождествляют перепады по критерию близости в пространстве параметров и находят корреспондирующую пару на множестве элементов группы; для всех корреспондирующих пар находят параллаксы, вычисляют координаты точек объекта, соответствюущих элементу отождествления и вычисляют геометрическую модель объекта.

Во всех устройствах, подобных прототипу, заложен принцип автоматического преобразования двумерных данных стереопары в трехмерные (пространственные) координаты измеряемых точек. В этом преобразовании заключается противоречие между требованиями высокой точности воспроизведения большого количества деталей объекта и надежностью отождествления элементов стереопары, включая слабоконтрастные.

Целью предложенного способа является увеличение точности определения координат точек для построения модели измеряемого объекта, путем повышения надежности отождествления и уменьшения количества неправильно отождествленных точек; повышение достоверности модели при ее построении на основе визуализации монокулярного изображения, входящего в стереопару, наложением на него измеренных точек по указанию оператора.

Поставленная цель достигается тем, что в отличие от известного способа автоматического измерения внешней среды робота, заключающемся в получении стереопары измеряемого объекта; фрагментации одного изображения стереопары по координате Y и обнаружении на всей строке наиболее контрастных элементов по порогу; получении параметрического описания отождествляемых элементов; группировании фрагментов изображения по координате Y на другом изображении стереопары; обнаружении на всей строке наиболее контрастных элементов; получении их параметрического описания с последующим отождествлением; вычислении параллаксов для корреспондирующих точек соответствующих элементов; вычислении координат точек объекта и вычислении модели измеряемого объекта; предлагается полуавтоматическое отождествление, отличающееся тем, что после получения стереопары одно из ее изображений визуализируется на экране дисплея; выбирают на изображении область, соответствующую объекту на анализируемой сцене; выделяют контрастную точку с помощью курсора, перемещаемого от указывающего устройства (типа "мышь") [5] производят группирование элементов первого изображения по координате Y в малой окрестности указанной точки; уточняют положение точки контрастного элемента в этой окрестности; вычисляют параметры элемента отождествления; передают уточненные координаты в ЭВМ; группируют элементы второго изображения по координате Y в пределах допустимого значения параллакса; обнаруживают контрастные элементы отождествления; вычисляют параметры отождествления и находят корреспондирующие элементы; вычисляют для них параллакс; вычисляют пространственные координаты точки; отображают их на экране монитора наложением на монокулярное изображение; вычисляют модель внешней среды и отображают ее на экране дисплея.

Именно возможность выбора измеряемой точки с помощью перемещаемого курсора повышает надежность последующего автоматического отождествления. Возможность ложных (неправильных) отождествлений значительно снижается еще и потому, что количество измеряемых точек в несколько раз меньше: вычисляются координаты только тех точек, которые дают оператору представление о геометрических особенностях наблюдаемой сцены, учитываемых при управлении роботом. При этом оператор выбирает наиболее контрастные точки, что дополнительно повышает надежность отождествления. Сравнение заявляемого способа отождествления с прототипом позволяет установить соответствие его критерию "новизна".

При изучении других известных способов отождествления в данной области, в частности, рассмотренных аналогов, были сделаны следующие выводы. Существенным отличием обладает признак способа, заключающейся в выборе измеряемых точек оператором, что исключает необходимость группирования фрагментов первого изображения по всей строке; позволяет ограничить группирование на строке второго изображения лишь в пределах допустимого параллакса; освобождает от привлечения дополнительной информации и приемов, как это делается для повышения надежности при автоматическом отождествлении. Благодаря тому, что выбор измеряемой точки осуществляется лишь по одному из изображений стереопары, не требуется специально обучать оператора, как это необходимо при работе на стереокомпараторе.

Хотя остальные признаки, отличающие заявленный способ от прототипа, по отдельности присущи аналогам, тем не менее ни в одном из известных способов нельзя, как в предлагаемом, получить с достаточным быстродействием координаты отдельных точек, действительно интересующих оператора (исследователя), в экстремальных ситуациях, характерных, например, для транспортного или манипуляционного робота, находящийся в аварийном помещении, когда автоматическое построение полной цифровой модели окружающей среды не имеет смысла. Предлагаемый способ значительно расширяет область применения стереоизмерений, путем проведения дистанционных бесконтактных измерений с использованием персональных ЭВМ (ПЭВМ).

Для осуществления предлагаемого способа измерения точек внешней среды робота разработано устройство, блок-схема которого представлена на рисунке. Устройство содержит блок (1) из двух идентичных телевизионных камер, ПЭВМ (2) с дисплеем (3) и указывающего устройства (УУ) для перемещения курсора (4). ПЭВМ оснащена платой визуализации и ввода телевизионного изображения ПВВТ, и устройством ввода-вывода стереоизображений УВВС. Формируемый в ПЭВМ курсор отображается на экране дисплея путем "наложения" на изображение сцены и перемещается оператором по экрану с помощью УУ для указания измеряемой точки. ПЭВМ, с вставленными в нее платами ПВВТ и УВВС, вместе с дисплеем и УУ, размещены на рабочем месте оператора, а стереоблок вынесен в рабочую зону, где расположены измеряемые объекты. Таким образом, устройство представляет собой человеко-машинный измерительный комплекс отображения и анализа видеоинформации.

Конкретная реализация предлагаемого способа измерения осуществляется в рассматриваемом способе следующим образом: получают основную стереопару измеряемого объекта в виде двух оцифрованных изображений в системах координат Хл, Yл и Хп, Yп, где оси Хл и Хп ортогональны базису; выводят одно изображение (левое) на экран монитора; оператор с помощью устройства "мышь" устанавливает курсор на интересующую точку объекта (достаточно контрастную); координаты этой точки (Хл, Yп) пересылаются в память ПЭВМ; где осуществляют фрагментацию левого изображения по координате Y на малой окрестности X_л X; уточняют положение точки контрастного элемента в этой окрестности (Хл, Yл); вычисляют параметры отождествляемого элемента; передают уточненные координаты в ПЭВМ; выделяют фрагмент на строке второго изображения при ограничении на параллакс Р

PminPPmax, (1)

где Pmin, Pmax минимальный и максимальный допустимые параллаксы; проводят отождествление на множестве элементов стереопары, входящих в указанную группу; вычисляют параллаксы соответственных элементов; вычисляют координаты точек объекта, соответствующих этим элементам; вычисляют модель внешней среды.

Использование предлагаемого способа дает следующие преимущества. По сравнению с прототипом увеличивается надежность измерения. Благодаря возможности выбора и визуального контроля измеренных координат точек, путем сопоставления их значений для разных точек одного объекта. Благодаря этому возрастает точность воспроизведения геометрических свойств внешней среды.

По сравнению с аналогом [3] и прототипом [4] уменьшается время, требуемое для отождествления, путем ограничения фрагментации на втором изображении условием (1), кроме того, вместо регулярной обработки изображения по оси Y производится выборочный анализ строк по указанию оператора, что приводит к дополнительному существенному сокращению времени на обработку. Благодаря значительному уменьшению необходимого количества измеряемых точек нужных оператору, время на получение информации о координатах объекта уменьшается в несколько раз.

По сравнению с аналогом [1] отождествление производится автоматически с помощью программного обеспечения на ПЭВМ, а не механическим способом (вручную), что приводит к упрощению системы обработки данных, улучшению конструктивных характеристик и уменьшению стоимости устройства.

Устройство удобно для использования при дистанционном управлении транспортными и манипуляционными роботами. В этом случае стереоблок устанавливают на роботе, а изображение по каналу связи поступает на пункт управления с рабочим местом оператора, где размещены телевизионный монитор, ПЭВМ с платой ввода-вывода изображений и устройством управления курсором. Благодаря малому времени измерения координат оператор имеет возможность манипулировать роботом без больших задержек на формирование команд. Если в системе управления роботом уже имеется система стереовизуализации внешней среды, включающая стереокамеру на борту робота, канал связи для передачи стереотелевизионных изображений в пункт управления, где имеется ПЭВМ и устройство стереовизуализации с телевизионным монитором, то предлагаемый способ реализуется в этой системе с помощью дополнительного программного обеспечения на ПЭВМ и платы ввода-вывода изображений. Тем самым сохраняется преемственность системы стереовизуализации с полуавтоматическим измерительным комплексом, позволяющим дополнительно к стереовизуализации получить числовую информацию о пространственных координатах измеряемых точек.

Применительно к транспортным телеуправляемым роботам предлагаемый способ позволяет осуществлять ближнюю навигацию, например, в целях определения расстояний до препятствий и предотвращения столкновений с ними. Для манипуляционных роботов предлагаемый способ можно применять для решения задачи автоматического перевода манипулятора из текущей позиции в заданную (определяемую координатами измеренной точки). В других областях, например геологии, предлагаемый способ найдет применение при дистанционном зондировании выработки породы с помощью стереоблока, размещенного в капсуле, опускаемой в полость разрабатываемой породы.