способ устранения искажений изображений дистанционного зондирования, связанных со сложной траекторией движения носителя сенсора изображения

Формула изобретения

1. Способ получения изображения дистанционного зондирования, включающий в себя получение последовательности снимков кадрового сенсора и сканирующего сенсора, отличающийся тем, что получение снимков кадрового и сканирующего сенсоров синхронизируют по времени, полученные с сенсоров данные записывают на запоминающее устройство, производят сопоставление отдельных снимков кадрового сенсора в порядке их последовательности, определяют сдвиг и поворот каждого последующего снимка относительно предыдущего снимка методом цифровой обработки изображений снимков, на основании сопоставления координат центров отдельных снимков определяют линию траектории движения областей обзора сканирующего и кадрового сенсоров, на линию траектории накладывают снимки кадрового сенсора друг на друга с учетом их положения, получая изображение зондируемой поверхности в виде мозаик, на основе мозаики осуществляют построение математического преобразования для коррекции изображения методом триангуляции, полученное геометрическое преобразование используют для пересчета данных сканирующего сенсора, получая неискаженное изображение зондируемой поверхности.

2. Способ по п.1, отличающийся тем, что в качестве метода цифровой обработки изображений снимков используют корреляционный метод.

3. Способ по п.1, отличающийся тем, что в качестве кадрового сенсора используют видеокамеру.

4. Способ по п.1, отличающийся тем, что в качестве сканирующего сенсора используют гиперспектрометр типа «pushbroom».

Описание изобретения к патенту

Настоящее изобретение относится к способу устранения геометрических искажений изображений, получаемых щелевым или трассовым сенсором дистанционного зондирования, связанных со сложной траекторией движения носителя сенсора относительно исследуемой поверхности наблюдаемого объекта, например при съемке поверхности земли с вертолета. Под щелевым сенсором понимается прибор, предназначенный для зондирования исследуемой поверхности путем сканирования узкой полосой области обзора (при этом радиус обзора является конечной величиной, площадь обзора близка к нулю). Примером щелевого сенсора является гиперспектрометр типа pushbroom. Трассовым сенсором называется прибор, при использовании которого сканирование осуществляется областью обзора малого радиуса (при этом площадь обзора близка к нулю). Родовым понятием для щелевого или трассового сенсора является термин «сканирующий сенсор». Для сканирования областей, площадь обзора которых является конечной величиной, много большей площади обзора сканирующего сенсора, применяется «кадровый сенсор». Примером кадрового сенсора является видеокамера.

В связи с движением носителя для получения действительного изображения поверхности земли необходима корректировка полученных с сенсоров данных, которые имеют искажения.

Для устранения геометрических искажений в задачах дистанционного зондирования Земли возможно использование так называемой физической стабилизации, которая предусматривает установку на борт летательного аппарата дорогостоящей навигационной аппаратуры и гироплатформы, обеспечивающей удержание оптической оси зондирующего устройства в строго вертикальном положении.

Однако такой способ зондирования связан со значительными материальными затратами по причине высокой стоимости гироплатформ. Кроме того, в этом случае возрастает суммарный вес всей системы, что в некоторых случаях бывает критичным.

Известен способ получения спектрального изображения (Video tracking-based real-time hyperspectral data acquisition, United States Patent Application 20060158647, Kind Code Al, Authors: Yao, Haibo; July, 20, 2006), включающий в себя получение последовательности снимков кадрового сенсора и сканирующего сенсора. Устройство, работающее по этому способу, включает в себя спектральный датчик, видеокамеру и дальномер. Области обзора этих трех устройств должны перекрываться. В процессе зондирования информация, получаемая от этих трех устройств, может сохраняться на некоторый носитель при помощи компьютера. С помощью этого же компьютера информация может отображаться на дисплее. Поскольку существует перекрытие областей спектральной и видео камер, то при отображении информации на дисплее имеется возможность накладывать спектральное изображение на видеоизображение, при этом отображать на экране дальность до наблюдаемого объекта, измеряемую дальномером. Вывод спектральной информации можно осуществлять по-разному. На экран могут непосредственно выводиться интенсивности каких-то спектральных линий или можно выводить информацию, прошедшую уже более или менее сложный процесс компьютерной обработки, а также результат распознавания измеренного спектра в конкретной точке.

Недостатком известного способа является отсутствие возможности (процедуры) коррекции изображения.

Задачей настоящего изобретения является создание способа дистанционного спектрального зондирования, позволяющего выполнять геометрическую коррекцию данных, которые в исходном виде имеют искажения, связанные с движением носителя. Такой процесс коррекции может называться математической стабилизацией измерений дистанционного зондирования и является более сложной задачей, чем простая визуализация измерений, реализуемая в известном способе.

Техническим результатом изобретения является создание системы устранения геометрических искажений при дистанционном зондировании сканирующим сенсором, которая может применяться для широкого круга задач, начиная от дистанционного зондирования Земли с авиаборта или космического аппарата до изучения под микроскопом молекул и микроорганизмов. Эта система позволяет производить геометрическую коррекцию измерений сканирующего сенсора. При дистанционном зондировании область обзора прибора может перемещаться по исследуемой поверхности, и, наоборот, сканирование движущегося объекта может осуществляться за счет перемещения самого объекта через область сканирования. Использование предлагаемого способа дает возможность получить геометрически правильное изображение зондируемой поверхности или движущего объекта.

Поставленная задача решается, а указанный результат достигается тем, что в способе получения изображения дистанционного зондирования, включающем в себя получение последовательности снимков кадрового сенсора и сканирующего сенсора, получение снимков кадрового и сканирующего сенсоров синхронизируют по времени, полученные с сенсоров данные записывают на запоминающее устройство, производят сопоставление отдельных снимков кадрового сенсора в порядке их последовательности, определяют сдвиг и поворот каждого последующего снимка относительно предыдущего снимка методом цифровой обработки изображений снимков. Затем на основании сопоставления координат центров отдельных снимков определяют линию траектории движения областей обзора сканирующего и кадрового сенсоров, на линию траектории накладывают снимки кадрового сенсора друг на друга с учетом их положения, получая изображение зондируемой поверхности в виде мозаик. На основе мозаики осуществляют построение математического преобразования для коррекции изображения методом триангуляции, полученное геометрическое преобразование используют для пересчета данных сканирующего сенсора, получая неискаженное изображение зондируемой поверхности. В качестве метода цифровой обработки изображений снимков возможно использование корреляционного метода. В качестве кадрового сенсора может быть применена видеокамера, а в качестве сканирующего сенсора возможно использование гиперспектрометра типа «pushbroom».

Предлагаемый способ поясняется схемами и фотографиями, представленными на чертежах.

Фиг.1 - схема устройства, в котором реализуется предлагаемый способ.

Фиг.2 - блок-схема действий по реализации предлагаемого способа.

Фиг.3 - схема процедуры формирования траектории движения областей обзора сенсоров и определения угла поворота и смещения r двух последовательных кадров.

Фиг.4а - пример мозаики, полученный кадровым сенсором (видеокамерой).

Фиг.4б - изображение, полученное путем обработки первичных данных со сканирующего сенсора (гиперспектрометра), искаженное вследствие маневров летательного аппарата.

Фиг.4в - изображение, полученное в результате геометрической коррекции изображения щелевого сенсора.

Блок-схема аппаратной части предлагаемого изобретения представлена на фиг.1. Здесь 1 - кадровый сенсор, 2 - сканирующий сенсор, 3 - электронный блок обработки данных, 4 - компьютер. В качестве сканирующего и кадрового приборов возможно совместное использование соответственно гиперспектрометра и видеокамеры.

Используемые приборы работают в системе единого времени; моменты регистрации данных с обоих сенсоров синхронизируют.

В процессе зондирования данные могут записываться на запоминающее устройство и обрабатываться после окончания съемки, или же возможно использование описываемой системы для устранения геометрических искажений в режиме реального времени. Схема процесса обработки совместных измерений щелевым и кадровым сенсорами на фиг.2, Алгоритм процесса приведен для обработки некоторого выбранного участка. На основе результатов, полученных кадровым сенсором «Данные кадрового сенсора», производится определение смещения и поворота каждого последующего относительно предыдущего кадра, и полученные результаты помещаются в файл «Данные о взаимных смещениях кадров». Определение сдвига и поворота каждого последующего кадра относительно предыдущего можно осуществлять разными математическими методами обработки изображений. В частности, таким методом может являться корреляционный метод, который широко применяется при обработке сигналов. Анализ таких поворотов и смещений производится последовательно для всего выбранного участка съемки. После определения смещений соседних кадров кадрового сенсора необходимо осуществить «Построение траектории и наложение кадров на мозаику в соответствии с траекторией». Для этого вычисляют положение и поворот каждого кадра относительно некоторой системы координат. Эту систему координат можно выбирать из разных соображений. Например, ее можно задать относительно первого снимка кадрового прибора среди кадров видеосъемки выбранного участка зондируемой поверхности. Последовательность положений кадров (их центров) и является искомой траекторией движения области обзора кадрового датчика. На фиг.3 поясняется процедура формирования траектории движения областей обзора сенсоров и определения угла поворота и смещения r двух последовательных кадров. Здесь 5 - кадр кадрового сенсора, 6 - область обзора сканирующего сенсора, 7 - траектория области обзора сканирующего сенсора. Последовательное наложение снимков кадрового сенсора на одно изображение с учетом их положения и поворота позволяет построить изображение зондируемой поверхности по данным кадрового прибора (фиг.4а). Такая операция в терминах задачи дистанционного зондирования Земли называется «мозаика».

Допущение о том, что каждый последующий снимок сенсоров только сдвинут и повернут относительно предыдущего в плоскости изображения, достаточно хорошо работает на практике. Если описываемая система используется для решения задач дистанционного зондирования Земли, то вышеописанное предположение справедливо при условии, что высота летательного аппарата постоянна, и углы отклонения оптических осей двух сенсоров от вертикали невелики. В этом случае можно считать, что при вращательном движении летательного аппарата (небольших его колебаниях) область обзора сканирующего устройства не меняет своей формы, а только перемещается по зондируемой поверхности. Это перемещение области обзора по поверхности, используя математическую терминологию, является движением в плоскости (двумерном пространстве). Такое движение имеет три степени свободы: две поступательные и одну вращательную.

Траектория областей обзора сканирующего и кадрового сенсоров отличается от собственно траектории летательного аппарата, поскольку на нее оказывает влияние вращательное движение корпуса летательного аппарата. При определении траектории области обзора для исследователя остается неизвестным, как именно ведет себя летательный аппарат. То есть не удается определить, вследствие чего переместилась область обзора: вследствие перемещения ли летательного аппарата, или его небольшого вращения, или же, что чаще всего имеет место, комбинации этих возможных движений. Однако при использовании описываемой системы для построения изображения зондируемой поверхности знание динамики самого летательного аппарата не требуется, а требуется только знание траекторий областей обзора используемых приборов.

Наличие информации (данные сенсоров) о положении и повороте снимков кадрового сенсора на мозаике позволяет определить также и положение областей обзора сканирующего прибора на мозаике в момент одновременной съемки двух сенсоров. Это сделать не трудно, поскольку положение области обзора сканирующего сенсора относительно области обзора кадрового сенсора является известным. На основе данных о взаимных смещениях кадров и углов поворота и найденной траектории движения сенсоров производят «Построение необходимого геометрического преобразования» (см. фиг.2) для коррекции изображения. Это построение выполняют методом триангуляции.

Далее «Данные сканирующего сенсора» преобразуются с помощью найденного геометрического преобразования данных, в результате чего создается «Геометрически скорректированное изображение сканирующего сенсора» (фиг.2).

Фиг.4 иллюстрирует операции по устранению геометрических искажений изображений, получаемых щелевым или трассовым сенсором дистанционного зондирования, связанных со сложной траекторией движения носителя сенсора. На фиг.4а показан пример мозаики, полученный кадровым сенсором (видеокамерой). На фиг.4б приводится изображение, полученное путем обработки первичных данных со сканирующего сенсора (гиперспектрометра), искаженное вследствие маневров летательного аппарата. По определяемой траектории перемещения области обзора щелевого сенсора производится геометрическая коррекция гиперспектральных данных. Коррекцию осуществляют путем трансформирования искаженного изображения по базовым точкам методом методом триангуляции в исправленное от эволюции носителя изображение трассового сенсора. Результаты устранения геометрических изображений щелевого сенсора представлены на фиг.4в.

Сформированную мозаику данных кадрового прибора помимо описываемой геометрической коррекции можно использовать, например, для совместной обработки данных двух одновременно применяемых сенсоров: геометрически исправленного сканирующего и кадрового, поскольку получаемые с этих приборов изображения оказываются пространственно привязанными друг к другу. Кроме того, эту мозаику можно использовать для контроля правильности смещений кадров относительно друг друга. Если это смещение вычислено неправильно, то на формируемой мозаике будут отчетливо видимы дефекты.

Предлагаемый способ был использован для распознавания целевого вида растительности на фоне других растительных ценозов в Пензенской области на основе авиационных гиперспектральных съемок, что свидетельствует о его промышленной применимости.