способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений

Формула изобретения

Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений, включающий получение исходных изображений, комплексирование изображений, основанное на критериальном суммировании для каждого пикселя, формирование результирующего изображения, нормализацию яркостного диапазона изображения, отличающийся тем, что определяют основной канал с наибольшим уровнем информативных деталей на изображении, вычисляют среднюю яркость изображения второго канала, вычисляют среднее значение абсолютных разностей между значением средней яркости изображения второго канала и значениями яркости всех пикселей изображения второго канала, для каждого пикселя комплексированного изображения вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала.

Описание изобретения к патенту

Изобретение относится к области обработки изображений, в частности к способу комплексирования цифровых полутоновых изображений, полученных от двух каналов различного спектрального диапазона.

Из уровня техники известен способ комплексирования информации от многоканальной системы с использованием вейвлет-спектров (Тетерин В.В. и др. Метод комплексирования информации от многоканальной системы с использованием вейвлет-спектров. Оптический журнал, том 73, № 10, 2006, с.47). При комплексировании компонент по этому способу выбираются элементы разложения одного из исходных изображений, что приводит к потере информации о локальных структурных особенностях другого изображения. В способе не производится яркостно-контрастной коррекции на уровне компонент разложения с целью повышения качества результирующего изображения.

Известен способ комплексирования многоспектральных полутоновых изображений (Москвитин А.Э. «Технология и алгоритм повышения качества изображений земной поверхности на основе комплексирования спектральной видеоинформации» (Алгоритм, основанный на раздельной обработке низко- и высокочастотных компонент разнозональных видеоданных). Автореферат. Рязань, 2003 г.), включающий получение исходных изображений, разложение каждого исходного изображения на низкочастотные и высокочастотные компоненты, раздельную обработку НЧ и ВЧ компонент изображений, комплексирование компонент, основанное на принципе взвешенного суммирования для каждого пикселя, формирование результирующего изображения.

Недостатком данного способа является то, что яркостная нормализация исходных изображений проводится методом приведения яркости исходных изображений к единому среднему значению и среднеквадратическому отклонению яркости, что в случае значительных различий яркостно-контрастных характеристик исходных изображений неизбежно приводит к усилению неинформативной шумовой микроструктуры одного изображения до уровня существенных структурных особенностей другого изображения.

Наиболее близким к предлагаемому является способ комплексирования цифровых многоспектральных полутоновых изображений (патент RU № 2342701, опубликовано 27.12.2008 г., МПК G06K 9/40, G06T 5/40), который выбран в качестве прототипа. Данный способ включает получение исходных изображений, разложение каждого исходного изображения на низкочастотные и высокочастотные компоненты, раздельную обработку низко- и высокочастотных компонент изображений, комплексирование компонент, основанное на принципе взвешенного суммирования для каждого пикселя, формирование результирующего изображения. При этом каждое исходное изображение подвергают многоуровневой декомпозиции вейвлетом Хаара путем быстрого дискретного стационарного двумерного вейвлет-преобразования с целью получения аппроксимирующей составляющей, представляющей из себя низкочастотную компоненту изображения, и семейства детализирующих составляющих, являющихся высокочастотными компонентами изображения. Определяют значения матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения. Осуществляют фильтрацию всех детализирующих составляющих, включающую коррекцию детализирующих составляющих путем адаптивного изменения значений детализирующих составляющих в соответствии с межуровневой динамикой их энергетических характеристик и устранение шумовой микроструктуры путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне разложения. Вычисляют для каждого разложения корректирующие функции яркости и корректирующие функции контраста, параметром которых является значение аппроксимирующей составляющей. Производят выравнивание яркостных диапазонов каждого разложения путем преобразования аппроксимирующих составляющих корректирующими функциями яркости. Преобразуют детализирующие составляющие корректирующей функцией контраста. Вычисляют для каждого разложения на каждом уровне весовую функцию, параметром которой является значение энергетической характеристики. Производят для каждого пикселя на каждом уровне разложения вычисление компонент синтезированного изображения путем взвешенного суммирования значений соответствующих составляющих разложений исходных изображений с использованием весовых функций. Осуществляют фильтрацию всех детализирующих составляющих синтезированного изображения, включающую коррекцию детализирующих составляющих путем адаптивного изменения значений детализирующих составляющих в соответствии с межуровневой динамикой их энергетических характеристик и устранение шумовой микроструктуры путем адаптивного порогового ограничения значений детализирующих составляющих на каждом уровне разложения. Вычисляют корректирующую функцию яркости и корректирующую функцию контраста, параметром которых является значение аппроксимирующей составляющей синтезированного изображения. Преобразуют аппроксимирующую составляющую корректирующей функцией яркости. Преобразуют детализирующие составляющие корректирующей функцией контраста. Формируют синтезированное изображение путем реконструкции при помощи обратного быстрого дискретного стационарного двумерного вейвлет-преобразования, применяемого к детализирующим составляющим синтезированного изображения и аппроксимирующей составляющей синтезированного изображения, согласуют яркостной диапазон результирующего изображения с параметрами видеосистемы.

К недостаткам данного способа можно отнести общее снижение локального контраста из-за усреднения двух разноспектральных изображений (частный случай - вычисление попиксельно средних значений яркостей пикселей двух разноспектральных изображений, т.е. когда весовые функции детализирующих составляющих каждого изображения практически близки к 0.5).

Техническим результатом предлагаемого способа комплексирования цифровых полутоновых телевизионных и тепловизионных изображений является повышение качества изображения, содержащего информативные элементы изображений одной и той же сцены, полученные в различных спектральных диапазонах.

Технический результат достигается тем, что способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений включает получение исходных изображений, комплексирование изображений, основанное на критериальном суммировании для каждого пикселя, формирование результирующего изображения, нормализацию яркостного диапазона изображения. При этом он отличается от прототипа тем, что определяют основной канал с наибольшим количеством информативных деталей на изображении. Вычисляют среднюю яркость изображения второго канала. Вычисляют среднее значение абсолютных разностей между средней яркостью изображения второго канала и значениями яркости всех пикселей изображения второго канала. Для каждого пикселя комплексированного изображения вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала; из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала.

Сущность изобретения поясняется рисунками Фиг.1 - Фиг.6, где

Фиг.1 - структурная схема (алгоритм) способа комплексирования цифровых полутоновых телевизионных и тепловизионных изображений;

Фиг.2 - структурная схема блока обработки изображений;

Фиг.3 - телевизионное изображение;

Фиг.4 - тепловизионное изображение;

Фиг.5 - комплексированное изображение;

Фиг.6 - таблица параметров телевизионного, тепловизионного и комплексированного изображений.

Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений (Фиг.1) включает следующие этапы:

- получают исходные телевизионные и тепловизионное изображения;

- определяют основной канал с наибольшим уровнем информативных деталей (телевизионный);

- вычисляют среднюю яркость изображения второго канала (тепловизионного);

- вычисляют среднее значение абсолютных разностей между средней яркостью изображения второго канала и значениями яркости всех пикселей изображения второго канала;

- для каждого пикселя комплексированного изображения вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала; из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала;

- осуществляют формирование результирующего изображения;

- нормализуют яркостный диапазон изображения.

Способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений осуществляется в два прохода следующим образом. Получают исходные цифровые телевизионное и тепловизионное изображения, например, путем оцифровки с помощью аналого-цифровых преобразователей аналоговых сигналов от телевизионного и тепловизионного датчиков, осуществляют комплексирование изображений, основанное на определенном суммировании для каждого пикселя, как показано ниже, производят формирование результирующего изображения в виде массива значений яркости комплексированного изображения заданного размера, нормализуют яркостный диапазон изображения.

При этом, предварительно используя любой известный способ вычисления мощности высокочастотных компонент изображения, определяют основной канал с наибольшим количеством информативных деталей на изображении, например телевизионный (ТВ).

Для второго канала, например тепловизионного (ТПВ), вычисляют его среднюю яркость по формуле:

где x, y - координаты точек с яркостью Q_ТПВ ТПВ изображения,

w, h - размеры изображения.

Далее вычисляют среднее значение абсолютных разностей между всеми значениями яркости пикселей Q_ТПВ и средней яркостью ТПВ изображения по формуле:

Окончательное вычисление яркости пикселей комплексированного изображения F_xy осуществляют по формуле:

где

F_xy - комплексированное изображение;

x, y - координаты точек с яркостью Q ТВ и ТПВ изображений.

Примером конкретного применения способа комплексирования цифровых полутоновых телевизионных и тепловизионных изображений является его использование в двухканальном блоке обработки изображений для повышения информативности и качества выходного изображения. На Фиг.2 показана блок-схема двухканального блока обработки разноспектральных изображений, где ТВ - входное телевизионное изображение; ТПВ - входное тепловизионное изображение;

1 - аналого-цифровой преобразователь ТВ (АЦП ТВ);

2 - аналого-цифровой преобразователь ТПВ (АЦП ТПВ);

3 - блок улучшения ТВ (БУ ТВ);

4 - блок улучшения ТПВ (БУ ТПВ);

5 - геометрические преобразования по каналу ТВ;

6 - геометрические преобразования по каналу ТПВ;

7 - блок комплексирования;

8 - цифроаналоговый преобразователь (ЦАП) 8.

Информацию от двух разноспектральных каналов (ТВ и ТПВ) после их улучшения и совмещения штатными средствами блоков обработки 3, 4 блок комплексирования 7 вычисляет и объединяет указанным выше способом.

Сравнительные результаты, полученные при проведении экспериментальных работ, приведены на Фиг.3 - Фиг.6.

На Фиг.3 представлено исходное телевизионное изображение. Изображение имеет естественный вид с хорошо проработанными деталями дороги на переднем плане, автомобили. Дальний план - слабоконтрастный и с местной засветкой. В левой части из-за засветки встречной фарой от левого автомобиля отсутствует всякая информация в светлом пятне.

На Фиг.4 представлено исходное тепловизионное изображение той же сцены. Изображение имеет вид «негатива» с хорошо проработанными деталями обоих автомобилей, фигуры человека около левого автомобиля. На переднем плане едва заметны детали дороги. Задний план практически без деталей за исключением столба.

На Фиг.5 представлено комплексированное изображение той же сцены, полученное предлагаемым способом. Изображение имеет в целом естественный вид, хорошо проработанные детали двух автомобилей, человека, дороги на переднем плане, а также детали заднего плана. На месте неинформативного светлого пятна от телевизионного изображения присутствует подробная информация от тепловизионного изображения.

На Фиг.6 представлена таблица параметров телевизионного, тепловизионного и комплексированного изображений, позволяющая сравнить качественные характеристики каждого изображения (в диапазоне яркости 0÷255 для цифровых изображений). В качестве таких характеристик обычно используют общий контраст, количество уровней и отношение сигнал/шум. Изображение лучшего качества имеет максимальный контраст, равный 1, максимальное количество уровней 256 и максимальное отношение сигнал/шум. Из таблицы видно существенное улучшение основных характеристик комплексированного изображения по сравнению с входными телевизионным и тепловизионным изображениями.

Полученные данные позволяют сделать вывод, что предлагаемый способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений позволяет повысить качество цифровых полутоновых изображений одной и той же сцены, полученных от двух каналов различного спектрального диапазона (телевизионного и тепловизионного), за счет существенного повышения локального контраста и информативности результирующего изображения.