способ улучшения изображений

Формула изобретения

Способ улучшения изображений, включающий получение нескольких экспозиций с низким соотношением сигнал/шум, выделение из этих экспозиций исходных изображений с наилучшей четкостью и формирование из них финального изображения с высоким соотношением сигнал/шум и высокой четкостью, отличающийся тем, что исходные изображения выделяют из групп экспозиций, следующих друг за другом, причем экспозиции в группе либо частично перекрываются во времени, либо пауза между ними не превышает значения 1/20 от общего времени экспозиции, затем изображения с меньшей выдержкой фильтруют с использованием изображений с большей выдержкой, а финальное изображение формируют, объединяя исходные изображения с разной выдержкой из одной группы.

Описание изобретения к патенту

Изобретение относится к области фотоизображений, в частности к получению изображений с помощью сенсоров с электронным затвором, и может быть использовано при фотографировании в условиях слабого освещения и при отсутствии светосильной оптики.

В настоящее время существует огромное многообразие малоразмерных мобильных фотоустройств, как автономных, так и встроенных, например, в сотовые телефоны, позволяющих фотографировать различные объекты. Для таких устройств при съемке в условиях слабого освещения применение светосильной оптики невозможно в силу требований к компактности, малым габаритам и весу этих устройств.

Для получения изображения в условиях слабого освещения и отсутствии светосильной оптики используются два широко известных приема (по отдельности или в комбинации):

1. Увеличение времени экспозиции, в отдельных случаях, при необходимости, совмещенное с применением оптических или цифровых стабилизаторов изображения [1].

Недостаток этого способа заключается в том, что при длительной выдержке и съемке с рук, вследствие отсутствия надежной фиксации камеры во время экспозиции, изображение получается размытым, смазанным, нечетким. Применение же дополнительных средств фиксации камеры (например, штатива) нарушает требование мобильности. Частично данный недостаток может быть компенсирован устройством оптической или цифровой стабилизации изображения. Однако применение таких устройств также ведет к увеличению габаритов. Кроме того, недостатком первого способа, который невозможно компенсировать с помощью стабилизаторов изображения, является то, что при наличии движущихся объектов в кадре, их изображение будет размазанным.

2. Увеличение усиления в тракте считывания данных с сенсора (эквивалентное увеличению значения чувствительности) [1].

Недостаток второго способа заключается в том, что происходит усиление не только яркости изображения, но и шумов сенсора и тракта считывания/оцифровки изображения. Существуют способы последующей обработки изображения с целью подавления шумов, однако при этом неизбежно теряются и некоторые детали изображения.

Известно описание процедуры получения нескольких (серии) экспозиций с сенсора, состоящей из следующих этапов [3]; [4]:

- Определение оптимальной выдержки.

- Экспозиция в течение времени Т1 и считывание данных.

- Пауза между экспозициями.

- Экспозиция в течение времени Т2 и считывание данных.

- Пауза между экспозициями.

- Экспозиция в течение времени Т3 и считывание данных.

- И т.д.

Недостатком такого получения изображений является то, что экспозиции разнесены по времени, а это, при наличии движущихся объектов в кадре, снижает качество изображений при последующем объединении экспозиций.

Наиболее близким к предлагаемому решению является способ улучшения изображения, описанный в патенте США № 4503461 [5]. По этому способу в качестве исходных изображений используется два изображения, в одном из которых улучшенное соотношение сигнал/шум, однако присутствуют какие-либо искажения. Используется низкочастотная часть данных одного изображения и высокочастотная часть данных другого изображения. На какой именно частоте происходит разделение данных изображений, определяется с помощью дополнительной логики. Частота может адаптивно меняться на площади изображения в зависимости от характеристик изображений. Осуществляют описанный способ уменьшения паразитных сигналов в изображении следующим образом:

- получают несколько экспозиций объекта;

- выделяют из этих экспозиций первое изображение (с низким соотношением сигнал/шум);

- объединяют несколько изображений с высоким соотношением сигнал/шум в одно, получая второе изображение;

- осуществляют низкочастотную фильтрацию первого изображения, с целью уменьшения шума;

- осуществляют высокочастотную фильтрацию второго изображения;

- производят регулирование частот низко- и высокочастотной фильтрации в зависимости от локального присутствия искажений (артефактов);

- объединяют отфильтрованные изображения простым суммированием.

Недостатком этого способа является невозможность коррекции нечеткости изображения. В случае получения таких изображений с использованием стандартных, разделенных по времени, экспозиций, неизбежно возникновение артефактов при наличии движущихся объектов в кадре.

При разработке заявляемого технического решения перед авторами стояла задача получения высококачественных изображений при помощи мобильных фотографических устройств без применения светосильной оптики и каких-либо дополнительных средств.

Сущность заявляемого изобретения заключается в том, что в известном способе улучшения изображений, включающем получение нескольких экспозиций с низким соотношением сигнал/шум, выделение из этих экспозиций исходных изображений с наилучшей четкостью и формирование из них финального изображения с высоким соотношением сигнал/шум и высокой четкостью, исходные изображения выделяют из групп экспозиций, следующих друг за другом. При этом обязательным условием является то, что экспозиции в группе либо частично перекрываются во времени, либо пауза между ними не превышает значения 1/20 от общего времени экспозиции. После этого изображения с меньшей выдержкой фильтруют с использованием изображений с большей выдержкой, а финальное изображение формируют, объединяя исходные изображения с разной выдержкой из одной группы.

На фиг.1 проиллюстрирован режим считывания данных, возможный при наличии неразрушающего доступа к ячейкам сенсора.

На фиг.2 - режим с промежуточным сбросом сенсора.

На фиг.3 - стандартный режим считывания данных.

На фиг.4 показано разбиение изображения, используемое в процессе фильтрации на небольшие, перекрывающиеся зоны равного размера (тайлы).

На фиг.5 проиллюстрирован один вариант разбиения коэффициентов двумерного частотного преобразования на неперекрывающиеся зоны.

На фиг.6 - второй вариант разбиения коэффициентов двумерного частотного преобразования на неперекрывающиеся зоны.

На фиг.7 представлена диаграмма, наглядно иллюстрирующая процент качественных снимков, формируемых заявляемым способом по сравнению со стандартными способами.

Заявляемый способ улучшения изображений состоит из двух этапов:

1. Специального режима сбора данных (считывания) с сенсора, в результате которого формируются несколько кадров изображения.

2. Объединения полученных кадров в один выходной кадр.

Первый этап

Пример 1.

Режим считывания, проиллюстрированный на фиг.1, состоит из:

- первоначального построкового сброса всех ячеек сенсора в исходное состояние;

- экспозиции в течение времени Т1;

- построкового считывания изображения, сформированного в течение экспозиции Т;

- дополнительной экспозиции в течение времени Т2-Т1;

- построкового считывания изображения, сформированного в течение экспозиции Т2.

- В результате получается два изображения: одно со временем экспозиции Т1 (обозначим его A), второе со временем экспозиции Т2 (обозначим его B).

Такой режим считывания данных является предпочтительным, однако он возможен только при наличии возможности неразрушающего доступа к ячейкам сенсора.

Пример 2.

Режим считывания, проиллюстрированный на фиг.2, состоит из:

- первоначального построкового сброса всех ячеек сенсора в исходное состояние;

- экспозиции в течение времени Т1;

- построкового разрушающего считывания изображения, сформированного в течение экспозиции Т1;

- сброса ячеек сенсора в исходное состояние, следующего непосредственно за считыванием;

- дополнительной экспозиции в течение времени Т2;

- построкового считывания изображения, сформированного в течение экспозиции Т2.

При таком способе считывания формируются изображения, аналогичные полученным в режиме, проиллюстрированном на фиг.1, путем сложения изображений, полученных за время Т1 и Т2, в одно изображение В. В отличие от первого способа изображение В не экспонируется в течение вторичного сброса ячеек. Однако время, требуемое для сброса, пренебрежимо мало по сравнению с Т1 и Т2. Оптимальный результат достигается при условии, что время сброса не превышает 1/20 от общего времени экспозиции.

Для последующей обработки на второй этап передаются изображения A и B. В тех случаях, когда общее время экспозиции плюс время, необходимое для перезапуска сенсора на экспонирование, пренебрежимо мало по сравнению с динамикой фотографируемой сцены, для получения наилучшего результата формируют нескольких пар изображений на первом этапе (A1 B1; A2 B2; ), с последующим отбором лучшей пары на втором этапе.

Свойства изображений, полученных на первом этапе

Изображения, полученные после первого этапа, имеют разное время экспозиции. T1<Т2, поэтому экспозиция изображения A короче экспозиции изображения В. Установлено, что оптимальным является соотношение T1=Т2/5. Т.е. экспозиция изображения A в пять раз короче. При таком соотношении времен экспозиции:

- отношение сигнал/шум в изображении B в пять раз выше, чем в изображении A;

- нечеткость (смазанность) изображения (например, в случае тряски камеры в момент съемки) в изображении A существенно ниже, чем в изображении B.

Второй этап

Выбор наилучшей пары изображений

После получения нескольких пар изображений на первом этапе, необходимо отобрать наилучшую пару для дальнейшей обработки. Наибольшее влияние на последующую обработку оказывает уровень нечеткости изображения В. Какое изображение наиболее четкое (B1 или B2), определяют следующим способом:

1. Извлечение яркостной компоненты.

Предположим, каждый пиксель изображения хранится в виде трех цветовых компонент: R, G, B. Определяем яркостную компоненту (Y) по формуле:

Y=R*0.2989+G*0.587+B*0.114.

Данное представление сигнала и вычисление яркостной компоненты является типичным в обработке изображений и хорошо известно.

2. Вычисление суммы квадратов градиента яркости в обоих изображениях:

Gx_x,y=Y_x-1,y-1-Y_x+1,y-1+Y _x-1,y+1-Y_x+1,y+1+2Y_x-1,y-2Y_x+1,y

Gy_x,y=Y_x-1,y-1+Y_x+1,y-1 -Y_x-1,y+1-Y_x+1,y+1+2Y_x,y-1-2Y _x,y+1

G= _x,y[Gx_x,y*Gx_x,y+Gy _x,y*Gy_x,y),

где

Gx - компонента градиента в направлении x,

Gy - компонента градиента в направлении y,

G - сумма квадратов значений градиента,

x, y - координаты пикселя.

3. Наименее размытое изображение будет иметь наибольшее значение G.

После определения наилучшей пары имеется два изображения:

A - наиболее четкое, но с повышенным уровнем шума;

B - возможно более размытое, но с низким уровнем шума.

Подавление шума в изображении A (фильтрация).

Изображение A содержит, наряду с полезными данными (экспонированной сценой), также и паразитный шум. Используя низкошумные данные изображения B, возможно отфильтровать полезный сигнал в изображении A от шума. Такой способ отличается от уже известных способов фильтрации шума с использованием одного изображения, т.к. для разделения шума и полезного сигнала используется вторичное изображение (B), что позволяет оптимально отделить шум от полезного сигнала и оставить компоненты полезного сигнала нетронутыми.

Процедура фильтрации может проводиться как отдельно, лишь для яркостной составляющей, так и для яркостной и цветовых составляющих, или же для каждого из каналов (R, G, B) в отдельности.

Нижеописанная процедура позволяет снизить уровень шума в изображении A с помощью данных изображения В:

- выбранный для фильтрации канал (например, яркостной) изображений A и B разбивается на небольшие, перекрывающиеся зоны равного размера (тайлы). См. фиг.4.

Дальнейшая обработка производится одинаковым образом в каждом тайле:

- на данные каждого тайла накладывается окно и производится двумерное частотное преобразование (например, преобразование Фурье). Накладываемое окно служит для уменьшения эффектов Гиббса при частотном преобразовании. Функция окна, возведенная в квадрат, должна удовлетворять условию единичного усиления сигнала при сложении с перекрывающими его окнами в соседних тайлах;

- полученные коэффициенты двумерного частотного преобразования разбиваются на неперекрывающиеся зоны (см. фиг.5; фиг.6);

- в каждой зоне коэффициенты изображения A фильтруются с помощью коэффициентов изображения B;

- производится обратное частотное преобразование и вторичное наложение окна.

Откорректированное изображение A формируется путем сложения полученных перекрывающихся тайлов.

За исключением наиболее низкочастотных зон (в которых фильтрация не производится), фильтрация коэффициентов в каждой зоне происходит следующим образом:

- вычисляется средняя энергия коэффициентов изображений A и B, их кросс-корреляция и усредненная коррекция энергии коэффициентов изображения B:

- Амплитуда коэффициентов B корректируется:

- Коэффициенты изображения A, квадрат амплитуды которых существенно выше энергии в данной зоне (например, в три раза), а также коэффициенты, непосредственно соседствующие с ними, не изменяются.

- Амплитуда коэффициентов изображения A, превышающих амплитуду коэффициентов изображения В снижается:

Такая процедура фильтрации, с переходом в частотную область, является наиболее оптимальной, так как позволяет компенсировать небольшие передвижения объектов в экспонируемой сцене, которые возникают в условиях реальной съемки изображений.

Получение финального изображения

После подавления шума в изображении A получены два изображения с разной выдержкой и низким уровнем шума, причем изображение с большей выдержкой возможно несколько нечетко (смазано). Объединив эти изображения в одно, получаем финальное изображение с расширенным динамическим диапазоном.

Так в изображении A затененные области могут вообще не накопить достаточного заряда для проявления деталей на снимке, в таком случае можно заместить данные области, используя изображение B. Несмотря на то, что в B высока вероятность нечеткого изображения, его использование в финальном изображении дает возможность увидеть хоть какие-то детали изображения в затененных областях.

Объединение изображений производится методом, описанном в литературе [2], который позволяет получить финальное изображение, не прибегая к промежуточному HDR представлению. При этом каждое из входных изображений подвергается пирамидальной декомпозиции и на каждом уровне декомпозиции происходит простое суммирование изображений с весами, определенными с помощью функции, назначающей вес в зависимости от близости экспозиции данного участка изображения к оптимальной экспозиции.

Предлагаемое решение позволяет получать изображения высокого качества при помощи устройств, оснащенных сенсорами с электронным затвором, обеспечивающими возможность применения специального, описанного выше, режима экспонирования. В настоящее время в подавляющем большинстве моделей сотовых телефонов, оборудованных камерами, используется именно электронный затвор. В случае фотографирования камерами с механическим затвором заявляемое техническое решение также может быть использовано, однако качество изображений будет не столь высоким. Надо отметить, что предлагаемое решение вполне возможно использовать в комбинации со стабилизаторами изображения. В этом случае технологии гармонично дополняют друг друга и расширяют диапазон экспозиций, при которых возможно получение четкого изображения. Использование предлагаемого решения не требует изменения конструкции сенсора.