устройство обработки изображения, устройство захвата изображения и способ обработки изображения

Формула изобретения

1. Устройство обработки изображения для коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащее:

первое средство коррекции хроматической разности увеличения для выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения;

первое средство получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения;

средство обработки восстановления изображения для применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения;

второе средство получения для получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и

средство коррекции пиксельного значения для коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными упомянутым первым средством получения и упомянутым вторым средством получения.

2. Устройство обработки изображения по п.1, в котором фильтр восстановления изображения является фильтром, который не корректирует хроматическую разность увеличения.

3. Устройство обработки изображения по п.1, в котором изображение сформировано компонентами R, G и B, первые и вторые значения, относящиеся к окрашиванию, содержат разность между значением компонента R или B и значением компонента G, и упомянутое средство коррекции пиксельного значения корректирует значение компонента R или B пикселя.

4. Устройство обработки изображения по п.1, в котором изображение сформировано компонентами R, G и B, первое и второе значения, относящиеся к окрашиванию, содержат разность между значением компонента R или B и значением компонента яркости, сгенерированным на основании компонентов R, G и B, и упомянутое средство коррекции пиксельного значения корректирует значение компонента R или B пикселя.

5. Устройство обработки изображения по п.1, в котором изображение сформировано компонентами R, G и B, и первое и второе значения, относящиеся к окрашиванию, содержат направление изменения цвета и величину, относящуюся к перемещению плоскости R или B относительно плоскости G, сделанному при обнаружении края в плоскости Y, и упомянутое средство коррекции пиксельного значения корректирует значение компонента R или B пикселя.

6. Устройство обработки изображения по п.1, дополнительно содержащее:

второе средство коррекции хроматической разности увеличения для обнаружения хроматической разности увеличения из изображения, к которому был применен фильтр восстановления изображения, и коррекции обнаруженной хроматической разности увеличения,

в котором упомянутое второе средство получения получает значение, относящееся к окрашиванию изображения, в котором упомянутое второе средство коррекции хроматической разности увеличения скорректировало хроматическую разность увеличения.

7. Устройство обработки изображения по п.1, в котором фильтр восстановления изображения сгенерирован на основании функции рассеяния точки системы формирования оптического изображения, для которой разница между компонентами цвета функции рассеяния точки уменьшена посредством параллельного перемещения функции рассеяния точки заданного компонента цвета к позиции функции рассеяния точки другого компонента цвета.

8. Устройство обработки изображения по п.1, в котором фильтр восстановления изображения основан на оптической передаточной функции системы формирования оптического изображения, для которой линейный компонент был удален из частотной характеристики фазы оптической передаточной функции.

9. Устройство захвата изображения, содержащее:

систему формирования оптического изображения для формирования оптического изображения объекта;

датчик изображения для захвата оптического изображения;

и устройство обработки изображения по п.1.

10. Способ обработки изображения коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащий:

этап выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения;

первый этап получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения;

этап применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения;

второй этап получения для получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и

этап коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными на первом этапе получения и втором этапе получения.

11. Считываемый компьютером носитель записи, записывающий программу для того, чтобы вынуждать компьютер выполнить способ по п.10.

Описание изобретения к патенту

Область, к которой относится изобретение

Предшествующий уровень техники

[0001] Настоящее изобретение относится к устройству обработки изображения, устройству захвата изображения и способу обработки изображения, и, более конкретно, к способу коррекции изображения, используя обработку восстановления изображения.

Описание связанной области техники

[0002] Качество изображения изображения, полученного посредством захвата объекта устройством захвата изображения, ухудшается особенно из-за аберраций системы формирования оптического изображения. Например, размытость изображения указывает ухудшение качества изображения из-за сферической аберрации, комы, кривизны поля, астигматизма и т.п. системы формирования оптического изображения. Не учитывая влияние дифракции как характеристики световой волны, лучи света, исходящие из одной точки объекта, сводятся в одной точке (фокус) одного и того же размера в плоскости изображения посредством системы формирования оптического изображения без аберраций. Однако фокус фактически рассеивается из-за аберраций системы формирования оптического изображения в дополнение к влиянию дифракции.

[0003] Функция рассеяния точки (PSF) системы формирования оптического изображения представляет распределение интенсивности вокруг фокуса, то есть размытость изображения из-за дифракции и аберраций системы формирования оптического изображения, которая, поэтому, называется компонентом размытости. Компонент размытости указывает не размытость из-за состояния «не в фокусе», а размытость, вызванную дифракцией света и аберрациями системы формирования оптического изображения даже в состоянии «в фокусе».

[0004] Цветная окантовка в цветном изображении из-за осевой хроматической аберрации, цветовой сферической аберрации и цветовой комы системы формирования оптического изображения может быть вызвана изменением степени размытости в зависимости от длины волны света. Изменение цвета в поперечном направлении из-за хроматической разности увеличения оптической системы может указать неточное совмещение или смещение фазы из-за изменения увеличения изображения в зависимости от длины волны света.

[0005] Оптическая передаточная функция (OTF), полученная посредством выполнения преобразования Фурье для функции рассеяния точки (PSF), служит информацией частотного компонента аберраций и представлена комплексным числом. Абсолютное значение оптической передаточной функции (OSF), то есть компонент амплитуды, будет называться MTF (передаточной функцией модуляции), и компонент фазы будет называться PTF (передаточной функцией фазы). MTF и PTF являются частотными характеристиками компонента амплитуды и компонента фазы ухудшения изображения из-за аберраций, соответственно. Компонент фазы PTF представлен как угол фазы: PTF = tan^-1 (Im (OTF) / Ре (OTF))... (1),

где Ре (OTF) и Im (OTF) представляют реальную часть и мнимую часть оптической передаточной функции, соответственно.

[0006] Как описано выше, так как оптическая передаточная функция системы формирования оптического изображения ухудшает как компонент амплитуды, так и компонент фазы изображения, соответствующие точки изображения объекта размываются асимметрично относительно фокуса, аналогично случаю, в котором имеет место кома.

[0007] Хроматическая разность увеличения указывает явление, в котором позиция изображения смещается из-за изменения увеличения изображения в зависимости от длины волны света. Датчик изображения в целом обеспечен цветным мозаичным фильтром RGB, и каждый пиксель сконфигурирован для получения одного из компонентов цвета R, G и B. В дополнение к неточности совмещения позиции изображения между длинами волны R, G и B, неточность совмещения позиции изображения для каждой длины волны, то есть рассеяние изображения из-за смещения фазы, имеет место в пределах каждого полученного компонента цвета. Хотя хроматическая разность увеличения точно не указывает изменение цвета из-за простого параллельного смещения, изменение цвета и хроматическая разность увеличения используются как синонимы в этом описании, если не определено иначе.

[0008] Известен способ, называемый способом восстановления изображения или способом реконструкции изображения, для коррекции ухудшения компонента амплитуды (MTF) и компонента фазы (PTF), используя информацию оптической передаточной функции (OTF) системы формирования оптического изображения. Обработка коррекции ухудшения изображения, используя информацию оптической передаточной функции системы формирования оптического изображения, поэтому, в дальнейшем будет называться обработкой восстановления изображения.

[0009] Ниже описан краткий обзор обработки восстановления изображения. Пусть g (x, y) будет ухудшенным изображением, f (x, y) будет исходным изображением, и h (x, y) будет функцией рассеяния точки, полученной посредством выполнения обратного преобразования Фурье для оптической передаточной функции системы формирования оптического изображения. Тогда

g (x, y)=h (x, y) * f (x, y)... (2),

где операция "*" представляет свертку, и (x, y) представляет координаты на изображении.

Преобразование Фурье выполняется для уравнения (2), чтобы получить формат изображения в двумерной плоскости частоты, приводя к формату произведения для каждой частоты, как указано:

G (u, v)=H (u, v) · F (u, v)... (3),

где H представляет оптическую передаточную функцию, полученную посредством выполнения преобразования Фурье для функции рассеяния точки, и (u, v) представляет координаты в двумерной плоскости частоты, то есть частоту.

[0011] Чтобы получить исходное изображение из захваченного искаженного изображения, необходимо только разделить обе стороны уравнения (3) на H, как представлено:

G (u, v)/H (u, v)=F (u, v)... (4)

Исходное изображение f (x, y) получено как восстановленное изображение посредством выполнения обратного преобразования Фурье для F (u, v), чтобы вернуться в реальную плоскость.

[0012] Пусть R будет 1/H в вышеуказанном уравнении, подвергнутом обратному преобразованию Фурье. Тогда возможно получить исходное изображение посредством выполнения обработки свертки для изображения в реальной плоскости, как указано:

g (x, y) * R (x, y)=f (x, y)... (5)

R (x, y) будет называться фильтром восстановления изображения. Фильтр восстановления изображения, который должен быть применен к двумерному изображению, в целом является двумерным фильтром, имеющим отвод (ячейку), соответствующий каждому пикселю изображения. Кроме того, когда количество отводов (ячеек) фильтра восстановления изображения увеличивается, в целом повышается точность восстановления. Фактическое количество отводов определяется согласно необходимому качеству изображения, способности обработки изображения, характеристикам аберрации и т.п. Так как фильтр восстановления изображения основан на оптической передаточной функции, которая отражает характеристики аберрации системы формирования оптического изображения, ухудшение компонента частоты и компонента фазы может быть скорректировано с высокой точностью. Такой фильтр восстановления изображения существенно отличается от двумерного фильтра, подобного фильтру выделения контуров (высокочастотный фильтр), имеющему три отвода в каждом из горизонтальном и вертикальном направлений.

[0013] Например, японский патент № 3532368 раскрывает способ устранения размытости изображения в части, отличной от диапазона в фокусе, изображения, захваченного флюоресцентным эндоскопом, для наблюдения внутренней части живого организма, используя функцию рассеяния точки, согласно длине волны флюоресценции, которая должна быть использована.

[0014] Должно быть отмечено, что так как фактическое изображение включает в себя компонент шума, использование фильтра восстановления изображения, созданного посредством получения полного обращения оптической передаточной функции, усиливает компонент шума, таким образом препятствуя получению высококачественного восстановленного изображения. Фильтр восстановления изображения, созданный посредством получения полного обращения оптической передаточной функции, восстанавливает ухудшение амплитуды оптической системой изображения посредством коррекции (увеличения) MTF системы формирования оптического изображения таким образом, чтобы MTF стала 1 для всех частот. Если компонент амплитуды изображения был суммирован с амплитудой шума, увеличивается спектр мощности шума, так как увеличивается MTF, таким образом, нежелательно усиливая шум, согласно степени восстановления (коэффициенту восстановления) MTF.

[0015] Это явление может быть представлено:

G (u, v)=H (u, v) · F (u, v)+N (u, v)... (6)

G (u, v)/H (u, v)=F (u, v)+N (u, v)/H (u, v)... (7),

где N представляет компонент шума.

[0016] Существует известный способ уменьшения шума в восстановленном изображении, используя фильтр восстановления изображения для уменьшения отношения восстановления на высокочастотной стороне изображения, согласно отношению уровня между сигналом изображения и сигналом шума, такой как фильтр Винера (который описан подробно ниже).

[0017] Существует известный способ улучшения качества изображения посредством выполнения обработки восстановления изображения, используя функцию рассеяния точки системы формирования оптического изображения для захваченного изображения, чтобы скорректировать различные аберрации.

[0018] Однако в фактической операции захвата захваченное состояние введенного изображения может не оптимально совпадать с состоянием фильтра восстановления изображения, который должен быть применен.

[0019] Примером является захваченное изображение стереоскопического объекта. Так как устройство захвата изображения захватывает изображение посредством фокусировки в одной плоскости в пространстве объекта посредством функции автофокусировки или ручной фокусировки, объект, помещенный в фокальную плоскость, захватывается относительно резко. Другой объект (включающий в себя часть того же объекта, который находится в позиции, отличающейся от фокальной плоскости) захватывается со степенью резкости, соответствующей расстоянию от фокальной плоскости.

[0020] Если информация о расстоянии объекта включает в себя только расстояние от фокальной плоскости, оптимальный фильтр восстановления изображения, который должен быть использован, выбирается или генерируется для расстояния объекта и угла обзора. Следовательно, так как оптимальный фильтр восстановления изображения применяется к объекту в фокусе, возможно получить желаемый результат восстановления для такого объекта. Однако, так как фильтр восстановления изображения является не оптимальным для объекта не в фокусе, эффект восстановления получается до некоторой степени, но размытость не может быть устранена для такого объекта.

[0021] С другой стороны, размытость объекта в фотографии используется как способ произведения стереоскопического воздействия для объекта или представления интересующего объекта. Например, существует фотографический способ, в котором используется телеобъектив, имеющий небольшую глубину поля резкости, для фокусирования на основном объекте, и фон преднамеренно размывается. С учетом наличия такого фотографического способа вышеописанная обработка восстановления изображения, в которой объект в фокусе делается более четким, и объект не в фокусе остается размытым, может быть подходящей.

[0022] Однако, если выполняется обработка восстановления изображения, используя фильтр восстановления изображения, который является оптимальным для объекта на расстоянии в фокусе и не оптимальным для объекта на расстоянии не в фокусе, может иметь место окрашивание в объекте на расстоянии не в фокусе. В настоящем описании окрашивание указывает, что цвет (ложный цвет), который не имеет объект, появляется в части края объекта (объекта не в фокусе) на нефокусном расстоянии до изображения после обработки восстановления изображения, так как соотношение между степенями размытости соответствующих компонентов цвета изображения до обработки восстановления изображения отличается от размытости после обработки восстановления изображения.

[0023] Такое окрашивание может также иметь место в операции, отличной от операции захвата стереоскопического объекта. Окрашивание по существу имеет место, когда состояние аберраций при захвате изображения отличается от состояния аберраций, которые скорректированы фильтром восстановления изображения, который должен быть применен, независимо от того, находится ли объект в фокусе.

[0024] В качестве способа уменьшения такого окрашивания обеспечивается способ корректирования цвета изображения после обработки восстановления изображения на основании информации цвета изображения до обработки восстановления изображения. Таким образом, способ предназначается для уменьшения окрашивания из-за обработки восстановления изображения посредством определения изменения цвета из-за обработки восстановления изображения в каждом пикселе изображения. Уже есть окрашивание в захваченном изображении до обработки восстановления изображения из-за различных аберраций системы формирования оптического изображения, таких как цветная окантовка, вызванная осевой хроматической аберрацией, цветовой сферической аберрацией или цветовой комой, и изменение цвета, вызванное хроматической разностью увеличения. Если есть такое окрашивание в изображении до обработки восстановления изображения, способ на основании информации цвета изображения до обработки восстановления изображения не сможет достаточно уменьшить окрашивание в изображении после обработки восстановления изображения в некоторых случаях.

[0025] Окрашивание, которое имеет место в обработке восстановления изображения, чтобы улучшить качество изображения, является ухудшением качества изображения, которое не может быть игнорировано, и должно быть достаточно уменьшено.

[0026] Способ, раскрытый в японском патенте № 3532368, пытается служить дополнением небольшой глубины поля резкости системы формирования оптического изображения посредством выполнения обработки восстановления изображения для нефокусного диапазона захваченного изображения. При обработке восстановления изображения, описанной в японском патенте № 3532368, даже при том, что возможно повысить точность нефокусного диапазона, если есть окрашивание захваченного изображения до обработки восстановления изображения, окрашивание, которое имеет место в изображении после обработки восстановления изображения, не может быть достаточно уменьшено.

Сущность изобретения

[0027] Настоящее изобретение было сделано с учетом вышеупомянутых проблем обычного способа и обеспечивает устройство обработки изображения, устройство захвата изображения и способ обработки изображения, которые позволяют уменьшить окрашивание изображения после обработки восстановления изображения.

[0028] Согласно аспекту настоящего изобретения обеспечено устройство обработки изображения для коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащее: первое средство коррекции хроматической разности увеличения для выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения; первое средство получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения; средство обработки восстановления изображения для применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения; второе средство получения для получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и средство коррекции пиксельного значения для коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными упомянутым первым средством получения и упомянутым вторым средством получения.

[0029] Согласно другому аспекту настоящего изобретения, обеспечено устройство захвата изображения, содержащее: систему формирования оптического изображения для формирования оптического изображения объекта; датчик изображения для захвата оптического изображения и устройство обработки изображения, согласно настоящему изобретению.

[0030] Согласно дополнительному аспекту настоящего изобретения, обеспечен способ обработки изображения коррекции ухудшения качества изображения из-за аберраций системы формирования оптического изображения устройства захвата изображения в изображении, захваченном устройством захвата изображения, содержащий: этап выполнения коррекции хроматической разности увеличения системы формирования оптического изображения для изображения; первый этап получения для получения первого значения, относящегося к окрашиванию изображения, в котором была скорректирована хроматическая разность увеличения; этап применения к изображению, в котором была скорректирована хроматическая разность увеличения, фильтра восстановления изображения на основании функции, представляющей аберрации системы формирования оптического изображения; второй этап получения получения второго значения, относящегося к окрашиванию изображения, к которому был применен фильтр восстановления изображения; и этап коррекции пиксельного значения изображения, к которому был применен фильтр восстановления изображения, согласно разности между первым и вторым значениями, полученными на первом этапе получения и втором этапе получения.

[0031] Дополнительные признаки настоящего изобретения станут очевидны из следующего описания вариантов осуществления с ссылками на приложенные чертежи.

Краткое описание чертежей

[0032] Фиг. 1 является блок-схемой, показывающей пример компоновки устройства захвата изображения, в качестве примера устройства обработки изображения, согласно варианту осуществления настоящего изобретения;

[0033] Фиг. 2A и 2B являются видами для пояснения фильтра восстановления изображения согласно варианту осуществления настоящего изобретения;

[0034] Фиг. 3A-3D являются графиками для пояснения характеристик в реальном пространстве и пространстве частоты обработки восстановления изображения, согласно варианту осуществления настоящего изобретения;

[0035] Фиг. 4A и 4B являются графиками для пояснения генерирования фильтра восстановления изображения с учетом хроматической разности увеличения;

[0036] Фиг. 5 является последовательностью операций, иллюстрирующей хроматическую разность обработки обнаружения/коррекции увеличения согласно варианту осуществления настоящего изобретения;

[0037] Фиг. 6A и 6B являются видами для пояснения способа генерирования данных коррекции хроматической разности увеличения согласно варианту осуществления настоящего изобретения;

[0038] Фиг. 7 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0039] Фиг. 8 является видом, показывающим точечный источник света, согласно варианту осуществления настоящего изобретения;

[0040] Фиг. 9A-9C являются видами для пояснения работы и результата обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0041] Фиг. 10A-10C являются видами для пояснения работы и результата обработки восстановления изображения согласно первому варианту осуществления настоящего изобретения;

[0042] Фиг. 11A-11D являются графиками, показывающими пример функций MTF системы формирования оптического изображения устройства захвата изображения согласно варианту осуществления настоящего изобретения, и пространственных частотных характеристик функций MTF после применения фильтра восстановления изображения;

[0043] Фиг. 11Е является графиком, показывающим степени увеличения/уменьшения (коэффициенты восстановления) функций MTF устройства захвата изображения, согласно варианту осуществления настоящего изобретения, которые получены посредством применения фильтра восстановления изображения;

[0044] Фиг. 12 является последовательностью операций, иллюстрирующей обработку восстановления изображения согласно второму варианту осуществления настоящего изобретения;

[0045] Фиг. 13A-13D являются видами для пояснения работы и результата обработки восстановления изображения согласно второму варианту осуществления настоящего изобретения; и

[0046] Фиг. 14A-14D являются видами для пояснения работы и результата обработки восстановления изображения, согласно второму варианту осуществления настоящего изобретения.

Описание вариантов осуществления

[0047] Варианты осуществления настоящего изобретения описаны ниже подробно в соответствии с сопровождающими чертежами.

[0048] Сначала будет описан краткий обзор обработки восстановления изображения, согласно варианту осуществления настоящего изобретения, и обработки обнаружения/коррекции хроматической разности увеличения.

[0049] (Обработка восстановления изображения)

Аналогично вышеописанной обычной обработке восстановления изображения в основном используется фильтр восстановления изображения. Следующее уравнение (8) указывает характеристики фильтра Винера в качестве примера, используемого в качестве фильтра восстановления изображения.

М (u, v)=

где М (u, v) представляет частотную характеристику фильтра Винера, |H (u, v)| представляет абсолютное значение (MTF) оптической передаточной функции, и SNR представляет отношение уровня между сигналом изображения и сигналом шума. Как очевидно из вышеупомянутого уравнения, в этом способе для каждой частоты уменьшается коэффициент усиления восстановления (степень восстановления), когда уменьшается MTF, и коэффициент усиления восстановления возрастает, когда увеличивается MTF. Так как, в целом, MTF системы формирования оптического изображения является большой на низкочастотной стороне и является малой на высокочастотной стороне, коэффициент усиления восстановления на высокочастотной стороне изображения по существу уменьшается.

[0050] Как описано выше, когда фильтр восстановления изображения применяется к двумерному изображению, он формируется как двумерный фильтр, имеющий отводы, соответствующие пикселям, и количество отводов может быть определено на основании характеристик аберрации системы формирования оптического изображения и необходимой точности восстановления. Фиг. 2A схематично показывает в качестве примера фильтр восстановления изображения, сформированный как двумерный фильтр, имеющий 11 Ч 11 отводов, то есть 11 отводов в каждом из горизонтального и вертикального направлений. Хотя значение (значение коэффициента) каждого отвода не показано на Фиг. 2A, Фиг. 2B показывает пример распределения коэффициентов отвода одной горизонтальной линии фильтра восстановления изображения. Распределение значений (значений коэффициента) отводов фильтра восстановления изображения служит, чтобы возвратить функцию рассеяния точки, которая пространственно рассеивается из-за аберраций системы формирования оптического изображения, к идеально исходной точке (когда не учитывается влияние дифракции).

[0051] Значение коэффициента отвода фильтра восстановления изображения используется для обработки свертки (операции интеграла свертки, операции произведение-сумма), выполняемой для каждого пикселя на этапе обработки восстановления изображения. При обработке свертки пиксель, который должен быть обработан, делается совпадающим с центральным отводом фильтра восстановления изображения, чтобы применить обработку восстановления изображения к значению сигнала пикселя, который должен быть обработан. В каждой позиции отвода фильтра восстановления изображения получают произведение соответствующего значения сигнала пикселя и значения коэффициента отвода, и значение сигнала пикселя, которое должно быть обработано, заменяется суммой произведений.

[0052] Характеристики в реальном пространстве и частотном пространстве обработки восстановления изображения описаны со ссылками на Фиг. 3A-3D. Фиг. 3A показывает функцию рассеяния точки до обработки восстановления изображения, и Фиг. 3B показывает функцию рассеяния точки после обработки восстановления. Ссылаясь на Фиг. 3C, ссылочная позиция 401 обозначает MTF до обработки восстановления изображения; и 402 обозначает MTF после обработки восстановления изображения. Ссылаясь на Фиг. 3D, ссылочная позиция 403 обозначает PTF до обработки восстановления изображения; и 404 обозначает PTF после обработки восстановления изображения. Как очевидно из Фиг. 3A, функция рассеяния точки до обработки восстановления изображения асимметрично рассеивается, что вынуждает соответствующую PTF иметь значение, отличное от нуля (обозначенное ссылочной позицией 403 на Фиг. 3D). Так как обработка восстановления изображения усиливает MTF, как указано посредством MFP 402 на Фиг. 3C, и корректирует PTF к нулю, как указано посредством PTF 404 на Фиг. 3D, функция рассеяния точки после обработки восстановления изображения является симметричной и острой, как показано на Фиг. 3B.

[0053] Возможно получить фильтр восстановления изображения посредством выполнения обратного преобразования Фурье для функции, которая была сконструирована на основании обратной функции (1/Н) оптической передаточной функции системы формирования оптического изображения. Хотя вышеописанный фильтр Винера может быть использован как фильтр восстановления изображения, может быть использован другой фильтр. Если используется фильтр Винера, возможно создать фильтр восстановления изображения в реальном пространстве, который должен быть использован для обработки свертки, посредством выполнения обратного преобразования Фурье для обратной функции оптической функции передачи.

[0054] Ниже описано генерирование фильтра восстановления изображения с учетом хроматической разности увеличения. Кривая 502 на Фиг. 4A представляет два компонента цвета, которые были изображены в качестве функции рассеяния точки с той же формой, как функция кривой 501 в позиции, полученной посредством выполнения параллельного перемещения в отношении позиции изображения кривой 501. Фиг. 4B показывает функции PTF в этот момент. Прямые линии 601 и 602 на Фиг. 4B соответствуют кривым 501 и 502 на Фиг. 4A. Прямая линия 602 представляет, что фаза имеет наклон. Фильтр восстановления изображения может скорректировать линейную PTF, как показано на Фиг. 4B, и нелинейную PTF как PTF 403 Фиг. 3D, как представлено прямой линией 601 на Фиг. 4B, так как исходная оптическая передаточная функция включает в себя такие функции PTF.

[0055] Возможно генерировать фильтр восстановления изображения, который не корректирует компонент параллельного перемещения хроматической разности увеличения, посредством генерирования фильтра восстановления изображения на основании оптической передаточной функции, для которой линейный компонент был ранее удален из PTF. С другой стороны, если компонент хроматической разности увеличения удален в реальном пространстве, возможно генерировать оптическую передаточную функцию, для которой был удален компонент хроматической разности увеличения, посредством генерирования функции рассеяния точки, для которой кривая 502 Фиг. 4A была параллельно перемещена к позиции кривой 501, чтобы уменьшить разность, и посредством выполнения преобразования Фурье для генерируемой функции рассеяния точки. Так как, фактически, форма функции рассеяния точки кривой 501 отличается от формы функции рассеяния точки кривой 502, может быть использован способ для того, чтобы вынуждать центры тяжести кривых совпадать друг с другом, или способ уменьшения среднеквадратического значения разности между кривыми 501 и 502, чтобы выровнять кривые. Посредством генерирования фильтра восстановления изображения на основании оптической передаточной функции возможно сгенерировать фильтр восстановления изображения, который не корректирует компонент параллельного перемещения хроматической разности увеличения.

[0056] Посредством применения фильтра восстановления изображения, который не корректирует компонент хроматической разности увеличения, становится возможно обработать хроматическую разность увеличения независимо от обработки восстановления изображения. Таким образом, становится возможно выполнить обработку посредством отделения коррекции и делая более резкими асимметричные аберрации для каждого компонента цвета от коррекции изменения цвета в качестве компонента параллельного перемещения хроматической разности увеличения.

[0057] Должно быть отмечено, что так как оптическая передаточная функция изменяется в зависимости от высоты изображения (позиции изображения) системы формирования оптического изображения даже в одном и том же захваченном состоянии (одной и той же позиции масштабирования и одном и том же диаметре апертурной диафрагмы), фильтр восстановления изображения по желанию изменяется и используется согласно высоте изображения.

[0058] Был описан краткий обзор обработки восстановления изображения.

[0059] (Обнаружение и коррекция хроматической разности увеличения)

Возможно вычислить величину коррекции хроматической разности увеличения на основании значений структуры системы формирования оптического изображения, например, линейного компонента PTF и формы функции рассеяния точки, как описано выше.

[0060] Появление хроматической разности увеличения на изображении может изменяться из-за производственного изменения системы формирования оптического изображения и изменения спектра источника света при захвате изображения. В качестве способа, рассматривающего такое изменение, существует способ обнаружения хроматической разности увеличения из изображения. Способ обнаружения хроматической разности увеличения из изображения и ее коррекции описан со ссылками на Фиг. 5. Как описано ниже, в устройстве захвата изображения (Фиг. 1) согласно варианту осуществления блок 111 обработки восстановления изображения блока 104 обработки изображения может выполнять следующую обработку, которая будет объяснена в настоящем описании в качестве общей процедуры.

[0061] На этапе S201 захваченное изображение получают в качестве введенного изображения.

[0062] На этапе S202 обнаруживается из изображения краевая часть, где имеется существенное изменение цвета из-за хроматической разности увеличения. Чтобы обнаружить край, используется плоскость Y (яркость). Выполняя обнаружение посредством ограничения краями, где значение пикселя значительно изменяется в радиальном направлении от оптического центра, становится возможно получить величину изменения цвета с высокой точностью. Так как изменение цвета из-за хроматической разности увеличения появляется как окантовка в плоскости Y, край, имеющий ширину некоторой величины, где значение пикселя монотонно увеличивается или уменьшается для множества последовательных пикселей, может считаться целью обнаружения края.

[0063] На этапе S203 величину изменения цвета получают на каждом краю, обнаруженном на этапе S202. Попытка упростить обработку предпринимается посредством применения, согласно позиционному соотношению между оптическим центром и каждым краем, одного из: вертикального направления, бокового направления, наклонно восходящего направления и наклонно нисходящего направления в качестве направления изменения цвета, которое должно быть обработано. Корреляция между компонентами цвета используется, чтобы получить величину изменения цвета на каждом краю. Возможно получить величину изменения цвета, например, посредством определения суммы абсолютных значений разности между компонентами цвета. При перемещении плоскости R (или плоскость B) в направлении изменения цвета относительно плоскости G, местоположение, где сумма абсолютных значений разности между компонентами цвета является наименьшей, ищется в пикселях вокруг обнаруженного края. На основании позиции до перемещения и обнаруженного местоположения, где сумма абсолютных значений разности является наименьшей, возможно получить величину изменения цвета в плоскости R (или плоскости B) относительно плоскости G.

[0064] Величина изменения цвета имеет отрицательное значение, когда плоскость R (или плоскость B) была смещена в направлении к оптическому центру относительно плоскости G, и имеет положительное значение, когда плоскость R (или плоскость B) была смещена в направлении от оптического центра относительно плоскости G.

[0065] На этапе S204 данные коррекции создают посредством получения соотношения между высотой изображения и изменением цвета на основании высоты изображения каждого края, обнаруженного на этапе S202, и величины изменения цвета на каждом краю, которая было получена на этапе S203.

[0066] Высота изображения указывает расстояние от пикселя, соответствующего оптическому центру (который в дальнейшем должен просто называться оптическим центром).

[0067] Процедура создания данных коррекции описана подробно ниже.

[0068] (1) Пусть L будет высотой изображения края, обнаруженного на этапе S202, и D будет величиной изменения цвета, полученной на этапе S203. Затем получено соотношение изменения цвета М относительно высоты изображения:

M=D/L... (9)

[0069] (2) Изображение делится на множество областей (обозначенных ссылочными символами h1-h8 в этом случае), согласно высоте изображения, как показано на Фиг. 6A, и выбирается область, которой принадлежит край.

[0070] (3) Операции (1) и (2) выполняются для каждого края, обнаруженного в изображении, отношения М изменения цвета накапливаются для каждой области, разделенной согласно высоте изображения, и среднее число отношений М изменения цвета для каждой области получено как отношение изменения цвета для каждой области.

[0071] (4) Уравнение F (1) аппроксимации полиномами высокого порядка, представляющее соотношение между высотой l изображения и отношением М изменения цвета вычисляется на основании высоты изображения и отношения изменения цвета, как показано на Фиг. 6B, и используется в качестве данных коррекции. Фиг. 6B показывает случай, в котором данные коррекции вычисляются полиномиальным уравнением третьего порядка, представленным:

M=F (l)=al³+bl²+cl.. (10)

где a, b и c, соответственно, представляют коэффициенты.

[0072] Должно быть отмечено, что обнаружение края и получение величины изменения цвета могут быть выполнены для всех краев в пределах изображения. Также возможно повысить эффективность обработки, в то же время поддерживая надежность посредством, например, завершения операции обнаружения края и получения величины изменения цвета, когда отношения изменения цвета, количество которых равно или больше, чем заданный порог, накапливаются в каждой области, разделенной согласно высоте изображения.

[0073] Посредством использования только области, где был найден соответствующий край, множества областей, разделенных согласно высоте изображения для вычисления уравнения аппроксимации полиномами высокого порядка, становится возможно создать данные коррекции, даже если есть область, где не найден никакой соответствующий край.

[0074] На этапе S205 корректируется изменение цвета, используя данные коррекции, созданные на этапе S204. Коррекция выполняется посредством смещения позиции пикселя целевого компонента цвета. Более конкретно, например, следующий способ может выполнить коррекцию.

[0075] В пикселе (X, Y) в плоскости (плоскости R, плоскости B), которая должна быть скорректирована, отношение М изменения цвета в пикселе (X, Y) получают на основании высоты L изображения пикселя (X, Y) и данных коррекции. Предположим, что пиксель, соответствующий оптическому центру, имеет координаты (0, 0).

M=F (L)... (11)

Координаты (X1, Y1) пикселя, который должен быть сгенерирован коррекцией изменения цвета, получают посредством:

X1=М Ч X... (12)

Y1=М Ч Y... (13)

[0076] Значение пикселя, соответствующее координатам (X1, Y1) в плоскости, которая должна быть скорректирована, генерируется посредством общей обработки интерполяции и устанавливается как значение пикселя пикселя (X, Y). Эти операции выполняются для всех пикселей, таким образом, выполняя коррекцию изменения цвета.

[0077] Был описан краткий обзор обработки создания данных коррекции хроматической разности увеличения на основании изображения и выполнения коррекции.

[0078] (Компоновка устройства захвата изображения)

Фиг. 1 является блок-схемой, показывающей пример компоновки устройства захвата изображения в качестве примера устройства обработки изображения согласно варианту осуществления настоящего изобретения. В этом варианте осуществления описан случай, в котором устройство захвата изображения включает в себя систему формирования оптического изображения и датчик изображения, к которому применяется настоящее изобретение. Однако компоненты для генерирования захваченного изображения, такие как система формирования оптического изображения и датчик изображения, не являются существенными в настоящем изобретении.

[0079] Система 101 формирования оптического изображения формирует оптическое изображение объекта (не показан) в датчике 102 изображения. Датчик 102 изображения преобразует изображение в электрический сигнал, который преобразуется в цифровой сигнал преобразователем 103 A/D и вводится в блок 104 обработки изображения. Блок 104 обработки изображения включает в себя блок 111 обработки восстановления изображения и другой блок 112 обработки изображения для выполнения обработки изображения, отличной от обработки восстановления изображения. Блок 111 обработки восстановления изображения получает захваченную информацию состояния устройства захвата изображения от блока 107 обнаружения состояния. Блок 107 обнаружения состояния может получить захваченную информацию состояния устройства захвата изображения непосредственно от контроллера 110 системы или может получить захваченную информацию состояния, ассоциированную с системой 101 формирования оптического изображения, от блока 106 управления системой формирования оптических изображений.

[0080] Затем блок 111 обработки восстановления изображения выбирает фильтр восстановления изображения, соответствующий захваченному состоянию, из, например, блока 108 хранения, и выполняет обработку коррекции хроматической разности увеличения и обработку применения фильтра восстановления изображения для ввода изображения в блок 104 обработки изображения. Обработка восстановления изображения описана подробно ниже. Блок 108 хранения может считывать информацию, необходимую для генерирования фильтра восстановления изображения (например, информацию о функции рассеяния точки или оптической передаточной функции), вместо фильтра восстановления изображения. В этом случае блок 111 обработки восстановления изображения выбирает информацию о функции рассеяния точки или оптической передаточной функции, соответствующую захваченному состоянию, из блока 108 хранения для генерирования фильтра восстановления изображения, соответствующего захваченному состоянию, и использует сгенерированный фильтр восстановления изображения для выполнения обработки восстановления изображения. Другой блок 112 обработки изображения выполняет предварительно определенную обработку изображения, такую как гамма-коррекция и выравнивание цветового баланса для изображения после обработки восстановления изображения, таким образом, генерируя файл изображения, такой как файл JPEG.

[0081] Контроллер 110 системы сораняет выведенное изображение, обработанное блоком 104 обработки изображения, в носителе 109 записи изображения в заранее определенном формате. Блок 105 отображения может отображать изображение, полученное посредством выполнения предварительно определенной обработки для изображения после обработки восстановления изображения, или изображения, которое не подверглось обработке восстановления изображения или подверглось простой обработке восстановления.

[0082] Контроллер 110 системы выполняет ряд операций управления, и блок 106 управления системой формирования оптического изображения механически возбуждает систему 101 формирования оптического изображения (апертурную диафрагму 101a, фокусирующую линзу 101b, оптическое масштабирование и т.п.) в ответ на команду от контроллера 110 системы. Контроллер 110 системы является, например, программируемым контроллером, таким как CPU или MPU, и реализовывает всю работу устройства захвата изображения посредством выполнения программы, сохраненной в блоке 108 хранения. Должно быть отмечено, что, хотя блок 104 обработки изображения может быть реализован аппаратным обеспечением, по меньшей мере часть блока 104 обработки изображения может быть также реализована контроллером 110 системы в способе программного обеспечения.

[0083] Диаметр 101a апертурной диафрагмы управляется как установка захваченного состояния F-числа. Позиция фокусирующей линзы 101b управляется механизмом авто фокуса (AF) или механизмом ручного фокуса (не показан), чтобы отрегулировать ее фокус согласно расстоянию объекта. Система 101 формирования оптического изображения может включать в себя оптический элемент, такой как низкочастотный фильтр или инфракрасный режекторный светофильтр. Должно быть отмечено, что, когда используется элемент, такой как низкочастотный фильтр, который влияет на характеристики оптической передаточной функции, изменение оптической передаточной функции из-за оптического элемента учитывается при создании фильтра восстановления изображения. Так как инфракрасный режекторный светофильтр также влияет на функцию рассеяния точки каждого из каналов R, G и B, особенно функцию рассеяния точки канала R, как интеграл функции рассеяния точки длины волны спектроскопии, изменение в функции рассеяния точки из-за инфракрасного режекторного светофильтра учитывается при создании фильтра восстановления изображения.

[0084] Хотя система 101 формирования оптического изображения показана как часть устройства захвата изображения на Фиг. 1, она может иметь взаимозаменяемую компоновку, как камера со сменными объективами.

[0085] Фиг. 7 является последовательностью операций для пояснения обработки восстановления изображения в блоке 111 обработки восстановления изображения.

[0086] На этапе S301 блок 111 обработки восстановления изображения получает фактическую захваченную информацию состояния от блока 107 обнаружения состояния. Захваченное состояние указывает условия захвата изображения, такие как позиция масштабирования, диаметр апертурной диафрагмы и расстояние до объекта. Должно быть отмечено, что захваченная информация состояния часто записывается в части заголовка файла изображения. Когда обработка восстановления изображения выполнена для захваченного изображения, захваченная информация состояния может быть получена из файла изображения.

[0087] На этапе S302 блок 111 обработки восстановления изображения корректирует хроматическую разность увеличения. Обработка коррекции хроматической разности увеличения выполняется посредством смещения позиции пикселя, как описано выше, и фильтр восстановления изображения для коррекции различных аберраций оптической системы не применяется. Значение, вычисленное на основании значений конструкции системы формирования оптического изображения, может быть использовано как величина коррекции для хроматической разности увеличения, или величина коррекции может быть определена посредством обнаружения хроматической разности увеличения из изображения, как описано выше.

[0088] На этапе S303 блок 111 обработки восстановления изображения выбирает фильтр восстановления изображения, подходящий для условий захвата изображения. В это время выбранный фильтр восстановления изображения может быть скорректирован, если необходимо. Таким образом, дискретные захваченные данные состояния готовятся, чтобы уменьшить число данных фильтров восстановления изображения, подготовленных заранее в блоке 108 хранения, и фильтр восстановления изображения корректируется согласно фактическому захваченному состоянию при выполнении обработки восстановления изображения. Вместо того, чтобы выбрать фильтр восстановления изображения, он может быть сгенерирован согласно захваченному состоянию на основании информации о оптической передаточной функции, необходимой для генерирования фильтра восстановления изображения.

[0089] Для фильтра восстановления изображения, используемого в этом варианте осуществления, был удален компонент параллельного перемещения, чтобы скорректировать хроматическую разность увеличения. Таким образом, фильтр восстановления изображения включает в себя по меньшей мере один из: компонент коррекции сферической аберрации, компонент коррекции комы, компонент кривизны коррекции поля и компонент коррекции астигматизма, и не включает в себя компонент коррекции хроматической разности увеличения. Фильтр восстановления изображения повышает резкость изображения посредством коррекции асимметрии и рассеивания аберраций, но не корректирует компонент параллельного перемещения хроматической разности увеличения. Как описано выше, использование такого фильтра восстановления изображения позволяет обработать хроматическую разность увеличения независимо от обработки восстановления изображения. То есть возможно отдельно обработать коррекцию для асимметричных аберраций и повышения резкости для каждого компонента цвета, и коррекцию для изменения цвета в качестве компонента параллельного перемещения хроматической разности увеличения.

[0090] На этапе S304 блок 111 обработки восстановления изображения получает информацию цветового контраста для каждого пикселя, в качестве примера величины признака, ассоциированного с цветом изображения, для которого на этапе S302 была скорректирована хроматическая разность увеличения. В этом случае введенное изображение формируется компонентами R, G и B, и цветовой контраст определяется как разница значения сигнала относительно основного цвета G. Таким образом цветовой контраст вычисляется:

C1r (x, y)=R1 (x, y)-G1 (x, y)... (14)

C1b (x, y)=B1 (x, y)-G1 (x, y)... (15)

где R1, G1 и B1, соответственно, представляют значения сигнала R, G и B до обработки восстановления изображения, (x, y) представляет значение координаты на изображении, и C1r и C1b, соответственно, представляют цветовые контрасты компонентов R и B относительно компонента G.

[0091] Должно быть отмечено, что если введено изображение, например, так называемое изображение RAW, захваченное датчиком изображения, имеющим матричный фильтр Баера основных цветов, каждый пиксель имеет только одно из значений компонентов R, G и B. Значение компонента G в пикселе R или B генерируется посредством адаптивной интерполяции значения пикселя G, таким образом, получая C1r и C1b.

[0092] С другой стороны, если обработка интерполяции цвета была уже выполнена, и каждый пиксель имеет значения компонентов R, G и B, то C1r и Clb получены в каждом пикселе. Если каждый пиксель имеет значения компонентов R, G и B, значение компонента Y (яркость) может быть получено на основании значений компонентов R, G и B в каждом пикселе, таким образом получая, в качестве C1r и C1b, цветовые контрасты компонентов R и B относительно компонента яркости, соответственно.

[0093] На этапе S305 блок 111 обработки восстановления изображения использует фильтр восстановления изображения, выбранный или сгенерированный на этапе S303, для выполнения вышеописанной обработки кривизны для каждого пикселя введенного изображения. Это позволяет скорректировать асимметрию функции рассеяния точки из-за аберраций системы 101 формирования оптического изображения, таким образом, удаляя или уменьшая компоненты размытости изображения.

[0094] На этапе S306 блок 111 обработки восстановления изображения получает информацию цветового контраста для каждого пикселя, в качестве примера величины признака, ассоциированного с цветом изображения после обработки восстановления изображения на этапе S305, аналогично этапу S304. Должно быть отмечено, что R2, G2 и B2, соответственно, представляют значения сигнала R, G и B после обработки восстановления изображения, (x, y) представляет значение координаты на изображении, и C2r и C2b, соответственно, представляют цветовые котрасты компонентов R и B относительно компонента G, которые определены посредством:

C2r (x, y)=R2 (x, y)-G2 (x, y)... (16)

C2b (x, y)=B2 (x, y)-G2 (x, y)... (17)

[0095] Должно быть отмечено, что аналогично случаю, в котором получены C1r и Clb, если введенное изображение является изображением RAW до интерполяции цвета, значение компонента G в пикселе R или B генерируется посредством адаптивной интерполяции значения пикселя G, таким образом, получая C2r и C2b.

[0096] С другой стороны, если обработка интерполяции цвета была уже выполнена, и каждый пиксель имеет значения компонентов R, G и B, то G2r и C2b получены в каждом пикселе.

[0097] На этапе S307 на основании частей C1r, C1b, C2r и C2b информации цветового контраста каждого пикселя до и после обработки восстановления изображения, которые были получены на этапах S304 и S306, блок 111 обработки восстановления изображения определяет, необходима ли регулировка пиксельного значения для уменьшения окрашивания. Это определение может быть сделано на основании того, увеличился ли цветовой контраст, или был ли инвертирован знак цветового контраста, как будет описано ниже.

[0098] Блок 111 обработки восстановления изображения делает определение для пикселей R и B пикселей R, G, B (или компонентов R и B в каждом пикселе). Если любое из следующих условий удовлетворяется, определяется, что выравнивание пиксельного значения для уменьшения окрашивания является необходимым для пикселя соответствующего компонента цвета.

[0099] Определение для R

Условие 1 определения:

C1r (x, y) и C2r (x, y) имеют один и тот же знак и | C1r (x, y) | < |C2r (x, y) |.

Условие 2 определения:

C1r (x, y) и C2r (x, y) имеют различные знаки.

[0100] Определение для B

Условие 1 определения:

C1b (x, y) и C2b (x, y) имеют один и тот же знак и |C1b (x, y) | < | C2b (x, y) |.

Условие 2 определения:

C1b (x, y) и C2b (x, y) имеют различные знаки.

[0101] Для пикселя, для которого было определено в качестве результата определения, что регулировка пиксельного значения является необходимым, блок 111 обработки восстановления изображения применяет регулировку пиксельного значения для уменьшения окрашивания на этапе S308. Обработка регулировки пиксельного значения использует цветовой контраст до обработки восстановления изображения, когда цветовой контраст увеличился, и устанавливает цветовой контраст в ноль, когда знак цветового контраста был инвертирован, как будет описано ниже.

[0102] Регулировка пиксельного значения для R, если удовлетворяется условие 1 определения (цветовой контраст увеличился):

R2 (x, y)=G2 (x, y)+k Ч C1r (x, y) (0<k 1)... (18)

Если удовлетворяется условие 2 определения (знак цветового контраста был инвертирован):

R2 (x, y)=G2 (x, y)... (19)

[0103] Регулировка пиксельного значения для B

Если удовлетворяется условие 1 определения (цветовой контраст увеличился):

B2 (x, y)=G2 (x, y)+k Ч C1b (x, y) (0<k 1)... (20)

Если условие 2 определения удовлетворяется (знак цветовогой контраста был инвертирован):

B2 (x, y)=G2 (x, y)... (21)

[0104] Как описано выше, обработка согласно последовательности операций на Фиг. 7, выполняет обработку восстановления изображения в блоке 104 обработки изображения (блоке 111 обработки восстановления изображения). Должно быть отмечено, что так как оптическая передаточная функция системы 101 формирования оптического изображения изменяется в зависимости от высоты изображения системы формирования оптического изображения даже в одном захваченном состоянии, желательно изменить и выполнить вышеописанную обработку восстановления изображения для каждой области (каждой из областей h1-h8 на Фиг. 6), разделенной согласно высоте изображения. Более конкретно, необходимо только вынудить фильтр восстановления изображения сканировать изображение посредством выполнения обработки кривизны, таким образом, последовательно изменяя фильтр для каждой области. Таким образом, на этапе S303 выполняется обработка для каждого целевого пикселя.

[0105] Должно быть отмечено, что применение фильтра восстановления изображения = обработка восстановления изображения принято ради простоты и для легкого понимания варианта осуществления. Обработка восстановления изображения может включать в себя, в качестве своей части, другую обработку коррекции, такую как обработка коррекции искажения, обработка коррекции величины рассеянного света и обработка уменьшения шума.

[0106] Пример работы и результата коррекции хроматической разности увеличения, получение частей информации цветового контраста до и после обработки восстановления изображения и применение фильтра восстановления изображения, которые выполнены на этапах S302, S304, S305, S306 и S308, описаны с ссылками на Фиг. 9A-9C и 10A-10C.

[0107] Фиг. 9A-9C являются схематическими видами, показывающими пример пиксельных значений в и вокруг точечного источника света в горизонтальном направлении, во вводе, показанном на Фиг. 8, который был получен посредством захвата поля обзора, вокруг периметра которого существует точечный источник света. На каждой из Фиг. 9A-9C верхняя часть показывает пиксельные значения компонентов R и G, и нижняя часть показывает разницу между значениями компонентов R и G, показанных в верхней части, то есть цветовой контраст.

[0108] Фиг. 9B показывает состояние не в фокусе. По сравнению с Фиг. 9A, которая показывает состояние в фокусе, на Фиг. 9B изменение цвета из-за хроматической разности увеличения имеет место аналогично Фиг. 9A, но величины размытости компонентов G и R являются большими, и степени размытости компонентов G и R равны друг другу. После коррекции хроматической разности увеличения позиции компонентов R и G совпадают друг с другом, степени размытости компонентов G и R равны друг другу, и, таким образом, на данном этапе не имеет места никакая цветная окантовка. После применения фильтра восстановления изображения величины размытости компонентов G и R уменьшаются, но оставшиеся величины размытости компонентов G и R отличаются друг от друга, таким образом, вызывая цветную окантовку. Цветная окантовка является окрашиванием, которое должно быть уменьшено в этом варианте осуществления.

[0109] Фиг. 10B показывает соотношение между частями информации цветового контраста до и после применения фильтра восстановления изображения, который соответствует Фиг. 9B. Хотя хроматическая разность до применения фильтра восстановления изображения и после коррекции хроматической разности увеличения равна 0 для целой области, хроматическая разность имеет место в краевой части после применения фильтра восстановления изображения. Обработка определения на этапе S307, поэтому, определяет, что регулировка пиксельного значения является необходимой, так как увеличивается хроматическая разность, и блок 111 обработки восстановления изображения применяет регулировку пиксельного значения для уменьшения окрашивания на этапе S308. Так как при обработке регулировки пиксельного значения на этапе S308 используется цветовой контраст до применения фильтра восстановления изображения и после хроматической разности увеличения, цветовой контраст после обработки регулировки пиксельного значения равен 0 для всей области, таким образом получая изображение, в котором было соответственно уменьшено окрашивание.

[0110] Как описано выше, в этом варианте осуществления возможно эффективно уменьшить окрашивание, которое имеет место в применении фильтра восстановления изображения, для части не в фокусе. Разница между степенями размытости каждого из компонентов G и R до и после применения фильтра восстановления изображения в каждом из: состояния в фокусе, показанном на Фиг. 9A, и состояния не в фокусе, показанном на Фиг. 9B, будет описано с ссылками на Фиг. 11A-11Е. Фиг. 11A-11D являются графиками, схематично показывающими функции MTF системы 101 формирования оптического изображения и пространственные частотные характеристики функций MTF после применения фильтра восстановления изображения. Фиг. 11Е является графиком, схематично показывающим степень увеличения/уменьшения (коэффициент усиления восстановления) MTF, полученной посредством применения фильтра восстановления изображения.

[0111] Фиг. 11A показывает функции MTF системы 101 формирования оптического изображения в состоянии в фокусе, в котором ухудшается компонент R, по сравнению с компонентом G. Во введенном изображении Фиг. 9A степени размытости компонентов G и R являются различными, и изменение пиксельного значения компонента R рассеивается по сравнению с компонентом G в части точечного источника света.

[0112] Фиг. 11B показывает функции MTF после применения фильтра восстановления изображения в состоянии в фокусе, в котором функции MTF компонентов G и R были соответственно скорректированы, и компоненты G и R совпадают друг с другом. Это получено посредством умножения функций MTF, показанных на Фиг. 11A, на коэффициенты усиления восстановления, показанные на Фиг. 11Е, соответственно. Так как фильтр восстановления изображения был сконструирован для выполнения оптимальной обработки восстановления изображения для объекта в фокусе, соответствующая обработка восстановления изображения выполняется в состоянии в фокусе. Ссылаясь на Фиг. 9A, поэтому, после применения фильтра восстановления изображения была соответственно удалена размытость компонентов G и R, и также была удалена цветная окантовка.

[0113] С другой стороны, Фиг. 11C показывает функции MTF системы 101 формирования оптического изображения в состоянии не в фокусе, в котором компоненты G и R ухудшаются и совпадают друг с другом, по сравнению с состоянием в фокусе, показанным на Фиг. 11A. Во введенном изображении Фиг. 9B степени размытости компонентов G и R равны друг другу, и больше, чем таковые в состоянии в фокусе, показанном на Фиг. 9A.

[0114] Фиг. 11D показывает функции MTF после применения фильтра восстановления изображения в состоянии не в фокусе, в котором были скорректированы функции MTF компонентов G и R, но компонент G ухудшается по сравнению с компонентом R. Это получается посредством умножения функций MTF, показанных на Фиг. 11C, на коэффициенты усиления восстановления, показанные на Фиг. 11E, соответственно. Так как фильтр восстановления изображения был сконструирован для выполнения оптимальной обработки восстановления изображения для объекта в фокусе, ожидаемый результат восстановления изображения может не быть получен в состоянии в фокусе. Ссылаясь на Фиг. 9B, поэтому, после применения фильтра восстановления изображения уменьшилась величина размытости компонентов G и R, но компонент G рассеялся по сравнению с компонентом R.

[0115] Фиг. 9C показывает случай, в котором фильтр восстановления изображения включает в себя компонент коррекции хроматической разности увеличения в отличие от этого варианта осуществления.

[0116] Фиг. 9C показывает случай, в котором фильтр восстановления изображения, включающий в себя компонент коррекции хроматической разности увеличения, применяется в состоянии не в фокусе, аналогично состоянию на Фиг. 9B. Введенное изображение является таким же, как изображение на Фиг. 9B. Хотя коррекция хроматической разности увеличения не выполняется, она выполняется посредством применения фильтра восстановления изображения, и, таким образом, изображение после применения фильтра восстановления изображения также является таким же, как изображение на Фиг. 9B.

[0117] Фиг. 10C показывает соотношение между частями информации цветового контраста до и после применения фильтра восстановления изображения. Цветовой контраст введенного изображения до применения фильтра восстановления изображения имеет положительное значение в левой части края и имеет отрицательное значение в правой части края из-за изменения цвета. После применения фильтра восстановления изображения цветовой контраст, имеющий отрицательное значение, имеет место в обеих краевых частях. Обработка определения на этапе S307, поэтому, определяет, что регулировка пиксельного значения является необходимой, посредством определения, что знак цветового контраста был инвертирован в левой краевой части. Регулировка пиксельного значения для уменьшения окрашивания выполняется на этапе S308, таким образом, уменьшая окрашивание. Однако, так как цветовой контраст не увеличился, или знак цветового контраста не был инвертирован в правой краевой части, определяется, что регулировка пиксельного значения не является необходимой, и, таким образом, регулировка пиксельного значения не выполняется на этапе S308. Результат обработки восстановления изображения выводится, не уменьшая окрашивание в правой краевой части.

[0118] Как описано выше, если фильтр восстановления изображения включает в себя компонент коррекции хроматической разности увеличения, окрашивание, которое имеет место при применении фильтра восстановления изображения, достаточно не уменьшается, таким образом ухудшая качество изображения.

[0119] Как описано выше, согласно варианту осуществления, фильтр восстановления изображения, который не корректирует хроматическую разность увеличения, используется как фильтр восстановления изображения для коррекции аберраций системы формирования оптического изображения, и хроматическая разность увеличения корректируется другим способом, отличающимся от фильтра восстановления изображения, до применения фильтра восстановления изображения. Это позволяет скорректировать окрашивание, которое вызывается фильтром восстановления изображения, и имеет место, когда состояние аберраций в фактическом захваченном состоянии отличается от состояния аберраций, принятого фильтром восстановления изображения, отдельно от окрашивания, вызванного хроматической разностью увеличения, таким образом, эффективно уменьшая окрашивание.

[0120] То есть возможно отделить окрашивание из-за изменения цвета хроматической разности увеличения от окрашивания, которое имеет место, когда удаляется размытость, таким образом, уменьшая только окрашивание, которое имеет место, когда удаляется размытость. Как описано выше, согласно варианту осуществления, в целом возможна обработка восстановления изображения, которая уменьшает окрашивание.

[0121] (Второй вариант осуществления)

Ниже по тексту описан второй вариант осуществления настоящего изобретения. Ниже по тексту объяснен случай, в котором этот вариант осуществления применяется к устройству захвата изображения, показанному на Фиг. 1, аналогичному первому варианту осуществления. В этом варианте осуществления обработка восстановления изображения в блоке 104 обработки изображения (блоке 111 обработки восстановления изображения) отличается от обработки в первом варианте осуществления. Обработка восстановления изображения в этом варианте осуществления поэтому будет описана с ссылками на Фиг. 12.

[0122] Должно быть отмечено, что обработка на этапах S401-S405 на Фиг. 12 является такой же, как обработка на этапах S301-S305 Фиг. 7, и ее описание будет опущено. Этот вариант осуществления характеризуется тем, что после применения фильтра восстановления изображения на этапе S405 корректируется хроматическая разность увеличения, используя величину коррекции, генерируемую посредством обнаружения хроматической разности увеличения из изображения на этапе S406.

[0123] Фиг. 13A-13D и 14A-14D являются видами, показывающими пример операции и результат коррекции хроматической разности увеличения, получение частей информации цветового контраста до и после обработки восстановления изображения и применение фильтра восстановления изображения, которые выполняются на этапах S402, S404, S405, S406, S407 и S408 в этом варианте осуществления.

[0124] Фиг. 13A-13D являются схематическими видами, показывающими пример значений пикселя в меридианном направлении (в радиальном направлении от центра изображения) в и вокруг точечного источника света, на входе, показанном на Фиг. 8, который был получен посредством захвата поля обзора, вокруг периметра которого существует точечный источник света. В каждой из Фиг. 13A-13D верхняя часть показывает пиксельные значения компонентов R и G, и нижняя часть показывает разницу между значениями компонентов R и G, показанных в верхней части, то есть цветовой контраст. Так как направление интересующего пикселя отличается от такового на Фиг. 9A-9C, имеют место асимметричные аберрации, и степени размытости в левой и правой частях края отличаются друг от друга.

[0125] Результат, полученный посредством обнаружения хроматической разности увеличения из изображения и ее коррекция на этапе S406 после применения фильтра восстановления изображения, который не корректирует хроматическую разность увеличения, описаны ниже с ссылками на Фиг. 13A. Фиг. 13A показывает состояние в фокусе. Изменение цвета имеет место для компонентов G и R во введенном изображении из-за хроматической разности увеличения, степени размытости компонентов G и R отличаются друг от друга, и степени размытости в левой и правой частях края отличаются друг от друга из-за различных аберраций.

[0126] "После коррекции 1 хроматической разности увеличения" на Фиг. 13A показывает результат обработки коррекции хроматической разности увеличения, выполненной на этапе S402, до применения фильтра восстановления изображения. Обработка коррекции хроматической разности увеличения выполняется на этапе S402, чтобы получить изображение, в котором изменение цвета заметно как можно меньше, в то время как состояния аберраций в левой и правой краевых частях остаются отличными друг от друга. Значение, вычисленное на основании значений конструкции системы 101 формирования оптического изображения, может быть использовано как величина коррекции для хроматической разности увеличения, или величина коррекции может быть определена посредством обнаружения хроматической разности увеличения из изображения.

[00127] Посредством применения фильтра восстановления изображения асимметричные аберрации на краях компонентов G и R корректируются и становятся резкими. Однако остается изменение цвета между компонентами G и R. Это оставшееся изменение цвета вызвано, например, фактом, что состояние аберраций при захвате изображения отличается от состояния аберраций, которые должны быть обработаны фильтром восстановления изображения из-за производственного изменения системы 101 формирования оптического изображения и изменения спектра источника света. Кроме того, если величина коррекции определяется посредством обнаружения хроматической разности увеличения из изображения при обработки коррекции хроматической разности увеличения, выполненной на этапе S402 до применения фильтра восстановления изображения, величина хроматической разности увеличения обнаруживается на краю, где остается асимметрия. Поэтому может быть получена величина коррекции для хроматической разности увеличения, которая отличается от величины коррекции, подходящей для состояния края после обработки восстановления изображения. В этом случае остается изменение цвета.

[0128] Этот вариант осуществления рассматривает изменение цвета, которое остается после применения фильтра восстановления изображения по таким причинам. На этапе S406 блок 111 обработки восстановления изображения, в качестве второго средства коррекции хроматической разности увеличения, обнаруживает хроматическую разность увеличения из изображения после применения фильтра восстановления изображения и корректирует ее. "После коррекции 2 хроматической разности увеличения" на Фиг. 13A показывает состояние после обработки коррекции хроматической разности увеличения на этапе S406. В "после коррекции 2 хроматической разности увеличения" было соответственно скорректировано оставшееся изменение цвета. Для введенного изображения края подверглись коррекции асимметричной аберрации и сделаны резкими. Таким образом, компоненты G и R совпадают друг с другом, и была удалена цветовая окантовка.

[0129] На этапе S407 блок 111 обработки восстановления изображения получает информацию цветового контраста для каждого пикселя в качестве примера величины признака, ассоциированного с цветом изображения после обработки коррекции хроматической разности увеличения на этапе S406, аналогично этапу S306.

[0130] Обработка, которая должна быть выполнена на этапах S408 и S409, является такой же, как обработка на этапах S307 и S308 Фиг. 7, описанной в первом варианте осуществления, и ее описание будет опущено.

[0131] Фиг. 14A показывает части информации цветового контраста, полученной на этапах S404 и S407 в состоянии в фокусе, показанном на Фиг. 13A. В этом случае цветовой контраст в "после коррекции 1 хроматической разности увеличения 1" до применения фильтра восстановления изображения имеет значение в краевой части, и цветовой контраст в "после коррекции 2 хроматической разности увеличения" после применения фильтра восстановления изображения равен 0 для всей области. Обработка определения на этапе S408 поэтому определяет, что регулировка пиксельного значения для уменьшения окрашивания не является необходимой, и, таким образом, изображение "после коррекции 2 хроматической разности увеличения" получено как результат обработки восстановления изображения без изменения.

[0132] Фиг. 13B показывает случай, в котором обработка коррекции хроматической разности увеличения на этапе S406 не выполняется для того же введенного изображения, как обработка Фиг. 13A после применения фильтра восстановления изображения, в отличие от этого варианта осуществления. В этом случае выполняется обработка получения информации цветовго контраста на этапе S407, в то время как изменение цвета после применения фильтра восстановления изображения остается. Как показано на Фиг. 14B, знак цветового контраста был инвертирован на левом краю, и цветовой контраст увеличился на правом краю после обработки восстановления изображения, регулировка пиксельного значения для уменьшения окрашивания выполняется на этапе S409. Выведенное изображение в этом случае находится в состоянии, показанном в "после регулировки пиксельного значения" Фиг. 13B. Хотя окрашивание уменьшается посредством обработки уменьшения окрашивания на этапе S409, окрашивание все еще остается по сравнению с Фиг. 12A, когда обработка коррекции хроматической разности увеличения выполняется на этапе S406. Как описано выше, возможно соответственно уменьшить окрашивание посредством обнаружения хроматической разности увеличения в изображении до определения, является ли необходимым окрашивание обработки уменьшения, и коррекции обнаруженной аберрации после применения фильтра восстановления изображения.

[00133] Был описан второй вариант осуществления настоящего изобретения. Как описано выше, настоящее изобретение является эффективным, даже если хроматическая разность увеличения обнаружена из изображения и затем скорректирована после применения фильтра восстановления изображения.

[0134] Фиг. 13C показывает состояние не в фокусе, которое соответствует Фиг. 13A. Ссылаясь на Фиг. 13C, изменение цвета между компонентами G и R имело место во введенном изображении из-за хроматической разности увеличения, степени размытости компонентов G и R равны друг другу, и степени размытости в левом и правом краях отличаются от друг друга из-за различных аберраций в левом и правом краях. В "после коррекции 1 хроматической разности увеличения" после того как обработка коррекции хроматической разности увеличения выполнена на этапе S402, позиции компонентов R и G совпадают друг с другом, степени размытости компонентов G и R равны друг другу, и, таким образом, на данном этапе не имеет место никакая цветная окантовка.

[0135] После применения фильтра восстановления изображения величины размытости компонентов G и R немного уменьшаются, но оставшиеся величины размытости компонентов G и R отличаются от друг друга, таким образом вызывая цветную окантовку. Состояния цветной окантовки в левом и правом краях отличаются друг от друга, и могут быть обработаны как изменение цвета. В "после коррекции 2 хроматической разности увеличения", показывающим результат, полученный посредством обнаружения хроматической разности увеличения из изображения после применения фильтра восстановления изображения и ее коррекции на этапе S406, степени цветной окантовки в левом и правом краях равны друг другу. Фиг. 14C показывает соотношение между частями информации цветового контраста до и после обработки восстановления изображения в этом случае. Цветовой контраст в "после коррекции 1 хроматической разности увеличения" до применения фильтра восстановления изображения равен 0 для целой области, и цветовой контраст имеет место в краевых частях в "после коррекции 2 хроматической разности увеличения" после применения фильтра восстановления изображения. Обработка определения на этапе S408 поэтому определяет, что регулировка пиксельного значения для уменьшения окрашивания является необходимой, и регулировка пиксельного значения для уменьшения окрашивания выполняется на этапе S409. На этапе S409 используется цветовой контраст в "после коррекции 1 хроматической разности увеличения" до применения фильтра восстановления изображения. Цветовой контраст после обработки регулировки пиксельного значения равен 0 для всей области, и изображение, в котором был соответственно уменьшен цветовой контраст, получено как результат обработки восстановления изображения.

[0136] Фиг. 13D показывает случай, в котором фильтр восстановления изображения включает в себя компонент коррекции хроматической разности увеличения, в отличие от этого варианта осуществления.

[0137] На Фиг. 13D введенное изображение является таким же, как изображение на Фиг. 13C. Так как коррекция хроматической разности увеличения выполняется посредством применения фильтра восстановления изображения, не выполняя коррекцию хроматической разности увеличения на этапе S402, изображение после применения фильтра восстановления изображения и изображение в "после коррекции 2 хроматической разности увеличения", в котором хроматическая разность увеличения была обнаружена из изображения после применения фильтра восстановления изображения, и затем скорректирована, являются такими же, как изображения на Фиг. 13C. Фиг. 14D показывает соотношение между частями информации цветового контраста до и после обработки восстановления изображения в этом случае. Так как знак цветового контраста в части левого и правого краев был инвертирован, обработка определения на этапе S408 определяет, что регулировка пиксельного значения для уменьшения окрашивания является необходимой, и регулировка пиксельного значения для уменьшения окрашивания выполняется на этапе S409. Выведенное изображение в этом случае находится в состоянии, показанном в "после регулировки пиксельного значения" на Фиг. 13D. Хотя окрашивание было уменьшено обработкой уменьшения окрашивания, все еще остается окрашивание по сравнению с Фиг. 13C, согласно этому варианту осуществления.

[0138] Как описано выше, согласно этому варианту осуществления, после применения фильтра восстановления изображения, который не корректирует хроматическую разность увеличения и до определения, выполнена ли регулировка пиксельного значения для уменьшения окрашивания, хроматическая разность увеличения обнаруживается из изображения после применения фильтра восстановления изображения, и затем корректируется. Это позволяет получить более предпочтительный результат уменьшения окрашивания.

[00139] (Другие варианты осуществления)

Случай, в котором цветовые контрасты используются в качестве значений, относящихся к окрашиванию изображений до и после обработки восстановления изображения, был описан в вышеупомянутых вариантах осуществления. Однако настоящее изобретение не ограничивается использованием цветовых контрастов, и также возможно использовать другие значения, относящиеся к окрашиванию, которые могут быть использованы для коррекции окрашивания, которое имело место из-за применения фильтра восстановления изображения. В изображениях до и после обработки восстановления изображения, например, может осуществляться поиск местоположения, где сумма абсолютных значений разности между компонентами цвета является наименьшей, в пикселях вокруг края, обнаруженного в плоскости Y, в то же время перемещая плоскость R (или плоскость B) в меридианном направлении относительно плоскости G. На основании позиции до перемещения и обнаруженного местоположения, где сумма абсолютных значений разности является наименьшей, возможно получить направление и величину изменения цвета в плоскости R (или плоскости B) относительно плоскости G, таким образом, используя полученное направление и величину изменения цвета как величины признака. Если направление изменения цвета изображения после обработки восстановления изображения было инвертировано относительно направления изменения цвета изображения до обработки восстановления изображения, выполняется регулировка пиксельного значения для уменьшения окрашивания. Если степень изменения цвета после обработки восстановления изображения больше, чем таковая до обработки восстановления изображения даже при том, что направление изменения цвета не было инвертировано, выполняется регулировка пиксельного значения для уменьшения окрашивания.

[0140] Аспекты настоящего изобретения могут также быть реализованы компьютером системы или устройством (или устройствами, такими как CPU или MPU), которое считывает и выполняет программу, записанную в устройство памяти, чтобы выполнить функции вышеописанного варианта(ов) осуществления, и способом, этапы которого выполнены компьютером системы или устройством, например, посредством считывания и выполнения программы, записанной в устройство памяти, чтобы выполнить функции вышеописанного варианта(ов) осуществления. С этой целью программа обеспечивается компьютеру, например, с помощью сети или с носителя записи различных типов, служащих устройством памяти (например, считываемого компьютером носителя).

[0141] Должно быть отмечено, что каждый из функциональных блоков, таких как "блок" и "секция" на чертежах может быть реализован аппаратным обеспечением (то есть дискретными схемами, ASIC, программируемыми логическими устройствами и т.д.), программным обеспечением (то есть комбинацией программного обеспечения и процессора, такой как CPU и MPU, который выполняет программное обеспечение) или их комбинацией. Также должно быть отмечено, что множество функциональных блоков могут быть реализованы единственным объектом аппаратного обеспечения. Также должно быть отмечено, что по меньшей мере один из множества процессов, которые описаны как выполняемые CPU, может быть выполнен другим составляющим собственность или не составляющим собственность аппаратным обеспечением.

[00142] В то время как настоящее изобретение было описано в отношении примерных вариантов осуществления, должно быть понятно, что изобретение не ограничивается раскрытыми примерными вариантами осуществления. Объем нижеследующей формулы изобретения должен получить самую широкую интерпретацию, чтобы охватить все такие модификации и эквивалентные структуры, и функции.