система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены

Формула изобретения

1. Система для генерации изображения с расширенным динамическим диапазоном (РДД, HDR) из последовательности изображений сцены, захваченных при изменении экспозиции каждого изображения, содержащая: компьютерное устройство общего назначения; компьютерную программу, содержащую программные модули, исполняемые упомянутым компьютерным устройством, причем компьютерное устройство управляется программными модулями компьютерной программы для: назначения изображения, имеющего самое большое количество допустимых пикселей, в качестве опорного изображения, в котором пиксель считается допустимым, если он не насыщен и показывает заранее заданную степень контраста, для каждого изображения, кроме опорного изображения, совмещают рассматриваемое изображение с тем изображением, включая опорное изображение, которое имеет уровень экспозиции, который ближе к уровню экспозиции опорного изображения, чем рассматриваемое изображение, и имеет наиболее близкий уровень экспозиции среди изображений к уровню экспозиции рассматриваемого изображения, для генерации поля потока, объединяют поля потока, сгенерированные для не опорных изображений, уже не совмещенных с опорным изображением, для совмещения каждого из них с опорным изображением, изменения каждого неопорного изображения с использованием поля потока, ассоциированного с ним, и объединения опорного изображения и измененных изображений для создания карты излучения, представляющей РДД-изображение.

2. Система по п.1, дополнительно содержащая программный модуль для отображения тона карты излучения для преобразования ее в восьмибитное представление, подходящее для визуализации.

3. Система по п.2, в которой программный модуль для отображения тона карты излучения включает в себя подмодули для: преобразования карты излучения к пространству Международной комиссии по освещению (МКО) и восстановления координат цветности для создания изображения светимости; сжатия динамического диапазона упомянутого изображения светимости и повторной вставки цветности; и преобразования изображения в пространстве МКО для создания окончательного восьмибитного RGB изображения.

4. Система по п.1, в которой количество изображений в упомянутой последовательности изображений и вариация экспозиции среди изображений таковы, что изображения все вместе захватывают, по существу, все вариации яркости сцены, изображенной на изображениях.

5. Система по п.1, в которой интенсивность пикселя измеряют в терминах восьмибитных значений цветового пространства RGB, и в которой пиксель рассматривают как являющийся ненасыщенным и показывающий приемлемую степень контраста, если каждое из этих RGB значений находится в пределах предписанного интервала.

6. Система по п.5, в которой предписанный интервал находится между значениями 17 и 254 включительно.

7. Система по п.1, в которой подмодуль для совмещения рассматриваемого изображения с изображением, показывающим уровень экспозиции, который ближе к уровню экспозиции опорного изображения, чем у рассматриваемого изображения, и имеет наиболее близкий уровень экспозиции среди изображений к уровню экспозиции рассматриваемого изображения, для генерации поля потока, содержит подмодули для: всякий раз, когда рассматриваемое изображение имеет более короткую экспозицию, чем у другого вводимого изображения, совмещенного с ним, - усиления интенсивности рассматриваемого изображения так, чтобы оно фактически соответствовало диапазону интенсивности упомянутого другого вводимого изображения, - вычисления поля потока, которое глобально совмещает рассматриваемое изображение с упомянутым другим вводимым изображением посредством оценки глобального преобразования, которое отображает рассматриваемое изображение на это другое изображение; и - вычисления поля движения плотности, которое образует локальную коррекцию к полю потока, вычисленному при глобальном преобразовании, используя оптический поток, основанный на градиенте; причем упомянутое скорректированное поле потока содержит составной вектор для каждого местоположения пикселя поля потока, который является суммой (i) глобального компонента, полученного из упомянутого глобального преобразования, и (ii) локального компонента, взятого из упомянутого поля движения плотности, которое образует локальную коррекцию для глобального компонента.

8. Система по п.7, в которой подмодуль для вычисления поля движения плотности, которое образует локальную коррекцию к глобальному преобразованию, используя оптический поток, основанный на градиенте, содержит подмодули для: применения варианта методики Лукаса и Канэйда, используемого в рамках пирамиды Лапласа, при этом рассматриваемое изображение изменяется по направлению к упомянутому другому вводимому изображению, и разностные векторы потока оцениваются на каждом уровне пирамиды; и накопления разностных векторов потока, вычисленных для каждого пикселя на каждом уровне пирамиды, для установления упомянутого локального компонента поля движения плотности.

9. Система по п.1, в которой подмодуль для совмещения рассматриваемого изображения с изображением, показывающим уровень экспозиции, который ближе к уровню экспозиции опорного изображения, чем у рассматриваемого изображения, и имеет наиболее близкий уровень экспозиции среди изображений к уровню экспозиции рассматриваемого изображения, для генерации поля потока, содержит подмодули для: всякий раз, когда рассматриваемое изображение имеет более длинную экспозицию, чем другое вводимое изображение, с которым оно было совмещено, - усиления интенсивности упомянутого другого изображения так, чтобы оно фактически соответствовало диапазону интенсивности рассматриваемого изображения, - вычисления поля потока, которое глобально совмещает рассматриваемое изображение с упомянутым другим вводимым изображением, посредством оценки глобального преобразования, которое отображает рассматриваемое изображение на это другое изображение; и вычисления поля движения плотности, которое формирует локальную коррекцию к полю потока, вычисленному с глобальным преобразованием, используя оптический поток, основанный на градиенте; причем скорректированное поле потока содержит составной вектор для каждого местоположения пикселя поля потока, который является суммой (i) глобального компонента, полученного из упомянутого глобального преобразования, и (ii) локального компонента, взятого из упомянутого поля движения плотности, которое формирует локальную коррекцию для упомянутого глобального компонента.

10. Система по п.9, в которой подмодуль для вычисления поля движения плотности, которое формирует локальную коррекцию к глобальному преобразованию, используя оптический поток, основанный на градиенте, содержит подмодули для: применения варианта методики Лукаса и Канэйда, используемого в рамках пирамиды Лапласа, где рассматриваемое изображение изменяется по направлению к упомянутому другому вводимому изображению, и разностные векторы потока оцениваются на каждом уровне пирамиды; и накопления разностных векторов потока, вычисленных для каждого пикселя на каждом уровне пирамиды, для установления упомянутого локального компонента поля движения плотности.

11. Система по п.1, в которой программный модуль для объединения опорного изображения и измененных изображений для создания карты излучения содержит подмодули для: преобразования опорного изображения и каждого измененного изображения, соответственно, в изображения излучения; и назначения значения излучения каждому местоположению пикселя в карте излучения, причем указанное значение излучения карты излучения представляет собой значение излучения, назначенное тому же самому местоположению пикселя в изображении излучения, связанном с опорным изображением, или взвешенную комбинацию двух или более значений излучения, взятых из соответствующих местоположений пикселя в изображениях излучения, связанных с опорным изображением и измененными изображениями, в зависимости от которых значения считают заслуживающими доверия, основываясь на интенсивности пикселя в этом местоположении пикселя в опорном изображении.

12. Выполняемый компьютером способ для генерации изображения с расширенным динамическим диапазоном (РДД) из последовательности изображений сцены, захваченной при изменении экспозиции каждого изображения, указанный способ содержит использование компьютера для исполнения действий способа, на которых: вводят упомянутые изображения; назначают в качестве опорного изображения вводимое изображение, имеющее самое большое количество допустимых пикселей, причем пиксель считают допустимым, если он не насыщен и показывает предписанную степень контраста; для каждого вводимого изображения, кроме опорного изображения, идентифицируют соответствующие пиксели между рассматриваемым изображением и другим вводимым изображением, в том числе опорным изображением, которое показывает уровень экспозиции, который ближе к уровню экспозиции опорного изображения, чем у рассматриваемого изображения, и имеет наиболее близкий уровень экспозиции среди изображений к уровню экспозиции рассматриваемого изображения; используют соответствия пикселей, идентифицированные между парами вводимых изображений, для установления набора соответствующих пикселей среди вводимых изображений для каждого пикселя опорного изображения; и для каждого набора соответствующих пикселей идентифицируют по меньшей мере один пиксель в упомянутом наборе, который представляет заслуживающий доверия пиксель, и используют информацию о цвете пикселя, связанную с одним или более идентифицированными заслуживающими доверия пикселями, для вычисления значения излучения для этого набора пикселей для формирования карты излучения, представляющей РДД-изображение, при этом все пиксели опорного изображения рассматриваются как заслуживающие доверие пиксели, и причем заслуживающим доверие пикселем неопорного изображения является тот, который имеет значение излучения в пределах максимально разрешенного шумового изменения значения излучения соответствующего местоположения пикселя опорного изображения.

13. Способ по п.12, дополнительно содержащий отображение тона карты излучения для преобразования ее в восьмибитное представление, подходящее для визуализации.

14. Способ по п.12, в котором идентификация соответствующих пикселей между рассматриваемым изображением и упомянутым другим вводимым изображением содержит вычисление поля потока, которое совмещает это изображение с упомянутым другим вводимым изображением.

15. Способ по п.14, в котором использование соответствий пикселей, идентифицированных между парами вводимых изображений, для установления набора соответствующих пикселей среди вводимых изображений для каждого пикселя опорного изображения, включает в себя объединение полей потока, сгенерированных для неопорного изображения, уже не совмещенных с опорным изображением, для совмещения каждого из них с опорным изображением.

16. Способ по п.14, в котором этап способа, согласно которому для каждого набора соответствующих пикселей идентифицируют по меньшей мере один пиксель в наборе, который представляет заслуживающий доверия пиксель, и используют информацию о цвете пикселя, связанную с одним или более идентифицированными заслуживающими доверия пикселями, для вычисления значения излучения для этого набора пикселей для формирования карты излучения, представляющей РДД-изображение, содержит этапы, на которых: преобразуют опорное изображение и каждое измененное изображение, соответственно, в изображения излучения; и для каждого местоположения пикселя опорного изображения определяют, находятся ли значения излучения, назначенные соответствующим местоположениям в измененных изображениях, в пределах максимально допустимой шумовой дисперсии значения излучения, назначенного местоположению пикселя рассматриваемого опорного изображения, всякий раз, когда оказывается, что по меньшей мере одно из значений излучения, назначенных упомянутому соответствующему местоположению в измененном изображении, находится в пределах максимально допустимой шумовой дисперсии значений излучения, назначенных местоположению пикселя в рассматриваемом опорном изображении, вычисляют взвешенное среднее значение значений излучения, назначенных местоположению пикселя рассматриваемого опорного кадра и упомянутого соответствующего местоположения пикселя в измененных изображениях, значения излучения которых попадают в пределы максимально допустимой шумовой дисперсии, и назначают это взвешенное среднее значение в качестве значения излучения для рассматриваемого местоположения пикселя в карте излучения, и всякий раз, когда оказывается, что ни одно из значений излучения, назначенных упомянутым соответствующим местоположениям в измененных изображениях, не обладает максимально допустимой шумовой дисперсией значения излучения, назначенного местоположению пикселя в опорном изображении, тогда назначают значение излучения, назначенное рассматриваемому местоположению пикселя в опорном изображении, в качестве значения излучения для рассматриваемого местоположения пикселя в карте излучения.

17. Способ по п.16, в котором вычисление взвешенных средних значений излучения, назначенных местоположению пикселя рассматриваемого опорного кадра, и упомянутого соответствующего местоположения пикселя в деформированных изображениях, значения излучения которых попадают в пределы максимально допустимой шумовой дисперсии, содержат вычисление излучения взвешенного среднего значения как

,

где p_R, p _Si и р_Li представляют собой соответствующие пиксели в изображениях излучения с нижним индексом R, относящимся к изображению излучения, связанному с опорным изображением, нижним индексом S_i, относящимся к изображениям излучения, связанным с каждым из измененных изображений, имеющих экспозицию короче, чем у опорного изображения, и нижним индексом L_i, относящимся к изображениям излучения, связанным с каждым из измененных изображений, имеющих экспозицию длиннее, чем у опорного изображения, и где весовая функция f_W(p) представляет собой основанную на интенсивности функцию f_W веса, модулированную картой f_M() правдоподобия, где f _M() представляет собой Эрмитово кубическое уравнение, определяемое

и _макс представляет собой предписанный параметр, такой, что модулированный вес значения излучения, связанного с измененным изображением, которое находится вне пределов упомянутой максимально допустимой шумовой дисперсии, устанавливается в нуль при вычислении взвешенного среднего значения излучения.

18. Считываемый компьютером носитель, имеющий выполняемые компьютером команды для генерации изображения с расширенным динамическим диапазоном (РДД) из последовательности сгруппированных изображений, причем упомянутые выполняемые компьютером команды содержат действия, на которых:

(a) вводят упомянутые сгруппированные изображения;

(b) сортируют вводимые изображения в порядке их экспозиции;

(c) назначают вводимое изображение, имеющее самое большое количество допустимых пикселей, в качестве опорного изображения, причем пиксель считают допустимым, если он не насыщен и показывает предписанную степень контраста;

(d) выбирают предварительно не совмещенное не опорное вводимое изображение;

(e) определяют, имеет ли выбранное вводимое изображение экспозицию, которая короче или длиннее, чем у опорного изображения;

(f) всякий раз, когда выбранное вводимое изображение имеет экспозицию, которая короче, чем у опорного изображения,

идентифицируют вводимое изображение, имеющее следующую после самой короткой экспозицию, которая, тем не менее, является более длинной, чем у выбранного вводимого изображения, которое могло быть совмещенным изображением, усиливают выбранное изображение для совпадения с экспозицией идентифицированного изображения, совмещают усиленное выбранное изображение с идентифицированным изображением для генерации поля потока для выбранного изображения;

(g) всякий раз, когда выбранное вводимое изображение имеет экспозицию, которая длиннее, чем у опорного изображения, идентифицируют вводимое изображение, имеющее следующую после самой длинной экспозицию, которая, тем не менее, является более короткой, чем у выбранного вводимого изображения, которое могло быть совмещенным изображением, усиливают идентифицированное изображение для совпадения с экспозицией выбранного изображения, совмещают выбранное изображение с усиленным идентифицированным изображением для генерации поля потока для выбранного изображения;

(h) определяют, остаются ли какие бы то ни было несовмещенные не опорные вводимые изображения, и если это так, то повторяют команды (d)-(h) до тех пор, пока все не опорные изображения не будут совмещены;

(i) объединяют поля потока, сгенерированные для не опорных вводимых изображений, уже не совмещенных с опорным изображением, для совмещения каждого из них с опорным изображением;

(j) изменяют каждое неопорное вводимое изображение, используя поле потока или объединенное поле потока, если хотя бы одно из них связано с ним; и

(k) объединяют опорное изображение и деформированные изображения для создания карты излучения, представляющей РДД-изображение.

19. Считываемый компьютером носитель по п.18, дополнительно содержащий команду для отображения тона карты излучения для преобразования его в восьмибитное представление, подходящее для визуализации.

20. Считываемый компьютером носитель по п.18, в котором интенсивность пикселя измеряют в терминах восьмибитных значений цветового пространства RGB и в котором пиксель считают ненасыщенным и показывающим приемлемую степень контраста, если каждое из его RGB значений находится между 17 и 254 включительно.

Описание изобретения к патенту

Область техники

Изобретение относится к созданию изображения с Расширенным Динамическим Диапазоном (РДД) из последовательности сгруппированных изображений и более подробно к системе и способу для генерации таких РДД изображений даже при наличии движения сцены или камеры между изображениями.

Уровень техники

Реальный мир имеет намного больше изменений яркости, чем могут зафиксировать датчики, доступные в большинстве современных камер. Излучение отдельно взятой сцены может содержать четыре порядка величины яркости от затененных до полностью освещенных областей. Обычные датчики ПЗС или КМОП фиксируют только приблизительно 256-1024 уровней яркости.

Эта проблема ограниченного динамического диапазона в последние годы вдохновила множество решений. Один способ фиксации полного излучения статической сцены состоит во взятии множества экспозиций сцены и последующем их объединении для создания карты Расширенного Динамического Диапазона (РДД) [3, 7, 8, 9, 12]. Поскольку эти технологии требуют множества вводимых изображений, существует возможность движения между вводимыми объектами или из-за динамических элементов в сцене, или из-за перемещения (например, ручной) камеры. Митсунага и др. [9] обращались к этой проблеме в ограниченной степени, подгоняя модели общего движения к вводимым данным. Манн и др. [8] по-другому совмещали экспонированные кадры, используя гомографии, которые могут компенсировать большие вращения камеры. Богони [2] использовал аффинное движение, сопровождающее попиксельный поток, для совмещения различных экспозиций, но подробностей совмещения кадров не привел.

Потребность соединения изображений, взятых в разное время, может быть устранена (и таким образом устранена проблема движения) посредством использования множества детекторов изображения, новых датчиков или пространственным изменением экспозиций пикселя [10]. Однако суть настоящего изобретения в том, что может быть реализовано при помощи обычных широкодоступных (то есть обладающие узким динамическим диапазоном) датчиков изображения и камеры.

Как только РДД-изображение будет вычислено, затем оно будет построено и отображено на дисплее. Так как обычные дисплеи способны выводить только около двух порядков величин значений яркости, на РДД-изображении должно быть выполнено уменьшение контрастности. Эта так называемая проблема отображения (преобразования) тона недавно исследовалась множеством исследователей [4, 5, 11].

Следует отметить, что в предыдущих абзацах, так же как и в остальной части этого описания, оно относится к различным самостоятельным публикациям, идентифицированным числовыми указателями, содержащимися в пределах пары скобок. Например, такая ссылка может быть идентифицирована, говоря "ссылка [1]" или просто "[1]". Множество ссылок будут идентифицированы парой скобок, содержащих более чем одну ссылку, например [2, 3]. Перечень ссылок, включающих в себя публикации, соответствующие каждому указателю, может быть найден в конце раздела подробного описания.

Сущность изобретения

Настоящее изобретение относится к системе и способу для генерации изображения с расширенным динамическим диапазоном (РДД) из сгруппированной последовательности изображений сцены, даже при наличии движения сцены или камеры между изображениями. Эта система и способ включают в себя первое обозначение изображения из последовательности, имеющего самое большое количество "допустимых" пикселей, в качестве опорного изображения. Пиксель считают допустимым, если он не насыщен и он показывает приемлемую степень контраста. В тестовых вариантах осуществления интенсивность пикселя измерялась в терминах восьмибитных значений цветового пространства RGB, и пиксель считался ненасыщенным и показывающим приемлемую степень контраста, если каждое из его RGB значений находилось в пределах интервала. В тестовых вариантах осуществления настоящего изобретения минимальная и максимальная границы интервала были установлены соответственно равными 17 и 254.

Как только опорное изображение было выбрано, каждое из "неопорных" изображений в последовательности совмещают с опорным изображением. В одном варианте осуществления настоящих системы и способа для каждого неопорного изображения это достигается посредством совмещения рассматриваемого изображения с изображением сгруппированной последовательности (включающей опорное изображение), которое показывает экспозицию, которая и ближе к этому опорному изображению, чем у рассматриваемого изображения, и наиболее близка среди других изображений к экспозиции рассматриваемого изображения. Эта процедура совмещения генерирует поле потока для каждого из неопорных изображений. В тестовых вариантах осуществления настоящего изобретения совмещение включает в себя вычисление попиксельного поля оптического потока.

Поля потока, генерирующиеся для неопорных изображений, уже не являющихся совмещенными с опорным изображением, сцепляются для совмещения каждого из них с опорным изображением. Сцепленные поля потока или немодифицированное поле потока в случае изображений, первоначально совмещенных непосредственно с опорным изображением, используются затем для деформации каждого неопорного изображения. Эти деформированные изображения затем объединяются с опорным изображением для создания карты излучения (светимости), представляющей РДД-изображение. В случаях, когда РДД-изображение должно быть представлено и отображено с использованием восьмибитного отображения, карта светимости подвергается процедуре отображения тона для преобразования ее в изображение, подходящее для отображения системой.

Следует отметить, что, несмотря на то, что хотя и не требуется, в идеале количество изображений в сгруппированной последовательности и изменение в экспозиции среди изображений являются такими, что изображения все вместе охватывают, по существу, все изменения яркости изображаемой там сцены.

Относительно вычисления попиксельных полей оптических потоков для неопорных изображений оно может быть достигнуто в соответствии с одним вариантом осуществления настоящих системы и способа создания РДД-изображения следующим образом. Для случая, когда рассматриваемое изображение имеет более короткую экспозицию, чем другое вводимое изображение, с которым оно будет совмещаться, интенсивность рассматриваемого изображения увеличивается для фактического соответствия диапазону интенсивности другого изображения. Принимая во внимание, что в случае, когда рассматриваемое изображение имеет более длинную экспозицию, чем другое изображение, с которым оно будет совмещаться, интенсивность этого другого изображения увеличивается для фактического соответствия диапазону интенсивности рассматриваемого изображения. В любом случае после завершения процедуры усиления поле потока вычисляется таким образом, чтобы в целом совмещать рассматриваемое изображение с другим вводимым изображением, оценивая общее преобразование, которое отображает рассматриваемое изображение на другое изображение. Затем вычисляют поле движения плотности, используя основанную на градиенте процедуру оптического потока. Это создает локальную коррекцию поля потока, вычисленного с помощью общих преобразований. Скорректированное поле потока комплектуется из составного вектора для каждого местоположения пикселя, который является суммой общего компонента, полученного из общих преобразований, и локального компонента, взятого из поля движения плотности, который формирует локальную коррекцию для общего компонента. Могут использоваться любые соответствующие общепринятые общие преобразования. В тестовых вариантах осуществления настоящего изобретения использованные общие преобразования представляли собой аффинные преобразования.

Вышеупомянутая процедура вычисления поля движения плотности, формирующего локальную коррекцию к общим преобразованиям, включает в себя использование варианта методики Лукаса и Канэйда, используемой в рамках пирамиды оператора Лапласа. Более подробно, рассматриваемое изображение деформируется по отношению к другому изображению последовательности, с которым оно было совмещено, и разностные векторы потока оцениваются на каждом уровне пирамиды. Эти разностные векторы потока накапливаются для каждого пикселя на каждом уровне пирамиды для установления конечного локального компонента поля движения плотности.

В отношении объединения опорного изображения и деформированных изображений для создания карты излучения (светимости) оно может быть достигнуто в соответствии с одним вариантом осуществления настоящей системы и способа создания РДД-изображения следующим образом. Сначала опорное изображение и каждое деформированное изображение преобразуются в индивидуальные изображения излучения. Значение излучения (светимости) затем назначается каждому местоположению пикселя в карте излучения (светимости). Эти значения светимости могут быть либо значениями светимости, связанными с одним опорным изображением, либо взвешенной комбинацией двух или более значений светимости, взятых из соответствующих местоположений пикселя в изображениях светимости, связанных с опорным изображением и деформированными изображениями. Вообще, решение будет зависеть от того, какие значения, основанные на интенсивности пикселей, как считают, являются заслуживающими доверия.

Более подробно, для каждого местоположения пикселя опорного изображения сначала определяют, что значения излучения (светимости), назначенные соответствующим местоположениям в деформированных изображениях, находятся в пределах максимально допустимой шумовой дисперсии значения излучения, назначенного местоположению пикселя рассматриваемого опорного изображения. Если оказывается, что, по меньшей мере, одно из значений излучения, назначенных вышеупомянутому соответствующему местоположению в деформированных изображениях, находится в пределах максимально допустимой шумовой дисперсии, то средневзвешенное значение величины(величин) их излучения и этого же значения опорного изображения назначают в качестве значения излучения (светимости) для местоположения рассматриваемого пикселя в карте светимости. Если, однако, оказывается, что ни одно из значений излучения, назначенных соответствующему местоположению в деформированных изображениях, не находится в пределах вышеупомянутой максимально допустимой шумовой дисперсии, то значение излучения, связанное с одним опорным изображением, назначают как значение излучения для местоположения рассматриваемого пикселя в карте излучения.

В дополнение к только что описанным выгодам другие преимущества настоящего изобретения станут очевидными из подробного описания, которое следует далее, если оно предпринято в сочетании с фигурами чертежей, которые сопровождают его.

Описание чертежей

Конкретные признаки, аспекты и преимущества настоящего изобретения станут более понятными, принимая во внимание нижеследующее описание, приложенную формулу изобретения и сопроводительные чертежи.

Фиг. 1 представляет собой диаграмму, изображающую компьютерное устройство общего назначения, составляющее типичную систему для осуществления настоящего изобретения.

Фиг. 2 А и В представляет собой блок-схему алгоритма, схематически изображающую полный способ генерации РДД-изображений в соответствии с настоящим изобретением.

Фиг. 3А-D изображают последовательность пяти сгруппированных изображений сцены восхода солнца, которые имеют примечания, показывающие, как изображения управляются каждой частью способа создания РДД-изображения, представленного на фиг.2 А и В.

Фиг. 4A и B представляют собой графики, связанные с процедурой вычисления карты излучения, представленной на фиг.2 А и В, причем график фиг. 4А составляет график зависимости общего веса от интенсивности, а график фиг. 4В составляет график карты правдоподобия, основанной на согласованности излучения совпадающих пикселей.

Фиг. 5 представляет собой блок-схему алгоритма, схематически изображающую один вариант осуществления процедуры вычисления карты излучения, представленной на фиг. 2.

Фиг. 6А-Е изображают результаты использования процедуры совмещения в соответствии с настоящим изобретением по сравнению с использованием методики общего совмещения, причем фиг. 6А показывает последовательность пяти сгруппированных изображений сцены восхода солнца, фиг. 6В и С показывают результаты только общего совмещения изображений с фиг. 6А, причем фиг. 6С представляет собой крупный план вида правой стороны фиг. 6В, и фиг. 6D и E показывают результаты совмещения в соответствии с настоящим изобретением, причем фиг. 6Е представляет собой крупный план вида правой стороны фиг. 6D.

Подробное описание предпочтительных вариантов осуществления

В нижеследующем описании предпочтительных вариантов осуществления настоящего изобретения сделана ссылка к сопроводительным чертежам, которые формируют часть этого и на которых в качестве иллюстрации показаны конкретные воплощения, в которых может быть осуществлено изобретение. Следует понимать, что могут использоваться другие варианты осуществления и могут быть сделаны изменения структуры без отступления от контекста настоящего изобретения.

1.0 Компьютерная среда генерации РДД-изображения

Перед обеспечением описания предпочтительных вариантов осуществления настоящего изобретения кратко будет приведено общее описание подходящей компьютерной среды, в которой может быть осуществлено изобретение. Фиг. 1 иллюстрирует пример подходящей компьютерной системной среды 100. Компьютерная системная среда 100 является только одним примером подходящей компьютерной среды и не предназначена для наложения какого-либо ограничения относительно области использования или функциональных возможностей изобретения. Не следует интерпретировать компьютерную среду 100 как имеющую какую-либо зависимость или требование, относящееся к любому проиллюстрированному в обычной операционной среде 100 компоненту или их комбинации.

Изобретение используется с многочисленными другими компьютерными системными средами или конфигурациями общего или специального назначения. Примеры известных компьютерных систем, сред и/или конфигураций, которые могут быть подходящими для использования с настоящим изобретением, включают в себя, но не в ограничительном смысле, персональные компьютеры, серверные компьютеры, карманные или переносные устройства, многопроцессорные системы, системы, основанные на микропроцессорах, телеприставки, программируемую бытовую электронику, сетевые ПК, миникомпьютеры, универсальные компьютеры, распределенные компьютерные среды, которые включают в себя любые из вышеупомянутых систем или устройств, и т.п.

Изобретение может быть описано в общем контексте компьютерно-выполнимых команд, таких как программные модули, исполняемые компьютером. Вообще, программные модули включают в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые исполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Изобретение также может быть осуществлено в распределенных компьютерных средах, в которых задачи исполняются удаленными устройствами обработки, которые связаны через коммуникационную сеть. В распределенной компьютерной среде программные модули могут быть расположены в носителях памяти и локального, и удаленного компьютера, включающих в себя запоминающие устройства.

Со ссылкой к фиг. 1 типичная система для осуществления изобретения включает в себя компьютерное устройство общего назначения в форме компьютера 110. Компоненты компьютера 110 могут включать в себя, но не в ограничительном смысле, процессор 120, системную память 130 и системную шину 121, которая соединяет различные системные компоненты, в том числе системную память с процессором 120. Системная шина 121 может быть любой из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из разнообразных шинных архитектур. В качестве примера, а не ограничения, такая архитектура включает в себя Архитектуру шины Промышленного Стандарта (ISA), Микроканальную Архитектуру шины (MCA), Расширенную ISA шины (EISA), локальную шину ассоциации по стандартизации в области видеотехники и микроэлектроники (VESA) и шину межсоединения периферийных компонентов (PCI), также известную как дополнительная шина расширения.

Компьютер 110 обычно включает в себя разнообразные компьютерно-читаемые носители. Компьютерно-читаемые носители могут быть любыми доступными носителями, к которым может обратиться компьютер 110, и включают в себя и энергозависимые, и энергонезависимые носители, сменные и несменные носители. В качестве примера, а не ограничения, компьютерно-читаемые носители могут включать в себя компьютерные носители данных и коммуникационные носители. Компьютерные носители данных включают в себя и энергозависимые, и энергонезависимые, сменные и несменные носители, реализованные любым способом или технологией для хранения информации, такой как компьютерно-читаемые команды, структуры данных, программные модули или другие данные. Компьютерные носители данных включают в себя, но не в ограничительном смысле, ОЗУ, ПЗУ, СППЗУ, флэш-память или память, выполненную по другой технологии, CD-ROM, цифровые многофункциональные диски (DVD) или другую оптическую дисковую память; магнитные кассеты, магнитную ленту, магнитную дисковую память или другие магнитные запоминающие устройства; или любую другую среду, которая может быть использована для хранения требуемой информации и быть доступной компьютеру 110. Коммуникационные носители обычно воплощают компьютерно-читаемые команды, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой механизм передачи, и включают в себя любые носители, доставляющие информацию. Термин "модулированный сигнал данных" обозначает сигнал, который имеет одну или более установок его характеристик, либо измененный каким-то способом для кодирования информации в сигнале. В качестве примера, а не ограничения, коммуникационные среды включают в себя проводные среды, такие как проводная сеть или проводное прямое подсоединение, и беспроводные среды, такие как акустическая, РЧ, инфракрасная и другая беспроводная среда. Любые комбинации вышеупомянутого также должны быть включены в пределы области компьютерно-читаемых носителей.

Системная память 130 включает в себя компьютерные носители данных в форме энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство (ПЗУ) 131 и оперативная память (ОЗУ) 132. Основная система ввода-вывода 133 (BIOS) содержит основные подпрограммы, которые помогают передавать информацию между элементами в пределах компьютера 110 (например, при запуске), и обычно хранится в ПЗУ 131. ОЗУ 132 обычно содержит данные и/или программные модули, которые могут быть непосредственно доступными для процессора 120 и/или в настоящее время могут быть им обработаны. В качестве примера, а не ограничения, фиг. 1 иллюстрирует операционную систему 134, прикладные программы 135, другие программные модули 136 и программные данные 137.

Компьютер 110 также может включать в себя другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных. Только в качестве примера, фиг. 1 иллюстрирует дисковод 141 жесткого диска, который считывает с или записывает на несменный, энергонезависимый магнитный носитель, дисковод 151 магнитных дисков, который считывает с или записывает на сменный энергонезависимый магнитный диск 152, и оптический дисковод 155, который считывает с или записывает на сменный энергонезависимый оптический диск 156, такой как CD-ROM или другой оптический носитель. Другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных, которые могут использоваться в обычной операционной среде, включающей в себя, но не в ограничительном смысле, кассеты с магнитной лентой, модули флэш-памяти, цифровые многофункциональные диски, цифровую видеоленту, твердотельное ОЗУ, твердотельное ПЗУ и тому подобное. Дисковод 141 жесткого диска обычно подключается к системной шине 121 через несменный интерфейс памяти, такой как интерфейс 140, и дисковод 151 магнитных дисков, и оптический дисковод 155 обычно подключаются к системной шине 121 сменным интерфейсом памяти, таким как интерфейс 150.

Дисководы и относящиеся к ним компьютерные носители данных, обсужденные выше и проиллюстрированные на фиг. 1, обеспечивают хранение компьютерно-читаемых команд, структур данных, программных модулей и других данных для компьютера 110. Например, на фиг. 1 дисковод 141 жесткого диска показан как хранилище операционной системы 144, прикладных программ 145, других программных модулей 146 и программных данных 147. Следует обратить внимание, что эти компоненты могут быть или теми же самыми, или отличаться от операционной системы 134, прикладных программ 135, других программных модулей 136 и программных данных 137. Операционной системе 144, прикладным программам 145, другим программным модулям 146 и данным программ 147 здесь присвоены различные номера для иллюстрации того, что они могут быть, как минимум, различными копиями. Пользователь может вводить команды и информацию в компьютер 110 через устройства ввода данных, такие как клавиатура 162 и указывающее устройство 161, обычно обозначаемое как мышь, трекбол или сенсорную клавиатуру. Другие устройства ввода данных (не показанные) могут включать в себя микрофон, джойстик, игровую клавиатуру, спутниковую антенну, сканер или нечто подобное. Эти и другие устройства ввода данных часто подключаются к процессору 120 через пользовательский интерфейс 160 ввода, который присоединяется к системной шине, но может подключаться другим интерфейсом и шинными структурами, такими как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 191 или устройство отображения другого типа также подключается к системной шине 121 через интерфейс, такой как видеоинтерфейс 190. В дополнение к монитору компьютеры могут также включать в себя другие периферийные устройства вывода, такие как динамики 197 и принтер 196, который может быть подключен через периферийный интерфейс вывода 195. В частном смысле настоящего изобретения, камера 163 (такая как цифровая/электронная покадровая или видеокамера, или фильмовый/фотографический сканер), способная фиксировать последовательность изображений 164, также может быть включена в качестве устройства ввода данных в персональный компьютер 110. Далее, несмотря на то, что изображена только одна камера, в качестве устройств ввода данных в персональный компьютер 110 может быть включено множество камер. Изображения 164 от одной или нескольких камер вводятся в компьютер 110 через соответствующий интерфейс 165 камеры. Этот интерфейс 165 подсоединяется к системной шине 121, предоставляя таким образом возможность изображениям быть направленными к ОЗУ 132 и сохраненными в нем, или одном из других устройств хранения данных, связанных с компьютером 110. Однако следует отметить, что данные изображения могут быть введены в компьютер 110 также из любых из вышеупомянутых компьютерно-читаемых носителей, не требуя использования камеры 163.

Компьютер 110 может функционировать в сетевом окружении, используя логические подключения с одним или более удаленными компьютерами, такими как удаленный компьютер 180. Удаленный компьютер 180 может быть персональным компьютером, сервером, маршрутизатором, сетевым ПК, равноправным устройством или другим обычным сетевым узлом и, как правило, включает в себя многие или все элементы, описанные выше относительно компьютера 110, хотя на фиг. 1 проиллюстрировано только запоминающее устройство 181. Логические подключения, изображенные на фиг. 1, включают в себя локальную сеть (LAN) 171 и глобальную сеть (WAN) 173, но также могут включать в себя другие сети. Такие сетевые среды являются общеизвестными в офисах, компьютерных сетях предприятий, интранете и Интернете.

При использовании в сетевой рабочей среде LAN компьютер 110 подключают к локальной сети 171 через сетевой интерфейс или адаптер 170. При использовании в сетевой рабочей среде WAN компьютер 110 обычно включает в себя модем 172 или другие средства установления связи по WAN 173, такой как Интернет. Модем 172, который может быть внутренним или внешним, может быть подключен к системной шине 121 через пользовательский интерфейс 160 ввода или другой соответствующий механизм. В сетевом окружении программные модули, изображенные относительно компьютера 110 или его частей, могут храниться в удаленном запоминающем устройстве. В качестве неограничивающего примера фиг. 1 иллюстрирует удаленные прикладные программы 185 как постоянно хранящиеся в устройстве памяти 181. Будет понятно, что показанные сетевые подключения являются обычными и могут использоваться другие средства установления связи между компьютерами.

2.0 Формирование РДД-изображения

Выше описана обычная операционная среда, остающаяся часть этого раздела описания будет посвящена описанию программных модулей, воплощающих изобретение. Вообще, система и способ в соответствии с настоящим изобретением включают в себя генерацию РДД-изображения при помощи последовательности сгруппированных изображений, даже если эти изображения фиксируют движение камеры и сцены.

2.1 Последовательность вводимых изображений

Как указано выше, настоящая система создания РДД-изображения и способ создания РДД-изображений используют сгруппированные экспозиции. Группирование - это термин, первоначально используемый в фотографии, который передает снятые фотографии одной и той же сцены в многообразных параметрах настройки экспозиции в надежде получения одного снимка с оптимальным уровнем экспозиции. В контексте настоящего изобретения термин "сгруппированные" изображения вообще означает последовательность изображений, которые были зафиксированы камерой при изменении уровня экспозиции. Один способ достижения этого состоит в использовании функции автогруппирования, присутствующей во многих современных фотокамерах. При автогруппировании сцены камера определяет корректную экспозицию, используя режим текущего измерения, и фиксирует изображение на этом уровне. В таком случае дополнительно захватывается больше экспозиций в фиксированных множествах оригинальной экспозиции. Например, многие из этих камер фиксируют одно изображение с более короткой экспозицией (например, на одном или двух шагах изменения фокусного расстояния вверх) и одно изображение с более длинной экспозицией (например, при одном или двух шагах изменения фокусного расстояния вниз), по сравнению с изображением с "корректной экспозицией". Следует отметить, что в идеале количество изображений в сгруппированной последовательности и изменение экспозиции среди изображений является таким, при котором все изображения вместе охватывают, по существу, весь диапазон яркости изображенной сцены. Таким образом, окончательное РДД-изображение представляет полный динамический диапазон сцены.

Независимо от того, как сгруппированные изображения были получены, однажды введенные в настоящую систему, они сортируются в соответствии с экспозицией. Изображение с наибольшим количеством "допустимых" пикселей выбирается затем в качестве опорного изображения. Пиксель рассматривается как "допустимый", если он не является насыщенным или малоконтрастным. Один способ осуществления этого состоит в требовании для каждого "допустимого" пикселя наличия RGB значений в пределах предписанного интервала. Например, в тестовых вариантах осуществления настоящего изобретения минимум и максимум интервала были установлены равными 17 и 254 соответственно.

Таким образом, обращаясь к фиг. 2A и B, способ создания РДД-изображения начинается вводом последовательности сгруппированных изображений (действие 200 способа). Эти изображения затем сортируются по уровням экспозиции (действие 202 способа). Например, фиг. 3А показывает последовательность из пяти сгруппированных изображений сцены восхода солнца, которые были отсортированы по экспозиции и отображены в строке. В этом примере изображение, имеющее самую короткую экспозицию 304, показано с левого края с изображениями, экспозиция которых последовательно увеличивается слева направо. Таким образом, экспозиция 308, имеющая самую длинную экспозицию, изображена на фиг. 3А справа. Процесс создания РДД-изображения продолжается выбором вводимого изображения, имеющего наибольшее количество допустимых пикселей (действие 204 способа), и его обозначением в качестве опорного изображения (действие 206 способа). В примере, показанном на фиг. 3А, среднее изображение 300 из строки было признано имеющим наибольшее количество допустимых пикселей и отмечено стрелкой.

2.2 Совмещение РДД-изображения

Так как сгруппированные вводимые изображения показывают изменяющиеся экспозиции, генерация РДД-изображения требует передачи от вводимых изображений информации о цвете пикселей. Это, в свою очередь, требует, чтобы соответствия пикселей для различных вводимых изображений были очень точными. Процесс вычисления соответствий пикселей, передачи информации о цвете и извлечения РДД-изображения упоминается как «сшивание» (совмещение) РДД-изображения .

При выполнении этой операции РДД сшивания каждая соседняя пара упорядоченных по экспозиции вводимых изображений совмещается в направлении выбранного опорного изображения. Это показано на фиг. 3В, где вышеописанная сгруппированная последовательность изображений восхода солнца показывается еще раз в вышеупомянутом порядке экспозиции. Как показано, изображение 304 с самой короткой экспозицией на левом краю совмещают с изображением, имеющим следующий после него уровень экспозиции 302. В свою очередь, это последнее изображение 302 совмещают с опорным изображением 300. Аналогично, изображение, показывающее самую длинную экспозицию 308, совмещают с изображением 306, имеющим следующий по длительности уровень экспозиции, которое, в свою очередь, совмещают с опорным изображением 300. Соседние пары выбираются потому, что они показывают меньше визуальных изменений, что приводит к более надежному совмещению. Эти последовательности попарных совмещений вводимых изображений достигаются при помощи процесса деформации, который будет описан ниже.

2.2.1 Деформация изображения

Вышеупомянутая процедура попарного совмещения вообще включает в себя первое усиление изображения рассматриваемой пары с более короткой экспозицией для согласования с соседним изображением с более длинной экспозицией. Затем изображение, имеющее более длинную экспозицию (относительно выбранного опорного изображения), совмещают с "более близким" изображением через использование процесса деформации в одном варианте осуществления, включающем общую оценку движения с последующим локальным попиксельным вычислением потока.

Более подробно, процесс РДД сшивания генерирует «деформированные» изображения. Изображения (S) имеют экспозиции более короткие, чем выбранное опорное изображение (R), совмещенное непосредственно со смежным соседним изображением, имеющим более длинную экспозицию, которое может быть само по себе опорным изображением R, создавая совмещенное изображение с более короткой экспозицией (S_U ), где нижний индекс "U" относится к тому, что оно является деформированным изображением. Для удобства системы обозначений изображениям с более короткой экспозицией будем давать нижний индекс i, где i = 1, 2, 3 и так далее, который указывает на порядок их экспозиции. В частности, чем больше нижний индекс i, тем короче экспозиция относительно опорного изображения R. Окончательно совмещенные изображения S_U будут иметь соответствующие нижние индексы.

Вышеупомянутый процесс деформации изображения осуществляется следующим образом. Для начала предполагается, что текущее рассматриваемое вводимое изображение было зафиксировано с более короткой экспозицией, чем опорное изображение, то есть Si. В начальной стадии процесса РДД сшивания интенсивность рассматриваемого изображения с более короткой экспозицией усиливается до фактического соответствия диапазону интенсивности вводимого изображения, имеющего следующую по длине экспозицию, которое может непосредственно являться опорным изображением. Следует отметить, что интенсивность изображений с более короткой экспозицией усиливается для соответствия изображению с более длинной экспозицией для облегчения процесса совмещения. Предпочтительно увеличивать изображения с короткой экспозицией, а не уменьшать изображение с более длинной экспозицией для предотвращения несоответствия интенсивностей пикселей в насыщенных областях кадра с более длинной экспозицией. Изображения с короткой экспозицией усиливают для согласования потерь подробностей в насыщенных областях изображений с длинной экспозицией. Также следует отметить, что усиленные изображения используются только для вычисления поля потока, как будет объяснено ниже. Они не используются для вычисления карты излучения из-за шума и насыщения, вводимых в процессе усиления (интенсивности). Для нахождения количества требуемого усиления интенсивности используется функция отклика камеры для преобразования более коротко экспонированного изображения к карте излучения с последующим преобразованием к виртуальному изображению, имеющему более длинную экспозицию при помощи инверсного отклика. Это виртуальное изображение должно соответствовать значениям пикселя (дискретизация модуля и шум) более длительно экспонированного изображения, с которым оно было совмещено.

Затем вычисляют поле f _Si потока, используя методику, основанную на градиенте. В сущности, она включает в себя вычисление соответствия движения плотности между парой рассматриваемых изображений, и она используется для деформации информации пикселя. Более подробно, процедура состоит из двух стадий. Сначала эти два изображения (то есть рассматриваемое изображение с усиленной более короткой экспозицией и его сосед с "менее короткой" экспозицией) в общем совмещаются при помощи оценки общего преобразования, которое отображает одно на другое. Может использоваться любое соответствующее обычное общее преобразование. В тестовых вариантах осуществления настоящего изобретения в качестве общего преобразования использовалось аффинное преобразование. Оптический поток, основанный на градиенте, в таком случае используется для вычисления поля движения плотности, которое формирует локальную коррекцию к общему преобразованию. Затем для каждого пикселя получают составные векторы, являющиеся суммой локального и общего компонентов. Общий компонент получается из общих параметров деформации, а локальный компонент генерируется процедурой оптического потока, которая будет описана далее.

Для вышеупомянутой локальной оценки движения используется методика варианта Лукаса и Канэйда [6] в рамках пирамиды Лапласа [1]. Методики для управления случаями ухудшения потока также могут добавляться посредством вычисления собственных значений матрицы суммированных частных производных и определения, если оно является некорректным. По существу, рассматриваемое изображение деформируется прогрессивным способом по отношению к соседнему с ним изображению при каждой итерации, и разностные векторы потока оцениваются и накапливаются внизу пирамиды. Эта методика расширяется посредством включения в нее общего аффинного потока во время деформации, так что накопленные разности всегда представляются к общему потоку в терминах локальной коррекции. Результатом является вышеупомянутое поле f_Si потока.

Точно так же изображения (L), имеющие экспозиции более длинные, чем у выбранного опорного изображения (R), совмещаются непосредственно со смежным соседним изображением, имеющим "менее длинную" экспозицию, которое может являться само по себе опорным изображением (R), создавая совмещенное изображение с более длинной экспозицией (L_U). Для удобства системы обозначений изображениям с более короткой экспозицией будем давать нижний индекс i, где i = 1, 2, 3 и так далее, который указывает на порядок их экспозиции. Определенно, чем больше нижний индекс i, тем короче экспозиция в отношении опорного изображения. Окончательно совмещенные изображения L_U будут иметь соответствующие нижние индексы.

В случае, когда текущее вводимое рассматриваемое изображение было зафиксировано с более длинной экспозицией, то есть L_i, чем у опорного изображения, вышеупомянутая процедура вычисления поля потока осуществляется следующим образом. В начальной стадии процедуры сшивания интенсивность изображения, имеющего следующую "менее длинную" экспозицию по отношению к рассматриваемому изображению с более длинной экспозицией (которое может быть само опорным изображением), усиливается до фактического соответствия диапазону интенсивности рассматриваемого изображения. Затем при помощи вышеупомянутой методики, основанной на градиенте, вычисляется поле f_Li потока. В этом случае соответствие движения плотности вычисляется между изображениями, имеющими более длинную экспозицию, и оно используется для деформирования информации пикселя. Более подробно, для каждого пикселя получают составные векторы, каждый из которых является суммой общего и локального компонентов. Здесь снова получают общий компонент из общих параметров деформации и локальный компонент генерируют процедурой оптического потока, описанной ранее. Результатом является вышеупомянутое поле f_Li потока.

Сразу после вычисления полей потока (f_Si или f_Li) для каждого "неопорного" изображения их сцепляют (конкатенируют) для разрешения каждому изображению, которое будет совмещено непосредственно с опорным изображением, за исключением изображений с более короткой экспозицией и более длинной экспозицией, которые имеют экспозиции, наиболее близкие к экспозиции опорного изображения, то есть S ₁ и L₁. Поля потока для S₁ и L₁ остаются как первоначально вычислено, а сцепленные потоки, вычисленные для других неопорных изображений, заменяют предварительно вычисленные поля потока. Более подробно, при заданных полях потока f _Si и f_Li, где i = 1, 2..., n и где n - количество изображений, экспозиции которых короче или длиннее в зависимости от обстоятельств, сцепленный поток f'_Sj вычисляют для каждого изображения с более короткой экспозицией, отличного от изображения S ₁, как f'_Sj = f_Sj * * f_S1, и сцепленный поток f _Lj вычисляют для каждого другого изображения c более длинной экспозицией, отличного от L₁, как f'_Lj = f _Lj *...*f_L1, где j = 2..., n.

Затем каждое неопорное изображение деформируется, используя поле потока или сцепленное поле потока, связанное с ним, в зависимости от обстоятельств, создавая набор совмещенных или "стабилизированных" изображений S' _i и L'i. Предшествующая процедура графически показана на фиг. 3С, на которой может быть замечено, что каждое не опорное изображение 302, 304, 306, 308 совмещают непосредственно с опорным изображением 300.

Таким образом, обращаясь еще раз к фиг. 2A и B, процедура попарного совмещения в общем включает в себя первый выбор предварительно несовмещенного вводимого изображения, исключая опорное изображение (действие 208 способа). Затем на этапе 210 способа определяют, имеет ли выбранное изображение экспозицию, которая короче или длиннее, чем у опорного изображения. Если выбранное изображение имеет более короткую экспозицию, то идентифицируют вводимое изображение, имеющее следующую после самой короткой экспозицию, которая является, тем не менее, более длинной, чем у выбранного изображения (действие 212 способа). Следует отметить, что идентифицированное изображение может быть само опорным изображением. Выбранное изображение затем усиливается для того, чтобы соответствовать уровню экспозиции идентифицированного изображения (действие 214 способа). После усиления выбранное изображение совмещают с идентифицированным изображением (действие 216 способа), вовлекая в одном варианте осуществления общую оценку движения с последующим локальным попиксельным вычислением потока. Если, однако, выбранное изображение сочтено имеющим более длинную экспозицию, чем у опорного изображения, то идентифицируют вводимое изображение, имеющее следующую после самой длинной экспозицию, которая, тем не менее, короче, чем у выбранного изображения (этап 218 способа). Здесь опять идентифицированное изображение может быть само опорным изображением. В этом случае идентифицированное изображение усиливается для соответствия уровню экспозиции выбранного изображения (действие 220 способа). Затем выбранное изображение совмещают с идентифицированным изображением (действие 222 способа). Затем определяется, остается ли хоть одно несовмещенное неопорное изображение (действие 224 способа). Если да, то действия 208-224 способа повторяются. В противном случае поля потока, сгенерированные для вводимых неопорных изображений, которые уже не являются совмещенными с опорным изображением, сцепляются (конкатенируются) для совмещения каждого из них с опорным изображением (действие 226 способа). Карта излучения (светимости) в таком случае восстанавливается из совмещенного и опорного изображений (действие 228 способа). Эта карта излучения используется для генерации требуемого РДД-изображения (действие 230 способа), которое может включать в себя процедуру отображения тона. Восстановление карты излучения (светимости) и процедуры отображения тона описаны в последующих разделах.

2.2.2 Восстановление карты излучения

Стабилизированные изображения и опорное изображение используются для восстановления карты излучения (светимости), как упомянуто выше. В сущности, эти изображения объединяют для создания карты излучения, как показано на фиг. 3D. Для осуществления этого было предложено несколько методик [3, 7, 9, 12]. В каждой из этих методик вводимые изображения являются преобразованными в изображения излучения (светимости) при помощи известного значения экспозиции и вычисленной функции отклика камеры. Конечное значение излучения (светимости) в пикселе в таком случае вычисляется как взвешенная сумма соответствующих пикселей в этих изображениях излучения. Как указано ранее, функцию отклика камеры F_response предпочтительно вычисляют, используя методику, раскрытую в [9]. Например, весовая функция f_w, полученная по этой методике, показана на фиг. 4А графиком, изображающим зависимость общего веса от интенсивности пикселя. Однако следует отметить, что существующие подходы принимают точно совмещенные вводимые изображения. Из-за возможности неверного совмещения в первой части способа РДД сшивания точное совмещение не принимается в этой части настоящего способа. Вместо этого процедура сделана более терпимой к ошибкам совмещения пикселей, используя значения излучения, полученные от пикселей не только опорного изображения, но также и стабилизированных изображений. Используется логический протокол, который определяет, получен ли пиксель в конечной карте излучения (светимости) из одного значения излучения или комбинации двух или более значений, взятых из соответствующих пикселей в предшествующих изображениях. Вообще это решение сделано основанным на интенсивности пикселя во вводимом изображении.

Более подробно, обращаясь к фиг. 5, восстановление карты излучения (светимости), применяемое при РДД сшивании, достигается следующим образом. Сначала опорное изображение R, так же как каждое стабилизированное изображение S'_i и L' _i, преобразуют в изображение излучения (действие 500 способа) с функцией отклика F_response и соответствующими значениями экспозиции изображений при помощи обычных методов, в которых обычно

где Rad представляет собой светимость пикселя, p представляет собой интенсивность пикселя, и exp является уровнем экспозиции. Эти изображения излучения обозначают как соответственно. Следует отметить, что для вычисления вышеупомянутых экспозиций необходимо знать некоторые параметры настройки камеры, применяемые при фиксации сгруппированных изображений. Например, обычно необходимо знать скорость затвора фотоаппарата и параметры настройки диафрагмы. С этой стороны, возможно сохранить эти и любые другие требуемые данные параметров камеры в качестве стандартной информации метаданных (например, EXIF тэги) в данных, связанных с каждым из изображений. Это предоставляет возможность автоматизации вычисления карты излучения (светимости).

Затем выбирают предварительно не выбранный пиксель опорного изображения (действие 502 способа). Соответствующие значения излучения (светимости) от каждого из изображений затем сравнивают с выбранным пикселем определяя, на сколько находится ниже предписанной максимально допустимой дисперсии шума по сравнению с значением излучения (действие 504 способа). Если оказывается, что все значения излучений из изображений находятся ниже предписанной максимально допустимой дисперсии шума, то взвешенное среднее их значение и значения выбранного местоположения в опорном изображении вычисляются и используются в качестве значения излучения для этого местоположения пикселя в конечной карте излучения (светимости) (действие 506 способа). Взвешенное среднее значение излучения R_wavg вычисляется следующим образом:

где p_R, p _Si и p_Li являются соответствующими пикселями в изображениях излучения. Весовая функция f _WM (q, p) = f _M (|p-q|) f_W (p ) представляет собой основанную на интенсивности весовую функцию f_W [9], модулируемую картой f _M правдоподобия, где f _M() представляет собой Эрмитово кубическое уравнение, определяемое как

(2)

которое преуменьшает деформированные значения излучения, которые являются слишком отличающимися от соответствующих значений опорного излучения. _max представляет собой параметр, определяемый пользователем, который представляет вышеупомянутую максимально допустимую дисперсию шума. В тестовых вариантах осуществления настоящей процедуры восстановления карты излучения максимально допустимая дисперсия шума была установлена в 16 уровней интенсивности. Пример функции модуляции изображен на графике, показанном на фиг. 4В.

Если, однако, значение излучения (светимости) из изображений окажется выше максимальной дисперсии шума, оно отбрасывается, и значение излучения используется в конечной карте излучения для этого местоположения пикселя, вычисленного как взвешенное среднее значение от и остающихся значений из изображений (действие 508 способа). Это вытекает из уравнения (2), потому что элементы, включающие в себя значения излучения из изображений , которые окажутся за пределами максимально допустимой дисперсии шума, обнуляются. Таким образом, взвешенное среднее значение вычисляется с использованием уравнения (1) с остающимися значениями излучения.

Наконец, если оказывается, что все значения излучения из изображений находятся за пределами максимально допустимой дисперсии шума, то все они отбрасываются в соответствии с уравнением (2), и значение излучения, используемое в конечной карте излучения для выбранного местоположения пикселя берется непосредственно из (действие 510 способа).

Затем на этапе 512 способа определяется, остаются ли какие бы то ни было пиксели опорного изображения, которые еще не были выбраны и обработаны. Если да, то действия 502-512 повторяются. В противном случае процесс завершается.

2.3 Отображение тона

Отображение тона используется для преобразования карт излучения с плавающей точкой в восьмибитное представление, подходящее для визуализации в обычных электронных системах отображения или на бумаге. Если такую систему собираются использовать для визуализации РДД-изображения, отображение тона должно использоваться для сокращения динамического диапазона каждого РДД-изображения при одновременном поддержании хорошего уровня контрастности как для ярко освещенных, так и темно освещенных областей.

Несмотря на то что для этой цели могла быть применена любая существующая процедура отображения (преобразования) тона, настоящая система создания РДД-изображения использует блок тонового отображения, представленный в [11], который основан на фотографической методике увеличения контрастности и уменьшения контрастности. Вообще, этот способ отображения тона начинается преобразованием изображения излучения к пространству согласно Международной комиссии по освещению (МКО, CIE) посредством обычных способов и восстановления координат цветности. Изображение светимости в таком случае обрабатывают для сжатия динамического диапазона. Наконец, информация о цвете подвергается повторной вставке, и преобразованное изображение в пространстве МКО создает конечный байтовый диапазон RGB изображения. Как часть этого способа отображения тона, некоторые общие параметры должны быть установлены для управления полным балансом яркости. По существу, статистический анализ вводимого изображения, являющегося отображенным тоном, выполняют для решения того, как установить эти общие параметры.

2.4 Результаты

Эффективность вышеописанной системы создания РДД-изображения и способа можно показать, используя предварительно описанную сгруппированную последовательность изображений восхода солнца (изображенную здесь на фиг. 6А). Здесь есть и движение камеры, и движение облака относительно земли. Таким образом, изображения фиксируют движение сцены. Если для генерации составного РДД-изображения используется обычная процедура общего совмещения (например, двухмерная перспектива или гомография), то получается результат, показанный на фиг. 6В и С (где С представляет собой увеличенный вариант правой стороны В). Однако, если используется настоящий способ создания РДД-изображения, получается значительно лучший результат, как показано на фиг. 6D и E. Здесь фиг. 6Е представляет собой увеличенный вариант правой стороны фиг. 6D. Следует обратить внимание на более четкий вид ветвей дерева на изображениях фиг. 6D и E.

3.0 Источники информации

1. J. R. Bergen, P. Anandan, K. J. Hanna, and R. Hingorani. Hierarchical model-based motion estimation. In Second European Conference of Computer Vision (ECCV 92), страницы 237-252, 1992.

2. L. Bogoni. Extending dynamic range of monochrome and color images through fusion. Int'l Conf. on Pattern Recognition, vol. 3, страницы 7-12, Сентябрь 2000.

3. P.E. Debevec and J. Malik. Recovering high dynamic range radiance maps from photographs. Proc. of SIGGRAPH 97, страницы 369-378, Август 1997.

4. F. Durand and J. Dorsey. Fast bilateral filtering for the display of high dynamic range images. ACM Trans, on Graphics (TOG), 21(3):257-266, 2002.

5. R. Fattal, D. Lischinski, and M. Werman. Gradient domain high dynamic range compression. ACM Trans, on Graphics, 21(3):249-256, 2002.

6. B. D. Lucas and T. Kanade. An iterative image registration technique with an application in stereo vision. In Int'l Joint Conf. on Artificial Intelligence, страницы 674-679, 1981.

7. S. Mann and R. W. Picard. On being "undigital" with digital cameras: Extending dynamic range by combining differently exposed pictures. In IS&T's 48 ^th Annual Conference, SoMKOty for Imaging SMKOnce and Technology, Washington D.C., страницы 422-428, 1995.

8. S. Mann, C. Manders, and J. Fung. Painting with Looks: Photographic images from video using quantimetric processing. In ACM Multimedia, Декабрь 2002.

9. T. Mitsunaga and S. K. Nayar. Radiometric self calibration. In IEEE Conf. on Computer Vision and Pattern Recognition, volume 1, страницы 374-380, Июнь 1999.

10. T. Mitsunaga and S. K. Nayar. High dynamic range imaging: Spatially varying pixel exposures. In IEEE Conf. on Computer Vision and Pattern Recognition, том 1, страницы 472-479, Июнь 2000.

11. E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda. Photographic tone reproduction for digital images. ACM Trans. on Graphics, 21(3):267-276, 2002.

12. Y. Tsin, V. Ramesh, and T. Kanade. Statistical calibration of CCD imaging process. In Int'l Conf. on Computer Vision, volume 1, страницы 480-487, Июль 2001.