устройство для захвата изображений, способ управления им и носитель записи

Формула изобретения

1. Устройство для захвата изображений для формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, содержащее:

средство захвата изображений для выдачи изображения, полученного путем захвата субъекта;

средство определения для определения количества изображений, подлежащих комбинированию, используемых для формирования изображения с расширенным динамическим диапазоном, и условий экспонирования для соответствующих изображений, подлежащих комбинированию, из распределения значений пикселей субъекта;

первое задающее средство для задания области движущегося объекта для множества заранее снятых изображений, выдаваемых из упомянутого средства захвата изображений;

средство изменения для определения надлежащего условия экспонирования для субъекта, соответствующего области движущегося объекта, заданной упомянутым первым задающим средством, и для изменения одного условия экспонирования из условий экспонирования изображений, подлежащих комбинированию, определенных упомянутым средством определения, к надлежащему условию экспонирования;

второе задающее средство для задания области движущегося объекта для множества изображений, подлежащих комбинированию, которые захватываются упомянутым средством захвата изображения в условиях экспонирования изображений, подлежащих комбинированию, включающих в себя надлежащее условие экспонирования; и

формирующее средство для формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, причем упомянутое формирующее средство использует пиксели изображения, подлежащего комбинированию, захваченного при надлежащем условии экспонирования, в качестве пикселей области движущегося объекта, заданной упомянутым вторым задающим средством.

2. Устройство по п. 1, в котором упомянутое средство изменения изменяет условие экспонирования, величина экспозиции согласно в котором является ближайшей к надлежащему условию экспонирования, из условий экспонирования изображений, подлежащих комбинированию, определяемых упомянутым средством определения, к надлежащему условию экспонирования.

3. Устройство по п. 1, в котором упомянутое средство изменения определяет надлежащее условие экспонирования на основании наибольшей величины экспозиции из диапазона величин экспозиции, который не включает в себя пиксели высвеченного светлого участка в области движущегося объекта, заданной упомянутым первым задающим средством.

4. Устройство по п. 1, в котором упомянутое первое задающее средство задает область движущегося объекта, используемую для формирования изображения с расширенным динамическим диапазоном, которое уже сформировано упомянутым формирующим средством, в качестве области движущегося объекта для множества заранее снятых изображений.

5. Устройство по любому из пп. 1-4, в котором упомянутое средство изменения изменяет условие экспонирования из условий экспонирования изображений, подлежащих комбинированию, к надлежащему условию экспонирования для изображения с расширенным динамическим диапазоном, которое уже сформировано упомянутым формирующим средством.

6. Устройство по п. 1, в котором упомянутое первое задающее средство задает область движущегося объекта с использованием разностей между значениями пикселей множества заранее снятых изображений, которые захвачены с разделением по времени при идентичном условии экспонирования.

7. Устройство по п. 1, в котором упомянутое второе задающее средство регулирует уровни тонов множества изображений, подлежащих комбинированию, и задает в качестве области движущегося объекта область, в которой разность между значениями пикселей множества изображений, подлежащих комбинированию, не менее порогового значения.

8. Способ управления устройством для захвата изображений, которое содержит средство захвата изображений для выдачи изображения, полученного путем захвата субъекта, и формирует изображение с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, причем способ содержит этапы, на которых:

этап определения, на котором определяют количество изображений, подлежащих комбинированию, используемых для формирования изображения с расширенным динамическим диапазоном, и условия экспонирования для соответствующих изображений, подлежащих комбинированию, из распределения значений пикселей субъекта;

первый этап задания, на котором задают область движущегося объекта для множества заранее снятых изображений, выдаваемых из средства захвата изображений;

этап изменения, на котором определяют надлежащее условие экспонирования для субъекта, соответствующего области движущегося объекта, заданной на первом этапе задания, и изменяют одно условие экспонирования из условий экспонирования изображений, подлежащих комбинированию, определенных на этапе определения, к надлежащему условию экспонирования;

второй этап задания, на котором задают область движущегося объекта для множества изображений, подлежащих комбинированию, которые захватываются средством захвата изображения в условиях экспонирования изображений, подлежащих комбинированию, включающих в себя надлежащее условие экспонирования; и

этап формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, причем на этапе формирования пиксели изображения, подлежащего комбинированию, захватываемого при надлежащем условии экспонирования, используют в качестве пикселей области движущегося объекта, заданной на втором этапе задания.

9. Машиночитаемый носитель записи, на котором сохранена программа для управления компьютером для выполнения соответствующих этапов способа управления устройством для захвата изображений по п. 8.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Данное изобретение относится к устройству для захвата изображений, способу управления им и носителю записи, а более конкретно - к способу расширения динамического диапазона, который обеспечивает расширение диапазона тонов путем комбинирования множества по-разному экспонированных изображений.

Уровень техники

В последние годы некоторые устройства для захвата изображений, такие как цифровые фотоаппараты и цифровые видеокамеры приобрели функцию расширения динамического диапазона, которая способствует получению изображения, диапазон тонов которого расширяется посредством комбинирования множества по-разному экспонированных изображений, получаемых путем захвата изображений субъекта с использованием разных времен экспонирования.

В патентной публикации Японии № 2008-104009 описано устройство для захвата изображений, которое формирует HDR-изображение путем захвата двух разных изображений, соответственно попадающих в диапазоны яркости на стороне высокой яркости и стороне низкой яркости, за счет обнаружения самой высокой яркости на стороне высокой яркости и самой низкой яркости на стороне низкой яркости, когда захваченное изображение не попадает в заданный диапазон яркости.

Кроме того, описан способ динамического управления комбинированием изображений при обработке формирования изображения расширенного диапазона (называемой далее обработкой формирования HDR-изображения) с тем, чтобы избежать прерывистости изображения в комбинированном изображении, выдаваемом в результате обработки формирования HDR-изображения, когда оно включает в себя движущийся объект.

В патентной публикации Японии № 2002-101347 описан следующий способ. То есть когда формируют HDR-изображение с использованием двух разных изображений, иными словами, недодержанного изображения и передержанного изображения, область, в которой может возникнуть прерывистость изображения, указывается на основании разностей между уровнями тонов нормализованных изображений, и в этой области запрещается замена на недодержанное изображение.

Вместе с тем, даже когда используется вышеупомянутый способ согласно патентной публикации Японии № 2002-101347, в области движущегося объекта HDR-изображения, формируемого путем комбинирования, зачастую могут использоваться пиксели, извлекаемые как из недодержанного изображения, так и из передержанного изображения, вследствие чего возникает проблема прерывистости текстуры в области движущегося объекта.

Раскрытие изобретения

Данное изобретение сделано при рассмотрении проблем обычных способов. В данном изобретении предлагаются устройство для захвата изображений, которое предотвращает прерывистость изображения в изображении, диапазон тонов которого расширен путем комбинирования множества по-разному экспонированных изображений, способ управления этим устройством и носитель записи.

В данном изобретении - в первом его аспекте - предложено устройство для захвата изображений с целью формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, содержащее: средство захвата изображений для выдачи изображения, полученного путем захвата субъекта; средство определения для определения количества изображений, подлежащих комбинированию, используемых для формирования изображения с расширенным динамическим диапазоном, и условий экспонирования для соответствующих изображений, подлежащих комбинированию, из распределения значений пикселей субъекта; первое задающее средство для задания области движущегося объекта для множества заранее снятых изображений, выдаваемых из средства захвата изображений; средство изменения для определения надлежащего условия экспонирования для субъекта, соответствующего области движущегося объекта, заданной первым задающим средством, и для изменения одного условия экспонирования из условий экспонирования изображений, подлежащих комбинированию, определяемых средством определения, к надлежащему условию экспонирования; второе задающее средство для задания области движущегося объекта для множества изображений, подлежащих комбинированию, которые захватываются средством захвата в условиях экспонирования изображений, подлежащих комбинированию, включая надлежащее условие экспонирования; и формирующее средство для формирования изображения с расширенным динамическим диапазоном путем комбинирования множества изображений, подлежащих комбинированию, причем формирующее средство использует пиксели изображения, подлежащего комбинированию, захваченного при надлежащем условии экспонирования, в качестве пикселей области движущегося объекта, заданной вторым задающим средством.

Дополнительные признаки данного изобретения станут очевидными из нижеследующего описания возможных вариантов осуществления (приводимого со ссылками на сопровождающие чертежи).

Краткое описание чертежей

На фиг. 1 представлена блок-схема, иллюстрирующая функциональную компоновку цифрового фотоаппарата 100 в соответствии с вариантом осуществления данного изобретения;

на фиг. 2 представлен вид для пояснения прерывистости изображения в HDR-изображении, которая обуславливается обычной обработкой расширения динамического диапазона;

на фиг. 3 представлена блок-схема последовательности операций обработки формирования HDR-изображения в соответствии с вариантов осуществления данного изобретения;

на фиг. 4A, 4B и 4C представлены виды для пояснения областей движущегося объекта в соответствии с вариантом осуществления данного изобретения;

на фиг. 5 представлен график для пояснения установочных параметров условий экспонирования в соответствии с вариантом осуществления данного изобретения;

на фиг. 6A, 6B и 6C представлены виды для пояснения обработки группирования пикселей, соответствующих движущимся объектам, в соответствии с вариантом осуществления данного изобретения;

на фиг. 7 представлен вид, иллюстрирующий область фотометрии, соответствующую движущемуся объекту в соответствии с вариантом осуществления данного изобретения;

на фиг. 8A, 8B, 8C и 8D представлены виды для пояснения изменения условий экспонирования в соответствии с вариантом осуществления данного изобретения;

на фиг. 9 представлена схема для пояснения параллельной обработки в соответствии с вариантом осуществления данного изобретения;

на фиг. 10 представлен вид, иллюстрирующий примеры по-разному экспонированных изображений в соответствии с вариантом осуществления данного изобретения;

на фиг. 11 представлен вид для пояснения диапазона тонов после регулирования уровней тонов благодаря разным временам экспонирования;

на фиг. 12 представлен вид, иллюстрирующий движущиеся пиксели в соответствии с вариантом осуществления данного изобретения; и

на фиг. 13 представлен вид для пояснения обработки отображения в соответствии с вариантом осуществления данного изобретения.

Осуществление изобретения

Ниже со ссылками на чертежи будет описан предпочтительный вариант осуществления данного изобретения. Отметим, что вариант осуществления, описываемый ниже, будет примером случая, в котором данное изобретение применяется к цифровому фотоаппарату как примеру устройства для захвата изображений, которое будет выдавать изображение, динамический диапазон которого расширен (HDR-изображение), путем комбинирования множества изображений, полученных путем захвата изображений субъекта, имеющих разные времена экспонирования. Вместе с тем, данное изобретение применимо к произвольному устройству, которое может выдавать изображение, чей динамический диапазон расширен путем комбинирования множества изображений, полученных путем захвата изображений субъекта, имеющих разные времена экспонирования. В этом описании, термин «прерывистость изображения» будет в своем родовом значении выражать проблемы прозрачности, прерывистости структуры, запаздывания изображения, размноженных краев и смеси шаблонов в HDR-изображении.

Сначала будут описаны прозрачность, прерывистость структуры, запаздывание изображения, размноженные края и смесь шаблонов в HDR-изображении. Формирование HDR-изображения способом расширения динамического диапазона, описанным в патентной публикации Японии № 2008-104009, требует комбинирования множества изображений, которые получены посредством множества операций захвата изображений, имеющих разные уровни экспонирования в связи с субъектом. Вместе с тем, когда субъекты включают в себя движущийся объект, изображения, подлежащие комбинированию, имеют разные области движущихся объектов, и в HDR-изображении, полученном путем комбинирования изображений, подлежащих комбинированию, возникает проблема прерывистости изображения.

Более конкретно, когда субъект включает в себя движущийся объект, HDR-изображению, полученному путем комбинирования изображений, полученных посредством множества операций захвата изображений, присущи нижеследующие проблемы, связанные с прерывистостью изображения. Например, когда предполагается случай, в котором область 201 движущегося объекта включает в себя область 202 высвеченного светлого участка в передержанном изображении 200, как показано на фиг. 2, возникают следующие проблемы.

1. Когда пиксели заменяют с использованием пикселей недодержанного изображения 220, не включающего в себя движущийся объект в области в том же положении, что и область 202 высвеченного светлого участка, в области движущегося объекта HDR-изображения 230 формируется прозрачная область 231, сквозь которую виден фон (прозрачность).

2. Когда пиксели заменяют с использованием недодержанного изображения 220, в котором движущийся объект существует в том же положении, что и область 202 высвеченного светлого участка, но его положение отличается, рисунок текстуры поверхности движущегося объекта становится прерывистым на границе соответствующей области 232.

3. В отличие от показанного на фиг. 2, когда передержанное изображение включает в себя область высвеченного светлого участка в области фона, и когда движущийся объект в недодержанном изображении существует в загораживающем положении этой области, комбинирование изображений осуществляют путем замены пикселей области высвеченного светлого участка пикселями недодержанного изображения, как если бы было множество изображений движущегося объекта (запаздывание изображения).

Не только обработка замены пикселей, но и обработка комбинирования с использованием взвешенного усреднения множества изображений в диапазоне полутонов также вызывает прерывистость изображения, такую как размноженные края вокруг движущегося объекта и шаблонов в добавляемых областях движущегося объекта, в качестве проблем, возникающих во время обычной обработки комбинирования изображений.

Отметим, что даже когда используется вышеупомянутый способ согласно патентной публикации Японии № 2002-101347, пиксели, извлекаемые как из передержанного изображения, так и из недодержанного изображения, зачастую могут использоваться в области движущегося объекта HDR-изображения, сформированного посредством комбинирования, что создает проблему прерывистости текстуры в области движущегося объекта.

C другой стороны, можно воспользоваться способом исключения прерывистости изображения путем задания области, где величины изменений значений пикселей равны пороговому значению разностей всех из множества изображений, захватываемых для формирования HDR-изображения, или больше этого порогового значения, и формирования HDR-изображения с использованием пикселей, извлеченных из одного изображения, для пикселей этой области. Вместе с тем, выбранное изображение, из которого извлекаются пиксели, присваиваемые области, где величины изменений значений пикселей равны упомянутому пороговому значению или больше него, зачастую может включать в себя область высвеченного светлого участка или область потери деталей из-за затенения, а желаемый эффект расширения динамического диапазона в получаемом HDR-изображении зачастую получить нельзя. В частности, когда передержанное изображение и недодержанное изображение, используемые для формирования HDR-изображения, захватываются в соответствии с самой высокой яркостью и самой низкой яркостью подобно тому, как это предписывается в патентной публикации Японии № 2008-104009, оба эти изображения могут включать в себя область высвеченного светлого участка или область потери деталей из-за затенения, а желаемый эффект расширения динамического диапазона получить нельзя.

Поэтому в соответствии с данным изобретением определяют надлежащее условие экспонирования для области движущегося объекта, включенной в изображение, заменяют одно из условий экспонирования двух или более изображений надлежащим условием экспонирования изображения для захвата двух или более изображений, а пиксели изображения, захваченного при надлежащем условии экспонирования, используют для области, определенной как область движущегося объекта.

Функциональная компоновка цифрового фотоаппарата

На фиг. 1 представлена блок-схема, иллюстрирующая функциональную компоновку цифрового фотоаппарата 100 в соответствии с вариантом осуществления данного изобретения.

Контроллер 101 представляет собой, например, центральный процессор (ЦП). Контроллер 101 управляет операциями соответствующих блоков, входящих в состав цифрового фотоаппарата 100, путем считывания программы обработки формирования HDR-изображения (описываемой ниже), которая хранится в постоянном запоминающем устройстве (ПЗУ) 102, расширения программы считывания в оперативном запоминающем устройстве (ОЗУ) 103 и выполнения расширенной программы. ПЗУ 102 представляет собой, например, регистр, такой как перезаписываемое энергонезависимое запоминающее устройство. ПЗУ 102 хранит информацию параметров управления и т.п., необходимую для операций соответствующих блоков, входящих в состав цифрового фотоаппарата 100, в дополнение к программе обработки формирования HDR-изображения. ОЗУ 103 представляет собой, например, энергозависимое запоминающее устройство. ОЗУ 103 используется не только как область расширения программы обработки формирования HDR-изображения, но и как временная область хранения промежуточных данных, выдаваемых во время операций соответствующих блоков, входящих в состав цифрового фотоаппарата 100.

Отметим, что в нижеследующем описании этого варианта осуществления имеется в виду, что соответствующие процессы воплощаются соответствующими блоками, входящими в состав цифрового фотоаппарата 100 как компонентами аппаратных средств. Вместе с тем, данное изобретение не ограничивается таким конкретным вариантом осуществления, а процессы соответствующих блоков могут быть воплощены посредством программ, которые могут воплощать такие же процессы, как процессы соответствующих блоков.

Диафрагма 105 является элементом управления экспонированием, который находится в плоскости зрачка оптической системы 104 и регулирует количество света путем частичного перехвата света, который падает на поверхность блока 107 захвата изображения. Механический затвор 106 представляет собой элемент управления экспонированием, который регулирует количество света, падающего со временем, за счет перехвата лучей, попадающих на поверхность блока захвата изображения.

Конфигурация блока 107 захвата изображения обеспечивается: элементом захвата изображения, то есть одиночным плоским элементом, который сформирован путем наслаивания цветовых фильтров, например, в шаблоне массива Байера и принимает изображение субъекта единственной плоскостью; и трехплоскостным элементом, который разделяет цветное изображение на три или более с использованием спектральной призмы (не показана) и принимает соответствующие лучи света посредством независимых элементов захвата изображении или аналогичных элементов. Блок 107 захвата изображения осуществляет фотоэлектрическое преобразование изображения субъекта, сформированного посредством оптической системы 104, которая включает в себя множество линз и зеркал. Затем блок 107 захвата изображения выдает аналоговый сигнал изображения, полученный путем фотоэлектрического преобразования, в препроцессор 108.

Отметим, что когда конфигурация блока 107 захвата изображения обеспечивается трехплоскостным элементом, требуется спектральный оптический элемент, но обработку интерполяции массива Байера в процессоре 110 изображений (описываемом ниже) можно опустить. Кроме того, блок 107 захвата изображения также является элементом управления экспонированием, который регулирует количество света путем управления временами накапливания и моментами считывания элементов захвата изображений, поскольку элементы захвата изображений имеют функцию электронного затвора.

Препроцессор 108 применяет к входному аналоговому сигналу изображения удаление шума посредством коррелированной двойной дискретизации (CDS), управление экспонированием с использованием регулирования усиления посредством автоматической регулировки усиления (АРУ), регулирование уровня черного и обработку аналого-цифрового преобразования, и выдает цифровой сигнал изображения. Различные процессы, проводимые в препроцессоре 108, также называются аналоговыми входными (AFE) процессами, поскольку они являются предварительными процессами для аналогового сигнала изображения.

В этом варианте осуществления, чтобы захватить с разделением во времени множество по-разному экспонированных изображений, контроллер 101 управляет операциями управления экспонированием в диафрагме 105, механическом затворе 106, блоке 107 захвата изображения и препроцессоре 108 с использованием контроллера 109 экспонирования. Более конкретно, контроллер 109 экспонирования управляет величиной отверстия диафрагмы 105, временем полного открытия отверстия механического затвора 106, временами накапливания и моментами считывания элементов захвата изображений, а также величиной регулирования усиления в препроцессоре 108 в соответствии с частями информации экспонирования множества изображений, вводимыми из контроллера 101.

Процессор 110 изображений применяет - к входному цифровому сигналу изображения - процессы обработки изображений, такие как интерполяция матрицы Байера, обработка линейной матрицы, регулирование баланса белого, преобразование в пространстве YCC, коррекция цветового различия и/или тона, и/или контраста и обработка выделения краев. Процессор 110 изображений может формировать одно выходное изображение (изображение, связанное с одиночной обычной операцией захвата изображения) путем применения этих процессов обработки изображения. Формируемое изображение хранится, например, в устройстве 111 для запоминания изображений (описываемом ниже). В альтернативном варианте формируемое изображение записывается на носителе 115 записи посредством блока 114 интерфейса записи. Различные процессы обработки изображения, проводимые процессором 110 изображений, называются цифровыми выходными (DBE) процессами, в отличие от AFE-процессов препроцессора.

Предположим, что в этом варианте осуществления процессор 110 изображений проводит процессы обработки изображения, включающие в себя обработку комбинирования, которые проводятся на соответствующих этапах, необходимых для формирования HDR-изображения, динамический диапазон которого расширен из множества по-разному экспонированных изображений. Множество по-разному экспонированных изображений, используемых в обработке формирования HDR-изображения, последовательно сохраняются в устройстве 111 для запоминания изображений после применения DBE-процессов в процессоре 110 изображений. Процессор 110 изображений считывает соответствующие изображения из устройства 111 для запоминания изображений и применяет к ним требуемые процессы.

Кроме того, когда в соответствии с форматом записи захваченного изображения, который хранится, например, в ПЗУ 102, требуется обработка преобразования, такая как сжатие и/или кодирование, процессор 110 изображений применяет эту обработку к данным изображения, тем самым формируя записываемые данные изображения.

Устройство 111 для запоминания изображений представляет собой область хранения изображений, заключенную в цифровом фотоаппарате 100. Устройство 111 для запоминания изображений может временно хранить не только данные изображения, получаемые посредством обработки формирования HDR-изображения, но и промежуточные данные изображения, которые получаются путем применения некоторых DBE-процессов, если потребуется. Изображения, хранимые в устройстве 111 для запоминания изображений, могут быть необработанными или обработанными в минимальной степени данными изображения (т.е. данными изображения, представленными в формате RAW) трех плоскостей, к которым применена, например, интерполяция массива Байера и линейная матричная обработка, данными изображения в цветовом пространстве RGB, которые в дальнейшем будут подвергнуты регулированию баланса белого, или данными изображения в цветовом пространстве YCC, к которым применено YCC-преобразование. Отметим, что этот вариант осуществления будет приведен в нижеследующем описании в предположении, что изображения для обработки формирования HDR-изображения, которые хранятся в устройстве 111 для запоминания изображений, являются YCC-изображениями. Вместе с тем, изображения, используемые при обработке формирования HDR-изображения (описываемой ниже), не ограничиваются изображениями в цветовом пространстве YCC, и возможно использование изображения в других цветовых пространствах.

Блок 112 отображения представляет собой, например, устройство отображения, такое как компактный жидкокристаллический дисплей (ЖКД), который входит в состав цифрового фотоаппарата 100 и отображает захваченное изображение, формированное HDR-изображение, или изображение, считанное с носителя 115 записи посредством блока 114 интерфейса носителя записи (описываемого ниже).

Операционный блок 113 представляет собой интерфейс пользователя, который включает в себя кнопку затвора, кнопку меню, и т.п., входит в состав цифрового фотоаппарата 100 и используется для приема вводов операций от пользователя. Операционный блок 113 анализирует ввод операции, совершаемый пользователем, и выдает сигнал, соответствующий этому вводу операции, в контроллер 101. Кроме того, операционный блок 113 не ограничивается физическими операционными элементами (вышеупомянутыми кнопкой затвора, кнопкой меню, и т.п.), а может включать в себя датчик сенсорной панели. Например, в этом случае, операционный блок 113 выдает информацию положения в области отображения блока 112 отображения, приводимого в действие пользователем, в контроллер 101.

Блок 114 интерфейса носителя записи представляет собой интерфейс, используемый, например, для записи данных изображения и т.п., формируемых процессором 110 изображений, на подключенном носителе записи 115, или для считывания данных с носителя 115 записи. Носитель 115 записи может быть, например, внутренним запоминающим устройством, входящим в состав цифрового фотоаппарата 100, или записывающим устройством, таким как плата памяти или дисководом для жестких дисков (HDD), который подключен с возможностью отключения к цифровому фотоаппарату 100.

Обработка формирования HDR-изображения

Ниже, со ссылками на блок-схему последовательности операций, показанную на фиг. 3, будет приведено конкретное описание обработки формирования HDR-изображения, проводимой цифровым фотоаппаратом 100 согласно этому варианту осуществления, имеющим вышеупомянутую компоновку. Обработку, соответствующую этой блок-схеме последовательности операций, можно воплотить, когда контроллер 101 считывает соответствующую программу обработки, хранимую, например, в ПЗУ 102, расширяет программу считывания на ОЗУ 103 и выполняет расширенную программу. Отметим, что нижеследующее описание будет приведено в предположении, что эта обработка формирования HDR-изображения начинается, например, когда пользователь приводит в действие кнопку затвора, а режим захвата изображения цифрового фотоаппарата 100 установлен как режим захвата HDR-изображения.

На этапе S301, контроллер 101 задает области движущегося объекта в угле поля формирования изображения (первое задание) и сохраняет заданные области в ОЗУ 103. Каждая область движущегося объекта обозначает область, включающую в себя движущийся субъект, такой как субъект, который движется, причем этот субъект заключен в каждом изображении, захватываемом для формирования HDR-изображения. Более конкретно, контроллер 101 получает множество заранее снятых изображений, который захвачены с разделением во времени, из устройства 111 для запоминания изображений, и вычисляет разности значений пикселей для этого множества заранее снятых изображений. Затем контроллер 101 проверяет, равна ли каждая разность заданному пороговому значению Th_MOV, требующемуся для суждения о движущемся объекте, или превышает это пороговое значение, тем самым задавая область движущегося объекта для каждого пикселя. В этом варианте осуществления контроллер 101 управляет препроцессором 108 и процессором 110 изображений, чтобы применить заданные процессы к двум заранее снятым изображениям, которые захвачены с разделением по времени при одном и том же условии экспонирования, тем самым формируя изображения формата YCC. Потом контроллер 101 осуществляет управление для вычисления разностей компонентов яркости этих двух заранее снятых изображений формата YCC и сравнивает вычисленную разность для каждого пикселя с пороговым значением Th_MOV .

Например, при обнаружении областей движущегося объекта с использованием двух заранее снятых изображений 401 и 402, полученных путем осуществляемого с разделением по времени захвата субъектов, включая движущийся объект 410, как показано на фиг. 4A и 4B, контроллер 101 разделяет каждое из изображений на множество блоков и вычисляет разности компонентов яркости для соответствующих блоков. В примере, показанном на фиг. 4A-4C, блоки, которые обозначены закрашенными кружками на фиг. 4C и значения яркости которых изменяются за счет движения субъекта, заданы как области движущегося объекта.

Отметим, что в этом варианте осуществления контроллер 101 задает области движущегося объекта с использованием двух заранее снятых изображений, которые захвачены с разделением по времени при одном и том же условии экспонирования. Когда условия экспонирования заранее снятых изображений являются разными, уровни тонов двух заранее снятых изображений регулируются в соответствии с условиями экспонирования так, что уровни тонов для идентичных субъектов равны друг другу, что позволяет контроллеру 101 провести сравнение. Вместе с тем, если заранее снятые изображения включают в себя область высвеченного светлого участка или область потери деталей из-за затенения, обуславливаемые разными условиями экспонирования, то, поскольку эта область изменяется в зависимости от условий экспонирования, после этого конкретная область неподвижного объекта обнаруживается как область движущегося объекта.

При формировании HDR-изображения, когда «область, соответствующая движущемуся объекту, включает в себя область высвеченного светлого участка или область потери деталей из-за затенения», прерывистость изображения может возникать за счет присвоения пикселей, выбранных из множества изображений, имеющих разные условия экспонирования, области движущегося объекта. За счет присвоения пикселей, выбранных из одного изображения, этой области, можно избежать прерывистости изображения. Вместе с тем, когда этой области присваивают пиксели области высвеченного светлого участка или области потери деталей из-за затенения, как описано выше, полученное изображение имеет слабый эффект расширения динамического диапазона. То есть проблема прерывистости изображения предотвращается для HDR-изображения, формируемого путем обработки, предусматривающей такое присвоение пикселей, но получение предпочтительного результата применительно к расширению динамического диапазона как первоначальной цели оказывается маловероятным. По этой причине в данном варианте осуществления по меньшей мере для области движущегося объекта устанавливают предпочтительное условие экспонирования (надлежащее условие экспонирования), а HDR-изображение формируют с использованием изображения, захваченного при этом условии. Кстати, когда замены пикселей области высвеченного светлого участка или области потери деталей из-за затенения в области неподвижного объекта организуют для обнаружения ее в качестве области движущегося объекта в соответствии с изменениями условий экспонирования, определенные условия экспонирования могут отклоняться от предпочтительного условия экспонирования для строго движущегося объекта.

Когда определяют надлежащее условие экспонирования для одной области, контроллер 101 вычисляет взвешенный центроид I_g распределения тонов исходя из распределения тонов для этой области, как показано на фиг. 5. Затем контроллер 101 определяет условие экспонирования, включающее в себя взвешенный центроид I_g распределения тонов в окрестности медианы заданного диапазона тонов. То есть, например, условие экспонирования, которое определяется с учетом изменений пикселей высвеченного светлого участка, заключенных в области неподвижного объекта, имеет меньшую величину экспозиции, чем в случае, где учитывается только движущийся объект, поскольку взвешенный центроид распределения тонов находится на стороне высоких тонов. То есть когда пиксели изображения, захваченного при условии экспонирования, определенном таким образом, присваиваются как пиксели области движущегося объекта, эта область вследствие малой величины экспозиции может включать в себя пиксели потери деталей из-за затенения. По этой причине, в данном варианте осуществления, когда область движущегося объекта обнаруживают с использованием множества заранее снятых изображений, имеющих разные условия экспонирования, используются заранее снятые изображения, не имеющие каких-либо изменений пикселей высвеченного светлого участка и потери деталей из-за затенения при соответствующих условиях экспонирования.

Отметим, что описание этого варианта осуществления будет приведено в предположении, что область движущегося объекта задана с использованием двух заранее снятых изображений, захваченных при одном и том же условии экспонирования. Вместе с тем, данное изобретение не ограничивается таким конкретным способом задания движущегося объекта. Например, для определения области движущегося объекта можно использовать три или более заранее снятых изображений, и множество заранее снятых изображений могут быть изображениями, захваченными в разных условиях экспонирования. Когда используют изображения, захваченные в разных условиях экспонирования, предпочтителен захват соответствующих изображений в условиях экспонирования, которые не вызывают изменения пикселей высвеченного светлого участка или потери деталей из-за затенения в области неподвижного объекта, как описано выше.

При задании области движущегося объекта область высвеченного светлого участка или область потери деталей из-за затенения могут зачастую включать в себя движущийся объект в зависимости от условий экспонирования. По этой причине контроллер 101 может определять окончательную область движущегося объекта путем объединения областей движущегося объекта, заданных из множества заранее снятых изображений, соответственно полученных при разных условиях экспонирования, таких как условие экспонирования на стороне малой экспозиции и условие экспонирования на стороне большой экспозиции.

Множество областей движущегося объекта могут быть заданы для соответствующих областей в угле поля. Множество заданных с разделением областей движущегося объекта можно получить путем группирования пикселей, соответствующих движущимся объектам. Более конкретно, контроллер 101 осуществляет группирование, учитывая информацию координат пикселей с использованием значений яркости и цветовую информацию пикселей как дополнительную информацию.

Группирование пикселей, соответствующих движущимся объектам, будет описано ниже со ссылками на фиг. 6A-6C. Например, при таком распределении пикселей, соответствующих движущимся объектам, обнаруженным на этом этапе, как показано на фиг. 6A, контроллер 101 может проводить обработку, связанную с группированием, пользуясь способом наращивания области для группирования пикселей, соответствующих движущимся объектам, которые поставлены в идентичные условия.

Способ наращивания области представляет собой обработку одного общего изображения, которая приводит к объединению элементов, первоначально разделенных на мелкие части (например, на соответствующие пиксели), на основании некоторого оценочного значения, когда разность между оценочным значением группы и оценочным значением каждого элемента равна заданному пороговому значению или меньше него, и не приводит к объединению элементов в противном случае. Способ наращивания области описан например в первоисточнике Mikio Takagi, Haruhisa Simoda, Handbook of Image Analysis (Revised Edition), University of Tokyo Press .

После завершения обработки задания области движущегося объекта контроллер 101 переводит процесс на этап S302.

На этапе S302, контроллер 101 определяет количество изображений (два или более), необходимых для формирования HDR-изображения, а также величины экспозиции (условия экспонирования) этих изображений, и сохраняет их в ОЗУ 103. Информация о количестве изображений, необходимых для формирования HDR-изображения, и величинах экспозиции соответствующих изображений может быть задана, например, заранее и сохранена в ПЗУ 102, или может быть определена в соответствии с результатом обработки фотометрии субъекта. В этом варианте осуществления контроллер 101 управляет блоком 107 захвата изображения, осуществляя предварительное фотографирование при условии экспонирования на стороне большой экспозиции и при условии экспонирования на стороне малой экспозиции и задавая часть с наибольшей яркостью и часть с наименьшей яркостью субъекта исходя из полученных изображений. Затем контроллер 101 определяет количество изображений, необходимых для формирования HDR-изображения, и исходя из диапазона яркости, вычисленного на основании значений самой высокой яркости и самой низкой яркости, и динамический диапазон элемента захвата изображения. Кроме того, контроллер 101 определяет условия экспонирования соответствующих экспонированных изображений, включая величину E_UNDER недодержки, которая не вызовет никакого высвеченного светлого участка в части с самой высокой яркостью субъекта, и величину E_OVER передержки, которая не вызовет никакой потери деталей из-за затенения в части с самой низкой яркостью. Когда количество изображений, необходимых для формирования HDR-изображения, равно трем или более, условия экспонирования соответствующих изображений могут быть определены, например, путем равномерного распределения значений между величинами E_UNER и E_OVER экспозиции.

Отметим, что в вышеизложенном описании этого варианта осуществления указано, что количество изображений, необходимых для формирования HDR-изображения, определяется в соответствии с распределением яркости субъекта. В альтернативном варианте можно допустить фиксированное значение количества изображений, необходимых для формирования HDR-изображения.

На этапе S303, контроллер 101 определяет надлежащее условие экспонирования для области движущегося объекта и сохраняет его в ОЗУ 103. Когда области движущегося объекта обнаруживаются, как показано на фиг. 4C, контроллер 101 управляет блоком фотометрии (не показан), проводя фотометрические операции для области фотометрии, показанной на фиг. 7, соответствующей областям движущегося объекта, и определяет надлежащее условие экспонирования с использованием полученного результата фотометрии. В качестве способа определения надлежащего условия экспонирования, надлежащее условие экспонирования можно определять, например, в соответствии с распределениями тонов областей движущегося объекта, полученных из результата фотометрии, как описано выше, например, со ссылками на фиг. 5.

На этапе S304, контроллер 101 изменяет одно из условий экспонирования для двух или более изображений, используемых для формирования HDR-изображения (количество требуемых изображений определяется на этапе S302 и сохраняется в ОЗУ 103), к надлежащему условию экспонирования, определенному на этапе S303. Более конкретно, контроллер 101 задает условие экспонирования, величина экспозиции согласно которому является ближайшей (из величин экспозиции для двух или более изображений, используемых для формирования HDR-изображения) к надлежащему условию экспонирования, и изменяет заданное условие экспонирования к надлежащему условию экспонирования.

То есть в этом варианте осуществления, поскольку при формировании HDR-изображения пиксели одного изображения, захваченного при надлежащем условии экспонирования присваиваются по меньшей мере областям движущегося объекта, условия экспонирования двух или более изображений, используемых для формирования HDR-изображения, должны включать в себя надлежащее условие экспонирования. То есть поскольку условия экспонирования двух или более изображений, используемых для формирования HDR-изображения, определяются в соответствии с распределением яркости всего субъекта на этапе S302, они вряд ли включают в себя надлежащее условие экспонирования, и одно из этих условий экспонирования изменяется к надлежащему условию экспонирования на этом этапе.

Например, ниже будет рассмотрен случай, в котором количество изображений, необходимое для формирования HDR-изображения, равно 2, а величины E_UNDER и E_OVER экспозиции и надлежащее условие E_MV экспонирования имеют взаимосвязь, показанную на фиг. 8A. При этом, поскольку величина E_UNDER экспозиции является ближайшей к надлежащему условию E_MV экспонирования, контроллер 101 изменяет условия экспонирования двух изображений, необходимых для формирования HDR-изображения, к надлежащему условию E_MV экспонирования и величине E_OVER экспозиции, как показано на фиг. 8B. Аналогичным образом, ниже будет рассмотрен случай, в котором количество изображений, необходимое для формирования HDR-изображения, равно 3, а величина E_UNDER недодержки, величина E_MID полутонового изображения, величина E_OVER передержки и надлежащее условие E_MV экспонирования имеют взаимосвязь, показанную на фиг. 8С. При этом, поскольку величина E_MID экспозиции является ближайшей к надлежащему условию E_MV экспонирования, контроллер 101 изменяет условия экспонирования трех изображений, необходимых для формирования HDR-изображения, к надлежащему условию E_MV экспонирования и величинам E_UNDER и E_OVER экспозиции, как показано на фиг. 8D.

Как описано выше, при этой обработке формирования HDR-изображения происходит обнаружение областей движущегося объекта субъекта, и условия экспонирования изображений, необходимых для формирования HDR-изображение, а также надлежащее условие экспонирования для областей движущегося объекта определяются на этапах S301-S304. Отметим, что на этапах S301 и S302 происходит захват заранее снятых изображений, а контроллер 101 определяет области движущегося объекта и условия экспонирования на основании заранее снятых изображений, как описано выше. Вместе с тем, если операции предварительного фотографирования проводятся на соответствующих этапах, то, поскольку время, требуемое на фактический захват изображений, используемых для формирования HDR-изображения (основного фотографирования), увеличивается, процессы на этапах S301-S303 можно проводить параллельно.

Например, как показано на фиг. 9, контроллер 101 предписывает контроллеру 109 экспонирования управление диафрагмой 105, механическим затвором 106, блоком 107 захвата изображений и препроцессор 108 для последовательного получения недодержанного изображения 901, передержанного изображения 902 и недодержанного изображения 903 в этом порядке во времени до тех пор, пока не произойдет основное фотографирование. Контроллер 101 может задавать часть с самой низкой яркостью для определения величины E _OVER экспозиции на этапе S302, когда получается передержанное изображение 902. Кроме того, контроллер 101 может задавать часть с самой высокой экспозицией, чтобы определить величину E _UNDER экспозиции на этапе S302 и дополнительно определить условия экспонирования других изображений, необходимых для формирования HDR-изображения, во время получения недодержанного изображения 903 (при таком же условии экспонирования, как и для недодержанного изображения 901). При этом, контроллер 101 сравнивает недодержанные изображения 901 и 903 параллельно вышеупомянутым процессам, задавая области движущегося объекта на этапе S301 и определяя надлежащее условие экспонирования на этапе S303. После изменения одного из условий экспонирования изображений, необходимых для формирования HDR-изображения, к надлежащим условиям экспонирования на этапе S304 контроллер 101 может управлять контроллером 109 экспонирования, чтобы выполнить управление экспонированием для проведения обработки основного фотографирования и обработки комбинирования HDR-изображения на этапе S305 и последующих этапах.

Проводя параллельные процессы таким образом, можно сократить время, необходимое до начала операций основного фотографирования. Например, когда операции фотографирования проводят для формирования непосредственно предшествующего HDR-изображения, можно дополнительно сократить время, необходимое до начала операций основного фотографирования. Считается, что обработка формирования непосредственно предшествующего HDR-изображения проводится для идентичного субъекта, если она проводится в пределах заданного периода времени. По этой причине, контроллер 101 может использовать области движущегося объекта или надлежащее состояние экспонирования, используемые для формирования непосредственно предшествующего HDR-изображения, как информацию об областях движущегося объекта или надлежащем условии экспонирования, например, на этапе S301 или S303. В этом случае, информацию, указывающую области движущегося объекта или надлежащее условие экспонирования, можно хранить в ОЗУ 103.

На этапе S305, контроллер 101 заставляет контроллер 109 экспонирования управлять диафрагмой 105, механическим затвором 106, блоком 107 захвата изображений и препроцессором 108 в измененных условиях экспонирования (этап S304), хранимых в ОЗУ 103, для получения множества изображений, захваченных с разделением по времени. Отметим, что множество по-разному экспонированных изображений, захват которых проведен с разделением по времени, подвергаются заданным процессам в препроцессоре 108 и процессоре 110 изображений, вследствие чего преобразуются в изображения формата YCC, а преобразованные изображения сохраняются в устройстве 111 для запоминания изображений.

Отметим, что из соображений простоты объяснения в описании этого варианта осуществления говорилось о формировании HDR-изображения с использованием трех по-разному экспонированных изображений 1001, 1002 и 1003, как показано на фиг. 10. Однако данное изобретение не ограничивается таким конкретным вариантом осуществления и применимо к формированию с использованием двух или более по-разному экспонированных изображений. Предположим, что величины экспозиции изображений 1001-1003 уменьшаются в указанном порядке, и захват этих изображений во времени происходит последовательно в этом же порядке. В нижеследующем описании эти изображения будут называться передержанным изображением 1001, средне экспонированным изображением 1002 и недодержанным изображением 1003. Каждое изображение включает в себя в качестве субъектов неподвижные объекты 1010 и 1011 и движущиеся объекты 1012 и 1013. Во время операций захвата изображений применительно к множеству изображений движущиеся объекты 1012 и 1013 движутся в направлении вправо по отношению к цифровому фотоаппарату 100.

Когда цифровой фотоаппарат 100 обладает функцией записи, аналогичной по меньшей мере функции оптической или электронной противовибрационной функции (не показано), эта функция применяется к множеству по-разному экспонированных изображений, получаемых на этапе S305.

На этапе S306, контроллер 101 управляет процессором 110 изображений, чтобы провести обработку регулирования уровня тонов до достижения одинаковых значений пикселей, связанных с идентичными субъектами среди множества изображений, хранящихся в устройстве 111 для запоминания изображений. Более конкретно, процессор 110 изображений умножает каждое из множества изображений, хранящихся в устройстве 111 для запоминания изображений, на величину, обратную отношению времени экспозиции этого изображения к наибольшему времени экспозиции изображения, чем и достигается регулирование уровня тонов. Отметим, что контроллер 101 управляет процессором 110 изображений, чтобы обеспечить выдачу и сохранение изображений с отрегулированным уровнем в устройстве 111 для запоминания изображений.

На фиг. 11 показаны диапазоны тонов соответствующих изображений после регулирования уровня тонов и диапазон тонов, который может быть выражен с помощью HDR-изображения, сформированного с использованием множества изображений. На фиг. 11 показано, что в качестве диапазона тонов используются значения пикселей компонентов яркости Y изображения. Кроме того, в соответствующих изображениях с отрегулированным уровнем пороговое значение H_LV яркости высвеченного светлого участка и пороговое значение L_LV яркости потери деталей из-за затенения выражены следующими символами: a соответствует передержанному изображению 1001, b - средне экспонированному изображению 1002, а с - недодержанному изображению 1003.

Отметим, что в этом варианте осуществления значение пикселя указывает тоновые данные пикселя. Когда пиксель представляет собой хроматический пиксель, значение пикселя выражается векторной величиной, имеющей столько элементов, сколько компонентов в цветовом пространстве. То есть некоторое значение конкретного компонента в цветовом пространстве, такое как значение яркости, выражает скалярную величину.

На этапе S307, контроллер 101 обнаруживает пиксели (движущиеся пиксели), соответствующие изменениям объектов во множестве изображений с отрегулированным уровнем, хранящимся в устройстве 111 для запоминания изображений, то есть те, которые соответствуют областям, включающим в себя движущиеся объекты, и изменениям состояний потери деталей из-за затенения или высвеченного светлого участка (второе задание). Более конкретно, контроллер 101 считывает два из множества изображений с отрегулированным уровнем, хранящихся в устройстве 111 для запоминания изображений, и вычисляет разность между значениями пикселей, связанных с пикселем в том же координатном положении. Затем, когда разность между значениями пикселей равна заданному пороговому значению или больше него, контроллер 101 обнаруживает, что этот пиксель является движущимся пикселем. То есть движущиеся пиксели, обнаруживаемые на этом этапе, включают в себя области высвеченного светлого участка и потери деталей из-за затенения, которые изменяются в зависимости от условий экспонирования, в отличие от областей движущегося объекта, заданных на этапе S301. Движущиеся пиксели, обнаруживаемые на этом этапе, указывают пиксели изображения, захваченного для формирования HDR-изображения, которым должны быть присвоены пиксели изображений, захваченных при надлежащем условии экспонирования.

Например, когда разности значений яркости вычисляют для средне экспонированного изображения 1002 и недодержанного изображения 1003, обращаясь к передержанному изображению 1001 с отрегулированным уровнем, суждение о переменной B_MOV булева (логического) типа, указывающей, являются ли пиксели трех изображений движущимися пикселями, выносится с помощью булева выражения, задаваемого следующим образом:

где F - функция, необходимая для вынесения суждения о том, превышает ли разность Y между значениями яркости пикселей пороговое значение Th_MOV, которое задано для вынесения суждения о том, являются ли эти пиксели движущимися пикселями, и выражается следующим образом:

Отметим, что этот вариант осуществления даст нижеследующее описание в предположении, что движущиеся пиксели обнаруживаются с использованием значений пикселей YCC-изображения, хранящегося в устройстве 111 для запоминания изображений. Вместе с тем, данное изобретение не ограничивается таким конкретным вариантом осуществления. Например, когда изображения, хранящиеся в устройстве 111 для запоминания изображений, являются RGB-изображения или RAW-изображениями, суждение о том, является ли пиксель движущимся пикселем, можно вынести, пользуясь абсолютными значениями векторов, каждое из которых указывает соответствующие цветовые компоненты, обуславливающие конфигурацию каждого пикселя, или конкретные цветовые компоненты.

Кроме того, этот вариант осуществления даст нижеследующее описание в предположении, что для комбинирования HDR-изображения используются три изображения. Когда HDR-изображение нужно составить с использованием изображений, количество которых отличается от трех, булево выражение (1) изменяется в зависимости от количества изображений. Суждение о том, являются ли пиксели в одном и том же координатном положении движущимися пикселями, выносится, вызывая необходимость вычислений разностей в количестве, равном количеству изображений, используемых при комбинировании, минус 1. Количество членов булева выражения равно количеству вычислений разности, и вместо выражения (1) можно использовать булево выражение, в котором все члены объединены на условиях ИЛИ. Отметим, что этот вариант осуществления даст нижеследующее описание в предположении, что суждение о булевом выражении выносится путем вычисления применительно к одному изображению разностей значений яркости между этим изображением и еще одним изображением. В альтернативном варианте разности значений яркости между двумя последовательными во времени непрерывными изображениями можно вычислить, не устанавливая какое-либо стандартное изображение.

После обнаружения движущихся пикселей среди передержанного изображения 1001, средне экспонированного изображения 1002 и недодержанного изображения 1003, показанных на фиг. 10, соответствующие пиксели изображения классифицируют, как показано, например, на фиг. 12. На фиг. 12 движущийся пиксель обозначен закрашенным кружком, а пиксель, который не соответствует движущемуся пикселю, обозначен не закрашенным кружком.

На этапе S308, контроллер 101 управляет процессором 110 изображений, чтобы сформировать HDR-изображение, динамический диапазон которого расширен. Более конкретно, контроллер 101 передает информацию движущихся пикселей, обнаруженную на этапе S307, в процессор 110 изображений, и управляет процессором 110 изображений, чтобы сформировать HDR-изображение путем переключения процессов в соответствии с движущимися пикселями и другими пикселями. Процессор 110 изображений формирует значения пикселей для соответствующих пикселей HDR-изображения, формируемого в соответствии с вводимой информацией движущихся пикселей, следующим образом.

Что касается каждого пикселя, определенного как движущийся пиксель, то процессор 110 изображений заменяет в движущемся пикселе неизмененное и находящееся в том же координатном положении в изображении значение пикселя, которое захвачено на этапе S305, при надлежащем условии экспонирования, определенном на этапе S303.

Что касается пикселей, не являющихся движущимися пикселями, то процессор 110 изображений может заменять значения пикселей любого изображения, поскольку эти пиксели не определены как движущиеся пиксели на этапе S307, то есть изменения этих значений пикселей находятся в пределах диапазона порогового значения во всех из множества по-разному экспонированных изображений. Отметим, что когда элемент захвата изображения имеет неудовлетворительные рабочие параметры, или когда препроцессор 108 восприимчив к электрическому воздействию, в значениях пикселей возможно примешивание шума. По этой причине, пиксели, не являющиеся движущимися пикселями, могут быть представлены средневзвешенными значениями значений пикселей всех или некоторых из по-разному экспонированных изображений. Недодержанное изображение умножается на относительно большой коэффициент усиления во время обработки регулирования уровня и подвергается воздействию шума и ошибок квантования из-за конечности уровней тонов аналого-цифрового преобразования. По этой причине, например, при взвешенном усреднении, для недодержанного изображения можно устанавливать меньшие весовые коэффициенты.

Предположим, что HDR-изображение, формируемое процессором 110 изображений на этом этапе, сохраняется в устройстве 111 для запоминания изображений.

На этапе S309, контроллер 101 управляет процессором 110 изображений, чтобы применить обработку отображения тонов или обработку сжатия диапазона к HDR-изображению, сформированному на этапе S308, что приводит к формированию окончательно выдаваемого HDR-изображения.

Отметим, что обработка сжатия диапазона является обработкой, необходимой для согласования глубины цвета, выражаемой в битах, когда выдаваемое изображение превышает желаемую глубину цвета, выражаемую в битах.

Обработка отображением тонов - это коррекционная обработка, необходимая для достижения желаемого выражения тонов, например, путем повышения уровней тонов темной области в изображении и сжатия уровней тонов светлой области. При формировании HDR-области эффективным является применение обработки отображения с тем, чтобы скрыть пиксели высвеченного светлого участка и тона потери деталей из-за затенения, которые остаются даже после HDR-обработки.

В этом варианте осуществления значения пикселей одного экспонированного изображения присваиваются пикселям, обнаруженным как движущиеся пиксели при формировании HDR-изображения. По этой причине обработку отображением тонов можно применить так, что пиксели высвеченного светлого участка и потери деталей из-за затенения этого экспонированного изображения будут приближаться к максимальному или минимальному значению выражения тонов. Таким образом, в окончательно выдаваемом HDR-изображении можно скрыть пиксели высвеченного светлого участка и потери деталей из-за затенения.

Кроме того, при формировании HDR-изображения различные отображаемые кривые преобразования тонов можно использовать при обработке отображения тонов в соответствии с количествами пикселей высвеченного светлого участка и потери деталей из-за затенения, входящими в состав экспонированного изображения, причем эти пиксели присваиваются тем пикселям, которые обнаружены как движущиеся пиксели.

Например, при формировании HDR-изображения, когда количество пикселей потери деталей из-за затенения больше, чем количество пикселей высвеченного светлого участка в экспонируемом изображении, присваиваемых пикселям, обнаруженным как движущиеся пиксели, обработку можно проводить, отображая эти пиксели на кривой 1301 преобразования, показанной на фиг. 13. На фиг. 13 вдоль абсциссы отложены значения тонов изображения, которое должно быть подвергнуто отображению тонов, а вдоль ординаты отложены значения тонов после отображения тонов. Эти оси выражают более высокие уровни тонов в направлении вправо или направлении вверх. На фиг. 13 пунктирная линия 1304, показанная на диагонали, выражает кривую преобразования тонов, используемую, когда надлежит пропустить коррекцию тонов посредством отображения тонов. То есть кривая 1301 преобразования предназначена для того, чтобы приблизить значения тонов пикселей потери деталей из-за затенения к концу, где тона ниже, и увеличить ширины выражения тонов пикселей до уровня, на котором они равны тонам потери деталей из-за затенения или превышают их, чтобы скрыть пиксели потери деталей из-за затенения в экспонированном изображении.

В отличие от этого, когда количество пикселей высвеченного светлого участка больше, чем количество пикселей потери деталей из-за затенения в экспонированном изображении, эти пиксели отображаются на кривой 1302 преобразования. Когда объект имеет широкий динамический диапазон и когда экспонированное изображение включает в себя пиксели как потери деталей из-за затенения, так и высвеченного светлого участка, в аналогичных соотношениях, используется кривая 1303 преобразования. Таким образом, поскольку значения тонов пикселей потери деталей из-за затенения приближаются к концу, где тона ниже, а значения тонов пикселей высвеченного светлого участка приближаются к концу, где тона выше, диапазон выражения полутонов можно расширить, а пиксели потери деталей из-за затенения и высвеченного светлого участка можно скрыть.

Следовательно, путем динамического изменения кривых преобразования тонов, применяемых при обработке отображения тонов, можно скрыть пиксели потери деталей из-за затенения и высвеченного светлого участка в окончательно выдаваемом HDR-изображении.

Обработку согласно этому этапу не нужно проводить, когда выражаемая в битах глубина цвета HDR-изображения, сформированного на этапе S308, является такой же, как выражаемая в битах глубина цвета окончательно выдаваемого HDR-изображения, или когда характеристики тонов уже проявились как желаемые характеристики.

На этапе S310, контроллер 101 управляет процессором 110 изображений, чтобы применить заданную обработку кодирования к окончательно выдаваемому HDR-изображению для преобразования этого изображения в заданный формат записи, а также для выдачи и записи обработанного изображения на носитель 115 записи посредством блока 114 интерфейса носителя записи, что приводит к завершению этой обработки. Кроме того, когда информация управления экспонированием, такая как значение фокусного расстояния и диафрагмы, записывается в качестве метаданных одновременно с HDR-изображением, контроллер 101 получает необходимую информацию установочных параметров захвата изображения и информацию состояния и предписывает запись их на носителе 115 записи.

Отметим, что этот вариант осуществления пояснил случай, в котором записывают окончательно выдаваемое HDR-изображение. Вместе с тем, когда процессы обработки изображения, такие как коррекция тона и/или цвета, и/или контраста и выделение краев, также применяются к HDR-изображению, это HDR-изображение можно сохранять в устройстве 111 для запоминания изображений.

Этот вариант осуществления пояснил случай, в котором формируют HDR-изображение с использованием множества изображений, подобных захватываемым с помощью треноги, и в котором положения неподвижных объектов в изображении, которые заключены в захватываемой сцене, оставляются неизменными. Вместе с тем, данное изобретение этим не ограничивается. Когда положения неподвижных объектов в захваченном изображении, которые заключены в захватываемой сцене, изменяются под влиянием, например, дрожания фотоаппарата, выравнивание положений между изображениями проводят известным способом, и тогда можно судить о пикселях в соответствии с изменениями объектов. Что касается влияния дрожания фотоаппарата, то информацию об ориентации цифрового фотоаппарата 100 при фотографировании каждого изображения обнаруживают, например, с помощью детектора 120 изменения ориентации, обозначенного пунктирной линией на фиг. 1, и это влияние можно скорректировать во время сравнения или комбинирования изображений.

Этот вариант осуществления пояснил случай, в котором используют множество по-разному экспонированных изображений, которые захвачены с разделением по времени. Вместе с тем, данное изобретение применимо также к случаю, в котором формируют HDR-изображение с использованием изображений одной и той же захватываемой сцены (например, изображений, снятых в одно и то же время в разные дни захвата изображений).

Как описано выше, устройство для захвата изображений согласно этому варианту осуществления может устранять прерывистость изображения в изображении, диапазон тонов которого расширен путем комбинирования множества по-разному экспонированных изображений. Более конкретно, устройство для захвата изображений определяет количество изображений (два или более изображений), используемых для формирования HDR-изображения, и условия экспонирования, соответственно, для этих двух или более изображений исходя из распределения значений пикселей всего субъекта. После задания областей движущегося объекта, заключенных в изображениях из множества захваченных с разделением во времени изображений, определяют надлежащее условие экспонирования для положений, соответствующих областям движущегося объекта, и изменяют одно из условий экспонирования двух или более изображений к надлежащему условию экспонирования. Потом устройство для захвата изображений регулирует уровни тонов двух или более изображений, захваченных при определенных условиях экспонирования, включающих в себя измененное надлежащее условие экспонирования, и задает области, в которых разности соответствующих значений пикселей между двумя или более изображениями равны упомянутому пороговому значению или больше него. Потом пиксели изображения, захваченные при надлежащем условии экспонирования, используются в качестве пикселей заданных областей, в которых разности значений пикселя равны упомянутому пороговому значению или больше него, и комбинируют два или более изображений при других пикселях, вследствие чего происходит формирование HDR-изображения.

Таким образом, возможно формирование HDR-изображения, в котором можно избежать прерывистости изображения даже когда области, соответствующие движущимся объектам, включают в себя области высвеченного светлого участка и потери деталей из-за затенения, и которое включает в себя пиксели этих областей в качестве пикселей, захваченных при предпочтительном условии экспонирования.

Другие варианты осуществления

Аспекты данного изобретения можно также воплотить с помощью компьютера системы или аппарата (или таких устройств, как ЦП или микропроцессорный блок (МП)), который считывает и исполняет программу, записанную на запоминающем устройстве, чтобы выполнить функции согласно вышеописанному варианту (вышеописанным вариантам) осуществления, и с помощью способа, этапы которого исполняются компьютером системы или аппарата, например путем считывания и исполнения программы, записанной на запоминающем устройстве, чтобы выполнить функции согласно вышеописанному варианту (вышеописанным вариантам) осуществления. С этой целью программу устанавливают на компьютер, например, через сеть или с носителя записи различных типов (например, считываемого компьютером носителя), служащего в качестве запоминающего устройства.

Хотя данное изобретение описано применительно к возможным вариантам осуществления, следует понять, что изобретение не ограничивается описанными возможными вариантами осуществления. Объем притязаний нижеследующей формулы изобретения следует толковать в соответствии с самой широкой интерпретацией как охватывающий все такие модификации, а также эквивалентные конструкции и функции.