устройство и способ обработки изображений и программа

Формула изобретения

1. Устройство обработки изображений, содержащее: средство вычисления первого значения оценки для извлечения количественного значения первой характеристики из всего входного изображения и для вычисления первого частичного значения оценки, характеризующего основанную на первой характеристике оценку входного изображения, на основе количественного значения первой характеристики; средство вычисления второго значения оценки для извлечения количественного значения второй характеристики из заданной области входного изображения и для вычисления второго частичного значения оценки, характеризующего основанную на второй характеристике оценку входного изображения, на основе количественного значения второй характеристики; и средство вычисления суммарного значения оценки для вычисления суммарного значения оценки, характеризующего для входного изображения оценку состояния фиксации изображения, на основе первого частичного значения оценки и второго частичного значения оценки, при этом средство вычисления второго частичного значения оценки включает в себя средство идентификации области объекта для извлечения из соответствующих областей входного изображения количественного значения третьей характеристики, которой обладает область объекта на входном изображении, с тем, чтобы идентифицировать область объекта на входном изображении, и средство вычисления для извлечения количественного значения второй характеристики из области объекта, в которой на входном изображении содержится объект, или области заднего плана, в которой на входном изображении объект не содержится, и для вычисления второго частичного значения оценки.

2. Устройство обработки изображений по п.1, в котором средство вычисления выполнено с возможностью извлекать в качестве количественного значения второй характеристики значение яркости в соответствующих областях области объекта на входном изображении и вычислять второе частичное значение оценки на основе распределения значений яркости в области объекта.

3. Устройство обработки изображений по п.1, в котором средство вычисления выполнено с возможностью извлекать в качестве количественного значения второй характеристики контрастность контура в соответствующих областях области заднего плана на входном изображении и вычислять второе частичное значение оценки на основе сложности контура в области заднего плана.

4. Устройство обработки изображений по п.1, в котором средство вычисления первого значения оценки выполнено с возможностью вычислять первое частичное значение оценки на основе по меньшей мере одного показателя из степени размытости, распределения цвета, среднего значения насыщенности цвета и дисперсии насыщенности цвета на всем входном изображении.

5. Устройство обработки изображений по п.1, в котором средство вычисления суммарного значения оценки выполнено с возможностью суммировать значение, заранее определенное в качестве значения первого частичного значения оценки, и значение, заранее определенное в качестве значения второго частичного значения оценки, с тем, чтобы вычислить суммарное значение оценки.

6. Устройство обработки изображений по п.5, в котором значение, заранее определенное в качестве значения первого частичного значения оценки, определено на основе первого частичного значения оценки для множества изображений, имеющих различные оценки состояния фиксации изображения, причем указанные оценки получены заранее, при этом значение, заранее определенное в качестве значения второго частичного значения оценки, определено на основе второго частичного значения оценки для множества изображений, имеющих различные оценки состояния фиксации изображения, причем указанные оценки получены заранее.

7. Способ обработки изображений для использования с устройством обработки изображений, включающим в себя: средство вычисления первого значения оценки для извлечения количественного значения первой характеристики из всего входного изображения и для вычисления первого частичного значения оценки, характеризующего основанную на первой характеристике оценку входного изображения, на основе количественного значения первой характеристики, средство вычисления второго значения оценки для извлечения количественного значения второй характеристики из заданной области входного изображения и для вычисления второго частичного значения оценки, характеризующего основанную на второй характеристике оценку для входного изображения, на основе количественного значения второй характеристики; и средство вычисления суммарного значения оценки для вычисления суммарного значения оценки, характеризующего для входного изображения оценку состояния фиксации изображения, на основе первого частичного значения оценки и второго частичного значения оценки, при этом средство вычисления второго частичного значения оценки включает в себя средство идентификации области объекта для извлечения из соответствующих областей входного изображения количественного значения третьей характеристики, которой обладает область объекта на входном изображении, с тем, чтобы идентифицировать область объекта на входном изображении, и средство вычисления для извлечения количественного значения второй характеристики из области объекта, в которой на входном изображении содержится объект, или области заднего плана, в которой на входном изображении объект не содержится, и для вычисления второго частичного значения оценки, характеризующийся тем, что содержит этапы, на которых: вычисляют первое частичное значение оценки на основе входного изображения при помощи средства вычисления первого значения оценки; вычисляют второе частичное значение оценки на основе входного изображения при помощи средства вычисления второго значения оценки и вычисляют суммарное значение оценки на основе первого частичного значения оценки и второго частичного значения оценки при помощи средства вычисления суммарного значения оценки.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству и способу обработки изображений и программе и, в частности, относится к устройству и способу обработки изображений и программе, которые способны более подходящим образом оценивать для зафиксированного изображения состояния фиксации изображения.

Уровень техники

До настоящего времени существовала известная технология для вычисления значения оценки, указывающего оценку того, удовлетворительно или нет было зафиксировано изображение, получаемое путем выполнения фиксации изображения с использованием устройства фиксации изображения, то есть характеризующую для изображения оценку состояния фиксации изображения.

Пример технологии для вычисления значения оценки состояния фиксации изображения представляет собой технологию, при которой из всего изображения извлекается количественное значение для каждой характеристики, для каждой характеристики изображения получают оценку, и оценки для каждой из этих характеристик суммируются, посредством чего вычисляется суммарная оценка (см., например, NPL1). В частности, в технологии, раскрытой в NPL1, в качестве оценки для каждой характеристики вычисляется оценка, основанная на сложности контура, размере ограничивающего прямоугольника, степени размытости и тому подобном.

Список цитируемых документов

Непатентная литература

NPL1: Yan Kе, Xiaoou Tang, Feng Jing "The Design of High-Level Features for Photo Quality Assessment" ("Разработка характеристик высокого уровня для оценки качества фотографии", [публикация в сети "Интернет"], [поиск 3 июня 2009 г.], унифицированный указатель информационного ресурса в сети "Интернет": <URL:http://www.cs.cmu.edu/кyke/photoqual/cvpr06photo.pdf*search='The Design of HighLevel Features for Photo Quality Assessments'>

Раскрытие изобретения

Техническая задача

Однако в вышеупомянутой технологии, было трудно надлежащим образом оценивать для изображения состояние фиксации изображения. То есть в технологии, раскрытой в NPL1, из всего изображения извлекается количественное значение каждой характеристики и выполняется вычисление значения оценки. Следовательно, в зависимости от характеристики, используемой для оценки изображения, становится невозможным вычислить надлежащее значение оценки.

Например, обычно изображение, в котором участок, занимаемый задним планом, является простым, то есть изображение, в котором контур не является сложным на участке, занимаемым задним планом, считается зафиксированным удовлетворительным образом, и признается изображением, имеющим высокую оценку. При этом предполагается, что имеется типичное изображение, имеющее высокую оценку, в котором площадь участка, занимаемого объектом, на изображении является большой, и участок, занимаемый объектом, имеет сложный контур, но контур на участке, занимаемом задним планом, не является сложным. В этом случае, если в качестве одной характеристики из изображения извлекается контрастность контура и получают оценку, основанную на сложности контура, контур считается сложным по всему изображению, полученное значение оценки становится оценкой, более низкой, чем оценка, которая должна была бы быть получена изначально.

Настоящее изобретение было сделано ввиду такого рода обстоятельств и имеет своей целью позволить более подходящим образом оценивать для изображения состояния фиксации изображения.

Решение задачи

Устройство обработки изображений, соответствующее одному аспекту настоящего изобретения, включает в себя: средство вычисления первого значения оценки для извлечения количественного значения первой характеристики из всего входного изображения и для вычисления первого частичного значения оценки, характеризующего оценку входного изображения на основе первой характеристики на основе количественного значения первой характеристики; средство вычисления второго значения оценки для извлечения количественного значения второй характеристики из заданной области входного изображения и для вычисления второго частичного значения оценки, характеризующего оценку входного изображения на основе второй характеристики на основе количественного значения второй характеристики; и средство вычисления суммарного значения оценки для вычисления суммарного значения оценки, характеризующего для входного изображения оценку состояния фиксации изображения на основе первого частичного значения оценки и второго частичного значения оценки.

Средство вычисления второго частичного значения оценки может включать в себя средство идентификации области, занимаемой объектом, для извлечения из соответствующих областей входного изображения количественного значения третьей характеристики, которой обладает область объекта на входном изображении, таким образом, чтобы идентифицировать область объекта на входном изображении, и средство вычисления для извлечения количественного значения второй характеристики из области объекта, в которой на входном изображении содержится объект, и/или области заднего плана, в которой на входном изображении объект не содержится, и для вычисления второго частичного значения оценки.

Средство вычисления может быть выполнено с возможностью извлекать, в качестве количественного значения второго признака, значение яркости соответствующих областей области объекта на входном изображении, и вычислять второе частичное значение оценки на основе распределения значений яркости в области объекта.

Средство вычисления может быть выполнено с возможностью извлекать в качестве количественного значения второго признака, контрастность контура в соответствующих областях области заднего плана на входном изображении и вычислять второе частичное значение оценки на основе сложности контура в области заднего плана.

Средство вычисления первого значения оценки может быть выполнено с возможностью вычислять первое частичное значение оценки на основе по меньшей мере одной характеристики из степени размытости, распределения цвета, среднего значения насыщенности цвета и дисперсии насыщенности цвета на всем входном изображении.

Средство вычисления суммарного значения оценки может быть выполнено с возможностью суммировать значение, которое заранее определено в отношении первого частичного значения оценки, и значение, которое заранее определено в отношении второго частичного значения оценки, для вычисления суммарного значения оценки.

Значение, которое заранее определено в отношении значения первого частичного значения оценки, может быть определено на основе первого частичного значения оценки для множества изображений, имеющих различные оценки состояний фиксации изображения, причем эти оценки получены заранее, и при этом значение, которое заранее определено в отношении значения второго частичного значения оценки, может быть определено на основе второго частичного значения оценки для множества изображений, имеющих различные оценки состояния фиксации изображения, причем эти оценки получены заранее.

Способ или программа обработки изображений согласно одному аспекту настоящего изобретения включает в себя этапы, на которых: извлекают количественное значение первой характеристики из всего входного изображения и вычисляют первое частичное значения оценки, характеризующее оценку входного изображения, основанную на первой характеристике, на основе количественного значения первой характеристики; извлекают количественное значение второй характеристики из заданной области входного изображения и вычисляют второе частичное значение оценки, характеризующее оценку входного изображения, основанную на второй характеристике, на основе количественного значения второй характеристики; и вычисляют суммарное значение оценки, характеризующее оценку состояния фиксации изображения для входного изображения, на основе первого частичного значения оценки и второго частичного значения оценки.

В одном аспекте настоящего изобретения количественное значение первой характеристики извлекается из всего входного изображения. Первое частичное значение оценки, характеризующее оценку входного изображения, основанную на первой характеристике, вычисляется на основе количественного значения первой характеристики. Количественное значение второй характеристики извлекается из заданной области входного изображения. Второе частичное значение оценки, характеризующее оценку входного изображения, основанную на втором признаке, вычисляется на основе количественного значения второй характеристики. Суммарное значение оценки, характеризующее оценку состояния фиксации изображения для входного изображения, вычисляется на основе первого частичного значения оценки и второго частичного значения оценки.

Полезные результаты изобретения

В соответствии с первым аспектом настоящего изобретения имеется возможность более надлежащим образом оценивать для изображения состояние фиксации изображения.

Краткое описание чертежей

Фиг.1 иллюстрирует пример конфигурации варианта реализации устройства обработки изображений, к которому применимо настоящее изобретение.

Фиг.2 иллюстрирует пример конфигурации модуля вычисления количественного показателя степени размытости.

Фиг.3 иллюстрирует пример конфигурации модуля вычисления количественного показателя яркости.

Фиг.4 иллюстрирует пример конфигурации модуля извлечения объекта.

Фиг.5 иллюстрирует пример конфигурации модуля извлечения информации о яркости.

Фиг.6 иллюстрирует пример конфигурации модуля извлечения информации о цвете.

Фиг.7 иллюстрирует пример конфигурации модуля извлечения информации о контурах.

Фиг.8 иллюстрирует пример конфигурации модуля извлечения информации о лице.

Фиг.9 иллюстрирует пример конфигурации модуля вычисления количественного показателя контура.

Фиг.10 иллюстрирует пример конфигурации модуля вычисления количественного показателя распределения цвета.

Фиг.11 иллюстрирует пример конфигурации модуля вычисления количественного показателя насыщенности цвета.

Фиг.12 представляет собой блок-схему алгоритма, иллюстрирующую процесс отображения слайд-шоу (демонстрации слайдов).

Фиг.13 иллюстрирует пример таблицы преобразования количественных показателей степени размытости.

Фиг.14 иллюстрирует способ определения количественного показателя степени размытости.

Фиг.15 представляет собой блок-схему алгоритма, иллюстрирующую процесс вычисления степени размытости.

Фиг.16 иллюстрирует создание карты контуров.

Фиг.17 иллюстрирует создание локального максимума.

Фиг.18 иллюстрирует пример контура.

Фиг.19 представляет собой блок-схему алгоритма, иллюстрирующую процесс вычисления количественного показателя яркости.

Фиг.20 представляет собой блок-схему алгоритма, иллюстрирующую процесс создания карты объекта.

Фиг.21 представляет собой блок-схему алгоритма, иллюстрирующую процесс извлечения информации о яркости.

Фиг.22 представляет собой блок-схему алгоритма, иллюстрирующую процесс извлечения информации о цвете.

Фиг.23 представляет собой блок-схему алгоритма, иллюстрирующую процесс извлечения информации о контурах.

Фиг.24 представляет собой блок-схему алгоритма, иллюстрирующую процесс извлечения информации о лице.

Фиг.25 представляет собой блок-схему алгоритма, иллюстрирующую процесс вычисления количественного показателя контура.

Фиг.26 представляет собой блок-схему алгоритма, иллюстрирующую процесс вычисления количественного показателя распределения цветов.

Фиг.27 представляет собой блок-схему алгоритма, иллюстрирующую процесс вычисления количественного показателя насыщенности.

Фиг.28 иллюстрирует приводимую в качестве примера конфигурацию компьютера.

Описание вариантов реализации изобретения

Ниже со ссылкой на чертежи будет дано описание вариантов реализации, в которых применено настоящее изобретение.

Конфигурация устройства обработки изображений

Фиг.1 иллюстрирует пример конфигурации варианта реализации устройства обработки изображений, в котором применимо настоящее изобретение.

Это устройство 11 обработки изображений вычисляет в отношении входного изображения, полученного путем фиксации изображения с использованием устройства фиксации изображения, такого как, например, фотокамера, значение оценки (в дальнейшем именуемое суммарным количественным показателем), характеризующее оценку в отношении того, было ли входное изображение зафиксировано удовлетворительным образом, то есть состояние фиксации изображения, для этого входного изображения (внешний вид входного изображения). Предполагается, что чем ближе входное изображение к изображению, зафиксированному более профессиональным фотографом, тем выше будет оценка входного изображения и тем меньше будет значение суммарного количественного показателя для этого входного изображения. Таким образом, предполагается, что чем меньше значение суммарного количественного показателя, тем более удовлетворительно было зафиксировано изображение.

Устройство 11 обработки изображений включает в себя записывающий модуль 21, получающий модуль 22, модуль 23 вычисления количественного показателя степени размытости, модуль 24 вычисления количественного показателя яркости, модуль 25 вычисления количественного показателя контура, модуль 26 вычисления количественного показателя распределения цветов, модуль 27 вычисления количественного показателя насыщенности, модуль 28 вычисления суммарного количественного показателя, модуль 29 управления отображением и модуль 30 отображения.

Записывающий модуль 21 образован жестким магнитным диском или тому подобным и имеет записанное на нем множество входных изображений, введенных пользователем с использованием устройства фиксации изображения. Например, предполагается, что входное изображение представляет собой изображение, в котором каждый пиксель имеет в качестве значения пикселя значение R (красной), G (зеленой) и В (синей) составляющих. Получающий модуль 22 получает входное изображение от записывающего модуля 21 и предоставляет его модулям: от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности, и модулю 29 управления отображением.

Из входного изображения, предоставляемого получающим модулем 22, модули от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности извлекают количественное значение заранее определенной характеристики и вычисляют количественный показатель каждой характеристики, характеризующей оценку входного изображения на основе этого признака.

А именно, модуль 23 вычисления количественного показателя степени размытости извлекает из входного изображения в качестве количественного значения заранее определенной характеристики контрастность контура изображения и вычисляет на основе этой контрастности контура изображения количественный показатель степени размытости, характеризующий степень размытости входного изображения. Модуль 24 вычисления количественного показателя яркости извлекает из входного изображения в качестве количественного значения заранее определенной характеристики значение яркости и вычисляет на основе этого значения яркости количественный показатель яркости, характеризующий оценку, основанную на распределении значений яркости на участке объекта (участке переднего плана) входного изображения.

Модуль 25 вычисления количественного показателя контура извлекает из входного изображения в качестве количественного значения заранее определенной характеристики контрастность контура изображения и вычисляет на основе этой контрастности контура изображения количественный показатель контура, характеризующий оценку, основанную на степени сложности контура на участке заднего плана на входном изображении. Модуль 26 вычисления количественного показателя распределения цвета извлекает из входного изображения в качестве количественного значения заранее определенной характеристики, составляющие каждого цвета и вычисляет на основе составляющей цвета количественный показатель распределения цвета, характеризующий оценку, основанную на распределении цвета на входном изображении.

Модуль 27 вычисления количественного показателя насыщенности цвета извлекает из входного изображения в качестве количественного значения заранее определенной характеристики насыщенность цвета и вычисляет на основе насыщенности цвета количественный показатель насыщенности цвета, характеризующий оценку, основанную на среднем и дисперсии распределения насыщенности цвета на входном изображении. Модули от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности цвета, предоставляют вычисленные количественный показатель степени размытости, количественный показатель яркости, количественный показатель контура, количественный показатель распределения цвета и количественный показатель насыщенности цвета модулю 28 вычисления суммарного количественного показателя.

В дальнейшем, когда нет особой необходимости различать между собой количественный показатель степени размытости, количественный показатель яркости, количественный показатель контура, количественный показатель распределения цвета и количественный показатель насыщенности цвета, они также будут просто именоваться как количественный показатель некоторой характеристики.

Модуль 28 вычисления суммарного количественного показателя вычисляет суммарный количественный показатель на основе количественного показателя по отдельно взятым признакам, предоставляемого модулями от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности цвета, и предоставляет суммарный количественный показатель модулю 29 управления отображением. На основе суммарного количественного показателя, поступающего из модуля 28 вычисления суммарного количественного показателя, модуль 29 управления отображением выбирает из числа входных изображений, предоставляемых из получающего модуля 22, несколько входных изображений, имеющих высокую оценку. Кроме того, модуль 29 управления отображением предоставляет выбранное входное изображение модулю 30 отображения таким образом, чтобы управлять отображением этого входного изображения. Модуль 30 отображения выполнен, например, из жидкокристаллического дисплея, и отображает входное изображение под управлением модуля 29 управления отображением.

Конфигурация модуля вычисления количественного показателя степени размытости

Кроме того, модуль 23 вычисления количественного показателя степени размытости, показанный на фиг.1, если описать его более подробно, сконфигурирован так, как это показано на фиг.2.

А именно, модуль 23 вычисления количественного показателя степени размытости включает в себя модуль 61 создания карты контуров, модуль 62 определения динамического диапазона, модуль 63 настройки параметра вычисления, модуль 64 генерирования локальных максимумов, модуль 65 извлечения точек контура, модуль 66 определения объема извлечения, модуль 67 анализа контура и модуль 68 определения степени размытости.

На основе входного изображения, предоставляемого из получающего модуля 22, модуль 61 создания карты контуров определяет контрастность контура (контурную контрастность) входного изображения в единицах блоков трех типов имеющих размеры, отличающиеся друг от друга, и создает карту контуров, в которой значением пикселя является эта контрастность контура, которую определили. Эта карта контуров создается для каждого размера блока, и, начиная по порядку с малого блока, карты контуров задаются как карты контуров в масштабах: с масштаба SC 1 по масштаб SC 3. Модуль 61 создания карты контуров предоставляет эти созданные три карты контуров модулю 62 определения динамического диапазона и модулю 64 генерирования локальных максимумов.

Модуль 62 определения динамического диапазона, используя карту контуров, поступающую из модуля 61 создания карты контуров, определяет динамический диапазон, который представляет собой разность между максимальным значением и минимальным значением контрастности контура входного изображения, и предоставляет результат этого определения модулю 63 настройки параметра вычисления.

На основе результата определения, предоставляемого из модуля 62 определения динамического диапазона, модуль 63 настройки параметра вычисления настраивает параметр вычисления, используемый для извлечения точки контура, таким образом, чтобы количество извлечений точки контура (в дальнейшем также именуемое как извлекаемое количество точки контура), используемое для определения степени размытости входного изображения, приняло надлежащее значение. При этом термин "точка контура" относятся к пикселю, формирующему контур на изображении.

Кроме того, этот параметр вычисления содержит опорное значение для извлечений, используемое для определения того, является ли надлежащим опорное значение для контура, используемое для определения того, является ли точка контура точкой контура, и того, является ли надлежащим количество извлечений точки контура. Модуль 63 настройки параметра вычисления предоставляет опорное значение для контура модулю 65 извлечения точек контура и модулю 66 определения количества извлечений и предоставляет опорное значение для извлечений модулю 66 определения количества извлечений.

Модуль 64 генерирования локальных максимумов делит каждую из карт контуров, предоставляемых из модуля 61 создания карты контуров, на блоки, каждый из которых имеет заданный размер, и извлекает максимальное значение для значения пикселя каждого блока, генерируя, таким образом, локальный максимум. Локальный максимум генерируется для каждого масштаба карты контуров и предоставляется из модуля 64 генерирования локальных максимумов модулю 65 извлечения точек контура и модулю 67 анализа контура. В дальнейшем локальные максимумы, сгенерированные на основе карт контуров в масштабах от масштаба SC 1 до масштаба SC 3 будут именоваться, соответственно, локальными максимумами: от локального максимума LM 1 до локального мксимума LM 3.

Модуль 65 извлечения точек контура извлекает точку контура из входного изображения, основываясь на опорном значении для контура, поступающем из модуля 63 настройки параметра вычисления, и локальных максимумах, поступающих из модуля 64 генерирования локальных максимумов. Кроме того, модуль 65 извлечения точек контура генерирует таблицу точек контура, указывающую информацию об извлеченной точке контура, и предоставляет эту таблицу точек контура модулю 66 определения количества извлечений. Между тем, таблицы точек контура, полученные на основе локальных максимумов: от локального максимума LM 1 до локального максимума LM 3, будут, соответственно, именоваться таблицами точек контура: соответственно, от таблицы (ЕТ 1) точек контура до таблицы (ЕТ 3) точек контура.

Модуль 66 определения количества извлечений определяет, основываясь на таблице точек контура, поступающих из модуля 65 извлечения точек контура, и опорном значении для извлечений, поступающем из модуля 63 настройки параметра вычисления, действительно ли количество извлечений точек контура является надлежащим. В случае, при котором количество извлечений точек контура не является надлежащим, модуль 66 определения количества извлечений уведомляет модуль 63 настройки параметра вычисления о том факте, что количество извлечений точек контура не является надлежащим. В случае, при котором количество извлечений точек контура является надлежащим, модуль 66 определения количества извлечений предоставляет опорное значение для контура и таблицу точек контура модулю 67 анализа контура.

Модуль (247) анализа контура выполняет, основываясь на таблицах точек контура, поступающих из модуля 66 определения количества извлечений, анализ точки контура входного изображения, и предоставляет результат этого анализа модулю 68 определения степени размытости. На основе результата анализа и точки контура модуль 68 определения степени размытости определяет степень размытости, которая является показателем, указывающим степень размытости входного изображения, и предоставляет эту степень размытости в качестве количественного показателя степени размытости модулю 28 вычисления суммарного количественного показателя.

Конфигурация модуля вычисления количественного показателя яркости

Кроме того, модуль 24 вычисления количественного показателя яркости, показанный на фиг.1, если описать его более подробно, сконфигурирован так, как это показано на фиг.3.

А именно, модуль 24 вычисления количественного показателя яркости образован модулем 91 извлечения объекта, модулем 92 умножения, модулем 93 генерирования гистограммы, модулем 94 нормирования и модулем 95 вычисления количественного показателя. Входное изображение, поступающее из получающего модуля 22, предоставляется модулю 21 извлечения объекта и модулю 92 умножения.

На основе входного изображения, предоставленного из получающего модуля 22, модуль 91 извлечения объекта создает карту объекта для извлечения области на входном изображении, содержащей объект, и предоставляет эту карту объекта модулю 92 умножения.

Например, значение пикселя для пикселя на карте объекта устанавливается в "1" в случае, при котором согласно оценке область входного изображения, находящаяся в том же самом месте, что и область этого пикселя, является областью, содержащей объект, и устанавливается в "0" в случае, при котором согласно оценке область входного изображения, находящаяся в том же самом месте, что и область этого пикселя, является областью, в которой объект не содержится. Кроме того, как предполагается, упоминаемый здесь объект является целевым предметом на входном изображении, на который обращает внимание пользователь в случае, когда пользователь бросает быстрый взгляд на входное изображение, то есть, целевым предметом, на который пользователь, согласно оценке, обращает внимание. Следовательно, термин "объект" не обязательно ограничен человеком.

Умножая значение пикселя для пикселя входного изображения, поступающего из получающего модуля 22, на значение пикселя для пикселя карты объекта, поступающей из модуля 91 извлечения объекта, модуль 92 умножения генерирует изображение объекта, которое является изображением области объекта, на входном изображении, и предоставляет изображение объекта модулю 93 генерирования гистограммы. На изображении объекта значение пикселя для пикселя участка, занимаемого объектом, принимает то же самое значение, что и значение пикселя для пикселя входного изображения, находящегося в том же самом месте, что и этот пиксель. На изображении объекта значение пикселя для пикселя участка, занимаемого задним планом, не содержащего объект, устанавливается в "0". Таким образом, процесс умножения в модуле 92 умножения позволяет идентифицировать (извлечь) область объекта на входном изображении, и генерируется изображение объекта, сформированное из участка объекта.

На основе изображения объекта, поступающего из модуля 92 умножения, модуль 93 генерирования гистограммы генерирует гистограмму значений яркости изображения объекта, и предоставляет эту гистограмму модулю 94 нормирования. Модуль 94 нормирования нормирует гистограмму, поступающую из модуля 93 генерирования гистограммы, и предоставляет ее модулю 95 вычисления количественного показателя. Кроме того, на основе гистограммы, предоставляемой из модуля 94 нормирования, модуль 95 вычисления количественного показателя вычисляет количественный показатель яркости и предоставляет его модулю 28 вычисления суммарного количественного показателя.

Конфигурация модуля извлечения объекта

При этом модуль 91 извлечения объекта, показанный на фиг.3, если описать его более подробно, сконфигурирован так, как это показано на фиг.4.

А именно, модуль 91 извлечения объекта образован модулем 121 извлечения информации о яркости, модулем 122 извлечения информации о цвете, модулем 123 извлечения информации о контурах, модулем 124 извлечения информации о лице и модулем 125 создания карты объекта. Кроме того, входное изображение, поступающее из получающего модуля 22, предоставляется модулям от модуля 121 извлечения информации о яркости до модуля 124 извлечения информации о лице, входящих в состав модуля 91 извлечения объекта.

Модули от модуля 121 извлечения информации о яркости до модуля 124 извлечения информации о лице извлекают количественное значение характеристик, которыми обладает область объекта, из входного изображения, предоставляемого из получающего модуля 22, и создают карту информации, указывающую вероятность того, что область является объектом в соответствующих областях входного изображения.

В частности, модуль 121 извлечения информации о яркости извлекает из входного изображения значение яркости, создает карту информации о яркости, указывающую информацию, касающуюся яркости в соответствующих областях входного изображения, и предоставляет карту информации о яркости модулю 125 создания карты объекта. Модуль 122 извлечения информации о цвете извлекает из входного изображения составляющие предварительно заданного цвета, создает карту информации о цвете, указывающую информацию, касающуюся цвета в соответствующих областях входного изображения, и предоставляет карту информации о цвете модулю 125 создания карты объекта.

Модуль 123 извлечения информации о контурах извлекает из входного изображения контрастность контуров, создает карту информации о контурах, указывающую информацию, касающуюся контура в соответствующих областях входного изображения, и предоставляет карту информации о контурах модулю 125 создания карты объекта. Модуль 124 извлечения информации о лице извлекает количественное значение характеристики, которой обладает лицо человека, из входного изображения, создает карту информации о лице, указывающую информацию, касающуюся лица человека как объекта в соответствующих областях входного изображения, и предоставляет карту информации о лице модулю 125 создания карты объекта.

Между тем, далее, в случае, при котором не требуется индивидуальным образом отличать друг от друга карты от карты информации о яркости до карты информации о лице, которые выводятся из модулей от модуля 121 извлечения информации о яркости до модуля 124 Извлечения информации о лице, они будут также именоваться просто информационной картой. Информация, содержащаяся в этих информационных картах, представляет собой информацию, указывающую количественное значение характеристик, которые содержатся в большей степени в области, в которой содержится объект, и эта информация, которая размещена таким образом, чтобы соответствовать соответствующим областям входного изображения, выполнена в виде информационной карты. Таким образом, можно сказать, что информационная карта представляет собой информацию, указывающую значение характеристики в соответствующих областях входного изображения.

Следовательно, область входного изображения, соответствующая области, имеющей больший объем информации, то есть область, имеющая большие количественные значения характеристики, представляет собой область, имеющую более высокую вероятность содержания в ней объекта, что делает возможным идентифицировать на базе каждой информационной карты область, в которой на входном изображении содержится объект.

Модуль 125 создания карты объекта линейным образом объединяет информационные карты, предоставляемые из модулей от модуля 121 извлечения информации о яркости до модуля 124 извлечения информации о лице, для создания карты объекта. А именно информация (количественное значение характеристики) соответствующих областей для карт от карты информации о яркости до карты информации о лице подвергается взвешенному суммированию для каждой области, расположенной в одном и том же месте, формируя карту объекта. Модуль 125 создания карты объекта предоставляет созданную карту объекта модулю 92 умножения.

Конфигурация модуля извлечения информации о яркости

Далее со ссылкой на фиг.5-8 будет описана более детализированная конфигурация модулей от модуля 121 извлечения информации о яркости до модуля 124 извлечения информации о лице, показанные на фиг.4.

Фиг.5 иллюстрирует пример более детализированной конфигурации модуля 121 извлечения информации о яркости.

Модуль 121 извлечения информации о яркости образован модулем 151 генерирования изображения яркости, модулем 152 генерирования пирамидного изображения, модулем 153 вычисления разности и модулем 154 создания карты информации о яркости.

Модуль 151 генерирования изображения яркости генерирует, используя входное изображение, предоставляемое из получающего модуля 22, изображение яркости, в котором пиксельное значение для пикселя представляет собой значение яркости пикселя входного изображения, и предоставляет это изображение яркости модулю 152 генерирования пирамидного изображения. При этом значение пикселя для произвольного пикселя изображения яркости указывает значение яркости пикселя входного изображения, расположенного в том же самом месте, что и место расположения этого произвольного пикселя.

Модуль 152 генерирования пирамидного изображения генерирует, используя изображение яркости, предоставляемое из модуля 151 генерирования изображения яркости, множество изображений яркости, имеющих разрешения, отличающиеся друг от друга, и предоставляет эти изображения яркости, в качестве пирамидных изображений яркости, модулю 153 вычисления разности.

Например, генерируются пирамидные изображения L1-L8 иерархических представлений восьми разрешений с уровня L1 по уровень L8. Пирамидное изображение L1 уровня L1 имеет самое высокое разрешение, и предполагается, что разрешения пирамидных изображений заданы таким образом, чтобы быть последовательно убывающими по порядку от уровня L1 до уровня L8.

В этом случае, изображение яркости, сгенерированное модулем 151 генерирования изображения яркости, задается как пирамидное изображение уровня L1. Кроме того, среднее значение значений пикселей для четырех примыкающих друг к другу пикселей в пирамидном изображении уровня Li (где 1 i 7) задается как значение пикселя для одного пикселя пирамидного изображения на уровне L(i+1), соответствующего этим пикселям. Следовательно, пирамидное изображение уровня L(i+1) станет изображением, имеющим размер, который по горизонтали и вертикали составляет половину (округленно, если не делится нацело) размера пирамидного изображения уровня Li.

Модуль 153 вычисления разности выбирает два пирамидных изображения различных иерархических представлений из числа множества пирамидных изображений, предоставляемых из модуля 152 генерирования пирамидного изображения, и получают разность выбранных пирамидных изображений таким образом, чтобы сгенерировать изображение разности яркости. Между тем, поскольку размеры (количество пикселей) пирамидных изображений каждого иерархического представления отличаются друг от друга, то при генерировании изображений разности меньшее пирамидное изображение подвергается повышающему преобразованию в соответствии с большим пирамидным изображением.

Когда модуль 153 вычисления разности сгенерирует предварительно указанное количество изображений разности яркости, модуль 153 вычисления разности нормирует эти сгенерированные изображения разности и предоставляет их модулю 154 создания карты информации о яркости. Модуль 154 создания карты информации о яркости создает, основываясь на изображениях разности, предоставляемых из модуля 153 вычисления разности, карту информации о яркости, и предоставляет эту карту информации о яркости модулю 125 создания карты объекта.

Конфигурация модуля извлечения информации о цвете

Фиг.6 иллюстрирует пример более детализированной конфигурации модуля 122 извлечения информации о цвете, показанного на фиг.4.

Модуль 122 извлечения информации о цвете образован модулем 181 генерирования изображения разности "красное/зеленое", модулем 182 генерирования изображения разности "синее/желтое", модулем 183 генерирования пирамидного изображения, модулем 184 генерирования пирамидного изображения, модулем 185 вычисления разности, модулем 186 вычисления разности, модулем 187 создания карты информации о цвете и модулем 188 создания карты информации о цвете.

Используя входное изображения, предоставляемое из получающего модуля 22, модуль 181 генерирования изображения разности "красное/зеленое" генерирует изображение разности "красное/зеленое", в котором значением пикселя для пикселя входного изображения является разность между R (красными) составляющими и G (зелеными) составляющими, и предоставляет это изображение разности "красное/ зеленое" модулю 183 генерирования пирамидного изображения. Значение пикселя для произвольного пикселя изображения разности "красное/зеленое" указывает значение разности между красными составляющими и зелеными составляющими пикселя входного изображения, который находится в том же самом месте, что и место расположения этого произвольного пикселя.

Используя входное изображения, предоставляемое из получающего модуля 22, модуль 182 генерирования изображения разности "синее/желтое" генерирует изображение разности "синее/желтое", в котором значением пикселя для пикселя входного изображения является разность между В (синими) составляющими и Y (желтыми) составляющими, и предоставляет это изображение разности "синее/желтое" модулю 184 генерирования пирамидного изображения. Значение пикселя для произвольного пикселя изображения разности "синее/желтое" указывает значение разности между В (синими) составляющими и Y (желтыми) составляющими пикселя входного изображения, который находится в том же самом месте, что и место расположения этого произвольного пикселя.

Модуль 183 генерирования пирамидного изображения и модуль 184 генерирования пирамидного изображения генерируют множество изображений разности "красное/зеленое" и изображений разности "синее/желтое", имеющих разрешения, отличающиеся друг от друга, используя изображение разности "красное/зеленое" и изображение разности "синее/желтое", предоставляемые, соответственно, из модуля 181 генерирования изображения разности "красное/зеленое" и модуля 182 генерирования изображения разности "синее/желтое". Затем, модуль 183 генерирования пирамидного изображения и модуль 184 генерирования пирамидного изображения предоставляют эти сгенерированные изображение разности "красное/зеленое" и изображение разности "синее/желтое" в качестве пирамидного изображения разности "красное/зеленое" и пирамидного изображения разностей "синее/желтое" модулю 185 вычисления разности и модулю 186 вычисления разности, соответственно.

Например, в качестве пирамидных изображений разности "красное/зеленое" и пирамидных изображений разностей "синее/желтое", аналогично случаю пирамидных изображений яркости, генерируются, соответственно, пирамидные изображения иерархических представлений восьми разрешений с уровня L1 по уровень L8.

Модуль 185 вычисления разности и модуль 186 вычисления разности выбирают из числа множества пирамидных изображений, предоставляемых из модуля 183 генерирования пирамидного изображения и модуля 184 генерирования пирамидного изображения, два пирамидных изображения, имеющих отличные друг от друга иерархические представления и получают разность выбранных пирамидных изображений таким образом, чтобы сгенерировать изображение разности для разности "красное/зеленое" и изображение разности для разности "синее/желтое". Между тем, поскольку размеры пирамидных изображений каждого иерархического представления отличаются друг от друга, то при генерировании изображений разности меньшее пирамидное изображение подвергается повышающему преобразованию таким образом, чтобы оно имело тот же самый размер, что и большее пирамидное изображение.

Когда модуль 185 вычисления разности и модуль 186 вычисления разности сгенерируют предварительно указанное количество изображений разности для разности "красное/зеленое" и изображений разности для разности "синее/желтое", модуль 185 вычисления разности и модуль 186 вычисления разности нормируют эти сгенерированные изображения разности и предоставляют их модулю 187 создания карты информации о цвете и модулю 188 создания карты информации о цвете. Модуль 187 создания карты информации о цвете и модуль 188 создания карты информации о цвете создают, основываясь на изображениях разности, предоставляемых из модуля 185 вычисления разности и модуля 186 вычисления разности, карту информации о цвете и предоставляет их модулю 125 создания карты объекта. В модуле 187 создания карты информации о цвете создается карта информации о цвете для разности "красное/зеленое", а в модуле 188 создания карты информации о цвете создается карта информации о цвете для разностей "синее/желтое".

Конфигурация модуля извлечения информации о контурах

Фиг.7 иллюстрирует пример более детализированной конфигурации модуля 123 извлечения информации о контурах, показанного на фиг.4.

Модуль 123 извлечения информации о контурах образован модулями от модуля 211 генерирования изображений контуров до модуля 214 генерирования изображений контуров; модулями от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений; модулями от модуля 219 вычисления разности до модуля 222 вычисления разности; модулями от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах.

Модули от модуля 211 генерирования изображений контуров до модуля 214 генерирования изображений контуров выполняют процесс фильтрации с использованием фильтра Габора на входном изображении, предоставляемом из получающего модуля 22, генерируют изображения контуров, в которых пиксельными значениями для пикселя являются значения контрастности контура в направлениях, составляющих, например, 0 градусов, 45 градусов, 90 градусов и 135 градусов, и предоставляют их модулям от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений.

Например, значение пикселя для произвольного пикселя на изображении контура, сгенерированном модулем 211 генерирования изображения контуров, указывает контрастность контура в направлении 0 градусов в пикселе входного изображения, который расположен в том же самом месте, что и место расположения этого произвольного пикселя. Между тем, направление каждого контура относится к направлению, указываемому угловыми составляющими в функции Габора, образующей фильтр Габора.

Модули от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений генерируют, используя изображение контура в каждом направлении, предоставляемых, соответственно, из модулей от модуля 211 генерирования изображений контуров до модуля 214 генерирования изображений контуров, множество изображений контуров, имеющих разрешения, отличающиеся друг от друга. Затем модули от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений предоставляют эти сгенерированные изображения контуров в соответствующих направлениях, в качестве пирамидных изображений в соответствующих направлениях контура, соответственно, модулям от модуля 219 вычисления разности до модуля 222 вычисления разности.

Например, в качестве пирамидных изображений каждого направления контура, аналогично случаю пирамидного изображения яркости, генерируются пирамидные изображения восьми иерархических представлений с уровня L1 по уровень L8 соответственно.

Модули от модуля 219 вычисления разности до модуля 222 вычисления разности выбирают два пирамидных изображения различных иерархических представлений из числа множества пирамидных изображений, предоставляемых из модулей от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений, и получают разность выбранных пирамидных изображений для сгенерирования разностного изображения в каждом направлении контура. Между тем, поскольку пирамидные изображения каждого иерархического представления имеют размеры, отличающиеся друг от друга, то, когда требуется сгенерировать разностное изображение, меньшее пирамидное изображение подвергается повышающему преобразованию.

Когда модули от модуля 219 вычисления разности до модуля 222 вычисления разности сгенерируют заранее определенное количество разностных изображений в каждом направлении контура, они нормируют эти сгенерированные разностные изображения, и предоставляют их модулям от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах. Основываясь на изображениях разности, предоставляемых из модулей от модуля 219 вычисления разности до модуля 222 вычисления разности; модули от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах создают карты информации о контурах для каждого направления и предоставляют их модулю 125 создания карты объекта.

Конфигурация модуля извлечения информации о лице

Фиг.8 иллюстрирует пример более детализированной конфигурации модуля 124 извлечения информации о лице, показанного на фиг.4.

Модуль 124 извлечения информации о лице образован модулем 251 обнаружения лица и модулем 252 создания карты информации о лице.

Модуль 251 обнаружения лица обнаруживает область лица человека в качестве объекта на входном изображении, предоставляемом из получающего модуля 22, и предоставляет результат обнаружения модулю 252 создания карты информации о лице. Модуль 252 создания карты информации о лице создает, основываясь на результате обнаружения, поступающем из модуля 251 обнаружения лица, карту информации о лице, и предоставляет эту карту информации о лице модулю 125 создания карты объекта.

Конфигурация модуля вычисления количественного показателя контура

В дополнение к этому модуль 25 вычисления количественного показателя контура, показанный на фиг.1, если описать его более подробно, сконфигурирован так, как это показано на фиг.9.

А именно, модуль 25 вычисления количественного показателя контура образован модулем 281 извлечения объекта, модулем 282 инверсии, модулем 283 обработки фильтром, модулем 284 нормирования, модулем 285 умножения, модулем 286 генерирования гистограммы и модулем 287 вычисления количественного показателя.

Модуль 281 извлечения объекта создает карту объекта на основе входного изображения, предоставляемого из получающего модуля 22, и предоставляет эту карту объекта модулю 282 инверсии. Между тем, поскольку этот модуль 281 извлечения объекта имеет конфигурацию, идентичную конфигурации модуля 91 извлечения объекта, показанному на фиг.4, то его описание опускается.

Модуль 282 инверсии инвертирует значение пикселя для пикселя карты объекта, предоставляемой из модуля 281 извлечения объекта и предоставляет это значение пикселя модулю 285 умножения. Таким образом, в карте объекта пикселю, у которого значение пикселя составляет "1", присваивается значение пикселя, составляющее "0", и наоборот, пикселю, у которого значение пикселя составляет "0", присваивается значение пикселя, составляющее "1". Следовательно, значение пикселя для пикселя карты объекта после инверсии устанавливается в "0", когда область входного изображения, находящаяся в том же самом месте, что и место расположения этого пикселя, является областью, в которой, как оценивается, содержится объект, и устанавливается в "1", когда область входного изображения, находящаяся в том же самом месте, что и место расположения этого пикселя, является областью, в которой, как оценивается, объект не содержится. Таким образом, карта объекта после инверсии представляет собой карту для идентификации области заднего плана, в которой объект на входном изображении не содержится.

Модуль 283 обработки фильтром выполняет процесс фильтрации, использующий лапласовский фильтр, на входном изображении, предоставляемом из получающего модуля 22, таким образом, чтобы генерировать лапласовское изображение, в котором пиксельным значением пикселя является контрастность контура в соответствующих областях входного изображения, и предоставляет это лапласовское изображение модулю 284 нормирования. Модуль 284 нормирования нормирует лапласовское изображение, поступающее из модуля 283 обработки фильтром, и предоставляет это лапласовское изображение модулю 285 умножения.

Модуль 285 умножения умножает значение пикселя для пикселя лапласовского изображения, поступающего из модуля 284 нормирования, на значение пикселя для пикселя инвертированной карты объекта, поступающей из модуля 282 инверсии, для генерирования изображения заднего плана, которое является изображением области заднего плана на входном изображении, и предоставляет это изображение заднего плана модулю 286 генерирования гистограммы. На изображении заднего плана значение пикселя для пикселя участка, занимаемого задним планом, в котором не содержится объект, имеет то же самое значение, что и значение пикселя для пикселя лапласовского изображения, находящегося в том же самом месте, что и место расположения этого пикселя участка, занимаемого задним планом. На изображении заднего плана значение пикселя для пикселя участка, занимаемого объектом, становится равным "0". Таким образом, процесс умножения в модуле 285 умножения позволяет идентифицировать (извлечь) область заднего плана на входном изображении, и генерируется изображение заднего плана, сформированное исходя из контрастности контура на участке, занимаемом задним планом.

На основе изображения заднего плана, поступающего из модуля 285 умножения, модуль 286 генерирования гистограммы генерирует гистограмму контрастности контура изображения заднего плана и предоставляет эту гистограмму модулю 287 вычисления количественного показателя. Модуль 287 вычисления количественного показателя вычисляет, основываясь на гистограмме, поступающей из модуля 286 генерирования гистограммы, количественный показатель контура и предоставляет этот количественный показатель контура модулю 28 вычисления суммарного количественного показателя.

Конфигурация модуля вычисления количественного показателя распределения цвета

Кроме того, модуль вычисления количественного показателя распределения цвета, показанный на фиг.1, если описать его более подробно, сконфигурирован так, как это показано на фиг.10.

А именно, модуль 26 вычисления количественного показателя распределения цвета образован модулем 311 генерирования гистограммы красной составляющей; модулем 312 генерирования гистограммы зеленой составляющей; модулем 313 генерирования гистограммы синей составляющей; модулями от модуля 314 нормирования до модуля 316 нормирования; модулем 317 генерирования гистограммы и модулем 318 вычисления количественного показателя.

Модули от модуля 311 генерирования гистограммы красной составляющей до модуля 313 генерирования гистограммы синей составляющей генерируют гистограммы каждой составляющей: R (красного цвета), G (зеленого цвета) и В (синего цвета), из входного изображения, предоставляемого из получающего модуля 22, и предоставляет их соответственно модулям от модуля 314 нормирования до модуля 316 нормирования. Модули от модуля 314 нормирования до модуля 316 нормирования нормируют гистограммы для каждой составляющей, поступающие соответственно из модулей от модуля 311 генерирования гистограммы красной составляющей до модуля 313 генерирования гистограммы синей составляющей и предоставляют их модулю 317 генерирования гистограммы.

Используя гистограммы для каждой цветовой составляющей, предоставляемых из модулей от модуля 314 нормирования до модуля 316 нормирования, модуль 317 генерирования гистограммы генерирует одну гистограмму, на которой диапазон значения одного цвета служит столбцом, составленным из каждой составляющей: красной, зеленой и синей, и предоставляет эту гистограмму модулю 318 вычисления количественного показателя. Модуль 318 вычисления количественного показателя вычисляет, основываясь на гистограмме, предоставляемой из модуля 317 генерирования гистограммы, количественный показатель распределения цвета и предоставляет этот количественный показатель распределения цвета модулю 28 вычисления суммарного количественного показателя.

Конфигурация модуля вычисления количественного показателя насыщенности цвета

В дополнение к этому модуль 27 вычисления количественного показателя насыщенности цвета, показанный на фиг.1, если описать его более подробно, сконфигурирован так, как это показано на фиг.11.

А именно, модуль 27 вычисления количественного показателя насыщенности цвета образован модулем 341 преобразования, модулем 342 генерирования гистограммы и модулем 343 вычисления количественного показателя.

Модуль 341 преобразования преобразует входное изображение, сформированное из каждой составляющей: красной, зеленой и синей, предоставляемое из получающего модуля 22 во входное изображение, составленное из значений каждой составляющей: Н (оттенка), S (насыщенности цвета) и V (яркости), и предоставляет это входное изображение модулю 342 генерирования гистограммы.

Модуль 342 генерирования гистограммы генерирует гистограмму составляющих насыщенности цвета пикселя, который удовлетворяет конкретным условиям, из числа пикселей входного изображения, предоставляемого из модуля 341 преобразования, и предоставляет эту гистограмму модулю 343 вычисления количественного показателя. Модуль 343 вычисления количественного показателя вычисляет, основываясь на гистограмме, поступающей из модуля 342 генерирования гистограммы, количественный показатель насыщенности цвета и предоставляет этот количественный показатель насыщенности цвета модулю 28 вычисления суммарного количественного показателя.

Описание процесса отображения слайд-шоу

Между тем, когда пользователь управляет устройством 11 обработки изображений, показанным на фиг.1, указывает множество входных изображений, записанных в записывающем модуле 21, и отдает команду на отображение слайд-шоу этих входных изображений, устройство 11 обработки изображений начинает в ответ на эту команду пользователя процесс отображения слайд-шоу.

Ниже со ссылкой на блок-схему алгоритма, показанную на фиг.12, будет дано описание процесса отображения слайд-шоу, выполняемого устройством 11 обработки изображений.

На этапе S11 получающий модуль 22 получает одно из входных изображений, указанных пользователем, из записывающего модуля 21 и предоставляет эти входные изображения модулям: от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности цвета, и модулю 29 управления отображением.

Например, когда пользователь указывает папку, записанную в записывающем модуле 21, и отдает команду на отображение слайд-шоу входных изображений, хранящихся в этой папке, получающий модуль 22 получает одно входное изображение в составе папки, указанной пользователем. Между тем, термин "отображение слайд-шоу входных изображений" относится к процессу последовательного отображения множества входных изображений.

На этапе S12 модуль 23 вычисления количественного показателя степени размытости выполняет процесс вычисления степени размытости таким образом, чтобы вычислить количественный показатель степени размытости в отношении входного изображения, и предоставляет этот количественный показатель степени размытости модулю 28 вычисления суммарного количественного показателя. Кроме того, на этапе S13 модуль 24 вычисления количественного показателя яркости выполняет процесс вычисления количественного показателя яркости таким образом, чтобы вычислить количественного показателя яркости для входного изображения, и предоставляет этот количественный показатель яркости модулю 28 вычисления суммарного количественного показателя.

На этапе S14 модуль 25 вычисления количественного показателя контура выполняет процесс вычисления количественного показателя контура таким образом, чтобы вычислить количественный показатель контура для входного изображения, и предоставляет его модулю 28 вычисления суммарного количественного показателя. На этапе S15 модуль 26 вычисления количественного показателя распределения цвета выполняет процесс вычисления количественного показателя распределения цвета таким образом, чтобы вычислить количественный показатель распределения цвета для входного изображения, и предоставляет этот количественный показатель распределения цвета модулю 28 вычисления суммарного количественного показателя.

Кроме того, на этапе S16 модуль 27 вычисления количественного показателя насыщенности цвета выполняет процесс вычисления количественного показателя насыщенности цвета таким образом, чтобы вычислить количественный показатель насыщенности цвета для входного изображения, и предоставляет количественный показатель насыщенности цвета модулю 28 вычисления суммарного количественного показателя.

Между тем, подробности процессов от процесса вычисления степени размытости до процесса вычисления количественного показателя насыщенности цвета, выполняемых на этапах S12-S16, будут описаны ниже.

На этапе S17 модуль 28 вычисления суммарного количественного показателя, основываясь на количественном показателе по отдельно взятым характеристикам, предоставляемом из модулей от модуля 23 вычисления количественного показателя степени размытости до модуля 27 вычисления количественного показателя насыщенности цвета вычисляет суммарный количественный показатель для входного изображения.

А именно, используя таблицу преобразования, сохраненную заранее для каждого количественного показателя, модуль 28 вычисления суммарного количественного показателя преобразует значение количественного показателя по отдельно взятым характеристикам в балл количественного показателя, предварительно заданный для данного значения количественного показателя по отдельно взятым характеристикам, и устанавливает в качестве суммарного количественного показателя сумму (суммарный итог) баллов количественных показателей, полученных для каждого количественного показателя по отдельно взятым характеристикам.

Например, когда предполагается, что значение, которое может принимать количественный показатель степени размытости, в качестве количественного показателя по отдельно взятым характеристикам, составляет от 0 до 1, и что, чем больше значение количественного показателя степени размытости, тем более размыто все входное изображение, модуль 28 вычисления суммарного количественного показателя, получает балл количественного показателя для количественного показателя степени размытости на основе таблицы преобразования количественного показателя степени размытости, показанной на фиг.13.

Таким образом, когда количественный показатель степени размытости меньше 0,2, балл количественного показателя для количественного показателя степени размытости устанавливается равным 0, когда количественный показатель для степени размытости больше или равен 0,2 и меньше 0,3, балл количественного показателя для количественного показателя степени размытости устанавливается равным 1, а когда количественный показатель степени размытости больше или равен 0,3 и меньше 0,5, балл количественного показателя для количественного показателя степени размытости устанавливается равным 2.

Кроме того, когда количественный показатель степени размытости больше или равен 0,5 и меньше 0,7, балл количественного показателя для количественного показателя степени размытости устанавливается равным 3, когда количественный показатель степени размытости больше или равен 0,7 и меньше 0,9, балл количественного показателя для количественного показателя степени размытости устанавливается равным 5, а когда количественный показатель степени размытости больше или равен 0,9, балл количественного показателя для количественного показателя степени размытости устанавливается равным 10.

Здесь, балл количественного показателя, определяемый в отношении каждого диапазона значения количественного показателя степени размытости, определяется на основе количественного показателя степени размытости, полученного из профессионального изображения и любительского изображения, которые приготовлены заранее. Между тем, термин "профессиональное изображение" относится к изображению, имеющему в целом высокую оценку (зафиксированному удовлетворительно), которое было зафиксировано профессиональным фотографом, а термин "любительское изображение" относится к изображению, имеющему в целом, низкую оценку (зафиксированному плохо), которое зафиксировано любителем.

Например, предполагается, что получены количественные показатели степени размытости в отношении множества профессиональных изображений и любительских изображений, и получены результаты, показанные на фиг.14. Между тем, на этой фигуре по вертикальной оси указывается количество образцов профессиональных изображений или любительских изображений, а по горизонтальной оси указывается значение количественного показателя степени размытости.

На фиг.14 в верхней части указывается распределение количественных показателей степени размытости профессиональных изображений, а в нижней части указывается распределение количественных показателей степени размытости любительских изображений.

Большинство образцов количественных показателей степени размытости профессиональных изображений составляет меньше 0,3, и нет образцов, количественный показатель степени размытости которых больше или равен 0,8. Таким образом, чем меньше степень размытости изображения, тем меньше количественный показатель степени размытости. Следовательно, среди профессиональных изображений почти нет никаких размытых изображений.

По сравнению с этим, у большинства образцов любительских изображений количественные показатели для степени размытости составляет меньше 0,4. Однако имеются некоторые любительские изображения, количественный показатель степени размытости которых больше или равен 0,4. Таким образом, любительские изображения включают в себя некоторые изображения, которые полностью размыты.

Когда количественные показатели степени размытости профессиональных изображений сравниваются с количественными показателями степени размытости любительских изображений, видно, что нет никаких профессиональных изображений, которые существуют в диапазоне, указанном стрелкой А 11 на распределении профессиональных изображений, то есть изображений, количественный показатель степени размытости которых больше или равен 0,8. По сравнению с этим, имеется несколько любительских изображений, которые существуют в диапазоне, указанном стрелкой А 12 на распределении любительских изображений, то есть изображений, количественный показатель степени размытости которых больше или равен 0,8.

Следовательно, когда количественный показатель степени размытости, полученный для входного изображения, больше или равен 0,8, входное изображение имеет высокую вероятность того, чтобы оказаться любительским изображением, то есть изображением, которое плохо зафиксировано. Кроме того, суммарное значение баллов количественных показателей, относящихся к каждому количественному показателю по отдельно взятым характеристикам, делается суммарным количественным показателем, и этот суммарный количественный показатель показывает что, чем он меньше, тем лучше состояние фиксации изображения.

Соответственно, когда количественный показатель степени размытости больше или равен 0,8, то есть когда вероятность того, что входное изображение является любительским изображением, высока, балл количественного показателя для количественного показателя степени размытости устанавливается имеющим большое значение таким образом, чтобы суммарный количественный показатель стал больше. Кроме того, в целом, чем меньше степень размытости изображения, тем выше состояние, в котором изображение было удовлетворительно зафиксировано. Следовательно, балл количественного показателя для количественного показателя степени размытости устанавливается имеющим малое значение.

Аналогичным образом для другого количественного показателя по отдельно взятым характеристикам, сравнивая этот количественный показатель по отдельно взятой характеристике для профессионального изображения, которое приготовлено заранее, с этим количественным показателем по отдельно взятой характеристике для любительского изображения, определяют балл количественного показателя для диапазона значения каждого количественного показателя по отдельно взятым характеристикам, и заранее получают таблицу преобразования для каждого количественного показателя по отдельно взятым характеристикам.

При этом в отношении диапазона значения, в котором отмечается разница распределения количественного показателя по отдельно взятой характеристике между профессиональным изображением и любительским изображением, путем определения более высокого балла количественного показателя или более низкого балла количественного показателя в соответствии с этой разницей имеется возможность более подходящим (точным образом) оценивать состояние фиксации изображения для входного изображения. Таким образом, точность оценки может быть улучшена.

Кроме того, даже при использовании количественного показателя по отдельно взятой характеристике трудно надлежащим образом оценить состояние фиксации изображения для входного изображения. Однако, поскольку суммарный количественный показатель получается из множества количественных показателей по отдельно взятым характеристикам, то имеется возможность более подходящим образом оценивать состояние фиксации изображения для входного изображения.

Например, в примере, показанном на фиг.14, имеется много профессиональных изображений и любительских изображений, имеющих количественный показатель степени размытости, составляющий менее 0,2. По этой причине, когда количественный показатель степени размытости входного изображения составляет менее 0,2, трудно на основе только количественного показателя степени размытости точно оценить то, является ли входное изображение близким к профессиональному изображению или близким к любительскому изображению.

Однако в количественном показателе каждой характеристики существует диапазон значения, в котором может быть более точно идентифицировано то, является ли входное изображение близким к профессиональному изображению или любительскому изображению. Следовательно, если в отношении диапазона значения каждого количественного показателя по отдельно взятым характеристикам определен балл количественного показателя, и балл количественного показателя для каждого количественного показателя по отдельно взятым характеристикам суммируется таким образом, чтобы быть установленным в качестве суммарного количественного показателя, то имеется возможность более подходящим образом оценивать состояние фиксации изображения для входного изображения.

Как было описано выше, случай, при котором каждый количественный показатель по отдельно взятым характеристикам преобразуют в балл количественного показателя с использованием таблицы преобразования и получают суммарный итог этих баллов количественных показателей, соответствует случаю, при котором каждый количественный показатель по отдельно взятым характеристикам подвергается взвешенному суммированию таким образом, чтобы получить суммарный количественный показатель.

Вновь обратимся к описанию блок-схемы алгоритма, показанной на фиг.12, на которой, когда получен суммарный количественный показатель, модуль 28 вычисления суммарного количественного показателя предоставляет полученный суммарный количественный показатель модулю 29 управления отображением. Затем процесс переходит с этапа S17 на этап S18.

На этапе S18 устройство 11 обработки изображений определяет, получен ли суммарный количественный показатель в отношении всех входных изображений. Например, в случае, при котором суммарный количественный показатель всех входных изображений, для которых выполняется отображение слайд-шоу, которые указаны пользователем, получен, будет определено, что суммарный количественный показатель в отношении всех входных изображений получен.

Когда на этапе S18 определено, что суммарный количественный показатель в отношении всех входных изображений получен не был, процесс возвращается на этап S11, и вышеупомянутая обработка данных повторяется. А именно, получающий модуль 22 получает следующее входное изображение и получает в отношении этого входного изображения суммарный количественный показатель.

Наоборот, когда на этапе S18 определено, что суммарный количественный показатель был получен для всех входных изображений, на этапе S19 модуль 29 управления отображением выбирает входные изображения, для которых выполняется отображение слайд-шоу.

Например, на основе суммарного количественного показателя каждого входного изображения, предоставляемого из модуля 28 вычисления суммарного количественного показателя, модуль 29 управления отображением выбирает из числа входных изображений, предоставленных из получающего модуля 22 в качестве подлежащих отображению входных изображений, те входные изображения, для которых суммарный количественный показатель меньше чем некоторое заданное пороговое значение или равен ему. При этом, чем ниже значение суммарного количественного показателя, тем выше указывается оценка состояния фиксации изображения для этого входного изображения.

Как было описано выше, если выбраны входные изображения, суммарный количественный показатель которых меньше порогового значения или равен ему, для слайд-шоу могут отображаться только те входные изображения, для которых оценка состояния фиксации изображения является достаточно высокой, то есть только входные изображения, в достаточной степени близкие к профессиональным изображениям. При этом подлежащие отображению входные изображения могут быть выбраны, например, в количестве, соответствующем заданному количеству, в порядке возрастания суммарного количественного показателя.

На этапе S20 модуль 29 управления отображением обеспечивает последовательное предоставление входных изображений, выбранных на этапе S19, модулю 30 отображения, где входные изображения отображаются, выполняя, таким образом, отображение слайд-шоу входных изображений. Затем, когда входные изображения отображены для слайд-шоу, процесс отображения слайд-шоу заканчивается. Таким образом, как это описано выше, когда выбранные входные изображения отображаются для слайд-шоу, для пользователя имеется возможность оценивать только входные изображения, имеющие высокую оценку.

Как было описано выше, устройство 11 обработки изображений получает количественный показатель по отдельно взятым характеристикам для каждого входного изображения и вычисляет на основе этих количественных показателей по отдельно взятым характеристикам суммарный количественный показатель. Как было описано выше, при вычислении суммарного количественного показателя на основе множества количественных показателей по отдельно взятым характеристикам имеется возможность более подходящим образом оценивать состояние фиксации изображения для входного изображения.

Описание процесса вычисления степени размытости

Далее, со ссылкой на блок-схему алгоритма, приведенную на фиг.15, будет дано описание процесса вычисления степени размытости, соответствующего процессу на этапе S12, показанном на фиг.12.

На этапе S51 модуль 61 создания карты контуров создает карту контуров, используя входное изображение, предоставляемое из получающего модуля 22.

Если описать это конкретно, то модуль 61 создания карты контуров делит входное изображение на блоки размером 2×2 пикселя и вычисляет абсолютные значения от абсолютного значения (M_TL-TR) до абсолютного значения (M_BL-BR) разности пиксельных значений между пикселями в пределах каждого блока в соответствии с нижеследующими выражениями (1)-(6)

Между тем, в выражениях (1)-(6) переменные а, b, с, и d каждая обозначают пиксельное значение для пикселя в пределах блока размером 2×2 пикселя на входном изображении. Например, как показано на фиг.16, пиксельное значение указывает пиксельное значения для пикселя в левой верхней области блока. Кроме того, пиксельное значение b указывает пиксельное значение для пикселя в верхней правой области блока. Пиксельное значение с указывает пиксельное значения для пикселя в нижней левой области этого блока. Пиксельное значение d указывает пиксельное значения для пикселя в нижней правой области этого блока.

Следовательно, каждое из абсолютных значений от абсолютного значения (M_TL-TR) до абсолютного значения (M_BL-BR ) указывает абсолютное значение разности пиксельных значений между смежными пикселями в каждом направлении в блоке, то есть контрастность контура в каждом направлении.

Затем модуль 61 создания карты контуров вычисляет среднее значение М_Avе для абсолютных значений: от абсолютного значения M_TL-TR до абсолютного значения M_BL-BR, в соответствии с нижеследующим выражением (7). Это среднее значение М_Avе представляет среднее значение контрастностей контура выше, ниже, справа, слева и по наклонной к блоку

Модуль 61 создания карты контуров располагает вычисленное среднее значение М_Avе каждого блока в том же самом порядке, как порядок соответствующих блоков на входного изображения таким образом, чтобы создать карту контуров в масштабе SC 1.

В дополнение к этому для того, чтобы создать карты контуров в масштабе SC 2 и в масштабе SC 3, модуль 61 создания карты контуров генерирует усредненные изображения в масштабе SC 2 и в масштабе SC 3 в соответствии с нижеследующим выражением (8)

Между тем в выражении (8) Рⁱ (х, у) указывает пиксельное значение для пикселя, имеющего координаты (х, у) на усредненном изображении в масштабе SCi (где i=1, 2). Кроме того, Рⁱ⁺¹(х, у) указывает пиксельное значение для пикселя, имеющего координаты (х, у) на усредненном изображении в масштабе SCi+1. Между тем, предполагается, что усредненное изображение в масштабе SC 1 представляет собой входное изображение.

Следовательно, усредненное изображение в масштабе SC 2 является изображением, в котором в качестве пиксельного значения одного пикселя устанавливается среднее значение пиксельных значений для пикселей в каждом блоке, при котором входное изображение разделено на блоки размером 2×2 пикселей. Кроме того, усредненное изображение в масштабе SC 3 представляет собой изображение, в котором в качестве пиксельного значения одного пикселя устанавливается среднее значение пиксельных значений для пикселей в пределах каждого блока, такого, что усредненное изображение в масштабе SC 2 разделено на блоки размером 2×2 пикселей.

Модуль 61 создания карты контуров выполняет тот же самый процесс, как и процесс, который выполняется над входным изображением с использованием выражений (1)-(7) над усредненными изображениями в масштабе SC 2 и в масштабе SC 3 таким образом, чтобы создать карты контуров в масштабе SC 2 и в масштабе SC 3.

Следовательно, карты контуров, выполненные в масштабах от масштаба SC1 до масштаба SC3, представляют собой изображения, получаемые посредством извлечения из входного изображения краевых составляющих отличных друг от друга диапазонов частот. Между тем, количество пикселей карты контуров, выполненной в масштабе SC1, составляет 1/4 (1/2 по вертикали ×1/2 по горизонтали) от входного изображения, количество пикселей карты контуров, выполненной в масштабе SC 2, составляет 1/16 (1/4 по вертикали ×1/4 по горизонтали) от входного изображения, а количество пикселей карты контуров, выполненной в масштабе SC 3, составляет 1/64 (1/8 по вертикали ×1/8 по горизонтали) от входного изображения.

Модуль 61 создания карты контуров предоставляет созданные карты контуров, выполненные в масштабах от масштаба SC 1 до масштаба SC 3 модулю 62 определения динамического диапазона и модулю 64 генерирования локальных максимумов. Как было описано выше, благодаря созданию карт контуров, выполненных в различных масштабах, в единицах блоков различных размеров, имеется возможность подавить колебания контрастностей контура.

На этапе S52, используя карту контуров, предоставляемую из модуля 61 создания карты контуров, модуль 62 определения динамического диапазона определяет динамический диапазон входного изображения и предоставляет результат определения модулю 63 настройки параметра вычисления.

Если описать это конкретно, то модуль 62 определения динамического диапазона определяет максимальное значение и минимальное значение для значений пикселей из числа карт контуров, выполненных в масштабах от масштаба SC1 до масштаба SC3 и задает значение, полученное посредством вычитания этого минимального значения из этого определенного максимального значения для значений пикселей, в качестве динамического диапазона контрастности контура входного изображения. Таким образом, в качестве динамического диапазона определена разность между максимальным значением и минимальным значением контрастностей контура входного изображения.

Между тем, в дополнение к вышеупомянутому способу, например, предусматривается, чтобы динамический диапазон определялся для каждой карты контуров, и в качестве динамического диапазона, используемого на практике, принимается максимальное значение и среднее значение этого определенного динамического диапазона.

На этапе S53 модуль 63 настройки параметра вычисления устанавливает начальное значение параметра вычисления на основе динамических диапазонов, предоставляемых из модуля 62 определения динамического диапазона.

Таким образом, когда динамический диапазон меньше чем предварительно заданное пороговое значение, модуль 63 настройки параметра вычисления задает входное изображение как изображение с малым динамическим диапазоном, а когда динамический диапазон больше чем это пороговое значение или равен ему, модуль 63 настройки параметра вычисления задает входное изображение как изображение с большим динамическим диапазоном.

Затем, когда входное изображение является изображением с малым динамическим диапазоном, модуль 63 настройки параметра вычисления присваивает параметру вычисления начальное значение для изображения с малым динамическим диапазоном. Кроме того, когда входное изображение является изображением с большим динамическим диапазоном, модуль 63 настройки параметра вычисления присваивает параметру вычисления начальное значение для изображения с большим динамическим диапазоном.

При этом полагают, что изображение с малым динамическим диапазоном имеет меньшее количество контуров по сравнению с изображением с большим динамическим диапазоном, и количество извлеченных точек контура является малым. Следовательно, для того, чтобы извлечь точки контура в количестве, достаточном для того, чтобы обеспечить точность определения степени размытости входного изображения на некотором фиксированном уровне или выше, начальному значению для опорного значения для контура в случае изображения с малым динамическим диапазоном присваивается значение, меньшее начального значения для опорного значения для контура в случае изображения с большим динамическим диапазоном. Кроме того, начальному значению для опорного значения для извлечений в случае изображения с малым динамическим диапазоном присваивается значение, меньшее начального значения для опорного значения для извлечений в случае изображения с большим динамическим диапазоном.

Модуль 63 настройки параметра вычисления предоставляет опорное значение для контура, которое устанавливается на основе динамического диапазона, модулю 65 извлечения точек контура, и предоставляет опорное значение для контура и опорное значение для извлечений модулю 66 определения количества извлечений.

На этапе S54 модуль 64 генерирования локальных максимумов генерирует с использованием карты контуров, предоставляемой из модуля 61 генерирования карты контуров, локальный максимум и предоставляет этот локальный максимум модулю 65 извлечения точек контура и модулю 67 анализа контура.

Например, как показано в левой части фиг.17, модуль 64 генерирования локальных максимумов делит карту контуров в масштабе SC 1 на блоки, состоящие из 2×2 пикселей. Затем модуль 64 генерирования локальных максимумов извлекает максимальное значение каждого блока карты контуров и располагает извлеченное максимальное значение в том же самом порядке, что и порядок расположения соответствующего блока, таким образом генерируя локальный максимум LM 1 в масштабе SC 1. Иначе говоря, извлекается максимальное значение из пиксельных значений для пикселей в каждом блоке.

Кроме того, как показано в центре на этой фигуре, модуль 64 генерирования локальных максимумов делит карту контуров в масштабе SC 2 на блоки, состоящие из 4×4 пикселей. Затем модуль 64 генерирования локальных максимумов извлекает максимальное значение каждого блока карты контуров и располагает извлеченное максимальное значение в том же самом порядке, что и порядок расположения соответствующих блоков, генерируя локальный максимум LM 2 в масштабе SC2.

В дополнение к этому, как показано в правой части на этой фигуре, модуль 64 генерирования локальных максимумов делит карту контуров в масштабе SC3 на блоки, состоящие из 8×8 пикселей. Затем модуль 64 генерирования локальных максимумов извлекает максимальное значение каждого блока карты контуров и располагает извлеченное максимальное значение в том же самом порядке, что и порядок расположения соответствующих блоков, таким образом генерируя локальный максимум LM3 в масштабе SC3.

На этапе S 55 модуль 65 извлечения точек контура извлекает точки контура из входного изображения, используя для этого опорное значение для контура, поступающее из модуля 63 настройки параметра вычисления, и локальные максимумы, предоставляемые из модуля 64 генерирования локальных максимумов.

Если описать это конкретно, то модуль 65 извлечения точек контура выбирает один из пикселей входного изображения и задает его в качестве "интересующего" пикселя. Кроме того, модуль 65 извлечения точек контура задает координату в системе координат ху на входном изображении с координатой (x1,y1) выбранного "интересующего" пикселя как (х, у), и получает пиксель локального максимума LM1, соответствующий "интересующему" пикселю в соответствии с нижеследующим выражением (9)

При этом предполагается, что в выражении (9), все цифры справа от десятичной точки в значениях х/4 и у/4 отбрасываются.

Один пиксель локального максимума LM 1 генерируется из блока, состоящего из 4×4 пикселей на входном изображении. Следовательно, координаты пикселя локального максимума LM 1, который соответствует интересующему пикселю на входном изображении, представляют собой значения, в которых координата "х" и координата "у" интересующего пикселя сделаны, соответственно, составляющими 1/4.

Аналогичным образом, в соответствии с нижеследующими выражениями (10) и (11), модуль 65 извлечения точек контура получает координату (х2, у2) пикселя локального максимума LM 2, соответствующего интересующему пикселю, и координату (х3, у3) пикселя локального максимума LM 3, соответствующего интересующему пикселю

При этом в выражении (10) и выражении (11) все цифры справа от десятичной точки в значениях х/16, у/16, х/64, и у/64 отбрасываются.

В дополнение к этому в случае, при котором пиксельное значение для пикселя с координатами (x1, y1) локального максимума LM 1 больше чем опорное значение для контура или равно ему, модуль 65 извлечения точек контура извлекает интересующий пиксель в качестве точки контура в локальном максимуме LM 1. Затем модуль 65 извлечения точек контура сохраняет (в памяти) пиксельные значения с координатой (х, у) интересующего пикселя и координатой (x1, y1) локального максимума LM1 таким образом, чтобы они были связаны друг с другом.

Аналогичным образом в случае, при котором пиксельное значение для пикселя с координатой (х2, у2) локального максимума LM2 больше чем опорное значение для контура или равно ему, модуль 65 извлечения точек контура извлекает интересующий пиксель в качестве точки контура в локальном максимуме LM2 и сохраняет (в памяти) пиксельные значения с координатой (х, у) интересующего пикселя и с координатой (х2, у2) локального максимума LM2 таким образом, чтобы они были связаны друг с другом. Кроме того, в случае, при котором пиксельное значение для пикселя с координатой (х3, у3) локального максимума LM 3 больше чем опорное значение для контура или равно ему, модуль 65 извлечения точек контура извлекает интересующий пиксель в качестве точки контура в локальном максимуме LM3 и сохраняет (в памяти) пиксельные значения с координатой (х, у) интересующего пикселя и с координатой (х3, у3) локального максимума LM3 таким образом, чтобы они были связаны друг с другом.

Модуль 65 извлечения точек контура повторяет вышеописанные процессы до тех пор, пока в качестве интересующего пикселя не будут заданы все пиксели входного изображения.

В результате этого, на основе локального максимума LM1, в качестве точек контура извлекаются пиксели, содержащиеся в блоке, в котором контрастность контура больше чем опорное значение для контура или равна ему, из числа блоков, имеющих размер 4×4 пикселя на входном изображении.

Аналогичным образом, на основе локального максимума LM2, в качестве точек контура извлекаются пиксели, содержащиеся в блоке, в котором контрастность контура больше чем опорное значение для контура или равна ему, из числа блоков, имеющих размер 16×16 пикселей на входном изображении. Кроме того, на основе локального максимума LM3, в качестве точек контура извлекаются пиксели, содержащиеся в блоке, в котором контрастность контура больше чем опорное значение для контура или равна ему, из числа блоков, имеющих размер 64×64 пикселей на входном изображении.

Следовательно, в качестве точек контура извлекаются пиксели, содержащиеся, по меньшей мере, в одном из блоков, имеющих размер 4×4 пикселей, 16×16 пикселей или 64×64 пикселя на входном изображении, в котором (блоке) контрастность контура больше чем опорное значение для контура или равна ему.

Модуль 65 извлечения точек контура генерирует таблицу (ЕТ1) точек контура, которая представляет собой таблицу, в которой координата (х, у) точки контура, извлеченной на основе локального максимума LM1, и пиксельное значение для пикселя локального максимума (LM1), соответствующего этой точке контура, связаны друг с другом.

Аналогичным образом модуль 65 извлечения точек контура генерирует таблицу (ЕТ2) точек контура, в которой координата (х, у) точки контура, извлеченной на основе локального максимума LM2, и пиксельное значение для пикселя локального максимума (LM2), соответствующего этой точке контура, связаны друг с другом. Кроме того, модуль 65 извлечения точек контура также генерирует таблицу (ЕТ3) точек контура, в которой координата (х, у) точки контура, извлеченной на основе локального максимума LM3, и пиксельное значение для пикселя локального максимума (LM3), соответствующего этой точке контура, связаны друг с другом.

Затем модуль 65 извлечения точек контура предоставляет эти сгенерированные таблицы точек контуров модулю 66 определения количества извлечений.

На этапе S56 модуль 66 определения количества извлечений определяет, используя таблицы точек контуров, предоставляемые из модуля 65 извлечения точек контура, то, является ли надлежащим количество извлечений точек контура. Например, когда общее количество извлеченных точек контура, то есть сумма количеств элементов данных в таблицах от таблицы (ЕТ1) точек контура до таблицы (ЕТ3) точек контура, меньше чем опорное значение для извлечений, предоставляемое из модуля 63 настройки параметра вычисления, модуль 66 определения количества извлечений определяет, что количество извлечений точек контура не является надлежащим.

Когда на этапе S 56 определено, что количество извлечений точек контура не является надлежащим, модуль 66 определения количества извлечений уведомляет модуль 63 настройки параметра вычисления о том факте, что количество извлечений точек контура не является надлежащим, и процесс затем переходит на этап S 57.

На этапе S 57 модуль 63 настройки параметра вычисления настраивает параметр вычисления на основе уведомления, поступающего из модуля 66 определения количества извлечений.

Например, модуль 63 настройки параметра вычисления уменьшает опорное значение для контура на величину, соответствующую некоторому предварительно заданному значению, от значения, которое установлено в текущий момент времени, таким образом, чтобы извлекалось намного больше точек контура, чем в текущий момент времени. Модуль 63 настройки параметра вычисления предоставляет настроенное опорное значение для контура модулю 65 извлечения точек контура и модулю 66 определения количества извлечений.

Когда, после этого, параметр вычисления настроен, процесс возвращается на этап S 55, и вышеупомянутая обработка данных повторяется до тех пор, пока не будет определено, что количество извлечений точек контура является надлежащим.

Кроме того, когда на этапе S 56 определено, что количество извлечений точек контура является надлежащим, модуль 66 определения количества извлечений предоставляет опорное значение для контура, поступающее из модуля 63 настройки параметра вычисления, и таблицу точек контура модулю 67 анализа контура. После этого процесс переходит на этап S 58.

В результате вышеописанной обработки данных, для того чтобы улучшить точность определения степени размытости для входного изображения с малым динамическим диапазоном, точка контура также извлекается из блока, в котором контрастность контура является слабой, так, чтобы можно было обеспечить точки контура в количестве, достаточном для того, чтобы сделать точность определения степени размытости имеющей некоторый фиксированный уровень или выше. С другой стороны, для изображения объекта с большим динамическим диапазоном, точки контура извлекаются из блока, в котором контрастность контура является настолько высокой, насколько это возможно, так, чтобы извлекались точки контура, образующие более контрастный контур.

На этапе S 58 модуль 67 анализа контура выполняет анализ контура, используя для этого опорное значение для контура и таблицу точек контура, предоставляемые из модуля 66 определения количества извлечений, и локальные максимумы, предоставляемые из модуля 64 генерирования локальных максимумов.

Если описать это конкретно, то, основываясь на таблицах от таблицы ЕТ 1 точек контура до таблицы ЕТ 3 точек контура, модуль 67 анализа контура назначает одну из точек контура, извлеченных из входного изображения, в качестве интересующего пикселя. После этого модуль 67 анализа контура задает координату интересующего пикселя в системе координат "ху" как (х, у), и получает координаты от координаты (x1, y1) до координаты (х3, у3), локальных максимумов от локального максимума LM 1 до локального максимума LM 3, соответствующих интересующему пикселю, в соответствии с вышеупомянутыми выражениями с (9) по 11.

Модуль 67 анализа контура назначает в качестве Local Мах 1 (x1, y1) максимальное значение из числа пиксельных значений для пикселей в блоке локального максимума LM1, имеющем размер m×m пикселей (например, 4×4 пикселя), в котором пиксель с координатой (x1, y1) локального максимума LM1 является пикселем в левом верхнем углу. Кроме того, модуль 67 анализа контура назначает в качестве Local Мах 2 (х2, у2) максимальное значение из числа пиксельных значений в блоке, имеющем размер n×n пикселей (например, 2×2 пикселя), в котором пиксель с координатой (х2, у2) локального максимума LM 2 является пикселем в левом верхнем углу, и назначает пиксельное значение с координатой (х3, у3) локального максимума LM 3 в качестве Local Мах 3 (х3, у3).

Между тем, параметры для m×m, используемых для назначения Local Мах 1 (x1, y1), и для n×n, используемых для назначения Local Мах 2 (х2, у2), являются параметрами для коррекции разности в размерах блоков на входных изображениях, соответствующих одному пикселю локальных максимумов от локального максимума LM 1 до локального максимума LM 3.

Модуль 67 анализа контура определяет, удовлетворяют ли Local Мах 1 (x1, y1), Local Мах 2 (х2, у2) и Local Мах 3 (х3, у3) нижеследующему выражению (12) условия. Когда Local Мах "1 (x1, y1), Local Мах 2 (х2, у2) и Local Мах 3 (х3, у3) удовлетворяют выражению (12) условия, модуль 67 анализа контура дает значению переменной "Nedge" приращение, равное единице,

При этом полагают, что точка контура, которая удовлетворяет выражению (12), представляет собой точку контура, образующую контур, имеющий фиксированную контрастность или более высокую контрастность, независимо от его строения, такой как контур, показанный на чертежах A-D на фиг.18.

При этом контур, показанный на чертеже А на фиг.18, сформирован как контур в форме острого импульса, контур, показанный на чертеже В на фиг.18, сформирован как контур в форме импульса, имеющего наклон, более умеренный чем наклон для контура на чертеже А на фиг.18, а контур, показанный в пункте С на фиг.18, представляет собой контур ступенчатой формы, чей наклон является, по существу, перпендикулярным. Кроме того, контур, показанный на чертеже D на фиг.18, представляет собой контур ступенчатой формы, чей наклон является более умеренным, чем наклон у контура, показанного на чертеже С на фиг.18.

Когда Local Мах 1 (x1, y1), Local Мах 2 (х2, у2) и Local Мах 3 (х3, у3) удовлетворяют выражению (12) условия, модуль 67 анализа контура дополнительно определяет, удовлетворяются ли нижеследующие выражения (13) или (14) условия. Когда Local Мах 1 (x1, y1), Local Мах 2 (х2, у2) и Local Мах 3 (х3, у3) удовлетворяют выражению (13) условия или выражению (14) условия, модуль 67 анализа контура дает значению переменной "Nsmallblur" приращение, равное единице,

Между тем, признается, что точка контура, которая удовлетворяет выражению (12) условия и которая удовлетворяет выражению (13) условия или выражению (14) условия, является точкой контура, образующей контур, который имеет строение, показанное на чертеже В на фиг.18 или D на фиг.18, имеющий некоторую фиксированную контрастность или более высокую контрастность, но имеющий контрастность, более слабую чем контрастность контура на чертеже А на фиг.18 или С на фиг.18.

Кроме того, когда Local Мах 1 (x1, y1), Local Мах 2 (х2, у2) и Local Мах 3 (х3, у3) удовлетворяют выражению (12) условия и удовлетворяют выражению (13) условия или выражению (14) условия, модуль 67 анализа контура определяет, удовлетворяет ли Local Мах 1 (x1, y1) нижеследующему выражению (15) условия. Когда Local Мах 1 (x1, y1) удовлетворяет выражению (15) условия, модуль 67 анализа контура дает значению переменной "Nlargeblur" приращение, равное единице,

При этом признается, что точка контура, которая удовлетворяет выражению (12) условия, которая удовлетворяет выражению (13) условия или выражению (14) условия и которая удовлетворяет выражению (15) условия, является точкой кромки, образующей контур, в котором имела место размытость, и утеряна четкость в пределах контура, имеющего строение, показанное в пункте В на фиг.18 или D на фиг.18, причем этот контур имеет некоторую фиксированную контрастность или более высокую контрастность. Другими словами, признается, что в этой точке контура возникла размытость.

Модуль 67 анализа контура повторяет вышеупомянутую обработку данных до тех пор, пока в качестве интересующих пикселей не будут использованы все точки контура, извлеченные из входного изображения. В результате этого, среди извлеченных точек контура получают количество (Nedge) точек контура, количество (Nsmallblur) точек контура и количество (Nlargeblur) точек контура.

При этом количество Nedge представляет собой количество точек контура, которые удовлетворяют выражению (13) условия, количество Nsmallblur представляет собой количество точек контура, которые удовлетворяют выражению (12) условия, и которые удовлетворяют выражению (13) условия или выражению (14) условия. Кроме того, количество Nlargeblur представляет собой количество точек контура, которые удовлетворяют выражению (12) условия, которые удовлетворяют выражению (13) условия или выражения (14) условия и которые удовлетворяют выражению (15) условия.

Модуль 67 анализа контура предоставляет рассчитанные количество Nsmallblur и количество Nlargeblur модулю 68 определения степени размытости.

На этапе S 59 модуль 68 определения степени размытости вычисляет нижеследующее выражение (16), используя количество Nsmallblur и количество Nlargeblur, поступающие из модуля 67 анализа контура, и получает, в качестве количественного показателя степени размытости, степень (BlurEstimation) размытости, служащую в качестве показателя степени размытости входного изображения

Таким образом, степень (BlurEstimation) размытости представляет собой долю, которую занимают точки контура, которые признаются формирующими контур, на котором имела место размытость, среди точек контура, признаваемых формирующими контур, имеющий строение В, показанное на фиг.18, или D, показанное на фиг 18, с некоторой фиксированной контрастностью или более высокой контрастностью. Следовательно, чем больше степень (BlurEstimation) размытости, тем более высокой признается степень размытости входного изображения.

Когда модуль 68 определения степени размытости получает количественный показатель степени размытости, модуль 68 определения степени размытости предоставляет полученный количественный показатель степени размытости модулю 28 вычисления суммарного количественного показателя, и процесс вычисления степени размытости заканчивается. Процесс затем переходит на этап S13, показанный на фиг.12.

Способом, описанным выше, модуль 23 вычисления количественного показателя степени размытости вычисляет количественный показатель степени размытости, указывающий степень размытости всего входного изображения, исходя из входного изображения. Когда необходимо вычислить количественный показатель степени размытости, поскольку условиями для извлечения точки контура и количеством извлечений точек контура управляют надлежащим образом в соответствии с входным изображением, то имеется возможность определять степень размытости входного изображения с более высокой точностью.

Между тем, выше описание было дано таким образом, что в качестве количественного показателя степени размытости получают размытость всего входного изображения. Однако в качестве количественного показателя степени размытости можно получить степень размытости участка, занимаемого объектом, путем "нацеливания" (обработки) только на занимаемый объектом участок входного изображения.

Описание процесса вычисления количественного показателя яркости

Далее, со ссылкой на блок-схему алгоритма, показанную на фиг.19, будет дано описание процесса вычисления количественного показателя яркости, каковой процесс соответствует процессу на этапе S13, показанному на фиг.12.

На этапе S 81 модуль 91 извлечения объекта выполняет процесс создания карты объекта таким образом, чтобы создать карту объекта из входного изображения, предоставляемого из получающего модуля 22, и предоставляет эту карту объекта модулю 92 умножения. Между тем, подробности процесса создания карты объекта будут описаны позже.

На этапе S 82 модуль 92 умножения умножает входное изображение, предоставляемое из получающего модуля 22, на карту объекта, предоставляемую из модуля 91 извлечения объекта, таким образом, чтобы сгенерировать изображение объекта, и предоставляет изображение объекта модулю 93 генерирования гистограммы. Таким образом, когда пиксель, на который обращено внимание, из изображения объекта, делают "интересующим" пикселем, пиксельным значением для этого "интересующего" пикселя делают произведение пиксельного значения для пикселя карты объекта и пиксельного значения для пикселя входного изображения, имеющих то же самое место расположения, что и место расположения "интересующего" пикселя. Это изображение объекта представляет собой такое изображение, что отображается только участок, занимаемый объектом, на входном изображении.

На этапе S 83 на основе изображения объекта, предоставляемого из модуля 92 умножения, модуль 93 генерирования гистограммы генерирует гистограмму яркости, в которой каждый столбец соответствует диапазону значения яркости пикселя изображения объекта, и предоставляет гистограмму яркости модулю 94 нормирования. Кроме того, модуль 94 нормирования нормирует гистограмму, поступающую из модуля 93 генерирования гистограммы, и предоставляет эту гистограмму модулю 95 вычисления количественного показателя.

На этапе S 84 на основе гистограммы, предоставляемой из модуля 94 нормирования, модуль 95 вычисления количественного показателя вычисляет количественный показатель яркости в соответствии с методом К-NN (К - ближайший сосед) или ему подобным и предоставляет этот количественный показатель яркости модулю 28 вычисления суммарного количественного показателя.

Например, модуль 95 вычисления количественного показателя сохраняет в отношении профессионального изображения и любительского изображения, которые были приготовлены заранее, множество гистограмм яркости, которые были сгенерированы посредством процессов, идентичных процессам на этапах с S 81 по S 83. Модуль 95 вычисления количественного показателя вычисляет различие между каждой из гистограмм из числа множества профессиональных изображений и любительских изображений, которые были сохранены заранее, и гистограммой, поступающей из модуля 94 нормирования.

Таким образом, модуль 95 вычисления количественного показателя задает суммарное значение разностей частотного значения каждого столбца между гистограммой яркости входного изображения и одной гистограммой, которая сохранена заранее, в качестве расстояния между этими гистограммами. Таким образом, получают разность частотных значений между столбцами одного и того же репрезентативного значения, и общая сумма разностей, полученных для каждого столбца, задается как расстояние между гистограммами.

Затем модуль 95 вычисления количественного показателя выбирает К расстояний в восходящем порядке значения расстояния из числа расстояний между гистограммой изображения объекта и гистограммой, которая сохранена заранее.

В дополнение к этому модуль 95 вычисления количественного показателя вычитает количество расстояний гистограмм изображения объекта и любительского изображения из количества расстояний гистограмм изображения объекта и профессионального изображения из числа выбранных К расстояний, и задает полученное таким образом значение в качестве количественного показателя яркости.

При этом расстояние между гистограммой изображения объекта и гистограммой профессионального изображения или любительского изображения представляет собой итог суммы разностей частотных значений каждого столбца. Следовательно, чем более схожим является распределение яркости этих изображений, тем меньше значение расстояния. Таким образом, чем меньше расстояние, тем ближе находится изображение объекта к профессиональному изображению или любительскому изображению, для которого выполняется обработка данных.

В таком случае, в качестве количественного показателя яркости задается разность между количеством расстояний до гистограммы профессионального изображения и количеством расстояний до гистограммы любительского изображения установлена. Следовательно, чем большее количество профессиональных изображений имеет распределение яркости, сходное с распределением яркости изображения объекта, тем больше значение количественного показателя яркости. Таким образом, этот количественный показатель яркости указывает степень схожести распределения яркости изображения объекта по отношению к профессиональному изображению, и чем больше значение количественного показателя яркости входного изображения, тем выше для изображения оценка состояния фиксации изображения.

Как было описано выше, когда количественный показатель яркости вычислен, модуль 95 вычисления количественного показателя предоставляет рассчитанный количественный показатель яркости модулю 28 вычисления суммарного количественного показателя, и процесс вычисления количественного показателя яркости заканчивается. Затем, после этого, процесс переходит на этап S14, показанный на фиг.12.

Способом, описанным выше, модуль 24 вычисления количественного показателя яркости извлекает область объекта из входного изображения, сравнивает распределение яркости в этой области объекта с распределением яркости в области объекта профессионального изображения и любительского изображения таким образом, чтобы вычислить количественный показатель яркости. Как было описано выше, для того, чтобы вычислить количественный показатель яркости, распределение яркости сравнивают, "нацеливаясь" только на область объекта входного изображения, что позволяет более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Например, в целом изображение, на котором яркость участка объекта на изображении является высокой, расценивается как изображение, имеющее высокую оценку, которое было введено удовлетворительно, даже если участок, занимаемый задним планом, является темным. В этом случае, когда целью обработки является все изображение, и состояние фиксации изображения для данного изображения оценивается с использованием распределения яркости в качестве показателя, если, несмотря на тот факт, что распределение яркости участка объекта близко к распределению яркости участка, занимаемого объектом на профессиональном изображении распределение яркости участка, занимаемого задним планом, отличается от профессионального изображения, то оценка изображения является низкой.

Как было описано выше, в случае, при котором состояние фиксации изображения для данного изображения должно быть оценено с использованием распределения яркости в качестве показателя, важным является распределение яркости в области объекта внутри изображения, а оценка распределения яркости участка, занимаемого задним планом, не является обязательно необходимой. Таким образом, оценка входного изображения вполне возможна исходя из распределения яркости на участке, занимаемом объектом. В противоположность этому, когда рассматривается распределение яркости на участке, занимаемом задним планом, имеется тот риск, что способ оценки станет сложным, или будет сделана ошибочная оценка.

Соответственно, в модуле 24 вычисления количественного показателя яркости, вычисляя количественный показатель яркости путем "нацеливания" только на область объекта входного изображения как на цель для обработки, можно более просто и более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Описание процесса создания карты объекта

В дополнение к этому ниже со ссылкой блок-схему алгоритма, показанную на фиг.20, будет дано описание процесса создания карты объекта, каковой процесс соответствует процессу на этапе S 81, показанном на фиг.19.

На этапе S11 модуль 121 извлечения информации о яркости выполняет процесс извлечения информации о яркости таким образом, чтобы, основываясь на входном изображении, предоставляемом из получающего модуля 22, создать карту информации о яркости, и предоставляет эту карту информации о яркости модулю 125 создания карты объекта. Затем, на этапе S112, модуль 122 извлечения информации о цвете выполняет процесс извлечения информации о цвете таким образом, чтобы, основываясь на входном изображении, предоставляемом из получающего модуля 22, создать карту информации о цвете, и предоставляет эту карту информации о цвете модулю 125 создания карты объекта.

На этапе S113 модуль 123 извлечения информации о контурах выполняет процесс извлечения информации о контурах таким образом, чтобы основываясь на входном изображении, предоставляемом из получающего модуля 22, создать карту информации о контурах, и предоставляет эту карту информации о контурах модулю 125 создания карты объекта. Кроме того, на этапе S114 модуль 124 извлечения информации о лице выполняет процесс извлечения информации о лице таким образом, чтобы, основываясь на входном изображении, предоставляемом из получающего модуля 22, создать карту информации о лице, и предоставляет эту карту информации о лице модулю 125 создания карты объекта.

Между тем, подробности вышеупомянутых процесса извлечения информации о яркости, процесса извлечения информации о цвете, процесса извлечения информации о контурах и процесса извлечения информации о лице будут описаны позже.

На этапе S115 модуль 125 создания карты объекта создает карты объекта, используя карты от карты информации о яркости до карты информации о лице, предоставляемые из модулей от модуля 121 извлечения информации о яркости до модуля 124 извлечения информации о лице, и предоставляет карты объекта модулю 92 умножения, показанному на фиг.3.

Например, модуль 125 создания карты объекта линейным образом объединяет информационные карты, используя весовой коэффициент (Wb) информации, который представляет собой весовой коэффициент, который был получен заранее для каждой информационной карты, и нормирует эти информационные карты умножая значение пикселя получаемой таким образом карты на весовой коэффициент (Wc) объекта, который представляет собой заранее полученный весовой коэффициент, таким образом, чтобы сформировать карту объекта.

Таким образом, если пиксель, на который обращено внимание на получаемой карте объекта, задается как "интересующий" пиксель, пиксельное значение для пикселя каждой информационной карты, расположенного в том же самом месте, что и интересующий пиксель, умножается на весовой коэффициент (Wb) информации, предназначенный для каждой информационной карты, и итоговая сумма значений пикселя, на которые умножен весовой коэффициент (Wb) информации, задается в качестве пиксельного значения для "интересующего" пикселя. В дополнение к этому, пиксельное значение для каждого пикселя карты объекта, полученной таким образом, умножается на весовой коэффициент (Wc) объекта, полученный заранее в отношении карты объекта, таким образом, чтобы быть нормированным, и образует конечную карту объекта.

Между тем, если описать это более подробно, то в качестве карт информации о цвете используются карта информации о цвете для разности "красное/зеленое" и карты информации о цвете для разности "синее/желтое". В качестве карт информации о контурах используются карты информации о контурах в каждом направлении из числа: 0 градусов, 45 градусов, 90 градусов и 135 градусов. Таким образом, создается карта объекта. Кроме того, весовой коэффициента (Wc) объекта был получен заранее посредством "обучения", и нормирование заставляет пиксельное значение для каждого пикселя на карте объекта принимать одно из значений: 0 и 1. Таким образом, в ходе нормирования, пороговый процесс, использующий некоторое предварительно заданное пороговое значение, заставляет пиксельное значение для каждого пикселя преобразовываться в двоичную форму.

Когда способом, описанным выше, карта объекта создана и предоставлена модулю 92 умножения, процесс создания карты объекта заканчивается. После этого, процесс переходит на этап S 82, показанный на фиг.19.

Способом, описанным выше, модуль 91 извлечения объекта извлекает каждую информацию из области входного изображения и создает карту объекта.

Описание процесса извлечения информации о яркости

Далее, со ссылкой на блок-схемы алгоритмов, показанные на фиг.21-24, будет дано описание процессов, соответствующих соответствующим процессам на этапах с S111 по S114, показанных на фиг.20.

Сначала, со ссылкой на блок-схему алгоритма, показанную на фиг.21, будет ниже дано описание процесса извлечения информации о яркости, соответствующего процессу на этапе S111, показанном на фиг.20.

На этапе S151 модуль 151 генерирования изображения яркости генерирует с использованием входного изображения, предоставляемого из получающего модуля 22, изображение яркости, и предоставляет это изображение яркости модулю 152 генерирования пирамидного изображения. Например, модуль 151 генерирования изображения яркости умножает значения каждой составляющей: красной, зеленой и синей, пикселя на входном изображении на заданный коэффициент для каждой составляющей, и устанавливает сумму значений каждой составляющей, которая умножена на коэффициент, в качестве пиксельного значения для пикселя на изображении яркости, расположенного в том же самом месте, что и место расположения этого пикселя на входном изображении. Таким образом, получают составляющая яркости в составном сигнале, составленном из составляющих (Y) яркости и цветоразностных составляющих (Сb, Сr). Между тем, среднее значение для значений каждой составляющей: красной, зеленой и синей, пикселя может быть задано в качестве пиксельного значения для пикселя на изображении яркости.

На этапе S152 на основе изображения сигнала яркости, предоставляемого из модуля 151 генерирования изображения яркости, модуль 152 генерирования пирамидного изображения генерирует пирамидные изображения каждого иерархического представления от уровня L1 до уровня L8, и предоставляет эти пирамидные изображения модулю 153 вычисления разности.

На этапе S153 модуль 153 вычисления разности генерирует и нормирует изображение разности, используя пирамидные изображения, предоставляемые из модуля 152 генерирования пирамидного изображения, и предоставляет его модулю 154 создания карты информации о яркости. Нормирование выполняется таким образом, чтобы пиксельное значение для пикселя на изображениях разности становилось, например, значением между 0 и 255.

Если описать это конкретно, то модуль 153 вычисления разности получает разность между пирамидными изображениями комбинации иерархических представлений уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4, и уровня L8 и уровня L5 из числа пирамидных изображений яркости каждого иерархического представления. В результате, получается в общей сложности пять изображений разности яркости.

Например, в случае, при котором должно быть сгенерировано изображение разности для комбинации уровня L6 и уровня L3, пирамидное изображение уровня L6 подвергается повышающему преобразованию в соответствии с размером пирамидного изображения уровня L3. Таким образом, пиксельное значение одного пикселя в пирамидном изображении уровня L6 перед повышающим преобразованием задается в качестве пиксельного значения нескольких примыкающих друг к другу пикселей пирамидного изображения уровня L6 после повышающего преобразования, которое соответствует одному пикселю. Затем получают разность между пиксельным значением для пикселя пирамидного изображения уровня L6 и пиксельным значением для пикселя пирамидного изображения уровня L3, который располагается в том же самом месте, что и место расположения этого пикселя пирамидного изображения уровня L6, и эта разность задается в качестве пиксельного значения для пикселя изображения разности.

Процесс для генерирования этих изображений разности является эквивалентным процессу, в котором на изображении яркости выполняется процесс фильтрации, использующий полосовой фильтр, и из изображения яркости извлекаются предварительно заданные частотные составляющие. Пиксельное значение для пикселя изображения разности, которое получено таким образом, указывает разность между пиксельными значениями пирамидных изображений каждого уровня, то есть разность между яркостью заданного пикселя на входном изображении и средней яркостью в окружающей области этого пикселя.

Обычно область, имеющая большое отличие по яркости от окружающей области на изображении, является областью, которая привлекает внимание человека, который рассматривает это изображение. Следовательно, эта область имеет высокую вероятность быть областью объекта. Поэтому можно сказать, что пиксель, имеющий более высокое значения пикселя на каждом изображении разности является областью, имеющей высокую вероятность быть областью объекта.

На этапе S154 модуль 154 создания карты информации о яркости создает, основываясь на изображениях разности, предоставляемых из модуля 153 вычисления разности, карту информации о яркости, и предоставляет эту карту информации о яркости модулю 125 создания карты объекта. Когда карта информации о яркости предоставлена из модуля 154 создания карты информации о яркости модулю 125 создания карты объекта, процесс извлечения информации о яркости заканчивается, и процесс затем переходит на этап S112, показанный на фиг.20.

Например, модуль 154 создания карты информации о яркости выполняет взвешенное суммирование пяти предоставляемых изображений разности с использованием весового коэффициента (Wa) разности, который является весовым коэффициентом для каждого изображения разности, таким образом, чтобы получить одно изображение. Таким образом, каждое из пиксельных значений для пикселей, расположенных в том же самом месте, что и пиксели на каждом изображении разности умножаются на весовой коэффициент (Wa) разности, и получают итоговую сумму значений пикселей, которые умножены на весовой коэффициент (Wa) разности.

Между тем, когда должна быть создана карта информации о яркости, выполняется повышающее преобразованию изображений разности таким образом, чтобы изображения разности имели один и тот же размер.

Способом, описанным выше, модуль 121 извлечения информации о яркости получает изображение яркости из входного изображения, и создает карту информации о яркости из изображения яркости. В модуле 121 извлечения информации о яркости в качестве количественного значения характеристики извлекается разность между яркостью соответствующих областей входного изображения и средней яркостью области в окружении этой области входного изображения, и создается карта информации о яркости, указывающая это количественное значение характеристики. В соответствии с картой информации о яркости, полученной этим способом, имеется возможность с легкостью обнаруживать область, имеющую большое яркостное различие на входном изображении, то есть, область, которая с легкостью может быть распознана наблюдателем, который бросает быстрый взгляд на входное изображение.

Описание процесса извлечения информации о цвете

Далее со ссылкой на блок-схему алгоритма, показанную на фиг.22, будет дано описание процесса извлечения информации о цвете, соответствующего процессу на этапе S112, показанном на фиг.20.

На этапе S181 модуль 181 генерирования изображения разности "красное/зеленое" генерирует, используя входное изображение, предоставляемое из получающего модуля 22, изображение разности "красное/зеленое" и предоставляет это изображение разности "красное/зеленое" модулю 183 генерирования пирамидного изображения.

На этапе S182 модуль 182 генерирования изображения разности "синее/желтое" генерирует, используя входное изображение, предоставляемое из получающего модуля 22, изображение разности "синее/желтое" и предоставляет это изображение разности "синее/желтое" модулю 184 генерирования пирамидного изображения.

На этапе S183 модуль 184 генерирования пирамидного изображения и модуль 183 генерирования пирамидного изображения генерируют пирамидные изображения, используя, соответственно, изображение разности "красное/зеленое", поступающее из модуля 181 генерирования изображения разности "красное/зеленое", и изображение разности "синее/желтое", поступающее из модуля 182 генерирования изображения разности "синее/желтое".

Например, модуль 183 генерирования пирамидного изображения генерирует множество изображений разности "красное/зеленое", имеющих различные разрешения, таким образом, чтобы сгенерировать пирамидные изображения каждого иерархического представления уровней: от уровня L1 до уровня L8, и предоставляет это множество изображений разности "красное/зеленое" модулю 185 вычисления разности. Аналогичным образом модуль 184 генерирования пирамидного изображения генерирует множество изображений разности "синее/желтое", имеющих различные разрешения, таким образом, чтобы сгенерировать пирамидные изображения каждого иерархического представления уровней: от уровня L1 до уровня L8, и предоставляет это множество изображений разности "синее/желтое" модулю 186 вычисления разности.

На этапе S184 модуль 186 вычисления разности и модуль 185 вычисления разности генерируют и нормируют изображения разности основываясь на пирамидных изображениях, предоставляемых из модуля 183 генерирования пирамидного изображения и модуля 184 генерирования пирамидного изображения, и предоставляют эти изображения разности соответственно модулю 187 создания карты информации о цвете и модулю (118) создания карты информации о цвете. В ходе нормирования изображений разности, например, пиксельные значения для пикселя устанавливаются имеющими значение между 0 и 255.

Например, модуль 185 вычисления разности получает разности между пирамидными изображениями комбинаций уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4, и уровня L8 и уровня L5 из числа пирамидных изображений разностей "красное/зеленое" каждого иерархического представления. В результате этого получается в общей сложности пять изображений разности "красное/зеленое".

Аналогичным образом модуль 185 вычисления разности получает разности между пирамидными изображениями комбинаций уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4, и уровня L8 и уровня L5 из числа пирамидных изображений разностей "синее/желтое" каждого иерархического представления. В результате этого получается в общей сложности пять изображений разности "синее/желтое".

Процесс генерирования этих изображений разности является эквивалентным процессу, в котором выполняется процесс фильтрации на изображении разности "красное/зеленое" или изображении разности "синее/желтое", использующий полосовой фильтр, таким образом, чтобы извлекать предварительно заданные частотные составляющие из изображения разности "красное/зеленое" или изображения разности "синее/желтое". Пиксельное значение для пикселя изображения разности, полученного таким образом, указывает разность между конкретными цветовыми составляющими пирамидных изображений каждого уровня, то есть разность между составляющими конкретного цвета в пикселе входного изображения и составляющими среднего конкретного цвета в окружающей области этого пикселя.

Обычно, область, имеющая более заметный цвет по сравнению с окружающей областью на изображении, то есть область, имеющая большое отличие по конкретным цветовым составляющим от окружающей области, является областью, которая привлекает внимание человека, который рассматривает изображение. Следовательно, эта область имеет высокую вероятность быть областью объекта. Следовательно, можно сказать, что пиксель, имеющий более высокое значение пикселя на каждом изображении разности, указывает на то, что эта область с большей вероятностью является областью объекта.

На этапе S185 модуль 188 создания карты информации о цвете и модуль 187 создания карты информации о цвете создают с использованием изображений разности, поступающих соответственно из модуля 185 вычисления разности и модуля 186 вычисления разности, карты информации о цвете и предоставляют их модулю 125 создания карты объекта.

Например, модуль 187 создания карты информации о цвете выполняет взвешенное суммирование изображений разности "красное/зеленое", предоставляемых из модуля 185 вычисления разности, с использованием полученного заранее весового коэффициента (Wa) разности для каждого изображения разности, формируя, таким образом, одну карту информации о цвете для разности "красное/зеленое".

Аналогичным образом модуль 188 создания карты информации о цвете выполняет взвешенное суммирование изображений разности "синее/желтое", предоставляемых из модуля 186 вычисления разности, с использованием полученного заранее весового коэффициента (Wa), формируя, таким образом, одну карту информации о цвете для разности "синее/желтое". Между тем, когда должна быть создана карта информации о цвете, выполняется повышающее преобразование изображений разности, таким образом чтобы эти изображения разности имели один и тот же размер.

Когда модуль 187 создания карты информации о цвете и модуль 188 создания карты информации о цвете предоставляют, соответственно, карту информации о цвете для разности "красное/зеленое" и карту информации о цвете для разности "синее/желтое", которые получены способом, описанным выше, модулю 125 создания карты объекта, процесс извлечения информации о цвете заканчивается. Процесс затем переходит на этап S113, показанный на фиг.20.

Способом, описанным выше, модуль 122 извлечения информации о цвете получает изображение - разности составляющих конкретного цвета из входного изображения, и создает из этого изображения карту информации о цвете. Таким образом, в модуле 122 извлечения информации о цвете в качестве количественного значения характеристики извлекается разность между конкретными цветовыми составляющими соответствующих областей входного изображения и средними конкретными цветовыми составляющими области в окружении этой области входного изображения, и создается карта информации о цвете, указывающая это количественное значение характеристики. В соответствии с картой информации о цвете, полученной способом, описанным выше, имеется возможность с легкостью обнаруживать область, имеющую более высокую разность конкретных цветовых составляющих, то есть, область, которая с легкостью может быть распознана наблюдателем, который бросает быстрый взгляд на входное изображение.

Между тем, было описано, что в модуле 122 извлечения информации о цвете в качестве информации о цветах, извлекаемой из входного изображения, извлекаются разность между R (красными) составляющими и G (зелеными) составляющими и разность между В (синими) составляющими и Y (желтыми) составляющими. В качестве альтернативы могут извлекаться цветоразностные составляющие Сr и цветоразностные составляющие Сb. При этом, цветоразностные составляющие Сr представляют собой разность между красными составляющими и яркостными составляющими, а цветоразностные составляющие Сb представляют собой разность между синими составляющими и яркостными составляющими.

Описание процесса извлечения информации о контурах

Фиг.23 представляет собой блок-схему алгоритма, иллюстрирующую процесс извлечения информации о контурах, соответствующий процессу на этапе S113, показанном на фиг.20. Этот процесс извлечения информации о контурах будет описан ниже.

На этапе S211 модули от модуля 211 генерирования изображения контуров до модуля 214 генерирования изображения контуров выполняют процесс фильтрации, используя фильтр Габора, на входном изображении, предоставляемом из получающего модуля 22, и генерируют изображения контуров, в которых пиксельными значениями для пикселя являются контрастности контура в направлении 0 градусов, 45 градусов, 90 градусов и 135 градусов. Затем модули от модуля 211 генерирования изображения контуров до модуля 214 генерирования изображения контуров предоставляют сгенерированные изображения контуров соответственно модулям от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений.

На этапе S 212 модули от модуля 215 генерирования пирамидных изображений до модуля 218 генерирования пирамидных изображений генерируют пирамидные изображения, используя изображения контуров, поступающие соответственно от модулей с модуля 211 генерирования изображения контуров по модуль 214 генерирования изображения контуров, и предоставляют пирамидные изображения соответственно модулям от модуля 219 вычисления разности до модуля 222 вычисления разности.

Например, модуль 215 генерирования пирамидного изображения генерирует множество изображений контуров в направлении 0 градусов, имеющих различные разрешения, таким образом, чтобы сгенерировать пирамидное изображение каждого иерархического представления уровней от уровня L1 до уровня L8, и предоставляет это пирамидное изображение модулю 219 вычисления разности. Аналогичным образом, модули от модуля 216 генерирования пирамидного изображения до модуля 218 генерирования пирамидного изображения генерируют пирамидные изображения каждого иерархического представления уровней от уровня L1 до уровня L8 и предоставляют эти пирамидные изображения соответственно модулям от модуля 220 вычисления разности до модуля 222 вычисления разности.

На этапе S 213 модули от модуля 219 вычисления разности до модуля 222 вычисления разности генерируют и нормируют изображения разности, используя пирамидные изображения, поступающие, соответственно, от модулей с модуля 215 генерирования пирамидных изображений по модуль 218 генерирования пирамидных изображений, и предоставляют эти изображения разности соответственно модулям от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах. В ходе нормирования изображений разности, например, пиксельное значение для пикселя устанавливается имеющим значение между 0 и 255.

Например, модуль 219 вычисления разности получает разности между пирамидными изображениями комбинаций уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4, и уровня L8 и уровня L5 из числа пирамидных изображений контура в направлении 0 градусов каждого иерархического представления, которые предоставляются из модуля 215 генерирования пирамидного изображения. В результате этого получается в общей сложности пять изображений разности для контура.

Аналогичным образом модули от модуля 220 вычисления разности до модуля 222 вычисления разности получают разности между пирамидными изображениями комбинаций уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4, и уровня L8 и уровня L5 из числа пирамидных изображений каждого иерархического представления. В результате этого получается в общей сложности пять изображений разности для контура.

Процесс для генерирования этих изображений разности является эквивалентным процессу, в котором выполняется процесс фильтрации, использующий полосовой фильтр, таким образом, чтобы извлекать из изображения контура предварительно заданные частотные составляющие. Значение пикселя для пикселя изображения разности, полученного этим способом, указывает разность между контрастностями контура пирамидных изображений каждого уровня, то есть разность между контрастностью контура в предварительно заданном месте входного изображения и средней контрастностью контура изображения в области, окружающей это место.

Обычно область, имеющая более высокую контрастность контура по сравнению с окружающей областью на изображении, является областью, которая привлекает внимание человека, который рассматривает изображение. Следовательно, эта область имеет высокую вероятность быть областью объекта. Следовательно, можно сказать, что пиксель, имеющий более высокое значение пикселя на каждом изображении разности, указывает, что эта область с большей вероятностью является областью объекта.

На этапе S 214 модули от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах создают, используя изображения разности, поступающие соответственно от модулей с модуля 219 вычисления разности по модуль 222 вычисления разности, карты информации о контурах в каждом направлении и передает их модулю 125 создания карты объекта.

Например, модуль 223 создания карты информации о контурах выполняет взвешенное суммирование изображений разности, предоставляемых из модуля 219 вычисления разности, с использованием весового коэффициента (Wa) разности, полученного заранее, таким образом, чтобы сформировать карту информации о контурах в направлении 0 градусов.

Аналогичным образом модули от модуля 224 создания карты информации о контурах до модуля 226 создания карты информации о контурах выполняют взвешенное суммирование изображений разности, поступающих из модулей от модуля 220 вычисления разности до модуля 222 вычисления разности, с использованием весового коэффициента (Wa) разности, соответственно, таким образом, чтобы создать карту информации о контурах в каждом направлении: 45 градусов, 90 градусов и 135 градусов, соответственно. Между тем, когда должна быть создана карта информации о контурах, выполняется повышающее преобразованию изображения разности таким образом, чтобы изображения разности имели один и тот же размер.

Когда модули от модуля 223 создания карты информации о контурах до модуля 226 создания карты информации о контурах предоставляют в общей сложности четыре карты информации о контурах, полученные способом, описанным выше, модулю 125 создания карты объекта, процесс извлечения информации о контурах заканчивается. Процесс затем переходит на этап S114, показанный на фиг.20.

Способом, описанным выше, модуль 123 извлечения информации о контурах получает из входного изображения изображение разности для контура в конкретном направлении, и создает из этого изображения разности карту информации о контурах. Таким образом, в модуле 123 извлечения информации о контурах извлекается, в качестве количественного значения характеристики, разность между контрастностью контура в конкретном направлении в соответствующих областях входного изображения и средней контрастностью контура в конкретном направлении области в окружении этой области входного изображения, и создается карта информации о контурах, указывающая это количество признака. В соответствии с картой информации о контурах для каждого направления, полученной способом, описанным выше, имеется возможность с легкостью обнаруживать область, имеющую большую контрастность контура в конкретном направлении по сравнению с окружающей областью на входном изображении, то есть область, которая с легкостью может быть распознана наблюдателем, который бросает быстрый взгляд на входное изображение.

Между тем, было описано, что в процессе извлечения информации о контурах для извлечения контуров используется фильтр Габора. В качестве альтернативы может быть использован любой другой фильтр для извлечения контуров, такой как фильтр Собеля или фильтр Робертса.

Описание процесса извлечения информации о лице

Далее со ссылкой на блок-схему алгоритма, показанную на фиг.24, будет дано описание процесса извлечения информации о лице, соответствующего процессу на этапе S114, показанном на фиг.20.

На этапе S 241 модуль 251 обнаружения лица обнаруживает исходя из входного изображения, предоставляемого из получающего модуля 22, область лица человека и предоставляет результат обнаружения модулю 252 создания карты информации о лице. Например, модуль 251 обнаружения лица выполняет процесс фильтрации, использующий фильтр Габора на входном изображении, и обнаруживает область лица на входном изображении, извлекая из входного изображения характерные области человека, такие как глаз, рот и нос и тому подобное.

На этапе S 242 модуль 252 создания карты информации о лице создает, используя результат обнаружения, поступающий из модуля 251 обнаружения лица, карту информации о лице и предоставляет эту карту информации о лице модулю 125 создания карты объекта.

Например, предполагается, что в качестве результата обнаружения лица исходя из входного изображения было обнаружено множество прямоугольных областей (в дальнейшем именуемыми областями - кандидатами) на входном изображении, в которых, как полагают, содержится лицо. При этом также предполагается, что множество областей - кандидатов обнаруживается вблизи от некоторого предварительно заданного места на входном изображении, и что участки этих областей - кандидатов могут перекрывать друг друга. То есть, например, в случае, при котором в отношении области одного лица на входном изображении было получено в качестве областей - кандидатов множество областей, включающих в себя лицо, участки этих областей - кандидатов перекрывают друг друга.

Модуль 252 создания карты информации о лице генерирует в отношении области - кандидата, получаемой при обнаружении лица, изображение обнаружения, имеющее тот же самый размер, что и входное изображение для каждой области - кандидата. Это изображение обнаружения сформировано таким образом, что пиксельное значение для пикселя в той же самой области, что и область - кандидат, подлежащая обработке, на обнаруженном изображении имеет значение, более высокое, чем пиксельное значение для пикселя в области, отличной от области кандидата.

Кроме того, чем ближе пиксельное значение для пикселя в том же самом месте, что и место расположения области - кандидата, которая, как полагают, имеет вероятность содержать лицо человека, тем больше пиксельное значение для пикселя на обнаруженном изображении. Модуль 252 создания карты информации о лице суммирует изображения обнаружения, полученные способом, описанным выше, таким образом, чтобы сгенерировать и нормализовать одно изображение, формируя, таким образом, карту информации о лице. Следовательно, в карте информации о лице, пиксельное значение для пикселя в том же самом месте, что и область, которая перекрывает участки множества областей - кандидатов на входном изображении, увеличивается, и вероятность того, что содержится лицо, является более высокой. Между тем, в ходе нормирования пиксельное значение для пикселя устанавливается имеющим значение между 0 и 255.

Когда карта информации о лице создана, процесс извлечения информации о лице заканчивается. Процесс затем переходит на этап S15, показанный на фиг.20.

Способом, описанным выше, модуль 124 извлечения информации о лице обнаруживает лицо исходя из входного изображения и создает исходя из результата обнаружения карту информации о лице. В соответствии с картой информации о лице, полученной способом, описанным выше, имеется возможность с легкостью обнаруживать область лица человека как объекта.

В модуле 91 извлечения объекта, показанном на фиг.4, создается каждая информационная карта, как это описано выше, и из этих информационных карт создается карта объекта.

Описание процесса вычисления количественного показателя контура

Кроме того, ниже со ссылкой на фиг.25-28 будет дано описание процесса вычисления количественного показателя контура, процесса вычисления количественного показателя распределения цвета и процесса вычисления количественного показателя насыщенности цвета, соответствующие процессам на этапах S14-S16, показанных на фиг.12.

Сначала, со ссылкой на блок-схему алгоритма, показанную на фиг.25, будет дано описание процесса вычисления количественного показателя контура, каковой процесс соответствует процессу на этапе S14, показанном на фиг.12. Этот процесс выполняется модулем 25 вычисления количественного показателя контура, показанным на фиг.9.

На этапе S 271 модуль 281 извлечения объекта выполняет процесс создания карты объекта таким образом, чтобы создать карту объекта из входного изображения, предоставляемого из получающего модуля 22, и предоставляет эту карту объекта модулю 282 инверсии. Между тем, этот процесс создания карты объекта является процессом, идентичным процессу создания карты объекта, описанной со ссылкой на фиг.20, и, таким образом, его описание опускается.

На этапе S 272 модуль 282 инверсии выполняет процесс инверсии на карте объекта, предоставляемой из модуля 281 извлечения объекта, и предоставляет карту объекта модулю 285 умножения. Таким образом, пиксельное значение для каждого пикселя карты объекта инвертировано из "1" в "0" или из "0" в "1". В результате этого использование карты объекта после инверсии позволяет извлечь на входном изображении участок, занимаемый задним планом.

На этапе S 273 модуль 283 обработки фильтром выполняет процесс фильтрации, используя лапласовский фильтр, на входном изображении, предоставляемом из получающего модуля 22, таким образом, чтобы сгенерировать лапласовское изображение, и предоставляет это лапласовское изображение модулю 284 нормирования. Кроме того, модуль 284 нормирования нормирует лапласовское изображение, поступающее из модуля 283 фильтрующей обработки данных, и предоставляет лапласовское изображение модулю 285 умножения.

На этапе S 274 модуль 285 умножения генерирует изображение заднего плана, умножая лапласовское изображение, поступающее из модуля 284 нормирования на инвертированную карту объекта, поступающую из модуля 282 инверсии, и предоставляет это изображение заднего плана модулю 286 генерирования гистограммы. Таким образом, получают произведение пиксельных значений для пикселей лапласовского изображения и карты объекта в одном и том же месте, и это произведение задается в качестве пиксельного значения для пикселя изображения заднего плана. Изображение заднего плана, полученное этим способом, представляет собой изображение, указывающее контрастность контура участка, который не является областью объекта на входном изображении, то есть, участка, занимаемого задним планом.

На этапе S 275, используя изображение заднего плана, предоставляемое из модуля 285 умножения, модуль 286 генерирования гистограммы генерирует гистограмму, указывающую сложность контура на участке, занимаемом задним планом, на входном изображении.

Таким образом, сначала модуль 286 генерирования гистограммы выполняет на изображении заднего плана пороговый процесс. Если описать это конкретно, то пиксельное значение для пикселя, у которого пиксельное значение больше чем некоторое пороговое значение или равно ему, из числа пикселей изображения заднего плана сохраняется имеющим то значение, которое оно имеет, а пиксельное значение для пикселя, у которого пиксельное значение меньше, чем это пороговое значение устанавливается в "0".

Далее модуль 286 генерирования гистограммы генерирует гистограмму контуров, на которой столбцом служит диапазон пиксельных значений для пикселей изображения заднего плана, то есть диапазон значения контрастности контура. Затем, модуль 286 генерирования гистограммы предоставляет сгенерированную гистограмму контура модулю 287 вычисления количественного показателя.

На этапе S 276 модуль 287 вычисления количественного показателя вычисляет количественный показатель контура, используя гистограмму, предоставляемую из модуля 286 генерирования гистограммы, и предоставляет этот количественный показатель контура модулю 28 вычисления суммарного количественного показателя.

Например, диапазон значения, которое может принимать значение пикселя изображения заднего плана после порогового процесса, принимается составляющим от 0 до 1. При этом модуль 287 вычисления количественного показателя извлекает, в качестве максимального частотного значения Ма, частотное значение столбца, имеющего самое высокое частотное значение среди одного или множественных столбцов, которые содержатся в диапазоне пиксельного значения (контрастности контура) от "0" до "0,1" на гистограмме. Таким образом, среди столбцов, у которых репрезентативное значение находится между 0 и 0,1, выбирается столбец, имеющий самое высокое частотное значение, и частотное значение этого столбца задается в качестве максимального частотного значения Ма.

Кроме того, модуль 287 вычисления количественного показателя извлекает, в качестве минимального частотного значения Mb, частотное значение столбца, у которого частотное значение является самым низким среди одного или множественных столбцов, содержащихся в диапазоне пиксельного значения (контрастности контура) от "0,8" до "0,9" на гистограмме. Таким образом, выбирается столбец, имеющий самое низкое частотное значение среди столбцов, у которых репрезентативное значение находится между 0,8 и 0,9, и частое значение этого столбца задается в качестве минимального частотного значения Mb.

Затем модуль 287 вычисления количественного показателя вычитает минимальное частотное значение Mb из максимального частотного значения Ма, и задает полученное таким образом значение в качестве количественного показателя контура. Количественный показатель контура, полученный этим способом, указывает разность между количеством пикселей, имеющих малую контрастность контура, и количеством пикселей, имеющих большую контрастность контура, на участке, занимаемом задним планом, на входном изображении, то есть сложность контура на участке, занимаемом задним планом.

Обычно, на любительском изображении контур участка, занимаемого задним планом, является сложным, и часто, максимальное частотное значение Ма увеличено, а минимальное частотное значение Mb уменьшено. Таким образом, количественный показатель контура изображения, близкого к любительскому изображению, имеет высокую вероятность принимать большое значение. С другой стороны, на профессиональном изображении контур участка заднего плана является простым, то есть количество пикселей, у которых контрастность контура велика, является малым, и часто максимальное частотное значение Ма и минимальное частотное значение Mb малы. Таким образом, количественный показатель контура изображения, близкого к профессиональному изображению, имеет высокую вероятность принимать малое значение. Следовательно, чем меньше значение количественного показателя контура, тем выше указывается для входного изображения оценка состояния фиксации изображения.

Когда рассчитанный количественный показатель контура предоставляется из модуля 287 вычисления количественного показателя модулю 28 вычисления суммарного количественного показателя, процесс вычисления количественного показателя контура заканчивается. После этого процесс переходит на этап S15, показанный на фиг.12.

Способом, описанным выше, модуль 25 вычисления количественного показателя контура извлекает из входного изображения участок, занимаемый задним планом, и вычисляет, основываясь на контрастности контура участка, занимаемого задним планом, количественный показатель контура, указывающий сложность контрастности контура участка, занимаемого задним планом. Как было описано выше, вычисляя количественный показатель контура путем "нацеливания" только на участок, занимаемый задним планом, можно более подходящим образом оценивать для входного изображения состояние фиксации изображения.

То есть существует тенденция, при которой контур участка, занимаемого задним планом, на любительском изображении является сложным, а контур участка, занимаемого задним планом, на профессиональном изображении является простым. В соответствии с этим, используя такую тенденцию, получают количественный показатель контура, указывающий сложность контура только участка, занимаемого задним планом. Следовательно, имеется возможность более легко и надлежащим образом оценивать для входного изображения состояние фиксации изображения независимо от того, является ли сложным контур на участке, занимаемом объектом.

Описание процесса вычисления количественного показателя распределения цвета

Далее со ссылкой на блок-схему алгоритма, показанную на фиг.26, будет дано описание процесса вычисления количественного показателя распределения цвета, каковой процесс соответствует процессу на этапе S15, показанном на фиг.12.

На этапе S 301 модули от модуля 311 генерирования гистограммы красной составляющей до модуля 313 генерирования гистограммы синей составляющей, генерируют гистограммы каждой составляющей: R (красной), G (зеленой), и В (синей), исходя из входного изображения, предоставляемого из получающего модуля 22, и предоставляют эти гистограммы соответственно модулям от модуля 314 нормирования до модуля 316 нормирования. Например, в качестве гистограммы красной составляющей генерируется гистограмма, в которой столбцом служит диапазон значения красной составляющей входного изображения.

Кроме того, модули от модуля 314 нормирования до модуля 316 нормирования нормируют гистограммы для каждой составляющей, поступающие соответственно из модулей от модуля 311 генерирования гистограммы красной составляющей до модуля 313 генерирования гистограммы синей составляющей, и предоставляют гистограммы модулю 317 генерирования гистограммы.

На этапе S 302, используя гистограммы для каждой цветовой составляющей, предоставляемой из модулей от модуля 314 нормирования до модуля 316 нормирования, модуль 317 генерирования гистограммы генерирует гистограмму цвета, составленного из каждой составляющей: красной, зеленой и синей, и предоставляет эту гистограмму модулю 318 вычисления количественного показателя.

Например, в случае, при котором гистограмма каждой составляющей: красной, зеленой и синей, сформирована из 16 столбцов, генерируется одна гистограмма, образованная из 16 ³ столбцов в отношении цвета, составленного из красной, зеленой и синей составляющих. Эта гистограмма указывает распределение цвета на всем входном изображении.

На этапе S 303 на основе гистограммы, предоставляемой из модуля 317 генерирования гистограммы, модуль 318 вычисления количественного показателя вычисляет количественный показатель распределения цвета, используя способ К - NN или подобный ему способ, и предоставляет этот количественный показатель распределения цвета модулю 28 вычисления суммарного количественного показателя.

Например, модуль 318 вычисления количественного показателя хранит множество гистограмм цвета, которые сгенерированы теми же самыми процессами, что и процессы на этапах S 301 и S 302, в отношении профессионального изображения и любительского изображения, которые приготавливаются заранее. Модуль 318 вычисления количественного показателя вычисляет расстояние между соответствующими гистограммами из множества профессиональных изображений и любительских изображений, которые сохранены заранее, и гистограммой, поступившей из модуля 317 генерирования гистограммы.

При этом расстояние между гистограммами представляет собой суммарное значение разностей частотных значений каждого столбца между гистограммой цвета входного изображения и одной гистограммы, которая сохранена заранее.

В дополнение к этому модуль 318 вычисления количественного показателя выбирает К расстояний в восходящем порядке значения расстояния из числа множества полученных расстояний, и вычитает количество расстояний для гистограмм входного изображения и любительского изображения из количества расстояний для гистограмм входного изображения и профессионального изображения среди выбранных расстояний. Затем модуль 318 вычисления количественного показателя задает значение, полученное как результат этого вычитания, в качестве количественного показателя распределения цвета.

Что касается количественного показателя распределения цвета, полученного этим способом, аналогично вышеупомянутому количественному показателю яркости, то чем больше количество профессиональных изображений, у которых распределение цвета напоминает распределение цвета входного изображения, тем большее значение этого показателя. Таким образом, количественный показатель распределения цвета указывает ту степень, в которой распределение цвета входного изображения напоминает распределение цвета профессионального изображения. Чем больше значение количественного показателя распределения цвета входного изображения, тем выше для изображения оценка состояния фиксации изображения.

Когда количественный показатель распределения цвета вычислен, модуль 318 вычисления количественного показателя предоставляет рассчитанный количественный показатель распределения цвета модулю 28 вычисления суммарного количественного показателя, и процесс вычисления количественного показателя распределения цвета заканчивается. После этого процесс затем переходит на этап S16, показанный на фиг.12.

Как было описано выше, модуль 26 вычисления количественного показателя распределения цвета сравнивает распределение цвета на входном изображении с распределением цвета профессионального изображения и любительского изображения, которые приготавливаются заранее, таким образом, чтобы вычислить количественный показатель распределения цвета. Сравнивая этим способом распределение цвета всего входного изображения таким образом, чтобы вычислить количественный показатель распределения цвета, можно более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Таким образом, в случае, при котором состояние фиксации изображения для некоторого изображения должно оцениваться с использованием, в качестве показателя, распределения цвета, необходимо рассматривать все изображение. Следовательно, путем "нацеливания" на все входное изображение и путем сравнения распределения цвета входного изображения с распределением цвета другого изображения, имеется возможность более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Описание процесса вычисления количественного показателя насыщенности цвета

Далее со ссылкой на блок-схему алгоритма, показанную на фиг.27, будет дано описание процесса вычисления количественного показателя насыщенности цвета, каковой процесс соответствует процессу на этапе S16, показанного на фиг.12.

На этапе S 331 модуль 341 преобразования преобразует входное изображение, предоставляемое из получающего модуля 22, во входное изображение, составленное из значения каждой составляющей: Н (оттенка), S (насыщенности цвета) и V (яркости), и предоставляет это входное изображение модулю 342 генерирования гистограммы.

На этапе S 332 модуль 342 генерирования гистограммы генерирует гистограмму составляющей насыщенности цвета, используя входное изображения, предоставляемое из модуля 341 преобразования, и предоставляет эту гистограмму модулю 343 вычисления количественного показателя. Например, модуль 342 генерирования гистограммы извлекает из числа пикселей входного изображения те пиксели, у которых составляющая Н (оттенка) имеет предварительно заданное пороговое значение th1 или больше его, и у которого составляющая V (яркости) больше чем предварительно заданное пороговое значение th2 или равна ему, и генерирует с использованием этих извлеченных пикселей гистограмму, в которой столбцом служит диапазон значения составляющей S (насыщенности цвета) пикселей.

На этапе S 333 модуль 343 вычисления количественного показателя вычисляет, используя гистограмму, предоставляемую из модуля 342 генерирования гистограммы, количественный показатель насыщенности цвета и предоставляет его модулю 28 вычисления суммарного количественного показателя.

Например, модуль 343 вычисления количественного показателя выполняет аппроксимацию, используя модель GMM (гауссову модель смешения) на гистограмме насыщенности цвета, и получает степень значимости, среднее значение и дисперсию каждого распределения в отношении одного или множественных распределений. Между тем, упомянутый здесь термин "распределение" относится к участку, имеющему один пик на всей кривой распределения, полученной посредством аппроксимации.

Модуль 343 вычисления количественного показателя задает каждый параметр из числа дисперсии и среднего значения распределения, имеющего самую высокую степень значимости, в качестве количественного показателя насыщенности цвета. В результате этого, в ходе процесса на этапе S17, показанном на фиг.12, каждый параметр из числа дисперсии и среднего значения насыщенности цвета, как количественный показатель насыщенности цвета, преобразуют, используя таблицу преобразования, в балл количественного показателя.

Количественный показатель насыщенности цвета, полученный этим способом, указывает среднее значение и дисперсию составляющих насыщенности цвета всего входного изображения. Значения среднего значения и дисперсии позволяют идентифицировать то, к какому изображению, профессиональному или любительскому, близко входное изображение. Следовательно, количественный показатель насыщенности цвета позволяет оценивать для входного изображения состояние фиксации изображения.

Когда количественный показатель насыщенности цвета вычислен, модуль 343 вычисления количественного показателя предоставляет этот рассчитанный количественный показатель насыщенности цвета модулю 28 вычисления суммарного количественного показателя, и процесс вычисления количественного показателя насыщенности цвета заканчивается. После этого, процесс затем переходит на этап S17, показанный на фиг.12.

Как было описано выше, модуль 27 вычисления количественного показателя насыщенности цвета вычисляет в качестве количественных показателей насыщенности цвета среднее значение и дисперсию насыщенности цвета на входном изображении. Получая среднее значение и дисперсию насыщенности цвета, для задания их в качестве количественных показателей насыщенности цвета, путем "нацеливания" на все входное изображение способом описанным выше, имеется возможность более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Таким образом, в случае, при котором для изображения состояние фиксации изображения должно быть оценено с использованием, в качестве показателя, насыщенности цвета, необходимо рассматривать все изображение. Следовательно, вычисляя среднее значение и дисперсию насыщенности цвета путем "нацеливания" на все входное изображение, можно более подходящим образом оценивать для входного изображения состояние фиксации изображения.

Вышеописанная последовательность процессов может быть выполнена посредством аппаратного обеспечения и программного обеспечения. В случае, при котором эта последовательность процессов подлежит выполнению посредством программного обеспечения, программа, образующая это программное обеспечение, устанавливается с носителя записи программы на компьютер, встроенный специализированное аппаратное обеспечение, или, например, универсальный персональный компьютер, способный к выполнению различных функций при установке на него различных программ.

Фиг.28 представляет собой структурную схему, иллюстрирующую пример конфигурации компьютера, который выполняет вышеупомянутую последовательность процессов в соответствии с программами.

В этом компьютере, ЦП (центральный процессор) 601, ПЗУ (Постоянное запоминающее устройство) 602 и ОЗУ (оперативное запоминающее устройство) 603 соединены друг с другом посредством шины 604.

Кроме того, к шине 604 подсоединен интерфейс 605 ввода-вывода. К интерфейсу 605 ввода-вывода подсоединены: входное устройство 606, включающее в себя клавиатуру, "мышь", микрофон и тому подобное; выходное устройство 607, включающее в себя дисплей, громкоговоритель и тому подобное; записывающее устройство 608, включающее в себя жесткий диск, энергонезависимое запоминающее устройство и тому подобное; устройство 609 связи, включающее в себя сетевой интерфейс и тому подобное; и привод 610 для приведения в действие съемного носителя 611 информации, такого как магнитный диск, оптический диск, магнитооптический диск, или полупроводниковое запоминающее устройство.

В компьютере, имеющем описанную выше конфигурацию, центральный процессор 601 загружает, например, программу, записанную в записывающем устройстве 608, в оперативное запоминающее устройство 603 через интерфейс 605 ввода-вывода и шину 604 и исполняет программу, выполняя, таким образом, вышеупомянутую последовательность процессов.

Программа, выполняемая компьютером (центральным процессором 601) предоставляется, например, путем ее записи на съемный носитель 611 информации, который представляет собой компактный носитель информации, такой как магнитный диск (включая гибкий диск), оптический диск (включая CD-ROM (постоянное запоминающее устройство на компакт - диске) или DVD (универсальный цифровой диск) или тому подобное), магнитооптический диск, полупроводниковое запоминающее устройство или тому подобное. В качестве альтернативы программа предоставляется посредством проводной или беспроводной передающей среды, такой как локальная сеть, сеть Интернет или цифровое спутниковое вещание.

Затем программа может быть установлена в записывающее устройство 608 через интерфейс 605 ввода-вывода путем установки съемного носителя 611 информации на привод 610. В качестве альтернативы, программа может быть принята в устройстве 609 связи через проводную или беспроводную передающую среду, и установлена в записывающее устройство 608. В качестве альтернативы, программа может быть установлена заранее в постоянное запоминающее устройство 602 или записывающее устройство 608.

Между тем программа, исполняемая компьютером, может представлять собой программу, посредством которой эти процессы выполняются последовательно во времени в соответствии с порядком, описанном в этом описании, или может представлять собой программу, посредством которой эти процессы исполняются параллельно или в требуемые моменты времени, как, например, когда их вызывают.

Между тем варианты реализации настоящего изобретения не ограничены вышеописанными вариантами реализации, можно вносить разнообразные изменения, не выходя за рамки объема и сущности настоящего изобретение.

Список ссылочных позиций

23 - модуль вычисления количественного показателя степени размытости, 24 - модуль вычисления количественного показателя яркости, 25 - модуль вычисления количественного показателя контура, 26 - модуль вычисления количественного показателя распределения цвета, 27 - модуль вычисления количественного показателя насыщенности цвета, 28 - модуль вычисления суммарного количественного показателя, 29 - модуль управления отображением, 91 - модуль извлечения объекта.