устройство, способ и программа обработки изображения

Формула изобретения

1. Устройство обработки изображения, содержащее:

средство определения для определения по входному изображению степени размытости входного изображения;

средство выбора для выбора на основе результата определения степени размытости некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении; и

средство обработки изображения для применения выбранной операции обработки изображения к входному изображению.

2. Устройство обработки изображения по п.1, в котором операция обработки изображения является процессом уменьшения по меньшей мере одного из следующих параметров: разрешение входного изображения, цвета, количество уровней градации значения пикселя входного изображения, текстура, края и скорость передачи данных.

3. Устройство обработки изображения по п.1, в котором средство выбора выполнено с возможностью выбора некоторой из нескольких заданных операций обработки изображения в случае, когда значение, обозначающее степень размытости, больше или равно заданному порогу, и выбора некоторой из нескольких других операций обработки изображения, относящихся к комбинации, отличной от указанных нескольких операций обработки изображения, в случае, когда значение, обозначающее степень размытости, меньше порога.

4. Устройство обработки изображения по п.3, в котором средство выбора выполнено с возможностью выбора операции обработки изображения на основе значения, обозначающего степень размытости, и частотности выбора в прошлом соответствующих операций обработки изображения.

5. Способ обработки изображения для устройства обработки изображения, содержащего

средство определения для определения по входному изображению степени размытости входного изображения;

средство выбора для выбора на основе результата определения степени размытости некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и

средство обработки изображения для применения выбранной операции обработки изображения к входному изображению,

характеризующийся тем, что содержит этапы, на которых:

определяют с помощью средства определения степень размытости входного изображения;

выбирают с помощью средства выбора операцию обработки изображения; и

применяют с помощью средства обработки изображения выбранную операцию обработки изображения к входному изображению.

6. Носитель записи, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:

определяют по входному изображению степень размытости входного изображения;

на основе результата определения степени размытости выбирают некоторую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении; и

применяют выбранную операцию обработки изображения к входному изображению.

7. Устройство обработки изображения, содержащее:

средство извлечения для извлечения из входного изображения количественных значений множества параметров на основе входного изображения;

средство выбора для выбора на основе указанных количественных значений множества параметров некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении; и

средство обработки изображения для применения выбранной операции обработки изображения к входному изображению.

8. Устройство обработки изображения по п.7, в котором в качестве количественного значения параметра входного изображения извлекается по меньшей мере одно из следующих значений: разрешение входного изображения, распределение цветов, смещение цветов, количество уровней градаций значения пикселя входного изображения, степень размытости, количество краев, распределение краев, количество текстуры и распределение текстуры.

9. Способ обработки изображения для устройства обработки изображения, содержащего

средство извлечения для извлечения из входного изображения количественных значений множества параметров;

средство выбора для выбора на основе указанных количественных значений множества параметров некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и

средство обработки изображения для применения выбранной операции обработки изображения к входному изображению,

характеризующийся тем, что содержит этапы, на которых:

с помощью средства извлечения извлекают из входного изображения количественные значения множества параметров;

с помощью средства выбора выбирают операцию обработки изображения; и

с помощью средства обработки изображения применяют выбранную операцию обработки изображения к входному изображению.

10. Носитель записи, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:

извлекают из входного изображения количественные значения множества параметров,

на основе указанных количественных значений множества параметров выбирают некоторую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении; и

применяют выбранную операцию обработки изображения к входному изображению.

11. Устройство обработки изображения, содержащее:

средство генерирования для генерирования определяющей объект информации для определения области объекта на входном изображении путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта;

средство определения для определения на основе входного изображения и определяющей объект информации степени размытости области объекта, которая является указанной областью объекта на входном изображении, и степени размытости фоновой области, которая является областью, отличной от указанной области объекта на входном изображении;

средство извлечения для извлечения на основе входного изображения, из области объекта и фоновой области, количественного значения второго из множества параметров, отличных от степени размытости;

средство выбора для выбора на основе степеней размытости и количественного значения второго параметра некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении; и

средство обработки изображения для применения выбранной операции обработки изображения для области объекта и/или для фоновой области входного изображения.

12. Устройство обработки изображения по п.11, в котором средство выбора выполнено с возможностью выбора операций обработки изображения соответственно для области объекта и фоновой области, а средство обработки изображения выполнено с возможностью применения выбранных операций обработки изображения соответственно к области объекта и фоновой области.

13. Устройство обработки изображения по п.11, в котором средство выбора выполнено с возможностью выбора операции обработки изображения для области с большей степенью размытости из двух областей, области объекта и фоновой области, а средство обработки изображения выполнено с возможностью применения выбранной операции обработки изображения к области с большей степенью размытости.

14. Способ обработки изображения для устройства обработки изображения, содержащего

средство генерирования для генерирования определяющей объект информации для определения области объекта на входном изображении путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта,

средство определения для определения на основе входного изображения и определяющей объект информации степени размытости области объекта, которая является указанной областью объекта на входном изображении, и степени размытости фоновой области, которая является областью, отличной от указанной области объекта на входном изображении,

средство извлечения для извлечения на основе входного изображения, из области объекта и фоновой области, количественного значения второго из множества параметров, отличных от степени размытости,

средство выбора для выбора на основе степеней размытости и количественного значения второго параметра некоторой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и

средство обработки изображения для применения выбранной операции обработки изображения для области объекта и/или для фоновой области входного изображения,

характеризующийся тем, что содержит этапы, на которых:

с помощью средства генерирования генерируют определяющую объект информацию;

с помощью средства определения определяют степень размытости области объекта и степень размытости фоновой области;

с помощью средства извлечения извлекают количественное значение второго параметра из области объекта и фоновой области;

с помощью средства выбора выбирают операцию обработки изображения; и

с помощью средства обработки изображения применяют выбранную операцию обработки изображения к области объекта и/или к фоновой области входного изображения.

15. Носитель записи, содержащий программу, вызывающую выполнение компьютером процесса, содержащего этапы, на которых:

генерируют определяющую объект информацию для определения области объекта на входном изображении путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта;

определяют на основе входного изображения 'и определяющей объект информации степень размытости области объекта, которая является указанной областью объекта на входном изображении, и степень размытости фоновой области, которая является областью, отличной от указанной области объекта на входном изображении;

извлекают на основе входного изображения, из области объекта и фоновой области, количественное значение второго из множества параметров, отличных от степени размытости,

выбирают на основе степени размытости и количественного значения второго параметра некоторую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и применяют выбранную операцию обработки изображения для области объекта и/или для фоновой области входного изображения.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству, способу и программе обработки изображения и, в частности, относится к устройству, способу и программе обработки изображения, которые способны проще и эффективнее показывать изображения.

Уровень техники

Известна так называемая функция «показ слайдов», с помощью которой изображения показывают по порядку. Например, использование функции «показ слайдов» дает пользователю возможность оценить снятые камерой изображения при просмотре изображений по порядку.

С помощью функции «показ слайдов» при показе изображений могут быть реализованы следующие эффекты: постепенное возникновение изображения, постепенное затухание изображения, появление изображения с перемещением и исчезновение изображения. Также был предложен способ отображения, при котором в режиме «показ слайдов» из показываемого изображения извлекают части и, исходя из количества извлеченных частей, их размеры увеличивают и показывают (смотри, например, документ 1).

Список цитируемой литературы

Патентная литература

Документ 1: нерассмотренная заявка на патент Японии № 2005-182196.

Раскрытие изобретения

Техническая задача

Тем не менее, эффекты показа изображения, такие как появление или увеличение размеров и подобные, являются однообразными. Также при просмотре в режиме «показ слайдов» впечатление, полученное от изображений, выполненных самим/самой пользователем, не велико, так как ему знакомы сцены (объекты) с изображений, что может привести к тому, что пользователь заскучает при просмотре изображений.

Кроме того, изображения, демонстрируемые при «показе слайдов», выбирают путем указания папки или чего-то подобного, где хранятся выполненные пользователем изображения, и, следовательно, во многих случаях среди показываемых изображений содержатся размытые изображения, полученные из-за размывки при движении, или подобные изображения. Если при «показе слайдов» демонстрируются размытые изображения, то пользователь чувствует себя неудовлетворенным.

Как описано выше, с помощью указанной выше технологии невозможно показывать изображения эффективнее. С другой стороны, с помощью известной технологии пользователь выбирает заранее заданную область изображения и выбирает эффект, получаемый при обработке изображения, после чего обрабатывают выбранную пользователем область изображения. При использовании этой технологии при «показе слайдов» для демонстрируемых изображений может выполняться так называемый спецэффект. Тем не менее, в таком случае, в частности, может быть эффективно показано размытое изображение, но в таком случае пользователь каждый раз должен выбирать изображение или область, к которой надо применять спецэффект, и выбирать сам спецэффект, что неудобно.

Настоящее изобретение выполнено с учетом этих обстоятельств и направлено на то, чтобы показ изображений был более простым и эффективным.

Решение задачи

Устройство обработки изображения, соответствующее первому аспекту настоящего изобретения, содержит средство определения, предназначенное для определения по входному изображению степени размытости входного изображения, средство выбора, предназначенное для выбора любой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе результата определения степени размытости, и средство обработки изображения, предназначенное для применения выбранной операции обработки изображения к входному изображению.

Операция обработки изображения может являться процессом уменьшения, по меньшей мере, одного из следующего: разрешение входного изображения, количество цветов, количество уровней градации значения пикселя входного изображения, текстура, края и скорость передачи битов.

С помощью средства выбора можно выбрать любую из нескольких заранее заданных операций обработки изображения в случае, когда значение, обозначающее степень размытости, больше или равно заранее заданному порогу, и можно выбрать любую из нескольких других операций обработки изображения из комбинации, отличной от указанных нескольких операций обработки изображения, в случае, когда значение, обозначающее степень размытости, меньше порога.

С помощью средства выбора можно выбрать операцию обработки изображения на основе значения, указывающего степень размытости, и частоты выбора в прошлом соответствующих операций обработки изображения.

Способ или программа обработки изображения, соответствующие первому аспекту настоящего изобретения, содержат следующие этапы: по входному изображению определяют степень размытости входного изображения, выбирают любую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе результата определения степени размытости, и применяют выбранную операцию обработки изображения к входному изображению.

Согласно первому аспекту настоящего изобретения по входному изображению определяют степень размытости входного изображения, на основе результата определения степени размытости выбирают любую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и применяют выбранную операцию обработки изображения к входному изображению.

Устройство обработки изображения, соответствующее второму аспекту настоящего изобретения, содержит средство извлечения, предназначенное для извлечения из входного изображения количественных значений множества параметров на основе входного изображения, средство выбора, предназначенное для выбора любой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе количественных значений множества параметров, и средство обработки изображения, предназначенное для выполнения выбранной операции обработки изображения к входному изображению.

В качестве количественного значения параметра из входного изображения может быть извлечено, по меньшей мере, одно из следующего: разрешение входного изображение, распределение цветов, смещение цветов, количество уровней градаций значения пикселя входного изображения, степень размытости, краевая величина, краевое распределение, величина текстуры и распределение текстуры.

Способ или программа обработки изображения, соответствующие второму аспекту настоящего изобретения, содержат следующие этапы: из входного изображения извлекают количественные значения нескольких параметров, выбирают любую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе количественных значений множества параметров, и выполняют выбранную операцию обработки изображения к входному изображению.

Согласно второму аспекту настоящего изобретения из входного изображения извлекают количественные значения нескольких параметров, на основе количественных значений нескольких параметров выбирают любую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, и применяют выбранную операцию обработки изображения к входному изображению.

Устройство обработки изображения, соответствующее третьему аспекту настоящего изобретения, содержит средство генерации, предназначенное для генерации, определяющей объект информации, предназначенной для определения области объекта на входном изображении, путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта, средство определения, предназначенное для определения на основе входного изображения и определяющей объект информации степени размытости области объекта, которая является указанной областью объекта на входном изображении, и степени размытости фоновой области, которая является областью, отличной от указанной области объекта на входном изображении, средство извлечения, предназначенное для извлечения на основе входного изображения количественного значения второго из нескольких параметров, при этом указанный параметр отличается от степеней размытости области объекта и фоновой области, средство выбора, предназначенное для выбора любой из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе степеней размытости и количественного значения второго параметра, и средство обработки изображения, предназначенное для выполнения выбранной операции обработки изображения по меньшей мере одной из областей объекта и/или фоновой области входного изображения.

С помощью средства выбора можно выбрать операции обработки изображения соответственно для области объекта и фоновой области, а с помощью средства обработки изображения можно выполнить выбранные операции обработки изображения соответственно для области объекта и фоновой области.

С помощью средства выбора можно выбрать операцию обработки изображения для области с большей степенью размытости из области объекта и фоновой области, а с помощью средства обработки изображения можно выполнить выбранную операцию обработки изображения для области с большей степенью размытости.

Способ или программа обработки изображения, соответствующие третьему аспекту настоящего изобретения, содержат следующие этапы: генерируют определяющую объект информацию, предназначенную для определения области объекта на входном изображении путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта, определяют на основе входного изображения и определяющей объект информации степень размытости области объекта, которая является областью с объектом входного изображения, и степень размытости фоновой области, которая является областью входного изображения, отличной от области объекта, извлекают количественное значение второго из множества параметров, при этом указанный параметр отличается от степеней размытости области объекта и фоновой области, на основе входного изображения, выбирают любую из множества операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе степеней размытости и количественного значения второго параметра, и выполняют выбранную операцию обработки изображения по меньшей мере в одной из областей объекта и/или фоновой области входного изображения.

Согласно третьему аспекту настоящего изобретения генерируют определяющую объект информацию, предназначенную для определения области объекта на входном изображении путем извлечения из входного изображения количественного значения первого параметра, содержащегося в области объекта, определяют на основе входного изображения и определяющей объект информации степень размытости области объекта, которая является областью с объектом входного изображения, и степень размытости фоновой области, которая является областью входного изображения, отличной от области объекта, извлекают количественное значение второго из множества параметров, при этом указанный параметр отличается от степеней размытости области объекта и фоновой области, на основе входного изображения, выбирают любую из нескольких операций обработки изображения, с помощью которой будут обрабатывать входное изображение с уменьшением количества информации, содержащейся во входном изображении, на основе степеней размытости и количественного значения второго параметра, и выполняют выбранную операцию обработки изображения по меньшей мере в области объекта и/или в фоновой области входного изображения.

Полезные эффекты изобретения

Согласно первому аспекту настоящего изобретения изображение можно показать проще и эффективнее.

Кроме того, согласно второму аспекту настоящего изобретения изображение можно показать проще и эффективнее.

Кроме того, согласно третьему аспекту настоящего изобретения изображение можно показать проще и эффективнее.

Краткое описание чертежей

Фиг.1 - схема, показывающая пример конфигурации варианта осуществления устройства обработки изображения, в котором использовано настоящее изобретение;

фиг.2 - схема, показывающая процесс преобразования в стиль «комикс»;

фиг.3 - схема, показывающая количество уровней градации перед преобразованием, которое соответствует одному уровню градации после преобразования, для процесса преобразования в стиль «живопись» с уменьшением количества цветов;

фиг.4 - схема, показывающая значения пикселей перед преобразованием и после преобразования для процесса преобразования в стиль «живопись» с уменьшением количества цветов;

фиг.5 - схема, показывающая процесс преобразования в стиль «живопись» с раскрашиванием поверх;

фиг.6 - блок-схема последовательности операций, иллюстрирующая процесс преобразования изображения;

фиг.7 - схема, показывающая другой пример конфигурации устройства обработки изображения;

фиг.8 - схема, показывающая параметр соответствующих операций обработки изображения;

фиг.9 - схема, показывающая взаимосвязь между отдельными операциями обработки изображения и количественными значениями параметров;

фиг.10 - схема, показывающая пример конфигурации блока определения сложности края;

фиг.11 - схема, показывающая пример конфигурации блока определения размера;

фиг.12 - схема, показывающая пример конфигурации блока определения сложности распределения цветов;

фиг.13 - схема, показывающая пример конфигурации блока определения смещения цветов;

фиг.14 - блок-схема последовательности операций, иллюстрирующая процесс преобразования изображения;

фиг.15 - блок-схема последовательности операций, иллюстрирующая процесс определения сложности края;

фиг.16 - блок-схема последовательности операций, иллюстрирующая процесс определения размера;

фиг.17 - блок-схема последовательности операций, иллюстрирующая процесс определения сложности распределения цветов;

фиг.18 - блок-схема последовательности операций, иллюстрирующая процесс определения смещения цветов;

фиг.19 - блок-схема последовательности операций, иллюстрирующая процесс выбора фильтра;

фиг.20 - схема, показывающая еще один пример конфигурации устройства обработки изображения;

фиг.21 - схема, показывающая пример конфигурации блока определения рассматриваемой области;

фиг.22 - блок-схема последовательности операций, иллюстрирующая процесс преобразования изображения;

фиг.23 - блок-схема последовательности операций, иллюстрирующая процесс определения рассматриваемой области;

фиг.24 - схема, показывающая пример конфигурации компьютера.

Описание вариантов осуществления изобретения

Далее со ссылками на чертежи будут описаны варианты осуществления, к которым применимо настоящее изобретение.

Первый вариант осуществления изобретения

Конфигурация устройства обработки изображения

На фиг.1 показан пример конфигурации варианта осуществления устройства обработки изображения, в котором использовано настоящее изобретение.

Устройство 11 обработки изображения содержит блок 21 определения степени размытости, блок 22 выбора, блок 22 преобразования в стиль «комикс», блок 24 преобразования в стиль «анимация», блок 25 преобразования в стиль «диорама», блок 26 преобразования в стиль «живопись», блок 27 преобразования в стиль «живопись», блок 28 обработки резкости и блок 29 вывода.

Множество входных изображений, подлежащих показу в режиме «показ слайдов», последовательно подают в устройство 11 обработки изображения. В устройстве 11 обработки изображения к входным изображениям применяют операции обработки изображения, тем самым преобразуя входные изображения в выходные изобретения, и выводят полученные изображения. Входными изображениями являются изображения, выполненные с помощью устройства получения изображений, например фотоаппарата.

В блоке 21 определения степени размытости определяют степень размытости каждого входного изображения и подают полученный результат в блок 22 выбора. Помимо расфокусировки, вызванной отклонением положения фокуса, размытость входного изображения включает в себя, так называемую, размытость от движения, которая вызвана движением устройства получения изображения. В блоке 22 выбора выбирают любую из множества заранее заданных операций обработки изображения, которую применяют к входному изображению, исходя из результата определения, поступившего из блока 21 определения степени размытости.

Операция обработки изображения, выполняемая на входном изображении, в целом является процессом уменьшения количества информации, содержащейся во входном изображении, то есть уменьшения по меньшей мере чего-либо из разрешения входного изображения, количества цветов, количества уровней градации значений пикселей входного изображения, величины текстуры, краевой величины или скорости передачи данных. Операцию обработки изображения выбирают, помимо прочего, из следующих операций: процесс преобразования в стиль «комикс», процесс преобразования в стиль «анимация», процесс преобразования в стиль «диорама», процесс преобразования в стиль «живопись» и процесс увеличения резкости.

Здесь процесс преобразования в стиль «комикс» является процессом уменьшения количества цветов входного изображения с целью преобразования входного изобретения в изображение стиля «комикс». Процесс преобразования в стиль «анимация» является процессом уменьшения текстуры входного изображения с целью преобразования одной области входного изобретения со схожими цветами в область одного цвета.

Кроме того, процесс преобразования в стиль «диорама» является процессом придания входному изображению единой перспективы. Процесс преобразования в стиль «живопись» является процессом преобразования входного изобретения в изображение, похожее на картину. Процесс преобразования в стиль «живопись» включает в себя процесс уменьшения количества уровней градации значений пикселей входного изображения (далее также называем процессом преобразования в стиль «живопись» с уменьшением количества цветов) и процесс дальнейшей обработки с использованием маски цветов входного изображения, к которому уже применен процесс преобразования в стиль «живопись» с уменьшением количества цветов (далее называем процессом преобразования в стиль «живопись» с раскрашиванием поверх). Кроме того, процесс увеличения резкости является процессом улучшения краев входного изображения.

После выбора операции обработки изображения блок 22 выбора подает входное изображение в блок, который выполняет выбранную операцию обработки изображения, упомянутый блок является одним из блоков от блока 23 преобразования в стиль «комикс» и до блока 28 увеличения резкости.

Блок 23 преобразования в стиль «комикс» содержит фильтр, предназначенный для выполнения процесса преобразования в стиль «комикс», с использованием указанного фильтра выполняет процесс фильтрации, то есть процесс преобразования в стиль «комикс» входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода. Выходное изображение, которое может быть получено в блоке 23 преобразования в стиль «комикс», является изображением, которое получено из входного изображения в ходе выполнения процесса преобразования в стиль «комикс».

Блок 24 преобразования в стиль «анимация» содержит фильтр, предназначенный для выполнения процесса преобразования в стиль «анимация», с использованием указанного фильтра выполняет процесс фильтрации, то есть процесс преобразования в стиль «анимация» входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода. Блок 25 преобразования в стиль «диорама» содержит фильтр, предназначенный для выполнения процесса преобразования в стиль «диорама», с использованием указанного фильтра выполняет процесс фильтрации, то есть процесс преобразования в стиль «диорама» входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода.

Блок 26 преобразования в стиль «живопись» содержит фильтр, предназначенный для выполнения процесса преобразования в стиль «живопись» с уменьшением количества цветов, с использованием указанного фильтра выполняет процесс фильтрации входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода. Блок 27 преобразования в стиль «живопись» содержит фильтр, предназначенный для выполнения процесса преобразования в стиль «живопись» с раскрашиванием поверх, с использованием указанного фильтра выполняет процесс фильтрации входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода.

Блок 28 увеличения резкости содержит фильтр, предназначенный для выполнения процесса увеличения резкости, с использованием указанного фильтра выполняет процесс фильтрации входного изображения, поступившего из блока 22 выбора, и подает полученное выходное изображение в блок 29 вывода. Блок 29 вывода выдает в устройство отображения (не показано) выходное изображение, поступившее от любого из блоков от блока 23 преобразования в стиль «комикс» и до блока 28 увеличения резкости, при этом выходное изображение является изображением, отображаемым при «показе слайдов», так что показывают выходное изображение.

Далее будет приведено описание процесса преобразования в стиль «комикс», процесса преобразования в стиль «анимация», процесса преобразования в стиль «диорама», процесса преобразования в стиль «живопись» с уменьшением количества цветов и процесса преобразования в стиль «живопись» с раскрашиванием поверх.

В процессе преобразования в стиль «комикс» сначала выполняют процесс фильтрации входного изображения с использованием фильтра для извлечения краев, такого как фильтр Лапласа, а к полученному после такой обработки изображению применяют процесс бинаризации. Кроме того, бинаризованное изображение подвергают процессу расширения/сжатия, чтобы скорректировать неоднородные линии контура. Заметим, что изображение, получаемое после применения процесса расширения/сжатия к бинаризованному изображению, далее также называется контурным изображением.

Также, как показано на фиг.2, в качестве текстуры получают набор точек, состоящий только из пикселей входного изображения, имеющих заданное значение яркости. На фиг.2 слева показано входное изображение, а текстура показана справа.

Эта текстура является изображением, сформированным из двоичных чисел, аналогичных числам входного изображения, например белого и черного цветов. В текстуре значения пикселей, расположенных в тех же позициях, что и пиксели входного изображения заранее заданной яркости, являются значениями, соответствующими черному, а значения других пикселей являются значения, соответствующими белому.

Полученную таким образом текстуру объединяют с контурным изображением и полученное после этого изображение рассматривают как выходное изображение, полученное при процессе преобразования в стиль «комикс» (далее называем выходным изображением стиля «комикс»). Параметр этого выходного изображения стиля «комикс» заключается в том, что все изображение сформировано контурными линиями, то есть простыми линиями и шаблонами, и изображение является монохромным. Другими словами выходное изображение стиля «комикс» получают усилением краев входного изображения и изменением входного изображения на монохромное изображение.

В процессе преобразования в стиль «анимация» осуществляют процесс фильтрации входного изображения с использованием фильтра Лапласа или подобного фильтра, а к полученному после такой обработки изображению применяют процесс бинаризации и далее бинаризованное изображение подвергают процессу расширения/сжатия. Соответственно может быть получено контурное изображение для входного изображения.

Далее, применяя для каждого пикселя входного изображения процесс определения того же цвета с учетом порога, сегментируют область одинакового цвета входного изображения, точнее область, состоящую из пикселей похожих цветов. Соответственно, во входном изображении одним сегментом считают область, состоящую из пикселей, которые прилегают друг к другу и для которых в процессе определения того же цвета установлено, что они имеют один и тот же цвет. Например, количество цветов при сегментировании примерно равно десяти. Далее для каждого сегмента входного изображения в качестве цвета сегмента устанавливают средний цвет пикселей сегмента и полученное таким образом изображение объединяют с контурным изображением, так что получают выходное изображение.

Выходное изображение, полученное после процесса преобразования в стиль «анимация» (далее также называем выходным изображением стиля «анимация»), эквивалентно цветному выходному изображению стиля «комикс». То есть, выходное изображения стиля «анимация» получают путем усиления краев входного изображения и раскрашивания одного и того же сегмента входного изображения в один и тот же цвет.

Далее, в ходе процесса преобразования в стиль «диорама» к входному изображению применяют процесс линейного преобразования и проводят регулировку контрастности входного изображения. Кроме того, для периферийной части осуществляют процесс фильтрации с использованием фильтра Гаусса, при этом периферийной частью является часть, в которую не входят окрестности центра входного изображения с отрегулированной контрастностью, так что периферийная часть является размытой. Полученное таким образом изображение считают выходным изображением, полученным в результате процесса преобразования в стиль «диорама» (далее называем выходным изображением стиля «диорама»). Параметр выходного изображения стиля «диорама» заключается в однородности глубины резкости и в большой контрастности, то есть существует много недоэкспонированных и переэкспонированных областей.

Кроме того, процессом преобразования в стиль «диорама» может быть любой процесс, в котором применяют алгоритм придания изображению однородной перспективы или алгоритма сужения поля зрения для изображения. Например, процесс регулировки фокуса путем осуществления процесса линейного преобразования входного изображения с последующим использованием процесса обращения свертки можно считать процессом преобразования в стиль «диорама».

В процессе преобразования в стиль «живопись» с уменьшением количества цветов целевым пикселем считают целевой пиксель входного изображения, а целевой областью считают заданную область, в центре которой расположен целевой пиксель, и значениями соответствующих К (красного), З (зеленого) и С (синего)) компонентов целевого пикселя считают преобладающие значения К, З и С цветов пикселей в целевой области. Например, для компонентов соответствующих К, З и С цветов получают гистограммы и значение наиболее частого столбца гистограмм, то есть значение пикселя цветовой компоненты, считают значением целевого пикселя.

Таким образом, для соответствующих пикселей входного изображения заново определяют значения соответствующих К, З и С компонентов пикселей, и значения пикселей изменяют. Далее к полученному таким образом изображению применяют процесс преобразования количества уровней градации, заключающийся в уменьшении количества уровней градации значений цветовых компонентов соответствующих пикселей. Далее изображение, полученное после применения процесса преобразования количества уровней градации, считают выходным изображением, полученным в ходе процесса преобразования в стиль «живопись» с уменьшением количества цветов (далее называем выходным изображением стиля «живопись» с уменьшенным количеством цветов).

Обычно значение пикселя выражается 256 уровнями градации и значение пикселя является числом от 0 до 255. В ходе процесса преобразования количества уровней градации значения пикселей входного изображения преобразуют в значения пикселей с количеством уровней градации, меньшим 256, как показано, например, на фиг.3.

На фиг.3 в поле «количество уровней градации» показано количество уровней градации после преобразования, а в поле «ширина на уровень градации» показано количество уровней градации до преобразования, которое соответствует одному уровню градации после преобразования. Например, в случае, когда количество уровней градации после преобразования равно 8, один уровень градации после преобразования соответствует 32 уровням градации до преобразования. То есть значение пикселя последовательных 32 уровней градации до преобразования рассматривают как значение пикселя одной градации после преобразования.

Кроме того, в случае, когда осуществляют процесс преобразования количества уровней градации, в котором значения компонентов соответствующих цветов пикселей входного изображения уменьшают от 256 уровней градации до 8 уровней градации, значения пикселей преобразуют с использованием таблицы преобразования, показанной на фиг.4. На фиг.4 в поле «исходное значение пикселя» показаны диапазоны значений пикселей 256 уровней градации до преобразования, а в поле «значение пикселя после преобразования» показаны значения пикселей 8 уровней градации после преобразования. Следовательно, в случае, когда значение К компоненты целевого пикселя до преобразования принадлежит диапазону, например, от 0 до 31, то значение К компоненты пикселя после преобразования равно 0.

Таким образом, после преобразования значений компонентов пикселей входного изображения соответствующих цветов К, З и С может быть получено выходное изображение стиля «живопись» с уменьшенным количеством цветов. Заметим, что количество уровней градации после преобразования влияет на конечное состояние выходного изображения стиля «живопись» с уменьшенным количеством цветов и, таким образом, может быть установлено пользователем произвольно.

С другой стороны, в ходе процесса преобразования в стиль «живопись» с раскрашиванием поверх к входному изображению применяют процесс преобразования в стиль «живопись» с уменьшением количества цветов и выходное изображение получают с использованием полученного изображения стиля «живопись» с уменьшенным количеством цветов и входного изображения. Более конкретно, как показано на фиг.5, выбирают блок В11, который является областью с произвольным пикселем входного изображения Р11.

Здесь, как показано стрелкой А11, предполагают, что область блока В11 раскрашена в цвет центрального пикселя, расположенного в центре блока В11 (далее называем типичным цветом). Например, предполагают, что область блока В11 раскрашивают в типичный цвет с использованием некоторой маски, а маску, используемую для раскрашивания указанным цветом, получают так, как показано стрелкой А12.

С этой маской только пиксели блока В11, цвет которых похож на типичный цвет, раскрашивают в типичный цвет, а пиксели, цвет которых не похож на типичный цвет, не раскрашивают и они остаются без изменения. Например, степень похожести цвета каждого пикселя и типичного цвета определяют с использованием евклидова расстояния или манхэттенского расстояния, и пиксели, степень похожести которых больше или равна порогу, раскрашивают в типичный цвет. Когда блок В11 раскрашивают в типичный цвет с использованием маски, цвет пикселей с цветом, похожим на цвет центрального пикселя блока В11, изменяют на типичный цвет, что показано стрелкой А13.

В ходе процесса преобразования в стиль «живопись» с раскрашиванием поверх, блок В12, который является областью изображения Р12 стиля «живопись» с уменьшенным количеством цветов, полученного из входного изображения, и который расположен в той же позиции, что и блок В11 входного изображения, раскрашивают в типичный цвет с использованием маски, полученной упомянутым выше способом. То есть значения пикселей блока В12, расположенных в тех же позициях, что и пиксели, раскрашенные в типичный цвет в блоке В11, что показано стрелкой А13, изменяют на значение, соответствующее типичному цвету.

Таким образом, процесс получения маски путем выбора произвольного блока из входного изображения Р11 и нанесение (раскрашивание) с использованием маски типичного цвета на блок изображения Р12 стиля «живопись» с уменьшенным количеством цветов в той же позиции, что была у блока, осуществляют заданное количество раз и полученное таким образом изображение считают выходным изображением Р13. Далее выходное изображение, полученное в ходе процесса преобразования в стиль «живопись» с раскрашиванием поверх, также называем выходным изображением стиля «живопись» с раскрашиванием поверх.

Кроме того, заданное количество раз, которое повторяют процесс нанесения типичного цвета, может быть определено, например, в соответствии со сложностью краев входного изображения и размером блока, служащего в качестве блока процесса (например, блок В 11) или может быть определено заранее.

Маску, используемую в процессе преобразования в стиль «живопись» с раскрашиванием поверх, применяют также для получения более тонкого выражения чего-либо на изображении Р12 стиля «живопись» с уменьшенным количеством цветов. Таким образом, в случае, когда изображение стиля «живопись» с раскрашиванием поверх необходимо сделать изображением с «грубыми мазками», маску можно не использовать. В этом случае, значение каждого пикселя в блоке В12 является значением, соответствующим типичному цвету блока B11.

Описание работы устройства обработки изображения

Когда входные изображения, которые необходимо показать в режиме «показ слайдов», последовательно подают в устройство 11 обработки изображения, в устройстве 11 обработки изображения начинают осуществлять процесс преобразования изображения, который является процессом преобразования поступивших входных изображений в выходные изображения, и осуществляют вывод изображений.

Далее со ссылками на блок-схему последовательности операций на фиг.6 будет описан процесс преобразования изображения, осуществляемый в устройстве 11 обработки изображения.

На этапе S11 в блоке 21 определения степени размытости по входному изображению определяют степень размытости входного изображения, поступившего в указанный блок.

Например, в блоке 21 определения степени размытости делят входное изображение на несколько блоков и определяют контрастность краев для каждого блока. Далее в блоке 21 определения степени размытости вычисляют разницу между минимальным и максимальным значениями контрастности краев для каждого блока входного изображения, при этом разница служит в качестве динамического диапазона, и на основе динамического диапазона устанавливают опорное значение края и опорное значение извлечения.

Здесь опорное значение края представляет собой значение, которое используется для определения, принадлежит ли пиксель к пикселю, составляющему край входного изображения (далее называемому краевой точкой). Опорное значение извлечения представляет собой значение, которое используют для определения, является ли количество извлеченных краевых точек подходящим или нет.

Блок 21 определения степени размытости для каждого блока входного изображения в качестве краевых точек извлекает пиксели, содержащиеся в блоке, в котором определенная контрастность краев изображения больше или равна опорному значению края (далее называемом краевым блоком), и сравнивают количество извлеченных пикселей с опорным значением извлечения. Далее, после сравнения извлеченного количества, в случае, когда извлеченное количество краевых точек не является подходящим, блок 21 определения степени размытости корректирует опорное значение края и повторяет процесс извлечения краевых точек до тех пор, пока не будет получено подходящее извлеченное количество.

Далее, после извлечения подходящего количества краевых точек Блок 21 определения степени размытости анализирует, существует ли размытость в извлеченных краевых точках, и на основе результата анализа вычисляет степень размытости, которая указывает степень размытости входного изображения. Чем больше значение степени размытости, тем выше степень размытости объекта входного изображения. Вычисленную степень размытости подают от блока 21 определения степени размытости в блок 22 выбора.

На этапе S12 блок 22 выбора определяет, является ли входное изображение размытым на основе степени размытости, поступившей от блока 21 определения степени размытости. Например, в случае, когда степень размытости больше или равна заданному порогу, входное изображение считают размытым изображением.

В случае, когда на этапе S12 определено, что входное изображение не является размытым, процесс продолжают на этапе S13. На этапе S13 в блоке 22 выбора выбирают один фильтр из нескольких фильтров, заданных для неразмытого изображения, на основе частоты применения фильтров, содержащихся в блоках от блока 23 преобразования в стиль «комикс» и заканчивая блоком 28 увеличения резкости.

Например, в устройстве 11 обработки изображения заданы фильтры, используемые для размытых входных изображений, и фильтры, используемые для неразмытых входных изображений, и выбирают один фильтр из групп фильтров в различных комбинациях в соответствии с тем, является ли входное изображение размытым или не является.

В частности, для неразмытого входного изображения выходное изображение генерируют с использованием любого из фильтров, применяемых в процессе преобразования в стиль «комикс», в процессе преобразования в стиль «анимация», в процессе преобразования в стиль «диорама», в процессе преобразования в стиль «живопись» с уменьшением количества цветов и в процессе преобразования в стиль «живопись» с раскрашиванием поверх.

То есть для неразмытого входного изображения осуществляют любую операцию обработки изображения из процесса преобразования в стиль «комикс», процесса преобразования в стиль «анимация», процесса преобразования в стиль «диорама», процесса преобразования в стиль «живопись» с уменьшением количества цветов и процесса преобразования в стиль «живопись» с раскрашиванием поверх и получают выходное изображение. В случае, когда входное изображение неразмытое, из входного изображения могут быть надежно извлечены края и, таким образом, можно выбрать фильтр из различных фильтров, например, использовать фильтр для процесса усиления краев.

Дополнительно, далее, группа фильтров, включающая в себя фильтр для процесса преобразования в стиль «комикс», фильтр для процесса преобразования в стиль «анимация», фильтр для процесса преобразования в стиль «диорама», фильтр для процесса преобразования в стиль «живопись» с уменьшением количества цветов и фильтр для процесса преобразования в стиль «живопись» с раскрашиванием поверх, которые используют для неразмытого входного изображения, также называется группой фильтров для неразмытых изображений.

Кроме того, в блоке 22 выбора хранят частотность применения фильтров, содержащихся в блоках от блока 23 преобразования в стиль «комикс» и до блока 28 увеличения резкости. Блок 22 выбора выбирает фильтр, имеющий самую низкую частоту применения из группы фильтров для неразмытых изображений, на основе частотности применения соответствующих содержащихся в нем фильтров.

После выбора фильтра блок 22 выбора подает поступившее входное изображение в тот блок, который содержит выбранный фильтр, и процесс обработки продолжают на этапе S15. Например, в случае, когда выбран фильтр для процесса преобразования в стиль «живопись» с уменьшением количества цветов, то блок 22 выбора подает входное изображение в блок 26 преобразования в стиль «живопись» и добавляют «1» к частоте использования фильтра для процесса преобразования в стиль «живопись» с уменьшением количества цветов.

С другой стороны, в случае, когда на этапе S12 определяют, что изображение является размытым, процесс обработки продолжают на этапе S14. На этапе S14 в блоке 22 выбора выбирают один фильтр из фильтров, которые заданы для размытого изображения, на основе частотности применения фильтров, содержащихся в блоках от блока 23 преобразования в стиль «комикс» и до блока 28 увеличения резкости.

Например, для размытого входного изображения выходное изображение получают с использованием любого фильтра из следующих: фильтр для процесса увеличения резкости, фильтр для процесса преобразования в стиль «живопись» с уменьшением количества цветов и фильтр для процесса преобразования в стиль «диорама».

То есть для размытого входного изображения осуществляют любую операцию обработки изображения из процесса увеличения резкости, процесса преобразования в стиль «живопись» с уменьшением количества цветов и процесса преобразования в стиль «диорама» и получают выходное изображение. В случае, когда входное изображение размытое, из входного изображения не могут быть получены резкие края и, таким образом, выбирают операцию обработки изображения, в которой не нужны края, и входное изображение преобразуют в выходное изображение с низкой степенью размытости.

Таким образом, размытое входное изображение путем осуществления процесса увеличения резкости, процесса преобразования в стиль «живопись» с уменьшением количества цветов или процесса преобразования в стиль «диорама» может быть преобразовано в неразмытое выходное изображение, приемлемое для показа пользователю. То есть выходное изображение получают путем обработки всего входного изображения. Следовательно, когда входное изображение является изображением, выполненным пользователем, выходное изображение является изображением, которое на вид отличается от изображения, выполненного пользователем, например, является таким изображением, как картина с грубыми мазками. Следовательно, при показе полученного выходного изображения пользователь может получить большее впечатление по сравнению со случаем монотонных эффектов показа, заключающихся в постепенном появлении изображения, увеличении изображения и подобных, и это не оставит пользователя неудовлетворенным.

Кроме того, далее группа фильтров, включающая в себя фильтр для процесса обработки четкости, фильтр для процесса преобразования в стиль «живопись» с уменьшением количества цветов и фильтр для процесса преобразования в стиль «диорама», которые используют для размытого входного изображения, также называется группой фильтров для размытого изображения.

В блоке 22 выбора выбирают фильтр с наименьшей частотой использования из группы фильтров для размытого изображения на основе частотности применения соответствующих фильтров.

Далее блок 22 выбора подает поданное в него входное изображение в тот блок, который содержит выбранный фильтр, и процесс обработки продолжают на этапе S15. Например, в случае, когда выбран фильтр для процесса преобразования в стиль «диорама», блок 22 выбора подает входное изображение в блок 25 преобразования в стиль «диорама» и добавляет «1» к частоте применения фильтра для процесса преобразования в стиль «диорама».

После выбора фильтра на этапе S13 или этапе S14 на этапе S15 блок, на который подают входное изображение от блока 22 выбора и который является одним из блоков от блока 23 преобразования в стиль «комикс» и до блока 28 увеличения резкости, осуществляет процесс фильтрации поступившего входного изображения.

Например, в случае, когда в блоке 22 выбора выбрали фильтр для процесса преобразования в стиль «диорама» и когда входное изображение из блока 22 выбора поступило в блок 25 преобразования в стиль «диорама», блок 25 преобразования в стиль «диорама» осуществляет процесс фильтрации входного изображения с использованием соответствующего фильтра. То есть блок 25 преобразования в стиль «диорама» осуществляет процесс преобразования в стиль «диорама» входного изображения с тем, чтобы преобразовать входное изображение в выходное изображения стиля «диорама».

Далее блок 25 преобразования в стиль «диорама» подает выходное изображение стиля «диорама», полученное после процесса преобразования в стиль «диорама», в блок 29 вывода и процесс обработки продолжают на этапе S16.

На этапе S16 блок 29 вывода выводит поступившее в этот блок выходное изображение в устройство отображения (не показано) для показа выходного изображения с помощью устройства отображения.

На этапе S17 устройство 11 обработки изображения определяет, заканчивать ли процесс или нет. Например, в случае, когда все входные изображения, которые необходимо показать в режиме «показ слайдов», были выведены после их преобразования в выходные изображения, определяют, что процесс обработки необходимо закончить.

В случае, когда на этапе S17 определяют, что процесс не нужно заканчивать, процесс обработки возвращают на этап S11 и повторяют указанный выше процесс. То есть следующее входное изображение преобразуют в выходное изображение.

С другой стороны, в случае, когда на этапе S17 определяют, что процесс нужно закончить, отдельные блоки устройства 11 обработки изображения заканчивают выполняемые процессы, и процесс преобразования изображения завершается.

Таким образом, устройство 11 обработки изображения определяет степень размытости каждого входного изображения и на основе полученного результата осуществляет операцию обработки входного изображения, тем самым преобразуя входное изображение в выходное изображение.

Следовательно, путем осуществления операции обработки изображения, выбранной в соответствии со степенью размытости входного изображения, даже размытое входное изображение может быть преобразовано в выходное изображение, приемлемое для показа пользователю, и указанное изображение может быть показано. Соответственно, размытое изображение, от которого обычно отказываются, может быть эффективно использовано и пользователь может получить ощущение новизны.

Также при осуществлении операции обработки изображения для неразмытого изображения и показа полученного таким образом выходного изображения, пользователь, который просматривает выходное изображение, может получить большое впечатление и бóльшее удовольствие. Кроме того, в устройстве 11 обработки изображения фильтр (операцию обработки изображения) выбирают в соответствии с частотностью применения соответствующих фильтров и, таким образом, можно не допустить непрерывный выбор одного и того же фильтра. Соответственно, можно не допустить ситуацию, когда пользователю становится скучно при просмотре выходных изображений.

Как описано выше, в устройстве 11 обработки изображения, благодаря простому процессу выбора подходящего фильтра на основе степени размытости входного изображения и обработке входного изображения с использованием выбранного фильтра, может быть получено выходное изображение, текстура которого отличается от текстуры, полученной при выполнении входного изображения. Соответственно, показ изображения пользователю может быть более эффективен.

Кроме того, согласно приведенному выше описанию, выходные изображения, полученные из входных изображений, отображают в режиме «показ слайдов». В качестве альтернативы, выходные изображения могут быть записаны или только одно выходное изображение может быть показано. Также во время «показа слайдов» демонстрацию изображения можно переключать (путем осуществления постепенного появления или постепенного исчезновения) между выходным изображением и входным изображением, как исходным. Более того, при реализации постепенного появления или постепенного исчезновения может быть показано множество выходных изображений, полученных при реализации процесса фильтрации одного и того же входного изображения с помощью разных фильтров.

Второй вариант осуществления изобретения

Конфигурация устройства обработки изображения

Далее, согласно приведенному выше описанию операцию обработки изображения (фильтр) выбирают в соответствии с частотностью применения. В качестве альтернативы, из входного изображения могут быть извлечены количественные значения некоторых параметров и фильтр могут выбирать в соответствии с этими количественными значениями параметров. Например, из входного изображения можно извлекать и рассматривать в качестве количественного значения параметра для выбора фильтра, по меньшей мере, одно из следующего: разрешение входного изображения, распределение цветов, смещение цветов, количество уровней градации значений пикселей входного изображения, степень размытости, краевая величина, краевое распределение, величина текстуры и распределение текстуры.

В таком случае конфигурация устройства обработки изображения показана, например, на фиг.7. Заметим, что на фиг.7, элементы, соответствующие элементам на фиг.1, обозначены теми же ссылочными позициями и их описание опущено.

Устройство 51 обработки изображения, показанное на фиг.7, содержит блок 21 определения степени размытости, блок 61 определения сложности краев, блок 62 определения размера, блок 63 определения сложности распределения цветов, блок 64 определения смещения цветов, блоки, начиная от блока 22 выбора до блока 27 преобразования в стиль «живопись», и блок 29 вывода. Также входное изображение, поступившее в устройство 51 обработки изображения, подают в блок 21 определения степени размытости, в блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов и в блок 22 выбора.

Каждый из следующих блоков - блок 21 определения степени размытости и блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов, - извлекает из поступившего входного изображения количественное значение параметра входного изображения и подают итоговую величину, указывающую количественное значение параметра, в блок 22 выбора. Далее, блок 22 выбора выбирает операцию обработки изображения, которую будут применять к входному изображению, на основе указанных итоговых величин.

Блок 21 определения степени размытости в качестве количественного значения параметра входного изображения определяет степень размытости и подает в блок 22 выбора полученный результат, служащий в качестве итоговой величины, которая указывает количественное значение параметра.

Блок 61 определения сложности краев по входному изображению вычисляет сложность краев, которая указывает краевую величину, содержащуюся в поступившем входном изображении, и подает ее в блок 22 выбора. Чем больше краев содержится во входном изображении и чем сложнее рисунок входного изображения, тем больше величина (итоговая величина) сложности краев.

Блок 62 определения размера по входному изображению вычисляет прямоугольную область, окружающую границу объекта, на поступившем на указанный блок входном изображении, то есть размер рамки, указывающий размер так называемой граничной рамки, и подает указанный размер в блок 22 выбора. Чем большее размер граничной рамки и чем меньше степень плотности участка, где концентрируются края входного изображения, тем больше величина (итоговая величина) этого размера рамки.

Блок 63 определения сложности распределения цветов по входному изображению вычисляет сложность распределения цветов, указывающая сложность распределения цветов на поступившем в указанный блок входном изображении, и подает указанную сложность в блок 22 выбора. Чем сложнее распределение цветов и сложнее рисунок входного изображения, тем больше величина (итоговая величина) сложности распределения цветов.

Блок 64 определения смещения цветов вычисляет степень смещения цветов на поступившем в указанный блок входном изображении на основе входного изображения и подает ее в блок 22 выбора. Чем больше степень смещения цветов во входном изображении, тем больше величина (итоговая величина) степени смещения цветов.

Блок 22 выбора выбирает операцию обработки изображения (фильтр), которую будут применять к входному изображению на основе количественных значений параметров, поступивших от блока 21 определения степени размытости и блоков от блока 61 определения сложности краев до блока 64 определения смещения цветов, то есть на основе степени размытости, сложности краев, размера рамки, сложности распределения цветов и степени смещения цветов.

В частности, операцию обработки изображения выбирают из процесса преобразования в стиль «комикс», процесса преобразования в стиль «анимация», процесса преобразования в стиль «диорама», процесса преобразования в стиль «живопись» с уменьшением количества цветов и процесса преобразования в стиль «живопись» с раскрашиванием поверх. Блок 22 выбора подает полученное входное изображение в блок, в котором будут осуществлять выбранную операцию обработки изображения и который является одним из блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись».

Благодаря использованию извлеченных из входного изображения количественных значений соответствующих параметров, блок 22 выбора может знать, какая операция обработки изображения более эффективна для поступившего входного изображения, что показано, например, на фиг.8. На фиг.8 показана эффективность каждой операции обработки изображения при конкретных состояниях следующих параметров: размытость, сложность распределения краев, размер рамки, сложность распределения цветов и смещение цветов.

Например, процесс преобразования в стиль, «живопись» с уменьшением количества цветов эффективен для изображения с разбросанными краями и выраженного множеством цветов. То есть процесс преобразования в стиль «живопись» с уменьшением количества цветов эффективен для изображений со сложным распределением краев и сложным распределением цветов и отсутствием смещения цветов. Входное изображение с такими параметрами может быть преобразовано в выходное изображение, которое, как предполагается, будет более приемлемо для просмотра пользователем после осуществления процесса преобразования в стиль «живопись» с уменьшением количества цветов. Кроме того, размытость/неразмытость и размер граничной рамки входного изображения не влияют на эффективность процесса преобразования такого входного изображения в стиль «живопись» с уменьшением количества цветов.

Процесс преобразования в стиль «живопись» с раскрашиванием поверх эффективен для изображений с простым распределением краев и простым распределением цветов и с большим участком определенного цвета. То есть процесс преобразования в стиль «живопись» с раскрашиванием поверх эффективен для изображений с простым распределением краев, простым распределением цветов, малым размером граничной рамки и наличием смещения цветов. Кроме того, размытость/неразмытость входного изображения не влияют на эффективность процесса преобразования такого входного изображения в стиль «живопись» с раскрашиванием поверх.

Далее, процесс преобразования в стиль «диорама» эффективен для изображений с простым распределением цветов и малым размером граничной рамки. То есть процесс преобразования в стиль «диорама» эффективен для изображений с простым распределением краев, простым распределением цветов и малым размером граничной рамки и отсутствием смещения цветов. Кроме того, размытость/неразмытость входного изображения не влияет на эффективность процесса преобразования такого входного изображения в стиль «диорама».

Далее, процесс преобразования в стиль «анимация» эффективен для неразмытых изображений, сформированных из небольшого количества цветов. То есть процесс преобразования в стиль «анимация» эффективен для неразмытых изображений с простым распределением краев, простым распределением цветов и наличием смещения цветов. Кроме того, размер граничной рамки входного изображения не влияет на эффективность процесса преобразования такого входного изображения в стиль «анимация».

Кроме того, процесс преобразования в стиль «комикс» эффективен для неразмытых изображений с простым распределением краев. То есть процесс преобразования в стиль «комикс» эффективен для неразмытых изображений с простым распределением краев, сложным распределением цветов и отсутствием смещения цветов. Кроме того, размер граничной рамки входного изображения не влияет на эффективность процесса преобразования такого входного изображения в стиль «комикс». Также распределение цветов и смещение цветов слабо влияет на эффективность процесса преобразования в стиль «комикс».

Таким образом, операцию обработки изображения, эффективную для входного изображения, можно определить путем определения параметров входного изображения. Соответственно, блок 22 выбора выбирает операцию обработки изображения исходя из количественных значений соответствующих параметров входного изображения, как показано, например, на фиг.9.

На фиг.9 символ « » (кружок) или «×» (крестик) изображены в отдельных полях следующих полей: «степень размытости», «сложность краев», «размер рамки», «сложность распределения цветов» и «степень смещения цветов», которые указывают отдельные параметры. Символ « » (кружок) представляет случай, когда количественное значение (итоговая величина) параметра меньше заранее заданного порога, а символ «х» (крестик) указывает случай, когда количественное значение параметра больше или равно порогу.

В частности, блок 22 выбора выбирает операцию обработки изображения путем сравнения количественных значений соответствующих параметров с порогами, определенными для соответствующих параметров.

Например, в случае, когда сложность краев и сложность распределения цветов больше или равны порогам и когда степень смещения цветов меньше порога, выбирают процесс преобразования в стиль «живопись» с уменьшением количества цветов. Также в случае, когда сложность краев, размер рамки и сложность распределения цветов меньше порогов и когда степень смещения цветов больше или равна порогу, выбирают процесс преобразования в стиль «живопись» с раскрашиванием поверх.

Далее, в случае, когда сложность краев, размер рамки, сложность распределения цветов и степень смещения цветов меньше порогов, выбирают процесс преобразования в стиль «диорама». В случае, когда степень размытости, сложность краев и сложность распределения цветов меньше порогов и когда степень смещения цветов больше или равна порогу, выбирают процесс преобразования в стиль «анимация». Далее, в случае, когда степень размытости, сложность краев и степень смещения цветов меньше порогов и когда сложность распределения цветов больше или равна порогу, выбирают процесс преобразования в стиль «комикс».

Далее со ссылками на фиг.10-13 будет описана конфигурация каждого из блоков от блока 61 определения сложности краев и до блока 64 определения смещения цветов на фиг.7.

На фиг.10 показан более подробный пример конфигурации блока 61 определения сложности краев.

Блок 61 определения сложности краев содержит блок 91 фильтрации, блок 92 вычисления средних значений, блок 93 вычисления расстояния, блок 94 вычисления расстояния и блок 95 вычисления итоговой величины.

Блок 91 фильтрации генерирует К-изображение, З-изображение и С-изображение, которые состоят соответственно только из К, З и С компонентов поступившего входного изображения, осуществляет процесс фильтрации, предназначенный для извлечения краев на К-изображении, З-изображении и С-изображении, и подает указанные изображения в блок 92 вычисления средних значений. Блок 92 вычисления средних значений вычисляет средние значения соответствующих пикселей К-изображения, З-изображения и С-изображения, поступивших из блока 91 фильтрации, чтобы сгенерировать одно изображение, и подает его в блок 93 вычисления расстояния и блок 94 вычисления расстояния.

Блок 93 вычисления расстояния вычисляет расстояние между изображением, поступившим от блока 92 вычисления средних значений, и подготовленным простым изображением и подает его в блок 95 вычисления итоговой величины. Здесь простым изображением является изображение, удачно выполненное профессионалом или выполненное другим подобным образом, с малой сложностью краев, то есть изображение, обычно оцениваемое высоко.

Блок 94 вычисления расстояния вычисляет расстояние между изображением, поступившим от блока 92 вычисления средних значений, и подготовленным сложным изображением и подает его в блок 95 вычисления итоговой величины. Здесь сложным изображением является изображение, неудачно выполненное новичком или выполненное другим подобным образом, с большой сложностью краев, то есть изображение, обычно оцениваемое плохо.

Блок 95 вычисления итоговой величины вычисляет сложность краев с использованием расстояния, поступившего от блока 93 вычисления расстояния, и расстояния, поступившего от блока 94 вычисления расстояния, и подает указанную сложность краев в блок 22 выбора.

На фиг.11 показан более частный пример конфигурации блока 62 определения размера с фиг.7.

Блок 62 определения размера содержит блок 121 фильтрации, блок 122 вычисления средних значений, блок 123 вычисления ширины, блок 124 вычисления ширины и блок 125 вычисления итоговой величины. Заметим, что, так как блок 121 фильтрации и блок 122 вычисления средних значений аналогичны блоку 91 фильтрации и блоку 92 вычисления средних значений на фиг.10, их описание опущено.

Блок 123 вычисления ширины вычисляет ширину в заданном направлении (далее называем направлением х) граничной рамки для входного изображения с использованием изображения, поступившего от блока 122 вычисления средних значений, и подает упомянутую ширину в блок 125 вычисления итоговой величины. Блок 124 вычисления ширины вычисляет ширину в вертикальном направлении относительно х направления (далее называем направлением у) граничной рамки для входного изображения с использованием изображения, поступившего от блока 122 вычисления средних значений, и подает упомянутую ширину в блок 125 вычисления итоговой величины.

Блок 125 вычисления итоговой величины вычисляет размер рамки на основе ширины в направлении х и ширины в направлении у, которые поступили от блока 123 вычисления ширины и блока 124 вычисления ширины, и подает размер рамки в блок 22 выбора.

На фиг.12 показан более частный пример конфигурации блока 63 определения сложности распределения цветов фиг.7.

Блок 63 определения сложности распределения цветов содержит блок 151 построения гистограммы каждого цвета, блок 152 построения гистограммы, блок 153 вычисления расстояния, блок 154 вычисления расстояния и блок 155 вычисления итоговой величины.

Блок 151 построения гистограммы каждого цвета по поступившему на указанный блок входному изображению строит гистограммы соответствующих цветов, при этом диапазоны значений соответствующих К, З и С компонентов пикселей входного изображения служат в значении столбца, и подает указанные гистограммы в блок 152 построения гистограммы. Блок 152 построения гистограммы по гистограммам соответствующих К, З и С компонентов, поступивших от блока 151 построения гистограммы каждого цвета, строит одну гистограмму, и подает ее в блок 153 вычисления расстояния и блок 154 вычисления расстояния.

Блок 153 вычисления расстояния вычисляет расстояние между гистограммой, поступившей от блока 152 построения гистограммы, и гистограммой, полученной для подготовленного простого изображения, и подает это расстояние в блок 155 вычисления итоговой величины. Блок 154 вычисления расстояния вычисляет расстояние между гистограммой, поступившей от блока 152 построения гистограммы, и гистограммой, полученной для подготовленного сложного изображения, и подает это расстояние в блок 155 вычисления итоговой величины.

Блок 155 вычисления итоговой величины вычисляет сложность распределения цветов на основе расстояний, поступивших от блока 153 вычисления расстояния и блока 154 вычисления расстояния, и подает указанную сложность в блок 22 выбора.

На фиг.13 показан более частный пример конфигурации блока 64 определения смещения цветов на фиг.7.

Блок 64 определения смещения цветов содержит блок 181 преобразования, блок 182 построения гистограммы и блок 183 вычисления итоговой величины.

Блок 181 преобразования преобразует входное изображение, поступившее в этот блок и являющееся изображением со значениями пикселей с К, З и С компонентами, в изображение со значениями пикселей с компонентами Ц (цвет), Н (насыщенность) и Зн (значение), и подает полученное изображение в блок 182 построения гистограммы. Блок 182 построения гистограммы на основе входного изображения с компонентами Ц, Н и Зн, который поступили от блока 181 преобразования, строит гистограмму для пикселей, удовлетворяющих заданному условию входного изображения, и подает указанную гистограмму в блок 183 вычисления итоговой величины.

Блок 183 вычисления итоговой величины вычисляет степень смещения цветов на основе гистограммы, поступившей от блока 182 построения гистограммы, и подает ее в блок 22 выбора.

Описание работы устройства обработки изображения

Далее со ссылками на блок-схему последовательности операций на фиг.14 будет описан процесс преобразования изображения, осуществляемый в устройстве 51 обработки изображения на фиг.7.

Заметим, что этот процесс на этапе S41 аналогичен процессу на этапе S11 фиг.6 и, таким образом, его описание опущено.

На этапе S42 блок 61 определения сложности краев осуществляет процесс определения сложности краев с целью вычисления сложности краев и подает указанную сложность в блок 22 выбора. На этапе S43 блок 62 определения размера осуществляет процесс определения размера, предназначенный для вычисления размера рамки, и подает этот размер в блок 22 выбора.

На этапе S44 блок 63 определения сложности распределения цветов осуществляет процесс определения сложности распределения цветов с целью вычисления сложности распределения цветов и подает ее в блок 22 выбора. Далее, на этапе S45 блок 64 определения смещения цветов осуществляет процесс определения смещения цветов с целью вычисления степени смещения цветов и подает указанную степень в блок 22 выбора.

Также ниже будут подробно описаны следующие процессы, осуществляемые на этапах с S42 по S45 соответственно: процесс определения сложности краев, процесс определения размера, процесс определения сложности распределения цветов и процесс определения смещения цветов.

Таким образом, после вычисления всех количественных значений параметров в блоке 21 определения степени размытости и блоках от блока 61 определения сложности краев до блока 64 определения смещения цветов, и их подачи в блок 22 выбора, процесс обработки переходит на этап S46.

На этапе S46 блок 22 выбора осуществляет процесс выбора фильтра, предназначенный для выбора фильтра для дальнейшего использования в операции обработки изображения, которую будут применять к входному изображению. Также ниже будет подробно описан процесс выбора фильтра. В ходе процесса выбора фильтра фильтр выбирают с использованием количественных значений, поступивших в блок 22 выбора. После выбора фильтра входное изображение подают в блок, в котором содержится выбранный фильтр, то есть в один из блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись».

После этого осуществляют процессы этапов S47 - S49, и процесс преобразования изображения завершается. Эти процессы аналогичны процессам соответственно этапов S15 - S17 на фиг.6 и, таким образом, их описание опущено.

Следовательно, устройство 51 обработки изображения по поступившему в это устройство входному изображению вычисляет количественные значения множества параметров и преобразует входное изображение в выходное изображение путем осуществления соответствующей операции обработки изображения, которую определяют по количественным значениям параметров. Соответственно, выходное изображение может быть построено путем выбора операции обработки изображения, которая более эффективна для этого входного изображения. В результате показ выходного изображения будет более эффективен.

Далее со ссылками на блок-схему на фиг.15 будет описан процесс определения сложности краев, осуществляемый на этапе S42 на фиг.14. Этот процесс определения сложности краев осуществляют в блоке 61 определения сложности краев на фиг.10.

На этапе S71 в блоке 91 фильтрации осуществляют процесс фильтрации входного изображения, поступившего в этот блок, с использованием фильтра, предназначенного для извлечения краев, например фильтра Лапласа. То есть блок 91 фильтрации по входному изображению строит К-изображение, З-изображение и С-изображение, осуществляет процесс фильтрации этих К-изображения, З-изображения и С-изображения и подает их в блок 92 вычисления средних значений.

На этапе S72 блок 92 вычисления средних значений вычисляет средние значения соответствующих пикселей К-изображения, З-изображения и С-изображения, поступивших от блока 91 фильтрации, строят тем самым одно изображение. То есть значение каждого пикселя построенного изображения является средним значением пикселей, расположенных в той же позиции в К-изображении, З-изображении и С-изображении. Блок 92 вычисления средних значений нормирует изображение, полученное путем вычисления средних значений, для получения изображения заданного размера, например, 100 пикселей в вертикальном направлении на 100 пикселей в горизонтальном направлении, и подает его в блок 93 определения расстояния и блок 94 определения расстояния.

На этапе S73 блок 93 определения расстояния и блок 94 определения расстояния вычисляют соответственно расстояние между изображением, поступившим в блок 92 вычисления средних значений, и подготовленным простым изображением и расстояние между изображением, поступившим от блока 92 вычисления средних значений, и подготовленным сложным изображением и подают указанные расстояния в блок 95 вычисления итоговой величины.

Например, расстояние между изображением, поступившим от блока 92 вычисления средних значений, и простым изображением (или сложным изображением) представляет собой евклидово расстояние между изображением, полученным путем осуществления процесса фильтрации в блоке 91 фильтрации и процесса вычисления средних значений, осуществленного в блоке 92 вычисления средних значений для простого изображения, и изображением, поступившим от блока 92 вычисления средних значений. Следовательно, полученное таким образом расстояние показывает степень схожести сложности краев входного изображения и простого изображения (или сложного изображения).

На этапе S74 блок 95 вычисления итоговой величины вычисляет разность расстояния, поступившего от блока 93 вычисления расстояния, и расстояния, поступившего от блока 94 вычисления расстояния, вычисляя тем самым итоговую величину (значение) сложности краев, и подает ее в блок 22 выбора. Чем меньше расстояние между входным изображением и сложным изображением, при этом края входного изображения более сложные, тем больше полученное описанным выше образом значение сложности краев.

После вычисления сложности краев и подачи ее в блок 22 выбора заканчивают процесс определения сложности краев. После этого процесс обработки продолжают на этапе S43 с фиг.14.

Со ссылками на блок-схему последовательности операций на фиг.16 далее будет описан процесс определения размера, соответствующий этапу S43 с фиг.14. Этот процесс определения размера осуществляют в блоке 62 определения размера с фиг.11.

Заметим, что процессы этапа S101 и этапа S102 аналогичны процессам этапа S71 и этапа S72 с фиг.15 и, таким образом, их описание опущено. То есть в блоке 121 фильтрации осуществляют процесс фильтрации входного изображения, в блоке 122 вычисления средних значений вычисляют средние значения соответствующих пикселей К-изображения, З-изображения и С-изображения, поступивших от блока 121 фильтрации, и полученный результат нормализуют.

На этапе S103 блок 123 вычисления ширины и блок 124 вычисления ширины вычисляет ширину в направлении х и ширину в направлении у граничной рамки для входного изображения с использованием изображения, поступившего от блока 122 вычисления средних значений, и подает указанные две ширины в блок 125 вычисления итоговой величины.

Например, блок 123 вычисления ширины линии, состоящей из пикселей, расположенных в направлении у в изображении, поступившем от блока 122 вычисления средних значений, рассматривает как у линии и вычисляет значение у линии для каждой у линии, при этом значение у-линии представляет собой сумму значений пикселей, из которых состоит у линия.

Далее блок 123 вычисления ширины вычисляет ширину в направлении х области, состоящей из последовательно расположенных у-линий, включающих в себя 98% общего количества краев, содержащихся в изображении, с использованием значений у-линий, вычисленных для соответствующих у-линий, при этом ширина в направлении х служит в качестве ширины Wx в направлении х граничной рамки. То есть вычисленная сумма значений у-линий, содержащихся в области, является значением 98% или более от суммы всех значений у линий, входящих в состав изображения.

Аналогично, блок 124 вычисления ширины линии, состоящей из пикселей, расположенных в направлении х изображения, поступившего из блока 122 вычисления средних значений, рассматривает как х-линии и вычисляют значение х-линии для каждой х-линии, при этом значение х-линии представляет собой сумму значений пикселей, из которых состоит х-линия. Далее блок 124 вычисления ширины вычисляет ширину в направлении у области, состоящей из последовательно расположенных х линий, включающих в себя 98% общего количества краев, содержащихся в изображении, с использованием значений х-линий, вычисленных для соответствующих линий, при этом ширина в направлении у служит в качестве ширины Wy в направлении у граничной рамки.

На этапе S104 блок 125 вычисления итоговой величины вычисляет итоговую величину размера рамки исходя из ширины Wx и ширины Wy, которые поступили от блока 123 вычисления ширины и блока 124 вычисления ширины, и подает указанную итоговую величину в блок 22 выбора. Например, обратное значение, полученное путем вычитания произведения нормированных ширины Wx и ширины Wy, из 1, считают величиной (итоговой величиной) размера рамки.

В частности, в случае, когда изображение, полученное с помощью вычисления средних значений, которое осуществляют в блоке 122 вычисления средних значений, нормируют к размеру в 100 пикселей в направлении х на 100 пикселей в направлении у, ширину Wx и ширину Wy нормируют путем деления на 100. То есть значение «1 - (Wx/100) × (Wy/100)» считают величиной размера рамки.

Чем больше размер граничной рамки, тем больше вычисленная таким образом величина размера рамки, что указывает на меньшую степень плотности в области, где концентрируются края во входном изображении. После подачи вычисленного размера рамки в блок 22 выбора заканчивают процесс определения размера. После этого процесс обработки продолжают на этапе S44 на фиг.14.

Далее со ссылками на блок-схему последовательности операций, с фиг.17 будет описан процесс определения сложности распределения цветов, который соответствует процессу этапа S44 на фиг.14. Заметим, что процесс определения сложности распределения цветов осуществляют в блоке 63 определения сложности распределения цветов на фиг.12.

На этапе S131 блок 151 построения гистограммы каждого цвета строит гистограммы для компонентов соответствующих цветов входного изображения - К, З и С, с использованием поступившего в указанный блок входного изображения, и подает указанные гистограммы в блок 152 построения гистограммы.

На этапе S132 блок 152 построения гистограммы строит одну гистограмму из гистограмм соответствующих цветов, которые поступили от блока 151 построения гистограммы каждого цвета, и подает указанную гистограмму в блок 153 вычисления расстояния и блок 154 вычисления расстояния. Например, блок 152 построения гистограммы нормирует гистограммы соответствующих цветов и по нормированным гистограммам соответствующих цветов строит одну гистограмму со столбцами, количество которых является кубом числа 16, причем каждый столбец представляет собой заданный диапазон значений пикселей входного изображения.

На этапе S133 блок 153 вычисления расстояния и блок 154 вычисления расстояния вычисляют соответственно расстояние между гистограммой, поступившей от блока 152 построения гистограммы, и гистограммой, полученной по подготовленному простому изображению, и расстояние между гистограммой, поступившей от блока 152 построения гистограммы, и гистограммой, полученной по подготовленному сложному изображению, с использованием способа К-ближайший сосед или подобного способа. Здесь и гистограмма, полученная по простому изображению, и гистограмма, полученная по сложному изображению, представляет собой гистограмму, построенную посредством процесса, что и гистограмма, построенная в блоке 152 построения гистограммы.

Например, блок 153 вычисления расстояния рассматривает сумму разностей значений соответствующих столбцов для гистограммы, поступившей от блока 152 построения гистограммы, и гистограммы простого изображения, в качестве расстояния между этими гистограммами. Блок 153 вычисления расстояния вычисляет расстояния до гистограммы, поступившей от блока 152 построения гистограммы, для множества простых изображений, и подает их в блок 155 вычисления итоговой величины.

Аналогично, блок 154 вычисления расстояния рассматривает сумму разностей значений соответствующих столбцов для гистограммы, поступившей от блока 152 построения гистограммы, и гистограммы сложного изображения, в качестве расстояния между этими гистограммами. Блок 154 вычисления расстояния вычисляет расстояние до гистограммы, поступившей от блока 152 построения гистограммы, для множества сложных изображений, и подает указанные расстояния в блок 155 вычисления итоговой величины.

На этапе S134 блок 155 вычисления итоговой величины вычисляет итоговую величину сложности распределения цветов на основе расстояний, поступивших от блока 153 вычисления расстояния и блока 154 вычисления расстояния, и подает указанную итоговую величину в блок 22 выбора.

Например, блок 155 вычисления итоговой величины выбирает из расстояний, поступивших от блока 153 вычисления расстояния и блока 154 вычисления расстояния, расстояния, количество которых равно К, в возрастающем порядке значений расстояния. Далее, блок 155 вычисления итоговой величины среди К выбранных расстояний вычисляет разность между количеством расстояний до гистограмм простых изображений и количеством расстояний до гистограмм сложных изображений и рассматривает вычисленную разность в качестве значения (итоговой величины) сложности распределения цветов. То есть разность между количеством расстояний, поступивших от блока 153 вычисления расстояния, и количеством расстояний, поступивших от блока 154 вычисления расстояния, из К расстояний считают сложностью распределения цветов.

Чем ближе сложность распределения цветов входного изображения к сложности распределения цветов сложного изображения, тем больше вычисленное указанным способом значение сложности распределения цветов входного изображения, что показывает, что распределение цветов во входном изображении более сложное.

После вычисления сложности распределения цветов и подачи его в блок 22 выбора заканчивают процесс определения сложности распределения цветов и процесс обработки продолжают на этапе S45 на фиг.14.

Далее, со ссылкой на блок-схему последовательности операций с фиг.18 будет описан процесс определения смещения цветов, который соответствует процессу этапа S45 на фиг.14. Этот процесс определения смещения цветов осуществляют в блоке 64 определения смещения цветов на фиг.13.

На этапе S161 блок 181 преобразования преобразует входное изображение, поступившее в указанный блок, в изображение, значения пикселей которого представлены соответствующими компонентами Ц, Н и Зн, и подает указанное изображение в блок 182 построения гистограммы.

На этапе S162 блок 182 построения гистограммы по изображению, поступившему от блока 181 преобразования, строит гистограмму пикселей, удовлетворяющих заданному условию, и подает указанную гистограмму в блок 183 вычисления итоговой величины. Например, заданное условие состоит в том, что значение Зн-компоненты пикселя больше 0,15 и меньше 0,95, а значение Н-компоненты пикселя больше 0,2. Пиксели, удовлетворяющие этому условию, извлекают из изображения, поступившего от блока 181 преобразования. Далее, по извлеченным пикселям строят гистограмму, при этом диапазон значений Ц-компонент пикселей представляет собой столбец гистограммы, и гистограмму подают в блок 183 вычисления итоговой величины.

На этапе S163 блок 183 вычисления итоговой величины вычисляет итоговую величину степени смещения цветов на основе гистограммы, поступившей от блока 182 построения гистограммы, и подает указанную итоговую величину в блок 22 выбора. Например, блок 183 вычисления итоговой величины вычисляет медиану N столбца с наибольшим значением, при этом значение представляет собой значение 5% или более от суммы значений отдельных столбцов гистограммы, и вычитают медиану N из заданного значения, например, из 20. Полученное таким образом значение считают значением (итоговой величиной) степени смещения цветов.

Чем меньше медиана, то есть компонента Н (насыщенность), тем больше вычисленное указанным способом значение степени смещения цветов, что показывает, что степень смещения цветов высока во входном изображении. После подачи вычисленной степени смещения цветов в блок 22 выбора заканчивают процесс определения смещения цветов и процесс обработки продолжают на этапе S46 на фиг.14.

Далее, со ссылкой на блок-схему последовательности операций с фиг.19 будет описан процесс выбора фильтра, который соответствует процессу этапа S46 на фиг.14. Этот процесс выбора фильтра осуществляют в блоке 22 выбора на фиг.7.

На этапе S191 блок 22 выбора определяет, является ли размытым входное изображение, поступившее в указанный блок, на основе степени размытости, поступившей от блока 21 определения степени размытости. Например, в случае, когда степень размытости больше или равна заданному порогу, входное изображение считают размытым.

Если на этапе S191 определяют, что входное изображение не размыто, то на этапе S 192 блок 22 выбора определяет, является ли сложным распределение цветов входного изображения, на основе сложности распределения цветов, поступившей от блока 155 вычисления итоговой величины, входящего в состав блока 63 определения сложности распределения цветов. Например, в случае, когда сложность распределения цветов больше или равна заранее заданному порогу, распределение цветов считают сложным.

В случае, когда на этапе S192 определяют, что распределение цветов не является сложным, блок 22 выбора в качестве фильтра для операции обработки изображения, которую будут применять на этапе S193 к входному изображению, выбирают фильтр, предназначенный для преобразования входного изображения в изображение стиля «анимация».

То есть поскольку входное изображение не является размытым и распределение цветов простое, то в качестве операции обработки изображения выбирают процесс преобразования в стиль «анимация», что показано на фиг.9. Блок 22 выбора подает поступившее входное изображение в блок 24 преобразования в стиль «анимация», который осуществляет процесс преобразования в стиль «анимация», и процесс выбора фильтра заканчивают. После чего процесс обработки продолжают на этапе S47 с фиг.14.

С другой стороны, в случае, когда на этапе S192 определяют, что распределение цветов является сложным, блок 22 выбора в качестве фильтра для операции обработки изображения, которую будут применять на этапе S194 к входному изображению, выбирает фильтр, предназначенный для преобразования входного изображения в изображение стиля «комикс».

То есть поскольку входное изображение не является размытым и распределение цветов сложное, то в качестве операции обработки изображения выбирают процесс преобразования в стиль «комикс», что показано на фиг.9. Блок 22 выбора подает поступившее входное изображение в блок 23 преобразования в стиль «комикс», в котором осуществляют процесс преобразования в стиль «комикс», и процесс выбора фильтра заканчивают. После чего процесс обработки продолжают на этапе S47 с фиг.14.

Кроме того, в случае, когда на этапе S191 определяют, что входное изображение размыто, на этапе S195 блок 22 выбора определяет, является ли сложным распределение краев входного изображения на основе сложности краев, поступившей от блока 95 вычисления итоговой величины, входящего в состав блока 61 определения сложности краев. Например, в случае, когда сложность краев больше или равна заданному порогу, распределение краев считают сложным.

Если на этапе S195 определяют, что распределение краев не является сложным, то на этапе S196 блок 22 выбора определяет, содержит ли входное изображение смещение цветов на основе степени смещения цветов, поступившей от блока 183 вычисления итоговой величины, входящего в состав блока 64 определения смещения цветов. Например, в случае, когда степень смещения цветов больше или равна заданному порогу, считают, что входное изображение содержит смещение цветов.

В случае, когда на этапе S196 определяют, что входное изображение не содержит смещения цветов, блок 22 выбора в качестве фильтра для операции обработки изображения, которую будут применять на этапе S193 к входному изображению, выбирает фильтр, предназначенный для преобразования входного изображения в изображение стиля «диорама».

То есть, поскольку распределение краев входного изображения простое и не содержит смещения цветов, то в качестве операции обработки изображения выбирают процесс преобразования в стиль «диорама», что показано на фиг.9. Блок 22 выбора подает полученное входное изображение в блок 25 преобразования в стиль «диорама», в котором осуществляют процесс преобразования в стиль «диорама», и процесс выбора фильтра завершается. После чего процесс обработки продолжают на этапе S47 с фиг.14.

С другой стороны, в случае, когда на этапе S196 определяют, что присутствует смещение цветов, блок 22 выбора в качестве фильтра для операции обработки изображения, которую будут применять на этапе S198 к входному изображению, выбирает фильтр, предназначенный для преобразования входного изображения в изображение стиля «живопись» с раскрашиванием поверх.

То есть, поскольку распределение краев входного изображения простое и содержит смещение цветов, то в качестве операции обработки изображения выбирают процесс преобразования в стиль «живопись» с раскрашиванием поверх, что показано на фиг.9. Блок 22 выбора подает поступившее входное изображение в блок 27 преобразования в стиль «живопись», которой осуществляет процесс преобразования в стиль «живопись» с раскрашиванием поверх, и процесс выбора фильтра завершается. После чего процесс обработки продолжают на этапе S47 на фиг.14.

Кроме того, в случае, когда на этапе S195 определяют, что распределение краев сложное, то блок 22 выбора в качестве фильтра для операции обработки изображения, которую будут применять на этапе S199 к входному изображению, выбирает фильтр, предназначенный для преобразования входного изображения в изображение стиля «живопись» с уменьшенным количеством цветов.

То есть, поскольку распределение краев входного изображения сложное, то в качестве операции обработки изображения выбирают процесс преобразования в стиль «живопись» с уменьшением количества цветов, что показано на фиг.9. Блок 22 выбора подает поступившее входное изображение в блок 26 преобразования в стиль «живопись», в котором осуществляют процесс преобразования в стиль «живопись» с уменьшением количества цветов, и процесс выбора фильтра завершается. После чего процесс обработки продолжают на этапе S47 на фиг.14.

Таким образом, блок 22 выбора выбирает операцию обработки изображения, которая лучше подходит для входного изображения, на основе количественных значений параметров, извлеченных из входного изображения, и подает входное изображение в блок, который осуществляет операцию обработки изображения. Таким образом, благодаря использованию количественных значений параметров можно легче выбрать операцию обработки изображения, которая более эффективна для конкретного входного изображения.

Третий вариант осуществления изобретения

Конфигурация устройства обработки изображения

Кроме того, согласно приведенному выше описанию операцию обработки изображения осуществляют для всего входного изображения. В качестве альтернативы, операцию обработки изображения осуществляют только для некоторой области входного изображения или различные операции обработки изображения осуществляют для одной и другой областей.

В этом случае конфигурация устройства обработки изображения показана, например, на фиг.20. Заметим, что на фиг.20, части, соответствующие частям с фиг.7, обозначены теми же ссылочными позициями, и их описание опущено.

Устройство 231 обработки изображения содержит блок 241 определения рассматриваемой области, блок 21 определения степени размытости, блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов, блоки от блока 22 выбора до блока 27 преобразования в стиль «живопись» и блок 29 вывода.

Блок 241 определения рассматриваемой области извлекает количественные значения параметров области объекта входного изображения, которое поступило на указанный блок, тем самым определяя объект по входному изображению, и строит карту объекта, которая представляет собой информацию для точного определения рассматриваемой области, включающей в себя объект входного изображения. Блок 241 определения рассматриваемой области подает построенную карту объекта в блок 21 определения степени размытости, в блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов и в блок 22 выбора.

Здесь определение объекта осуществляют в предположении, что объектом является предмет на входном изображении, на котором, согласно оценке, фокусируется пользователь при быстром просмотре входного изображения, то есть предмет, на который, как считается, смотрит пользователь. Таким образом, объектом не обязательно является человек.

Блок 21 определения степени размытости и блоках от блока 61 определения сложности краев до блока 64 определения смещения цветов извлекает количественные значения параметров из рассматриваемой области входного изображения, поступившего в указанные блоки, и фоновой области, которая является областью, отличной от рассматриваемой области, причем указанное извлечение осуществляют с использованием карты объекта, поступившей от блока 241 определения рассматриваемой области, и подают указанные количественные значения параметров в блок 22 выбора. То есть степень размытости, сложность краев, размер рамки, сложность распределения цветов и степень смещения цветов вычисляют и в рассматриваемой области, и в фоновой области.

Блок 22 выбора выбирает операцию обработки изображения, которую осуществляют по меньшей мере для одной из рассматриваемой области и фоновой области на основе количественных значений параметров, поступивших от блока 21 определения степени размытости и блоков от блока 61 определения сложности краев до блока 64 определения смещения цветов. Кроме того, в случае, когда операции обработки изображения будут осуществлены для обеих областей, операции обработки изображения выбирают для соответствующих областей.

Кроме того, блок 22 выбора подает поступившее входное изображение и карту объекта, поступившую от блока 241 определения рассматриваемой области, в тот блок, в котором будут осуществлять выбранную операцию обработки изображения. Блок 29 вывода объединяют выходные изображения, поступившие от блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись», то есть изображение рассматриваемой области и изображение фоновой области, если это необходимо, тем самым выводят полученное в конце выходное изображение.

Далее, конфигурация блока 241 определения рассматриваемой области показана, например, на фиг.21.

А именно, блок 241 определения рассматриваемой области содержит блок 271 извлечения информации о яркости, блок 272 извлечения цветовой информации, блок 273 извлечения информации о лице и блок 274 построения карты объекта.

Блок 271 извлечения информации о яркости по входному изображению строит карту информации о яркости, показывающую информации о яркости в каждой области входного изображения, поступившего в указанный блок, и подает указанную карту в блок 274 построения карты объекта.

Блок 271 извлечения информации о яркости содержит блок 291 построения изображения яркости, блок 292 построения пирамиды изображений, блок 293 вычисления разностей и блок 294 построения карты информации о яркости.

Блок 291 построения изображения яркости строит изображение яркости с использование поступившего в указанный блок входного изображения, при этом значения яркости пикселей входного изображения служат в качестве значений пикселей изображения яркости, и подает указанное изображение яркости в блок 292 построения пирамиды изображений. Здесь значение любого пикселя изображения яркости показывает значение яркости пикселя в той же позиции, где расположен указанный произвольный пиксель входного изображения.

Блок 292 построения пирамиды изображений по изображению яркости, поступившему от блока 291 построения изображения яркости, строит несколько изображений яркости, разрешения которых отличаются друг от друга, и подает эти изображения яркости в качестве пирамиды изображений яркости в блок 293 вычисления разностей.

Например, строят пирамиду изображений для восьми слоев разрешений от уровня L1 до уровня L8. Изображение уровня L1 из пирамиды имеет наибольшее разрешение, и разрешение изображений из пирамиды уменьшается при переходе от уровня L1 до уровня L8.

В этом случае, изображение яркости, построенное в блоке 291 построения изображения яркости, считают изображением уровня L1 из пирамиды. Также среднее значение для значений четырех пикселей, прилегающих друг к другу на изображении уровня Li пирамиды (заметим, что 1 i 7), считают значением одного пикселя изображения уровня L(i+1) пирамиды, соответствующего этим пикселям. Таким образом, изображение уровня L(i+1) пирамиды по горизонтали и вертикали является половиной изображения по отношению к изображению уровня Li пирамиды.

Блок 293 вычисления разностей выбирает два изображения различных слоев из множества изображений пирамиды, поступивших от блока 292 построения пирамиды изображений, и вычисляет расстояние между выбранными изображениями пирамиды с целью построения изображения разностей для яркости. Кроме того, размеры изображений соответствующих слоев пирамиды различны (количество пикселей) и, таким образом, при построении изображения разностей меньшее изображение пирамиды преобразуют с увеличением размеров в соответствии с большим изображением пирамиды.

После построения заранее заданного количества изображений разностей для яркости в блоке 293 вычисления разностей нормализуют эти построенные изображения разностей и подают их в блок 294 построения карты информации о яркости. Блок 294 построения карты информации о яркости строит карту информации о яркости на основе изображений разностей, поступивших от блока 293 вычисления разностей, и подает указанную карту в блок 274 построения карты объекта.

Кроме того, блок 272 извлечения цветовой информации, исходя из входного изображения, строит карту цветовой информации, которая показывает информацию о цветах в отдельных областях входного изображения, поступившего в указанный блок, и подает указанную карту в блок 274 построения карты объекта.

Блок 272 извлечения цветовой информации содержит блок 295 построения изображения КЗ разностей, блок 296 построения изображения СЖ разностей, блок 297 построения пирамиды изображений, блок 298 построения пирамиды изображений, блок 299 вычисления разностей, блок 300 вычисления разностей, блок 301 построения карты цветовой информации и блок 302 построения карты цветовой информации.

Блок 295 построения изображения КЗ разностей строит изображение КЗ разностей с использованием поступившего в указанный блок входного изображения, при этом разность между К (красный) компонентом и З (зеленый) компонентом каждого пикселя входного изображения является значением пикселя в изображении КЗ разностей, и подает указанное изображение КЗ разностей в блок 297 построения пирамиды изображений. Значение произвольного пикселя в изображении КЗ разностей показывает значение разности между К компонентом и З компонентом пикселя входного изображения, расположенных в той же позиции, что и указанный произвольный пиксель.

Блок 296 построения изображения СЖ разностей строит изображение СЖ разностей с использованием поступившего в указанный блок входного изображения, при этом разность между С (синий) компонентом и Ж (желтый) компонентом каждого пикселя входного изображения является значением пикселя в изображении СЖ разностей, и подает указанное изображение СЖ разностей в блок 298 построения пирамиды изображений. Значение произвольного пикселя в изображении СЖ разностей показывает значение разности между С (синий) компонентом и Ж (желтый) компонентом пикселя входного изображения, расположенных в той же позиции, что и указанный произвольный пиксель. Кроме того, значение Ж (желтый) компонента входного изображения вычисляют по значениям (значениям пикселей) компонентов соответствующих цветов входного К, З и С изображения.

Блок 297 построения пирамиды изображений и блоке 298 построения пирамиды изображений строит множество изображений КЗ разностей и изображений СЖ разностей с отличающимися друг от друга разрешениями, с использованием изображения КЗ разностей и изображения СЖ разностей, поступивших от блока 295 построения изображения КЗ разностей и блока 296 построения изображения СЖ разностей. Далее блок 297 построения пирамиды изображений и блок 298 построения пирамиды изображений подают эти полученные изображения КЗ разностей и изображения СЖ разностей, служащие в качестве изображений КЗ разностей из пирамиды и изображений СЖ разностей из пирамиды, в блок 299 вычисления разностей и блок 300 вычисления разностей.

Например, как и в случае изображений яркости из пирамиды, в качестве изображений КЗ разностей из пирамиды и изображений СЖ разностей из пирамиды строят изображения восьми слоев разрешения от уровня L1 до уровня L8.

Блок 299 вычисления разностей и блок 300 вычисления разностей из множества изображений из пирамид, поступивших от блока 297 построения пирамиды изображений и блока 298 построения пирамиды изображений, выбирают два изображения отличающихся друг от друга слоев и вычисляют разность выбранных изображений из пирамид, тем самым строят изображение КЗ разностей и изображение СЖ разностей. Кроме того, размеры изображений соответствующих слоев пирамиды различны и, таким образом, при построении изображения разностей меньшее изображение из пирамиды преобразуют с увеличением размеров до такого же размера, что и большее изображение из пирамиды.

После построения заданного количества изображений КЗ разностей и изображений СЖ разностей блок 299 вычисления разностей и блок 300 вычисления разностей нормируют эти построенные изображения разностей и подают их в блок 301 построения карты цветовой информации и блок 302 построения карты цветовой информации. Блок 301 построения карты цветовой информации и блок 302 построения карты цветовой информации на основе изображений разностей, поступивших от блока 299 вычисления разностей и блока 300 вычисления разностей, строят карты цветовой информации и подают их в блок 274 построения карты объекта. Блок 301 построения карты цветовой информации строит карту цветовой информации для КЗ разностей, а блок 302 построения карты цветовой информации строит карту цветовой информации для СЖ разностей.

Блок 273 извлечения информации о лице по входному изображению, поступившему в указанный блок, строит карту информации о лице, показывающую информацию о лице человека, которое выступает объектом, в отдельных областях входного изображения, поступившего в указанный блок, и подает указанную карту в блок 274 построения карты объекта. Блок 273 извлечения информации о лице содержит блок 303 определения лица и блок 304 построения карты информации о лице.

В блоке 303 определения лица определяет область лица человека, которое выступает объектом, что делают на основе поступившего в указанный блок входного изображения, и подает полученный результат в блок 304 построения карты информации о лице. Блок 304 построения карты информации о лице на основе результата определения, поступившего от блока 303 определения лица, строит карту информации о лице и подает ее в блок 274 построения карты объекта.

Кроме того, в дальнейшем, в случае, когда не требуется отличать друг от друга карты от карты информации о яркости, поступившей от блока 271 извлечения информации о яркости, до карты информации о лице, поступившей от блока 273 извлечения информации о лице, указанные карты просто называются информационными картами. Информация, содержащаяся в этих информационных картах, представляет собой информацию, указывающую количественные значения, которые больше в области, содержащей объект. Информация, скомпонованная в соответствии с отдельными областями входного изображения, образует информационную карту. То есть информационная карта представляет собой информацию, указывающую количественные значения параметров отдельных областей входного изображения.

Следовательно, область с большим количеством информации в каждой информационной карте, то есть область входного изображения, соответствующая области с большим количественным значением параметра, является областью, с большой вероятностью содержащей объект, так что область входного изображения, содержащая объект, может быть определена с использованием каждой информационной карты.

Блок 274 построения карты объекта строит карту объекта путем линейного соединения карты информации о яркости, карты цветовой информации и карты информации о лице, поступивших от блока 294 построения информации о яркости, блока 301 построения карты цветовой информации, блока 302 построения карты цветовой информации и блока 304 построения карты информации о лице. То есть, информацию (количественные значения) из отдельных областей карт от карты информации о яркости до карты информации о лице складывают с весами в элементах областей, находящихся в той же позиции, тем самым строят карту объекта. Блок 274 построения карты объекта подает построенную карту объекта в блок 21 определения степени размытости, в блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов и в блок 22 выбора.

Описание работы устройства обработки изображения

Далее со ссылками на блок-схему на фиг.22 будет описан процесс преобразования изображения, который осуществляют в блоке 231 обработки изображения с фиг.20.

На этапе S231 блок 241 определения рассматриваемой области осуществляет процесс определения рассматриваемой области для обнаружения рассматриваемой области во входном изображении. То есть блок 241 определения рассматриваемой области по входному изображению строит карту объекта и подает ее в блок 21 определения степени размытости, в блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов и в блок 22 выбора. Ниже будут описаны подробности процесса определения рассматриваемой области.

Кроме того, после осуществления процесса определения рассматриваемой области осуществляют процессы этапов от этапа S232 до этапа S236. Эти процессы аналогичны процессам этапов от этапа S41 до этапа S45 на фиг.14, и поэтому их описание опущено.

То есть блок 21 определения степени размытости на блоках от блока 61 определения сложности краев до блока 64 определения смещения цветов вычисляют количественные значения соответствующих параметров и подают их в блок 22 выбора. Кроме того, в ходе осуществления процессов этапов от этапа S232 до этапа S236 на основе карты объекта, построенной в блоке 241 определения рассматриваемой области, вычисляют количественные значения и для рассматриваемой области, и для фоновой области входного изображения. То есть вычисляют степень размытости, сложность краев, размер рамки, сложность распределения цветов и степень смещения цветов в рассматриваемой области. Также вычисляют степень размытости, сложность краев, размер рамки, сложность распределения цветов и степень смещения цветов в фоновой области.

На этапе S237 на основе степеней размытости рассматриваемой области и фоновой области, поступивших от блока 21 определения степени размытости, блок 22 выбора определяет, меньше ли абсолютное значение разности указанных степеней размытости заданного порога или нет.

В случае, если на этапе S237 определяют, что абсолютное значение меньше порога, то блок 22 выбора осуществляет процесс выбора фильтра для рассматриваемой области, при этом указанный процесс направлен на выбор фильтра, который будет использован в операции обработки изображения, осуществляемой для рассматриваемой области входного изображения на этапе S238.

Кроме того, процесс выбора фильтра, который будут применять для этой рассматриваемой области, аналогичен процессу выбора фильтра, который описан со ссылкой на фиг.19, и, следовательно, описание этого процесса опущено. Заметим, что для процесса выбора фильтра, который будут применять для этой рассматриваемой области, операцию обработки изображения, которую будут осуществлять для рассматриваемой области, выбирают с использованием степени размытости, сложности краев, размера рамки, сложности распределения цветов и степени смещения цветов рассматриваемой области.

После выбора фильтра для рассматриваемой области, то есть операции обработки изображения, блок 22 выбора подает поступившее входное изображение и карту объекта, поступившую от блока 241 определения рассматриваемой области, в блок, в котором осуществляют выбранную операцию обработки изображения, и дают команду блоку на осуществление операции обработки изображения для рассматриваемой области входного изображения.

На этапе S239, блок, в который подали входное изображение и карту объекта от блока 22 выбора и который является одним из блоков от блока 23 преобразования в стиль «комикс» и до блока 27 преобразования в стиль «живопись», осуществляют процесс фильтрации рассматриваемой области входного изображения с использованием поступившей карты объекта.

Например, в случае, когда в блоке 22 выбора выбрали процесс преобразования в стиль «живопись» с уменьшением количества цветов, в блоке 26 преобразования в стиль «живопись» осуществляют процесс преобразования в стиль «живопись» с уменьшением количества цветов для рассматриваемой области изображения с использованием поступившей карты объекта, тем самым строя выходное изображение рассматриваемой области входного изображения. Блок 26 преобразования в стиль «живопись» подает выходное изображение рассматриваемой области в блок 29 вывода.

На этапе S240 блок 22 выбора осуществляет процесс выбора фильтра для фоновой области, предназначенный для выбора фильтра, используемого в операции обработки изображения, которая будет осуществлена в отношении фоновой области входного изображения.

Кроме того, процесс выбора фильтра, осуществляемый для фоновой области, аналогичен процессу выбора фильтра, который описан со ссылкой на фиг.19, и, следовательно, описание этого процесса опущено. Заметим, что для процесса выбора фильтра, применяемого для фоновой области, операцию обработки изображения, которую осуществляют для фоновой области, выбирают с использованием степени размытости, сложности краев, размера рамки, сложности распределения цветов и степени смещения цветов фоновой области.

После выбора фильтра для фоновой области, то есть операции обработки изображения, блок 22 выбора подает входное изображение и карту объекта, поступившую от блока 241 определения рассматриваемой области, в блок, в котором осуществляют выбранную операцию обработки изображения, и дает команду блоку на осуществление операции обработки изображения для фоновой области входного изображения.

На этапе S241 блок, в который подали входное изображение и карту объекта от блока 22 выбора и который является одним из блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись», осуществляет процесс фильтрации фоновой области входного изображения с использованием поступившей карты объекта.

Например, в случае, когда в блоке 22 выбора выбрали процесс преобразования в стиль «анимация», блок 24 преобразования в стиль «анимация» осуществляет процесс преобразования в стиль «анимация» для фоновой области изображения с использованием поступившей карты объекта, тем самым строя выходное изображение фоновой области входного изображения. Блок 24 преобразования в стиль «анимация» подает выходное изображение фоновой области в блок 29 вывода.

После подачи выходного изображения фоновой области в блок 29 вывода процесс обработки продолжают на этапе S247.

Кроме того, в случае, когда на этапе S237 блок 22 выбора определяет, что абсолютное значение разности степеней размытости не меньше порога, то на этапе S242 блок 22 выбора определяет, больше ли степень размытости рассматриваемой области степени размытости фоновой области.

В случае, когда на этапе S242 определяют, что степень размытости рассматриваемой области больше, то на этапе S243 блок 22 выбора осуществляет процесс выбора фильтра для рассматриваемой области для выбора фильтра. Кроме того, процесс этапа S243 аналогичен процессу этапа S238 и, таким образом, его описание опущено.

После выбора фильтра, то есть операции обработки изображения, блок 22 выбора подает карту объекта, поступившую от блока 241 определения рассматриваемой области, и входное изображение в блок, в котором осуществляют выбранную операцию обработки изображения, и дает команду этому блоку на осуществление операции обработки изображения для рассматриваемой области входного изображения.

На этапе S244 блок, в который подали входное изображение и карту объекта от блока 22 выбора и который является одним из блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись», осуществляет процесс фильтрации рассматриваемой области входного изображения с использованием поступившей карты объекта. Далее изображение рассматриваемой области, полученное в процессе фильтрации, считают выходным изображением рассматриваемой области.

Кроме того, блок, в котором осуществляют операцию обработки изображения, извлекает фоновую область входного изображения с использованием карты объекта и считает саму фоновую область выходным изображением фоновой области. Блок, в котором осуществляют операцию обработки изображения, подает выходное изображение рассматриваемой области, полученной в результате процесса фильтрации, и выходное изображение фоновой области в блок 29 вывода.

После подачи в блок 29 вывода выходного изображения рассматриваемой области и выходного изображения фоновой области процесс продолжают на этапе S247. В том случае, когда степень размытости рассматриваемой области гораздо больше степени размытости фоновой области, операцию обработки изображения осуществляют для рассматриваемой области входного изображения, при этом операцию обработки изображения не осуществляют для неразмытой фоновой области, которую оставляют без изменения.

Кроме того, в случае, когда на этапе S242 определяют, что степень размытости рассматриваемой области не выше, то есть в случае, когда степень размытости фоновой области выше степени размытости рассматриваемой области, блоке 22 выбора осуществляет процесс выбора фильтра для фоновой области для выбора фильтра на этапе S245. Кроме того, процесс этапа S245 аналогичен процессу этапа S240 и, таким образом, его описание опущено.

После выбора фильтра, то есть операции обработки изображения, блок 22 выбора подает карту объекта, поступившую от блока 241 определения рассматриваемой области, и входное изображение в блок, в котором осуществляют операцию обработки изображения, и дает команду этому блоку на осуществление операции обработки изображения для фоновой области входного изображения.

На этапе S246 блок, в который подали входное изображение и карту объекта от блока 22 выбора и который является одним из блоков от блока 23 преобразования в стиль «комикс» до блока 27 преобразования в стиль «живопись», осуществляет процесс фильтрации фоновой области входного изображения с использованием поступившей карты объекта. Затем изображение фоновой области, полученное в процессе фильтрации, считают выходным изображением фоновой области.

Кроме того, блок, в котором осуществляют операцию обработки изображения, извлекает рассматриваемую область входного изображения с использованием карты объекта и считает рассматриваемую область выходным изображением рассматриваемой области. Блок, в котором осуществляют операцию обработки изображения, подает выходное изображение фоновой области, полученной в результате процесса фильтрации, и выходное изображение рассматриваемой области в блок 29 вывода.

После подачи в блок 29 вывода выходного изображения рассматриваемой области и выходного изображения фоновой области процесс обработки продолжают на этапе S247. В случае, когда степень размытости фоновой области гораздо больше степени размытости рассматриваемой области, операцию обработки изображения осуществляют для фоновой области входного изображения, при этом операцию обработки изображения не осуществляют для неразмытой рассматриваемой области, которую оставляют без изменения.

После осуществления процесса на этапе S241, этапе S244 или этапе S246 и подачи выходного изображения рассматриваемой области и выходного изображения фоновой области в блок 29 вывода в блоке 29 вывода объединяют выходное изображение рассматриваемой области и выходное изображение фоновой области, тем самым строит одно окончательное выходное изображение на этапе S247.

Полученное таким образом выходное изображение является изображением, в котором выбранные отдельно операции обработки изображения были выполнены для рассматриваемой области и для фоновой области, или изображением, в котором операция обработки изображения была выполнена или для рассматриваемой области, или для фоновой области. Таким образом, после получения окончательного выходного изображения осуществляют процессы этапов S248 и S249 и заканчивают процесс преобразования изображения. Эти процессы аналогичны процессам этапов S16 и S17 на фиг.6 и, поэтому, их описание опущено.

Таким образом, устройство 231 обработки изображения осуществляет операцию обработки изображения по меньшей мере для одной из рассматриваемых областей и фоновой области входного изображения для преобразования входного изображения в выходное изображение. Соответственно, для построения выходного изображения для каждой области входного изображения можно проще выбрать более эффективную операцию обработки изображения. В результате, показ выходного изображения может быть более эффективен.

Например, в случае, когда размыта только фоновая область входного изображения, рассматриваемая область остается без изменения, и операцию обработки изображения осуществляют для фоновой области, при этом объект из рассматриваемой области может быть размещен в пространстве, которое отличается от сцены, присутствующей при выполнении входного изображения. Следовательно, при просмотре выходного изображения пользователь может получить большое впечатление, так что ему может больше понравиться смотреть на выходное изображение.

Кроме того, в случае, когда степени размытости рассматриваемой области и фоновой области входного изображения практически одинаковы, операции обработки изображения, выбираемые отдельно, осуществляют для обеих областей, тем самым может быть показано выходное изображение, в котором отдельные области имеют разные текстуры, и пользователь может получать большее удовольствие от просмотра выходного изображения.

Кроме того, в случае осуществления операции обработки изображения для рассматриваемой области или для фоновой области, предпочтительно осуществлять, например, определение лица на входном изображении. Когда лицо человека содержится в рассматриваемой области, область лица человека, расположенного в рассматриваемой области, может быть оставлена без изменения и операцию обработки изображения могут осуществить для области, в которой не содержится лицо человек. Например, область лица человека может быть определена с использованием карты информации о лице, построенной в блоке 241 определения рассматриваемой области.

Кроме того, в случае выбора операции обработки изображения, которую нужно осуществлять для рассматриваемой области или для фоновой области, некоторые выходные изображения, для которых осуществили различные операции обработки изображения, могут быть построены для этих областей, и операция обработки изображения, которую нужно осуществить для каждой области, может быть выбрана из построенных выходных изображений. В этом случае, таком как, например, "Seam Carving", соединение граничной линии между выходным изображением рассматриваемой области и выходным изображением фоновой области оценивают как энергию. На основе этой оценки выбирают такую операцию обработки изображения, при которой выходные изображения этих областей соединяются более гладко.

Более того, карта объекта может быть использована как маска. Например, в случае, когда операцию обработки изображения осуществляют только для рассматриваемой области входного изображения, эту операцию осуществляют с использованием карты объекта как маски, и полученное таким образом изображение считают выходным изображением. Соответственно не нужно в блоке 29 вывода объединять выходное изображение рассматриваемой области и выходное изображение фонового изображения, так что выходное изображение может быть получено быстрее.

Далее со ссылками на блок-схему с фиг.23 будет описан процесс определения рассматриваемой области, соответствующий процессу этапа S231 на фиг.22.

На этапе S281 блок 291 построения изображения яркости строит изображение яркости с использованием поступившего входного изображения и подает построенное изображение в блок 292 построения пирамиды изображений. Например, блок 291 построения изображения яркости умножает значения соответствующих К, З и С компонентов каждого пикселя входного изображения на коэффициенты, заданные для соответствующих компонентов, и сумму значений соответствующих компонентов, умноженных на эти коэффициенты, считают значением пикселя изображения яркости, который расположен в той же позиции, что и пиксель входного изображения. То есть получают компонент яркости из компонентного сигнала, состоящего из компонента (Y) яркости и компонента разности цветов (Cb, Cr). В качестве альтернативы, значением пикселя изображения яркости могут считать среднее значение соответствующих К, З и С компонентов пикселя.

На этапе S282 блок 292 построения пирамиды изображений строит изображения соответствующих уровней L1-L8 пирамид на основе изображения яркости, поступившего от блока 291 построения изображения яркости, и подает указанные изображения в блок 293 вычисления разностей.

На этапе S282 блок 293 вычисления разностей строит изображения разностей с использованием изображений пирамиды, поступивших от блока 292 построения пирамиды изображений, нормирует их и подает в блок 294 построения карты информации о яркости. Нормирование осуществляют так, что значения пикселей изображений разностей представляют собой значения из диапазона, например, от 0 до 255.

В частности, блок 293 вычисления разностей вычисляет разности между изображениями пирамиды, объединяющими слои уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4 и уровня L8 и уровня L5, указанные изображения взяты из изображений яркости соответствующих слоев. Соответственно, в целом может быть получено пять изображений разностей яркостей.

Например, в случае, когда построено изображение разностей для сочетания уровня L6 и уровня L3, изображение уровня L6 пирамиды преобразовано с увеличением размеров в соответствии с размером изображения уровня L3 пирамиды. То есть значение одного пикселя изображения уровня L6 пирамиды до преобразования с увеличением размеров соответствует значениям нескольких пикселей, прилегающих друг к другу и соответствующих одному пикселю изображения уровня L6 пирамиды до преобразования с увеличением размеров. Далее вычисляют разности между значениями пикселей изображения уровня L6 пирамиды и значениями пикселей, расположенных в тех же позициях, что и пиксели изображения уровня L3 пирамиды, и разности считают значениями пикселей изображения разностей.

Процесс построения этих изображения разностей эквивалентен извлечению заданного компонента частоты из изображения яркости путем осуществления процесса фильтрации изображения яркости с использованием полосового фильтра. Значения пикселей изображения разностей, полученные таким образом, показывают разность значений яркости изображения соответствующих уровней пирамиды, то есть разность между яркостью заранее заданного пикселя входного изображения и средней яркостью пикселей вокруг указанного пикселя.

В целом, область, сильно отличающаяся по яркости от окрестностей изображения, является областью, которая привлекает внимание человека, смотрящего на изображение, и, следовательно, эта область с большой вероятностью является областью объекта. Таким образом, в каждом изображении разностей пиксель с большим значением соответствует области, которая с большой вероятностью является областью объекта.

На этапе S284 блок 294 построения карты информации о яркости строит карту информации о яркости на основе изображений разностей, поступивших от блока 293 вычисления разностей, и подает указанную карту в блок 274 построения карты объекта.

Например, блок 294 построения карты информации о яркости осуществляет сложение с весами поступивших пяти изображений разностей с использованием заранее вычисленных весов, соответствующих изображений разностей, тем самым получая одно изображение. То есть все значения пикселей в одной и той же позиции отдельных изображений разностей умножают на вес и вычисляют сумму значений пикселей, умноженных на вес.

Кроме того, при построении карты информации о яркости осуществляют преобразование с увеличением размеров изображений разностей, так что размеры отдельных изображений становятся одинаковыми. Согласно карте информации о яркости, полученной таким образом, во входном изображении может быть легко определена область с большой разницей в яркости, то есть та область, которая, скорее всего, привлечет внимание человека, который мельком взглянул на входное изображение.

На этапе S285 блок 295 построения изображения КЗ разностей по поступившему входному изображению строит изображение КЗ разностей и подает его в блок 297 построения пирамиды изображений.

На этапе S286 блок 296 построения изображения СЖ разностей по поступившему входному изображению строят изображение СЖ разностей и подают его в блок 298 построения пирамиды изображений.

На этапе S287 блок 297 построения пирамиды изображений и блок 298 построения пирамиды изображений строят изображения пирамиды с использованием изображения КЗ разностей, поступившего от блока 295 построения изображения КЗ разностей, и изображения СЖ разностей, поступившего от блока 296 построения изображения СЖ разностей.

Например, блок 297 построения пирамиды изображений строит несколько изображений КЗ разностей с разными разрешениями, тем самым строя изображения соответствующих слоев от уровня L1 до уровня L8 пирамиды, и подает указанные изображения в блок 299 вычисления разностей. Аналогично, блок 298 построения пирамиды изображений строит несколько изображений СЖ разностей с разными разрешениями, тем самым строя изображения соответствующих слоев от уровня L1 до уровня L8 пирамиды, и подает указанные изображения в блок 300 вычисления разностей.

На этапе S288 блок 299 вычисления разностей и блок 300 вычисления разностей строят изображения разностей по изображениям пирамид, поступившим от блока 297 построения пирамиды изображений и блока 298 построения пирамиды изображений, и нормируют указанные изображения разностей и подают их в блок 301 вычисления карты цветовой информации и блок 302 вычисления карты цветовой информации. Нормирование изображений разностей осуществляют так, что значения пикселей представляют собой значения в диапазоне, например, от 0 до 255.

Например, блок 299 вычисления разностей вычисляет разности между изображениями в комбинациях слоев пирамиды уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4 и уровня L8 и уровня L5, указанные изображения взяты из изображений КЗ разностей соответствующих слоев пирамиды. Соответственно в целом может быть получено пять изображений КЗ разностей.

Аналогично, в блоке 300 вычисления разностей вычисляют разности между изображениями в комбинациях слоев пирамиды уровня L6 и уровня L3, уровня L7 и уровня L3, уровня L7 и уровня L4, уровня L8 и уровня L4 и уровня L8 и уровня L5, указанные изображения взяты из изображений СЖ разностей соответствующих слоев пирамиды. Соответственно, в целом может быть получено пять изображений СЖ разностей.

Процесс построения этих изображений разностей эквивалентен извлечению заранее заданного компонента частоты из изображения КЗ разностей (изображения СЖ разностей) путем осуществления процесса фильтрации изображения КЗ разностей (изображения СЖ разностей) с использованием полосового фильтра. Значения пикселей изображений разностей, полученные таким образом, показывают разности в конкретном цветовом компоненте изображений соответствующих уровней из пирамиды, то есть разности между конкретным цветовым компонентом пикселя входного изображения и средним конкретным цветовым компонентом пикселей вокруг указанного пикселя.

В целом, область выделенного цвета по сравнению с окружением на изображении, то есть область с большой разницей в конкретном цветовом компоненте относительной окружающего, представляет собой область, которая привлекает внимание человека, смотрящего на изображение, и, следовательно, с большой вероятностью, эта область является областью объекта. Таким образом, в каждом изображении разностей, пиксель с большим значением соответствует области, которая с большой вероятностью является областью объекта.

На этапе S289 блок 301 вычисления карты цветовой информации и блок 302 вычисления карты цветовой информации по изображениям разностей, поступившим от блока 299 вычисления разностей и блока 300 вычисления разностей, строят карты цветовой информации и подают указанные карты в блок 274 построения карты объекта.

Например, блок 301 вычисления карты цветовой информации осуществляет сложение с весами изображений КЗ разностей, поступивших от блока 299 вычисления разностей, с использованием заранее вычисленных весов соответствующих изображений разностей, тем самым получая одну карту цветовой информации для КЗ разностей.

Аналогично, блок 302 вычисления карты цветовой информации осуществляют сложение с весами изображений СЖ разностей, поступивших от блока 300 вычисления разностей, с использованием заранее вычисленных весов, тем самым получая одну карту цветовой информации для СЖ разностей. Кроме того, при построении карты цветовой информации осуществляют преобразование с увеличением размеров изображений разностей, так что размеры отдельных изображений разностей становятся одинаковыми.

Согласно полученным таким образом картам цветовой информации на входном изображении может быть легко определена область с большой разницей в конкретном цветовом компоненте, то есть область, которая с большой вероятностью привлечет внимание человека, просматривающего входное изображение.

На этапе S290 блок 303 определения лица по поступившему входному изображению определяет область лица человека и подает полученный результат в блок 304 построения карты информации о лице. Например, блок 303 определения лица осуществляет процесс фильтрации входного изображения с использованием фильтра Габора и извлекает из входного изображения области глаз, рта, носа и так далее, тем самым определяя на входном изображении область лица.

На этапе S291 блок 304 построения карты информации о лице строит карту информации о лице с использованием результата определения, поступившего от блока 303 определения лица, и подает указанную карту в блок 274 построения карты объекта.

Например, предположим, что в результате определения лица по входному изображению были определены несколько прямоугольных областей входного изображения, которые предположительно содержат лицо (далее называемых областями-кандидатами). Здесь предположим, что несколько областей-кандидатов расположены рядом с заранее заданной позицией входного изображения и эти области-кандидаты частично перекрывают друг друга. То есть, например, в случае, когда в качестве области-кандидата для области входного изображения с одним лицом получены несколько областей, содержащих одно лицо, эти области-кандидаты частично перекрывают друг друга.

Блок 304 построения карты информации о лице для каждой области-кандидата, полученной при определении лица, строят определяющее изображение, размер которого совпадает с размером входного изображения. В этом определяющем изображении значение пикселя, расположенного в той же области, что и в области-кандидате, которую в дальнейшем будут обрабатывать, больше, чем значение пикселя в области, отличной от области-кандидата.

Кроме того, значение пикселя в определяющем изображении больше тогда, когда пиксель расположен в той же позиции, что и пиксель в области-кандидате, которая с большой вероятностью содержит лицо человека. Блок 304 построения карты информации о лице складывает определяющие изображения, полученные описанным образом, для построения одного изображения, и нормирует это изображение, которое считают картой информации о лице. Таким образом, на карте информации о лице пиксель в той же области, что и область, где частично перекрываются несколько областей-кандидатов входного изображения, имеет большое значение, и область перекрытия с высокой вероятностью содержит лицо. Кроме того, нормирование осуществляют так, что значения пикселей карты информации о лице представляют собой значения из диапазона, например, от 0 до 255.

Согласно полученной таким образом карте информации о лице на входном изображении может быть легко определена область лица человека, являющаяся объектом.

На этапе S292 блок 274 построения карты объекта строит карту объекта с использованием карты информации о яркости, карты цветовой информации и карты информации о лице, которые поступили от блока 294 построения карты информации о яркости, блока 301 построения карты цветовой информации, блока 302 построения цветовой информации и блока 304 построения карты информации о лице.

Например, блок 274 построения карты объекта линейно объединяет отдельные информационные карты с использованием весов, заданных для соответствующих информационных карт, и затем умножает значения пикселей карты, полученной указанным выше образом, на заданные веса с целью нормирования, тем самым строя карту объекта.

То есть, когда целевую позицию (пиксель) на получаемой карте объекта считают целевой позицией, значения пикселей отдельных информационных карт в позиции (пиксель), совпадающей с целевой позицией, умножают на веса соответствующих информационных карт, и сумму значений пикселей, умноженных на веса, считают значением пикселя для целевой позиции. Далее значения пикселей карты объекта, полученные описанным выше образом, умножают на вес, заданный для карты объекта, для осуществления нормирования, тем самым получая окончательную карту объекта.

Кроме того, более конкретно, карту объекта строят с использованием карты цветовой информации КЗ разностей и карты цветовой информации СЖ разностей, которые рассматривают в качестве карт цветовой информации. Также нормирование осуществляют так, что значения соответствующих пикселей карты объекта представляют собой значений в диапазоне от 0 до 1.

После построения карты объекта блок 274 построения карты объекта подает построенную карту объекта в блок 21 определения степени размытости, в блоки от блока 61 определения сложности краев до блока 64 определения смещения цветов и в блок 22 выбора, и заканчивают процесс определения рассматриваемой области. После окончания процесса определения рассматриваемой области процесс обработки продолжают на этапе S232 на фиг.22.

Таким образом, блок 241 определения рассматриваемой области строит карту объекта, предназначенную для точного определения рассматриваемой области входного изображения, и выводит ее. Соответственно, в устройстве 231 обработки изображения может быть осуществлена более эффективная операция обработки изображения как для рассматриваемой области входного изображения, которая привлекает внимание пользователя, так и для фоновой области входного изображения, которая отлична от рассматриваемой области. В результате показ выходного изображения может быть более эффективен.

Кроме того, согласно приведенному выше описанию карту объекта строят путем извлечения из входного изображения информации о яркости, цветовой информации и информации о лице человека. В качестве альтернативы для построения карты объекта из входного изображения может быть извлечена информация о краях или информация о движении.

Описанные выше последовательности процессов могут быть выполнены или аппаратными, или программными средствами. Если наборы процессов выполняют программными средствами, то программу, содержащую эти программные средства, устанавливают с носителя записи на компьютер, встроенный в специальные аппаратные средства, или на персональный компьютер общего назначения или подобное устройство, в котором могут быть выполнены различные функции при установке различных программ.

На фиг.24 содержится структурная схема, показывающая пример конфигурации аппаратных средств компьютера, выполняющего упомянутые выше последовательности процессов в соответствии с программой.

В компьютере ЦП 501 (центральный процессор), ПЗУ 502 (постоянное запоминающее устройство) и ОЗУ 503 (оперативное запоминающее устройство) соединены друг с другом через шину 504.

Далее, шина 504 соединена с интерфейсом 505 ввода/вывода. Интерфейс 505 ввода/вывода соединен с блоком 506 ввода, состоящим из клавиатуры, мыши, микрофона или подобных устройств, блоком 507 вывода, состоящим из дисплея, динамика или подобных устройств, блоком 508 записи, состоящим из накопителя на жестких дисках, энергонезависимой памяти или подобных устройств, блоком 509 связи, состоящим из сетевого интерфейса или подобных устройств, привода 510, предназначенного для запуска съемных носителей 511, таких как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.

В компьютере, конфигурация которого описана выше, с помощью ЦП 501 загружают программу, хранящуюся в блоке 508 записи, в ОЗУ 503 через интерфейс 505 ввода/вывода и шину 504, и выполняют ее, тем самым выполняя упомянутые выше последовательности процессов.

Программа, выполняемая на компьютере (ЦП 501), записана на съемном носителе 511, который является носителем, помещенным в упаковку, и который является, например, магнитным диском (в том числе гибким диском), оптическим диском (таким как CD-ROM (постоянная память на компакт диске) или DVD (универсальный цифровой диск)), магнитооптическим диском или полупроводниковым запоминающим устройством или подобным устройством, или который является средой проводной передачи данных или средой беспроводной передачи данных, такой как локальная сеть, Интернет или спутниковое цифровое вещание.

Далее, программа может быть установлена в блоке 508 записи с помощью интерфейса 505 ввода/вывода путем установки съемного носителя 511 в привод 510. Кроме того, программа может быть принята через блок 509 связи через среду проводной передачи данных или среду беспроводной передачи данных и может быть установлена в блоке 508 записи. В качестве альтернативы программа может быть предварительно установлена в ПЗУ 502 или блок 508 записи.

Заметим, что программа, выполняемая на компьютере, может являться программой, в которой процессы выполняются последовательно в порядке, приведенном в этом описании, или может быть программой, в которой процессы выполняются параллельно или в необходимый момент времени, например, при вызове программы.

Заметим, что варианты осуществления настоящего изобретения не ограничены описанными выше вариантами осуществления изобретения и возможны различные модификации, не выходящие за границы объема настоящего изобретения.

Список ссылочных позиций

11 - устройство обработки изображения

21 - блок определения степени размытости

22 - блок выбора

23 - блок преобразования в стиль «комикс»

24 - блок преобразования в стиль «анимация»

25 - блок преобразования в стиль «диорама»

26 - блок преобразования в стиль «живопись»

27 - блок преобразования в стиль «живопись»

28 - блок увеличения резкости

51 - устройство обработки изображения

61 - блок определения сложности краев

62 - блок определения размера

63 - блок определения сложности распределения цветов

64 - блок определения смещения цветов

231 - устройство обработки изображения

241 - блок определения рассматриваемой области.