устройство и способ обработки изображения

Формула изобретения

1. Устройство обработки изображения, предназначенное для кодирования сигнала входного изображения, содержащее:

средство детектирования области, предназначенное для детектирования области, не содержащей резких изменений во входном изображении;

первое средство выделения, предназначенное для выделения информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектируемой средством детектирования области;

второе средство выделения, предназначенное для получения информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено, посредством вычисления среднего значения пикселя области и значения распределения зерна пленки для каждой области, детектируемой средством детектирования области; и

средство передачи или записи кодированных данных, информации основной структуры и информации об интенсивности.

2. Устройство обработки изображения по п.1, в котором первое средство выделения представляет собой устройство обработки изображения, в котором в области в качестве информации основной структуры используется частотное распределение значений пикселей.

3. Устройство обработки изображения по п.1, в котором первое средство выделения представляет собой устройство обработки изображения, предназначенное для разделения пикселей в области на множество частотных диапазонов и выделения основной структуры для каждого частотного диапазона.

4. Устройство обработки изображения по п.1, в котором первое и второе средства выделения детектируют информацию основной структуры и информацию об интенсивности для каждого кадра во входном изображении.

5. Устройство обработки изображения по п.1, в котором первое и второе средства выделения детектируют информацию основной структуры и информацию об интенсивности для каждой сцены во входном изображении.

6. Устройство обработки изображения по п.1, в котором одно из первого и второго средства выделения детектирует одну из информации основной структуры и информации об интенсивности для каждого кадра входного изображения, в то время как другое из первого и второго средства выделения детектируют другую информацию основной структуры и информацию об интенсивности для каждой сцены входного изображения.

7. Устройство обработки изображения, предназначенное для приема или воспроизведения кодированных данных с использованием кодирования информации основной структуры, обозначающей распределение по уровням значений пикселя в области, не содержащей резких изменений во входном изображении, и информации об интенсивности, обозначающей степень добавления зерна пленки, содержащее:

средство декодирования, предназначенное для декодирования кодированных данных;

средство генерирования основной структуры, предназначенное для реконструирования изображения зерна пленки путем преобразования распределения по уровням случайного шума в такое же распределение, что и распределение по уровням, обозначенное в информации основной структуры;

средство регулирования интенсивности, предназначенное для регулирования интенсивности изображения зерна пленки в соответствии с информацией об интенсивности, соответствующей среднему значению пикселя области и значению распределения зерна пленки для каждой области; и

средство суммирования, предназначенное для суммирования изображения зерна пленки, интенсивность которого была отрегулирована в соответствии с информацией декодированного изображения, полученного средством декодирования.

8. Устройство обработки изображения по п.7, в котором область в изображении зерна пленки, генерируемом средством генерирования основной структуры, вырезают и добавляют к информации декодированного изображения.

9. Устройство обработки изображения по п.8, в котором положение вырезаемой области случайно изменяется.

10. Устройство обработки изображения по п.7, в котором средство регулирования интенсивности регулирует интенсивность в каждой указанной области изображения.

11. Устройство обработки изображения, предназначенное для кодирования сигнала входного изображения, передачи или записи кодированных данных и декодирования принимаемых или воспроизводимых кодированных данных, в котором его сторона кодирования включает в себя:

средство детектирования области, предназначенное для детектирования области, не содержащей резких изменений во входном изображении;

первое средство выделения, предназначенное для выделения информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектируемой средством детектирования области;

второе средство выделения, предназначенное для получения информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено, посредством вычисления среднего значения пикселя области и значения распределения зерна пленки для каждой области, детектируемой средством детектирования области; и

средство передачи или записи кодированных данных, информации основной структуры и информации об интенсивности, и

его сторона декодирования включает в себя:

средство приема или воспроизведения кодированных данных, информации основной структуры и информации об интенсивности;

средство генерирования основной структуры, предназначенное для реконструирования изображения зерна пленки, путем преобразования распределения по уровням случайного шума в такое же распределение, что и распределение по уровням, обозначенное в информации основной структуры;

средство регулирования интенсивности, предназначенное для регулирования интенсивности изображения зерна пленки в соответствии с информацией об интенсивности, соответствующей среднему значению пикселя области и значению распределения зерна пленки для каждой области; и

средство суммирования, предназначенное для суммирования изображения зерна пленки, интенсивность которого была отрегулирована в соответствии с информацией декодированного изображения, полученной средством декодирования.

12. Способ обработки изображения, предназначенный для кодирования сигнала входного изображения, содержащий:

этап детектирования области, состоящий в детектировании области, не содержащей резких изменений во входном изображении;

первый этап выделения, состоящий в выделении информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектируемой на этапе детектирования области;

второй этап выделения, состоящий в получении информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено, посредством вычисления среднего значения пикселя области и значение распределения зерна пленки для каждой области, детектируемой на этапе детектирования области; и

этап передачи или записи кодированных данных, информации основной структуры и информации об интенсивности.

13. Способ обработки изображения, предназначенный для приема или воспроизведения кодированных данных, с использованием кодирования информации основной структуры, обозначающей распределение по уровням значений пикселя в области, не содержащей резких изменений во входном изображении, и информации об интенсивности, обозначающей степень добавления зерна пленки, содержащий:

этап декодирования, состоящий в декодировании кодированных данных;

этап генерирования основной структуры, состоящий в реконструировании изображения зерна пленки, путем преобразования распределения по уровням случайного шума в такое же распределение, что и распределение по уровням, обозначенное в информации основной структуры;

этап регулирования интенсивности, состоящий в регулировании интенсивности изображения зерна пленки в соответствии с информацией об интенсивности, соответствующей среднему значению пикселя области и значению распределения зерна пленки для каждой области; и

этап суммирования, состоящий в суммировании изображения зерна пленки, интенсивность которого была отрегулирована в соответствии с информацией декодированного изображения, полученного на этапе декодирования.

14. Способ обработки изображения, предназначенный для кодирования сигнала входного изображения, передачи или записи кодированных данных и декодирования принятых или воспроизводимых кодированных данных, в котором обработка на его стороне кодирования включает в себя:

этап детектирования области, состоящий в детектировании области, не содержащей резких изменений во входном изображении;

первый этап выделения, состоящий в выделении информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектируемой на этапе детектирования области;

второй этап выделения, состоящий в получении информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено посредством вычисления среднего значения пикселя области и значения распределения зерна пленки для каждой области, детектируемой на этапе детектирования области; и

этап передачи или записи кодированных данных, информации основной структуры и информации об интенсивности, и

обработка на его стороне декодирования включает в себя:

этап приема или воспроизведения кодированных данных, информации основной структуры и информации об интенсивности;

этап генерирования основной структуры, состоящий в реконструировании изображения зерна пленки, путем преобразования распределения по уровням случайного шума в такое же распределение, что и распределение по уровням, обозначенное в информации основной структуры;

этап регулирования интенсивности, состоящий в регулировании интенсивности изображения зерна пленки в соответствии с информацией об интенсивности, соответствующей среднему значению пикселя области и значению распределения зерна пленки для каждой области; и

этап суммирования, состоящий в суммировании изображения зерна пленки, интенсивность которого была отрегулирована в соответствии с информацией декодированного изображения, полученной на этапе декодирования.

Описание изобретения к патенту

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения и способу обработки изображения, которые можно применять в случае кодирования, например изображения на пленке, с использованием кодирования MPEG-4 AVC (или Н.264).

Уровень техники

Обычное устройство передачи/приема изображения или устройство записи/воспроизведения изображения (ниже оба называются просто устройством передачи изображения) будут описаны со ссылкой на фиг.1. Вначале входное изображение 11 кодируют с помощью модуля 12 кодирования изображения, и кодируемую информацию передают или записывают на или в канал 13 беспроводной/кабельной передачи данных или на носитель 14 информации, в соответствии с системой передачи, данных. Данные, полученные на стороне приема/воспроизведения, декодируют с использованием модуля 15 декодирования изображения, в результате чего получают декодированное изображение 16.

После того как некоторое количество данных входного изображения будет сжато со степенью сжатия от нескольких раз до нескольких десятков раз в модуле 12 кодирования изображения, данные передают или записывают. Например, скорость передачи данных изображения может быть понижена до 1,5 Мбит/с с использованием кодирования MPEG-4 AVC (или Н.264). Из-за использования такого кодирования, человек может различать разницу между декодированным изображением 16 и входным изображением 11 как ухудшение качества.

Обычное устройство передачи изображений уменьшает количество данных входного изображения во время передачи или записи. Обычно стандарт кодирования изображения, такой как MPEG-4 AVC (или Н.264), определяет способ эффективного уменьшения количества данных без заметного ухудшения качества при визуальном восприятии человеком. Однако при ограниченной полосе передачи данных или емкости накопителя, подробная информация изображения подвергается существенному повреждению. В частности, при передаче или записи изображений, снятых на пленку, таких как кинофильмы, теряется информация зернистости пленки, которая выражает значительную степень текстуры кинофильма, что существенно ухудшает качество декодированного изображения.

На фиг.2А показан пример изображения, снятого на пленку, используемого как входное изображение 11, и на фиг.2В показан пример декодированного изображения 16. Как можно видеть на фиг.2А и 2В, в то время как зерно пленки, которое детектируется как качество пленки, можно воспринимать на входном изображении 21, декодированное изображение 22 представляет собой плоское изображение, поскольку большая часть информации зерна пленки потеряна. Поскольку произошла потеря зерна пленки, возникает проблема, связанная с тем, что невозможно передать текстуру пленки.

Обычно, как указано в выложенной заявке (JP-A) №11-250246 на японский патент, резкость подчеркивается в результате подавления шумов изображения, полученного с помощью сканера.

Устройство, раскрытое в JP-A-11-250246, предназначено для подавления шумов зерна, в частности, на изображении на пленке, а не для улучшения текстуры изображения пленки, потерянной в результате кодирования с использованием на стороне декодирования системы с высокой эффективностью кодирования.

В соответствии с этим, цель настоящего изобретения состоит в создании устройства обработки изображения и способа обработки, в котором потеря информации зерна пленки слабо ощущается на стороне декодирования, для поддержания текстуры пленки входного изображения, что существенно улучшает, таким образом, качество изображения.

Сущность изобретения

Для решения указанных выше проблем, в первом аспекте настоящего изобретения предусмотрено устройство обработки изображения для кодирования с высокой эффективностью сигнала входного изображения, включающее в себя:

средство детектирования области, предназначенное для детектирования области, не содержащей резких изменений во входном изображении;

первое средство выделения, предназначенное для выделения информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектируемой средством детектирования области;

второе средство выделения, предназначенное для получения информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено; и

средство передачи или записи кодированных данных, информации основной структуры и информации об интенсивности. В изобретении также предусматривается способ обработки изображения на стороне кодирования, предназначенный для обеспечения обработки описанного выше устройства на стороне кодирования.

Во втором аспекте настоящего изобретения предусматривают устройство обработки изображения, предназначенное для приема или воспроизведения кодированных данных с использованием кодирования с высокой эффективностью, информации об основной структуре, обозначающей распределение по уровням значений пикселя в области, не содержащей резкого изменения во входном изображении, и информации об интенсивности, обозначающей степень добавления зерна пленки, включающее в себя:

средство декодирования, предназначенное для декодирования кодированных данных;

средство генерирования основной структуры, предназначенное для реконструирования изображения зерна пленки путем преобразования распределения по уровням случайного шума так же, как и распределение по уровням, обозначенное в информации основной структуры;

средство регулирования интенсивности, предназначенное для регулирования интенсивности изображения зерна пленки в соответствии с информацией об интенсивности; и

средство суммирования, предназначенное для суммирования изображения зерна пленки, интенсивность которого была отрегулирована по информации декодированного изображения, полученного средством декодирования. В изобретении также предусматривается способ обработки изображения на стороне декодирования, предназначенный для получения обработки устройства на стороне декодирования, описанного выше.

В настоящем изобретении предусматривается устройство обработки изображения для кодирования с высокой эффективностью сигнала входного изображения, передачи или записи кодированных данных и декодирования принимаемых или воспроизводимых кодированных данных, в котором

его сторона кодирования включает в себя:

средство детектирования области, предназначенное для детектирования области, не содержащей резких изменений во входном изображении;

первое средство выделения, предназначенное для выделения информации основной структуры, обозначающей распределение по уровням значений пикселя в области, детектированной средством детектирования области;

второе средство выделения, предназначенное для получения информации об интенсивности, обозначающей интенсивность зерна пленки, которое должно быть добавлено; и

средство передачи или записи кодированных данных, информации основной структуры и информации об интенсивности, и

его сторона декодирования включает в себя:

средство приема или воспроизведения кодированных данных, информации основной структуры и информации об интенсивности;

средство генерирования основной структуры, предназначенное для реконструирования изображения зерна пленки, путем преобразования распределения по уровням случайного шума в такое же распределение, что и распределение по уровням, обозначенное в информации основной структуры;

средство регулирования интенсивности, предназначенное для регулирования интенсивности изображения зерна пленки в соответствии с информацией об интенсивности; и

средство суммирования, предназначенное для суммирования изображения зерна пленки, интенсивность которого была отрегулирована в соответствии с информацией декодированного изображения, полученной средством декодирования. В изобретении также предусмотрен способ обработки изображения на стороне кодирования и на стороне декодирования, для обеспечения обработки описанного выше устройства на стороне кодирования и на стороне декодирования.

Краткое описание чертежей

На фиг.1 показана блок-схема, представляющая пример обычного устройства передачи изображения, в котором можно применять настоящее изобретение;

На фиг.2А и 2В показаны схемы, представляющие пример входного изображения и декодированного изображения в обычном устройстве передачи изображения;

На фиг.3 показана блок-схема, схематично представляющая вариант выполнения устройства передачи изображения в соответствии с настоящим изобретением;

На фиг.4 показана блок-схема примера модуля выделения информации зерна пленки в соответствии с вариантом выполнения настоящего изобретения;

На фиг.5 показана блок-схема примера модуля выделения информации основной структуры зерна пленки в модуле выделения зерна пленки;

На фиг.6 показана блок-схема примера модуля выделения информации интенсивности зерна пленки в модуле выделения зерна пленки;

На фиг.7А, 7В и 7С показаны схемы, схематически поясняющие обработку выделения информации основной структуры зерна пленки;

На фиг.8 показана блок-схема примера модуля добавления зерна пленки в соответствии с вариантом выполнения настоящего изобретения;

На фиг.9 показана блок-схема примера модуля генерирования основной структуры, в модуле добавления зерна пленки;

На фиг.10 показана схема, схематически представляющая обработку добавления зерна пленки;

На фиг.11 показана временная диаграмма, поясняющая первый способ выделения информации зерна пленки и обработки добавления зерна пленки;

На фиг.12 показана временная диаграмма, поясняющая второй способ выделения информации зерна пленки и обработки добавления зерна пленки;

На фиг.13 показана временная диаграмма, поясняющая третий способ выделения информации зерна пленки и обработки добавления зерна пленки;

На фиг.14 показана временная диаграмма, поясняющая четвертый способ выделения информации зерна пленки и обработки добавления зерна пленки;

На фиг.15 показана временная диаграмма, поясняющая пятый способ выделения информации зерна пленки и обработки добавления зерна пленки; и

На фиг.16 показана временная диаграмма, поясняющая шестой способ выделения информации зерна пленки и обработки добавления зерна пленки.

Подробное описание изобретения

Ниже будет описан один вариант выполнения настоящего изобретения со ссылкой на прилагаемые чертежи. На фиг.3 показано устройство передачи изображения в соответствии с настоящим изобретением. Вначале будет описана сторона кодирования. Входное изображение 31 кодируют с высокой эффективностью с помощью модуля 32 кодирования изображения для генерирования кодированной информации 34 путем сжатия некоторого количества данных. Кодированную информацию 34 передают в канал 36 беспроводной/кабельной передачи соответствующей системы передачи или записывают на носитель 37 информации, такой как цифровой универсальный диск (DVD, ЦУД).

Ссылочной позицией 33 обозначен модуль выделения информации зерна пленки. Модуль 33 выделения информации зерна пленки выделяет информацию зерна пленки из входного изображения 31, и выделенную информацию 35 зерна пленки передают в канал 36 беспроводной/кабельной передачи соответствующей системы передачи так же, как кодированную информацию 34, или записывают на носитель 37 информации.

Далее будет описана сторона декодирования. Принятую кодированную информацию 38 передают в модуль 40 декодирования изображения на стороне декодирования, и модуль 40 декодирования изображения генерирует декодированную информацию 42 изображения из принятой кодированной информации 38. Ссылочной позицией 41 обозначен модуль добавления зерна пленки. После того как модуль 41 добавления зерна пленки воспроизведет информацию зерна пленки из принятой информации 39 зерна пленки, он добавляет информацию зерна пленки, восстановленную в соответствии с характеристикой декодированной информации 42 изображения и выводит декодированное изображение 43.

Модуль 32 кодирования изображения и модуль 40 декодирования изображения выполняет обработку на основе, например, стандарта кодирования MPEG-4 AVC (или Н.264). В этом случае информация 34 кодирования имеет структуру потоковых данных, включающую в себя модули заданной длины. Информацию 35 зерна пленки передают или записывают с использованием модуля передачи вторичной информации улучшения (ВИУ, SEI), которая не является обязательной для декодирования движущегося изображения. Таким образом, поскольку ВИУ содержит информацию, которую пользователь определяет независимо, информацию 35 зерна пленки передают или записывают с использованием данных пользователя.

На фиг.4 показан пример модуля 33 выделения зерна пленки. Модуль 33 выделения зерна пленки состоит из модуля 51 выделения основной структуры и модуля 52 выделения интенсивности. Модуль 51 выделения основной структуры выделяет информацию, обозначающую зерно пленки, из входного изображения 31 и выводит ее как информацию 53 основной структуры зерна пленки. Модуль 52 выделения интенсивности рассчитывает информацию, обозначающую величину интенсивности, которая должна быть добавлена к зерну пленки, предназначенному для добавления в области, имеющей среднее значение, которое должен иметь каждый кадр в каждом диапазоне значений пикселя, например 0-20, 21-40..., и его информацию выводят как информацию 54 об интенсивности зерна пленки. Информация 35 зерна пленки включает в себя как информацию 53 об основной структуре зерна на пленке, так и информацию 54 об интенсивности зерна пленки.

На фиг.5 показан пример модуля 51 выделения основной структуры. Модуль 51 выделения основной структуры состоит из модуля 61 выделения однородной области, гребенки 62 фильтров и модулей 63, 64, 65, 66 и 67 расчета гистограммы.

Модуль 61 выделения однородной структуры выделяет область заданного размера (называемую однородной областью), в которой зерна пленки распределены однородно, и изображение не содержит резких изменений информации одного входного изображения 31, и выводит данные 68 однородной области. Пример однородной области представляет собой плоское изображение, такое как изображение неба, используемое в качестве фонового изображения. Данные 68 однородной области состоят из множества элементов данных пикселя, присутствующих в однородной области. Тем временем, для получения данных 68 однородной области, разрешено непосредственно указывать один кандидат или указывать один из кандидатов, выводимых модулем.

Данные 68 однородной области, полученные таким образом, разделяют на множество поддиапазонов с использованием гребенок 62а, 62b фильтра, состоящих из множества фильтров высокой частоты (обозначенных Н) и фильтров низкой частоты (обозначенных L). Фильтры, которые составляют гребенки 62а, 62b фильтров, представляют собой цифровые фильтры, коэффициенты, фильтрации которых определены в двух измерениях.

В примере структуры, показанном на фиг.5, каждая из полос 62а, 62b пропускания фильтра состоит из полосы высокой частоты и полосы низкой частоты. Кроме того, может быть предусмотрено множество полосовых фильтров, и для ряда каскадов может быть предусмотрено множество каскадов, вместо двух каскадов, показанных на фиг.5.

Выход основной полосы и каждой вспомогательной полосы передают в модули 63-67 расчета гистограммы, соответствующей каждой полосе. Информация распределения частоты (ниже называется гистограммой) для значения пикселя каждой полосы выделяют с помощью модулей 63-67 расчета гистограммы, и информацию выделенной гистограммы выводят как информацию 53 основной структуры зерна пленки.

Информация гистограммы представляет собой информацию частоты, обозначающую количество пикселей, содержащихся в заданном диапазоне значений пикселя (ниже называется интервалом разбиения). Например, предположим, что существуют четыре заданные интервала разбиения, а именно, от -19 до -10, от -9 до 0, от 1 до +10, от +11 до +20, и значение каждого пикселя входных данных в модуле расчета гистограммы, в этот момент времени представляет собой [-11, -5, -1, +3, +8, +14]. В этом случае, выводимая информация гистограммы представляет собой частоту данных пикселя, содержащихся в каждом диапазоне, то есть, [1, 2, 2, 1]. Информацию гистограммы выводят для каждой полосы.

На фиг.6 показан пример конфигурации модуля 52 выделения интенсивности. Модуль 52 выделения интенсивности включает в себя модуль 71 выделения однородной области и модуль 72 расчета интенсивности. Однородную область выделяют из входного изображения 31, используя модуль 71 выделения однородной области, так же, как и в модуле 61 выделения однородной области, и выводят информацию 73 однородной области. В этом случае, в отношении области резкого изменения изображения, информацию, отличающуюся от другой однородной области, выводят как неоднородную область. Как обозначено на фиг.6, области а, b, с, d, e и f во входном изображении представляют собой однородные области, в то время как закрашенная область представляет собой неоднородную область.

Информацию 73 однородной области передают в модуль 72 расчета интенсивности. Модуль 72 расчета интенсивности рассчитывает среднее значение пикселя области и значение распределения зерна пленки для каждой однородной области. Для сравнения значений распределения, например зерна пленки может использоваться способ использования значения распределения информации пикселя в пределах однородной области. Затем рассчитывают информацию 54 об интенсивности зерна пленки, используя среднее значение пикселя и значение распределения зерна пленки. Информация 54 об интенсивности зерна пленки представляет собой среднее значение распределения зерна пленки в диапазоне заданного среднего значения области.

Например, предположим, что диапазон среднего значения пикселя в заданной области, например области размером (16×16) пикселей, равен от 0 до 15, 16-31,..., 240-255 и что пара из среднего значения области и значения распределения в однородной области входного изображения представляет собой (среднее значение области = 28, значение распределения = 500), (30, 1000), (44, 400), (250, 20), выходная информация об интенсивности зерна пленки представляет собой [0, 750 (=(500+1000)/2, 400,..., 20). Если изображение состоит из компонентов R, G, В или Y, Cb и Cr, эти значения выводят для каждого компонента. Информация об интенсивности зерна пленки подвергается обработке нормализации, такой как преобразование в 1/1000, в результате ее преобразуют в значение, пригодное для умножения с основной структурой зерна пленки, генерируемой на стороне декодирования.

Если входное изображение состоит из компонента видеосигнала, например из компонентов Y, Cb и Cr, можно применять способ детектирования информации зерна пленки с использованием только сигнала Y яркости и с добавлением информации зерна пленки, генерируемой в каждом из компонентов Y, Cb и Cr, соответствующей результату детектирования, и способ детектирования информации зерна пленки для каждого компонента и с добавлением информации зерна пленки, генерируемой в каждом из компонентов Y, Cb и Cr соответственно, к результату детектирования.

Обработка выделения основной структуры в описанной выше обработке на стороне кодирования будет схематично описана со ссылкой на фиг.7А-7С. Как показано на фиг.7А, однородная область R детектируется из входного изображения i кадра. Размер однородной области R предполагается равным заданному размеру, например (64×64) пикселя. Пиксели однородной области R разделяют на базовую полосу, низкочастотную полосу и высокочастотную полосу, с помощью гребенки 62а фильтров. Хотя в структуре, показанной на фиг.5, низкочастотную полосу разделяют в зависимости от частоты гребенки 62b фильтров, на фиг.7А-7С, для упрощения описания, представлен пример использования только гребенки 62а фильтров.

На фиг.7В показан пример разделения частоты. На фиг.7В по оси абсцисс обозначена пространственная горизонтальная частота, и по оси ординат обозначена пространственная вертикальная частота. Прямоугольная область представляет собой базовую полосу В1, область, в которой как горизонтальная, так и вертикальная частоты увеличены, представляют собой высокочастотную полосу В2, и область, в которой как горизонтальная, так и вертикальная частоты уменьшены, представляют собой низкочастотную полосу ВЗ. Пунктирная линия обозначает положение границы высокочастотной полосы, и сплошная линия обозначает положение границы низкочастотной полосы. В данном примере области частот низкочастотной полосы и высокочастотной полосы перекрываются друг с другом рядом со средней полосой.

Выходные данные каждого из поддиапазонов передают в модули 63, 64 и 65 расчета гистограммы. Модуль 63 расчета гистограммы рассчитывает гистограмму в отношении базовой полосы, обозначенной как F1 на фиг.7С, модуль 63 расчета гистограммы рассчитывает гистограмму в отношении базовой полосы, обозначенной F1 на фиг.7С, и модуль 63 расчета гистограммы рассчитывает гистограмму в отношении базовой полосы, обозначенной F1 на фиг.7С.

На фиг.7С по оси ординат обозначена частота и по оси абсцисс обозначены интервалы разбиения значений пикселя. Каждый интервал разбиения имеет заданный диапазон значений пикселя для каждой полосы. Гистограммы F1, F2 и F3 обозначают информацию основной структуры зерна пленки.

На фиг.7А-7С информация об интенсивности зерна пленки не представлена. Как описано выше, информация об интенсивности зерна пленки представляет собой среднее значение дисперсии зерен пленки в диапазоне среднего значения пикселей в заданной области, и, в случае необходимости, подвергается обработке нормализации.

Далее будет описана структура и обработка на стороне декодирования. На фиг.8 показан пример модуля 41 добавления зерна пленки на стороне декодирования. Модуль 41 добавления зерна пленки состоит из модуля 81 генерирования основной структуры зерна пленки, модуля 82 расчета интенсивности структуры, модуля 83 расчета среднего значения области, умножителя 84 и сумматора 85. Модуль 81 генерирования основной структуры генерирует структуру зерна пленки, которая будет добавлена к информации 42 декодированного изображения, из информации 53 основной структуры зерна пленки, и выводит основную структуру 86 зерна пленки. При этом предполагается, что структура зерна пленки представляет собой область с тем же размером, что и область, которая должна быть установлена для выделения основной структуры на стороне кодирования, например область размером (64×64) пикселей.

Модуль 83 расчета среднего значения области получает среднее значение пикселя в заданной области для информации 42 декодированного изображения, например области размером (16×16) пикселей, и выводит среднее значение 87 области. Среднее значение 87 области передают в модуль 82 расчета интенсивности структуры. Модуль 82 расчета интенсивности структуры определяет, какому среднему интервалу информации 54 интенсивности зерна пленки принадлежит среднее значение 87 области, и выводит интенсивность зерна пленки, соответствующую интервалу информации 88 об интенсивности зерна пленки.

Например, предполагая, что диапазоны средних значений заданных областей составляют от 0 до 15, 16-31,..., 240-255 и информация 54 об интенсивности зерна пленки при этом составляет [0, 750, 400,..., 20], интенсивность зерна пленки, выводимая в это время, составит 750, если входное среднее значение области равно 23. Однако, как описано выше, если информация об интенсивности зерна пленки подвергается предварительной обработке нормализации на стороне кодирования, ее преобразуют в значение, которое можно использовать для умножения при регулировании интенсивности. Такая нормализация может быть проведена на стороне декодирования.

Основную структуру 86 зерна пленки умножают на информацию 88 интенсивности зерна пленки в умножителе 84. Реконструированное изображение 89 зерна пленки получают из умножителя 84. Изображение 89 зерна пленки добавляют к информации 42 декодированного изображения с помощью сумматора 89. Декодированное изображение 43 выводят из сумматора 85. В сумматоре 85 суммируют пиксели, в положениях, в которых изображение 89 зерна пленки соответствует пикселям (16×16) информации 42 декодированного изображения в модуле размером (16×16) пикселей. Изображение 89 зерна пленки вырезают из основной структуры размером (64×64) пикселя, сгенерированной модулем 81 генерирования основной структуры.

В то же время, основная структура 86 зерна пленки может быть добавлена с использованием сдвига для каждого модуля области, для которой требуется предоставить структуру зерна пленки, например для каждых 16×16 (пикселей), для получения однородности на экране изображения. Например, если предположить, что размер области представляет собой Н×V и значение пикселя структуры равно G (h, v) (0 h<H) (0 v<V), структура со сдвигом на величину случайного числа может быть получена путем генерирования случайного число randh, randv (0 randh<H, 0 randv<V) и с последующим расчетом структуры А, которую в действительности добавляют следующим образом. Для такой структуры можно предположить, что она представляет собой основную структуру 86 зерна пленки.

A (h, v)=G (mod (h + randh, H), mod (v+ +randv, V))

На фиг.9 показан пример конфигурации модуля 81 генерирования основной структуры зерна пленки. Основная структура 81 включает в себя модуль 91 генерирования шума, модули 92, 93, 94, 95 и 96 сопоставления гистограмм, фильтры 97 и 99 высокой частоты, фильтры 98 и 100 низкой частоты и гребенку 101 фильтров синтеза.

Модуль 91 генерирования шума генерирует шум (гауссов шум, случайный шум, состоящий из равномерно распределенных случайных чисел) одного размера (H×V), как основную структуру зерна пленки размером, например (64×64) пикселей. Сгенерированный шум передают в модуль 92 сопоставления гистограмм. Модуль 92 сопоставления гистограмм преобразует шум так, чтобы он имел, по существу, ту же гистограмму, что и информация 53 основной структуры зерна пленки. Пример алгоритма преобразования в случае, когда модуль 92 сопоставления гистограмм сформирован с использованием программной обработки, представлен ниже.

[Алгоритм согласования гистограммы в модуле согласования гистограммы]

1. Предположим, что минимальное значение и максимальное значение гистограммы, которая должна представлять собой объект согласования в информации 53 основной структуры зерна пленки, представляют собой CMIN, СМАХ и количество интервалов разбиения гистограммы (bin) между CMIN и СМАХ представляет собой количество столбиков гистограммы. Столбик гистограммы обозначает интервал разбиения гистограммы. Кроме того, предположим, что совокупная функция распределения созданной гистограммы, полученной или воспроизведенной на стороне кодирования, представляет собой CDF ref(bin) (0 bin<количество bin-1).

2. Предположим, что входной сигнал (выход модуля 91 генерирования шума) представляет собой val org (h, v) и совокупная функция распределения входного сигнала представляет собой CDF org (bin) (0 bin<количество bin-1).

3. Для каждого коэффициента входного сигнала val org (h, v) получают val repl в соответствии со следующим псевдокодом и val org (h, v) заменяют этим значением.

val=CDF org (((val org (h, v)-CMIN)/(СМАХ-CMIN)*(количество bin-1)));

for (i=0; i<количество bin; i++)

if(CDFref(i)>=val)

break;

if (i=количество bin) I - -;

val repl=i/(количество bin-1)*(CMAX-CMIN)+CMIN;

Другие модули 93, 94, 95 и 96 согласования гистограммы имеют функцию согласования гистограммы, соответствующую описанному выше алгоритму. Выходной сигнал модуля 92 согласования гистограммы передают в фильтр 97 высокой частоты для анализа и в фильтр 98 низкой частоты для анализа, выход фильтра 97 высокой частоты для анализа передают в модуль 93 согласования гистограммы, и выход фильтра 98 низкой частоты для анализа передают в модуль 94 согласования гистограммы.

Кроме того, выходной сигнал модуля 94 согласования гистограммы передают в фильтр 99 высокой частоты для анализа и фильтр 100 низкой частоты для анализа, причем выход фильтра 99 высокой частоты для анализа передают в модуль 95 согласования гистограммы, выход фильтра 100 низкой частоты для анализа передают в модуль 96 согласования гистограммы.

Информация 53 основной структуры зерна пленки предоставляет в каждый из модулей 92-96 согласования гистограммы разную информацию гистограммы. Информацию F1 гистограммы на фиг.7С передают в модуль 92 согласования гистограммы, поскольку она относится к базовой полосе. Информацию F2 гистограммы передают в модуль 93 согласования гистограммы, поскольку она относится к высокочастотной полосе. Информацию F3 гистограммы передают в модуль 94 согласования гистограммы, поскольку она относится к низкочастотной полосе.

Разделение поддиапазона выполняют с использованием анализа фильтрами 97 и 99 высокой частоты и анализа фильтрами 98 и 100 низкой частоты, причем компоненты каждого из поддиапазонов передают в гребенку 101 фильтров синтеза. Гребенка 101 фильтров синтеза включает в себя фильтр 102 высокой частоты синтеза, в который подают выходной сигнал модуля 93 согласования гистограммы, фильтр 103 высокой частоты синтеза, в который подают выходной сигнал модуля 95 согласования гистограммы, и фильтр 104 низкой частоты синтеза, в который подают выходной сигнал модуля 96 согласования гистограммы.

Выходной сигнал фильтра 103 высокой частоты синтеза и выходной сигнал фильтра 104 низкой частоты синтеза суммируют в сумматоре 105, в то время как выходной сигнал фильтра 102 высокой частоты синтеза и выходной сигнал сумматора 105 суммируют с помощью сумматора 106. Информацию 86 основной структуры зерна пленки получают на выходе сумматора 106. В то же время, структура гребенки фильтров синтеза соответствует структуре разделения поддиапазона на стороне кодирования.

Интенсивность корректируют или регулируют путем умножения информации 86 основной структуры зерна пленки на информацию 88 интенсивности зерна пленки с помощью умножителя 84, как описано выше. Изображение 89 зерна пленки после регулирования его интенсивности добавляют к информации 42 декодированного изображения, в результате чего получают декодированное изображение 43 высокого качества, в котором была потеряна информация зерна пленки, в результате кодирования и декодирования с высокой эффективностью.

На фиг.10 поясняется обработка автоматической реконструкции изображения зерна пленки на стороне декодирования. Основную структуру 86 зерна пленки, гистограмма шумов которой, по существу, является той же, что и у информации 53 основной структуры зерна пленки, генерируют с помощью модуля 81 генерирования основной структуры. Основная структура 86 зерна пленки имеет размер (64×64) пикселей, и область (16×16) пикселей вырезают и передают в умножитель 84.

Информацию 54 интенсивности зерна пленки создают на стороне кодирования и сохраняют, выводят информацию 88 интенсивности, соответствующую среднему значению 87 пикселя в области (16×16) пикселей информации 42 декодированного изображения. Интенсивность основной структуры 86 регулируют с помощью этой информации 88 интенсивности. Изображение 89 зерна пленки, с отрегулированной интенсивностью, добавляют к области размером (16×16) пикселей информации 42 декодированного изображения с помощью сумматора 85 модулей пикселей.

Далее будут описаны некоторые способы обработки для выделения информации зерна пленки и реконструкции изображения зерна пленки, используя в качестве примера случай компонента видеосигнала. На фиг.11 показан первый способ обработки. В соответствии с первым способом обработки информацию основной структуры зерна пленки и информацию об интенсивности зерна пленки выделяют для каждого из компонентов Y, Cr и Cb для выделения этих частей информации из каждого кадра. На фигуре показан сигнал изображения, в котором существует сцена А и сцена В. На стороне декодирования зерно пленки реконструируют, используя информацию основной структуры зерна пленки и информацию об интенсивности зерна пленки каждого кадра для каждого из компонентов Y, Cr и Cb.

На фиг.12 показан второй способ обработки. В соответствии со вторым способом обработки информацию основной структуры зерна пленки и информацию об интенсивности зерна пленки выделяют для каждого из компонентов Y, Cr и Cb. Информацию основной структуры зерна пленки выделяют только в одном кадре в начале каждой сцены. На стороне декодирования обычно используют одну и ту же выделенную информацию основной структуры для всех кадров одной сцены. Информацию об интенсивности зерна пленки выделяют для каждого компонента, так же как и в первом способе обработки в каждом кадре.

На фиг.13 показан третий способ обработки. В соответствии с третьим способом обработки информацию основной структуры зерна пленки выделяют только из сигнала Y яркости компонента. Информацию основной структуры зерна пленки выделяют только в одном кадре, в начале каждой сцены. На стороне декодирования обычно используют одну и ту же выделенную информацию основной структуры для всех кадров и всех компонентов одной сцены. Информацию об интенсивности зерна пленки выделяют для каждого компонента, так же как и первом способе обработки в каждом кадре.

На фиг.14 показан четвертый способ обработки. В соответствии с четвертым способом обработки информацию основной структуры зерна пленки и информацию об интенсивности зерна пленки выделяют для каждого из компонентов Y, Cr и Cb. Как информацию об основной структуре зерна пленки, так и информацию об интенсивности зерна пленки выделяют только в одном кадре, в начале каждой сцены. На стороне декодирования обычно используют одну и ту же выделенную информацию основной структуры и информацию об интенсивности для всех кадров одной сцены.

На фиг.15 показан пятый способ обработки. В соответствии с пятым способом обработки информацию об основной структуре зерна пленки выделяют из сигнала Y яркости компонентов. Информацию об основной структуре зерна пленки выделяют только в одном кадре, в начале каждой сцены. На стороне декодирования обычно используют одну и ту же выделенную информацию об основной структуре для всех кадров и всех компонентов в одной сцене. Информацию об интенсивности зерна пленки выделяют для каждого из компонентов Y, Cr и Cb. Информацию об интенсивности зерна пленки выделяют только в одном кадре, в начале каждой сцены. На стороне декодирования обычно используют одну и ту же выделенную информацию об интенсивности зерна пленки для каждого компонента во всех кадрах одной сцены.

На фиг.16 показан шестой способ обработки. В соответствии с шестым способом обработки, как информацию об основной структуре зерна пленки, так и информацию об интенсивности зерна пленки выделяют только из сигнала Y яркости в компонентах. На стороне декодирования обычно используют одну и ту же информацию о выделенной основной структуре и информацию об интенсивности для всех кадров и всех компонентов одной сцены.

В описанных выше с первого по шестой способах обработки, соответствующий способ используют в отношении взаимозависимости между эффектом улучшения качества изображения, путем добавления зерна пленки и с учетом количества данных передаваемой информации зерна пленки. Кроме того, с первого по шестой способы обработки могут быть построены таким образом, что два из них или больше могут быть выбраны, и может быть обеспечена возможность переключения их пользователем.

Варианты выполнения настоящего изобретения были конкретно описаны выше. Настоящее изобретение не ограничивается описанными выше вариантами выполнения, но может быть модифицировано различными способами на основе технической сущности изобретения. Например, способы разделения поддиапазонов могут быть разделены на два интервала в направлении горизонтальной частоты и в направлении вертикальной частоты для получения четырех поддиапазонов. Кроме того, в качестве способа обработки компонентов шумов, в соответствии с информацией основной структуры зерна пленки, может использоваться другой алгоритм, кроме указанного выше. Кроме того, в настоящем изобретении обеспечивается возможность использования другого способа кодирования, такого как MPEG2, вместо MPEG-4 AVC (или Н.264), в качестве способа эффективного кодирования движущихся изображений.

В соответствии с настоящим изобретением, информацию зерна пленки, теряемую на стороне декодирования, эффективно выделяют на стороне кодирования и передают на сторону декодирования или записывают на носитель записи. На стороне декодирования информацию зерна пленки, которая должна быть добавлена к изображению, реконструируют из полученной информации и добавляют к декодированному изображению. В результате получают декодированное изображение с текстурой пленки, что позволяет существенно повысить качество изображения.