способ и устройство видеообработки и носитель данных, который хранит программу
| Классы МПК: | H04N7/26 с использованием уменьшения ширины полосы частот G06K9/40 фильтрация помех H03H7/12 полосовые или режекторные фильтры с регулируемой шириной полосы пропускания и фиксированной средней частотой |
| Автор(ы): | МИТАСАКИ Токинобу (JP), КАМИКУРА Казуто (JP), ОНО Наоки (JP) |
| Патентообладатель(и): | НИППОН ТЕЛЕГРАФ ЭНД ТЕЛЕФОН КОРПОРЕЙШН (JP) |
| Приоритеты: |
подача заявки:
2007-12-26 публикация патента:
27.12.2010 |
Изобретение относится к способу и устройству видеообработки для выполнения операции упрощенной фильтрации, которая адаптивно применяется к видеоизображению. Техническим результатом является формирование отфильтрованного изображения с заданным значением оценки качества изображения. Указанный технический результат достигается тем, что осуществляют: разделение целевого изображения, которое образует видеоизображение, на множество областей разделения (ОР); определение ширины полосы пропускания (ПП), применяемой к ОР; вычисление массива коэффициентов фильтрации (КФ) для реализации частотных характеристик, соответствующих ограничению полосы, с использованием ширины ПП; фильтрацию данных изображения с использованием массива КФ; выведение значения информации об ошибках между полученными данными и данными исходного изображения и вычисление коэффициента распределения (КР), используемого для определения оптимальной ширины ПП, на основе выведенного значения; определение для каждой ОР оптимальной ширины ПП, соответствующей КР, и вычисление массива оптимальных КФ для реализации частотных характеристик, соответствующих ограничению полосы, с использованием оптимальной ширины ПП; фильтрацию данных изображения области разделения с использованием массива оптимальных КФ; и синтезирование полученных данных каждой ОР. 6 н. и 24 з.п ф-лы, 28 ил. 
Формула изобретения
1. Способ видеообработки, содержащий этапы, на которых:
разделяют целевое изображение обработки, которое образует видеоизображение, на множество областей разделения;
определяют первую ширину полосы пропускания, применяемую к областям разделения;
вычисляют массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания;
формируют данные отфильтрованного разделенного изображения для каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива первых коэффициентов фильтрации;
выводят для каждой области разделения значение информации об ошибках между данными изображения каждой области разделения и данными отфильтрованного разделенного изображения и вычисляют коэффициент распределения, используемый для определения оптимальной ширины полосы пропускания, на основе выведенного значения;
определяют для каждой области разделения оптимальную ширину полосы пропускания, соответствующую коэффициенту распределения;
вычисляют для каждой области разделения массив оптимальных коэффициентов фильтрации для реализации частотных характеристик,
соответствующих ограничению полосы, с использованием определенной оптимальной ширины полосы пропускания;
формируют данные оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации; и
синтезируют данные оптимального отфильтрованного разделенного изображения каждой области разделения.
2. Способ видеообработки по п.1, в котором: на этапе определения первой ширины полосы пропускания первая ширина полосы пропускания определяется на основе размера каждой области разделения.
3. Способ видеообработки по п.1, дополнительно содержащий этапы, на которых: сравнивают для каждой области разделения определенную оптимальную ширину полосы пропускания с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и корректируют определенную оптимальную ширину полосы пропускания на основе результата сравнения.
4. Способ видеообработки по п.1, дополнительно содержащий этапы, на которых: определяют, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и корректируют определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение.
5. Способ видеообработки по п.4, в котором этап определения, имеют ли движение данные изображения каждой области разделения, выполняется посредством оценки вариации значения пикселей от каждого используемого кадра до данного кадра.
6. Способ видеообработки по п.4, в котором этап определения, имеют ли движение данные изображения каждой области разделения, выполняется посредством определения, имеют ли движение данные изображения области разделения, и характеризуется высокочастотной составляющей; и этап корректировки определенной оптимальной ширины полосы пропускания выполняется посредством корректировки определенной оптимальной ширины полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение, и характеризуется высокочастотной составляющей.
7. Способ видеообработки по п.6, в котором: этап определения, имеют ли движение данные изображения каждой области разделения, и характеризующийся высокочастотной составляющей, выполняется посредством этапов, на которых: определяют, указывает ли значение, которое представляет собой атрибут данных изображения области разделения, что данные изображения характеризуются высокочастотной составляющей; и оценивают вариацию количества областей разделения, для которых показано, что данные изображения характеризуются высокочастотной составляющей, от каждого используемого кадра до данного кадра.
8. Способ видеообработки по п.1, в котором на этапе определения оптимальной ширины полосы пропускания оптимальная ширина полосы пропускания, соответствующая коэффициенту распределения, определяется посредством обращения к таблице определения оптимальной ширины полосы пропускания, в которой задана зависимость отношения между коэффициентом распределения и оптимальной шириной полосы пропускания.
9. Способ видеообработки по п.8, в котором на этапе определения оптимальной ширины полосы пропускания, когда предоставлено множество таблиц определения оптимальной ширины полосы пропускания в соответствии с размером изображения и целевым значением информации об ошибках, выбирается таблица определения оптимальной ширины полосы пропускания, которая соответствует размеру области разделения и заданному целевому значению информации об ошибках, и оптимальная ширина полосы пропускания, соответствующая коэффициенту распределения, определяется посредством обращения к выбранной таблице определения оптимальной ширины полосы пропускания.
10. Способ видеообработки по п.1, в котором этап вычисления коэффициента распределения выполняется посредством деления значения информации об ошибках, которое получено в состоянии, очень близком к состоянию, при котором не выполняется ограничения полосы, на выведенное значение информации об ошибках.
11. Способ видеообработки, содержащий этапы, на которых: определяют первую ширину полосы пропускания, применяемую к
областям разделения, которые задаются на целевом изображении обработки, образующем видеоизображение, так чтобы разделить на секции целевое изображение обработки;
вычисляют массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания;
формируют данные отфильтрованного изображения посредством подвергания данных целевого изображения обработки процессу фильтрации с использованием массива первых коэффициентов фильтрации;
выводят для каждой области разделения значение информации об ошибках между данными целевого изображения обработки и данными отфильтрованного изображения, и вычисляют коэффициент распределения, используемый для определения оптимальной ширины полосы пропускания, на основе выведенного значения;
определяют для каждой области разделения оптимальную ширину полосы пропускания, соответствующую коэффициенту распределения;
вычисляют для каждой области разделения массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины полосы пропускания;
формируют данные оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации; и
синтезируют данные оптимального отфильтрованного разделенного изображения каждой области разделения.
12. Способ видеообработки по п.11, в котором на этапе определения первой ширины полосы пропускания первая ширина полосы пропускания определяется на основе размера каждой области разделения.
13. Способ видеообработки по п.11, дополнительно содержащий этапы, на которых: сравнивают для каждой области разделения определенную оптимальную ширину полосы пропускания с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и корректируют определенную оптимальную ширину полосы пропускания на основе результата сравнения.
14. Способ видеообработки по п.11, дополнительно содержащий этапы, на которых: определяют, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и корректируют определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение.
15. Способ видеообработки по п.14, в котором этап определения, имеют ли движение данные изображения каждой области разделения, выполняется посредством оценки вариации значения пикселей от каждого используемого кадра до данного кадра.
16. Способ видеообработки по п.14, в котором: этап определения, имеют ли движение данные изображения каждой области разделения, выполняется посредством определения, имеют ли движение данные изображения области разделения, и характеризуется высокочастотной составляющей; и этап корректировки определенной оптимальной ширины полосы пропускания выполняется посредством корректировки определенной оптимальной ширины полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение, и характеризуется высокочастотной составляющей.
17. Способ видеообработки по п.16, в котором: этап определения, имеют ли движение данные изображения каждой области разделения, и характеризующийся высокочастотной составляющей, выполняется посредством этапов, на которых: определяют, указывает ли значение, которое представляет собой атрибут данных изображения области разделения, что данные изображения характеризуются высокочастотной составляющей; и оценивают вариацию количества областей разделения, для которых показано, что данные изображения характеризуются высокочастотной составляющей, от каждого используемого кадра до данного кадра.
18. Способ видеообработки по п.11, в котором на этапе определения оптимальной ширины полосы пропускания оптимальная ширина полосы пропускания, соответствующая коэффициенту распределения, определяется посредством обращения к таблице определения оптимальной ширины полосы пропускания, в которой задана зависимость отношения между коэффициентом распределения и оптимальной шириной полосы пропускания.
19. Способ видеообработки по п.18, в котором на этапе определения оптимальной ширины полосы пропускания, когда предоставлено множество таблиц определения оптимальной ширины полосы пропускания в соответствии с размером изображения и целевым значением информации об ошибках, выбирается таблица определения оптимальной ширины полосы пропускания, которая соответствует размеру области разделения и заданному целевому значению информации об ошибках, и оптимальная ширина полосы пропускания, соответствующая коэффициенту распределения, определяется посредством обращения к выбранной таблице определения оптимальной ширины полосы пропускания.
20. Способ видеообработки по п.11, в котором этап вычисления коэффициента распределения выполняется посредством деления значения информации об ошибках, которое получено в состоянии, очень близком к состоянию, при котором не выполняется ограничение полосы, на выведенное значение информации об ошибках.
21. Устройство видеообработки, содержащее:
блок для разделения целевого изображения обработки, которое образует видеоизображение, на множество областей разделения;
блок для определения первой ширины полосы пропускания, применяемой к областям разделения;
блок для вычисления массива первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания;
блок для формирования данных отфильтрованного разделенного изображения для каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива первых коэффициентов фильтрации;
блок для выведения для каждой области разделения значения информации об ошибках между данными изображения каждой области разделения и данными отфильтрованного разделенного изображения, и вычисления коэффициента распределения, используемого для определения оптимальной ширины полосы пропускания, на основе выведенного значения;
блок для определения для каждой области разделения оптимальной ширины полосы пропускания, соответствующей коэффициенту распределения;
блок для вычисления для каждой области разделения массива оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины полосы пропускания;
блок для формирования данных оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации; и
блок для синтеза данных оптимального отфильтрованного разделенного изображения каждой области разделения.
22. Устройство видеообработки по п.21, дополнительно содержащее:
блок для сравнения для каждой области разделения определенной оптимальной ширины полосы пропускания с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и
блок для корректировки определенной оптимальной ширины полосы пропускания на основе результата сравнения.
23. Устройство видеообработки по п.21, дополнительно содержащее: блок для определения, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и блок для корректировки определенной оптимальной ширины полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение.
24. Устройство видеообработки по п.23, в котором: блок для определения, имеют ли движение данные изображения каждой области разделения, определяет, имеют ли движение данные изображения области разделения и характеризуются ли они высокочастотной составляющей; и блок для корректировки определенной оптимальной ширины полосы пропускания корректирует определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение и характеризуются высокочастотной составляющей.
25. Устройство видеообработки, содержащее:
блок для определения первой ширины полосы пропускания на основе размера области разделения для областей разделения, которые заданы на целевом изображении обработки, образующем видеоизображение, так чтобы разделить на секции целевое изображение обработки;
блок для вычисления массива первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания;
блок для формирования данных отфильтрованного изображения посредством подвергания данных целевого изображения обработки процессу фильтрации с использованием массива первых коэффициентов фильтрации;
блок для выведения для каждой области разделения значения информации об ошибках между данными целевого изображения обработки и данными отфильтрованного изображения и вычисления коэффициента распределения, используемого для определения оптимальной ширины полосы пропускания, на основе выведенного значения;
блок для определения для каждой области разделения оптимальной ширины полосы пропускания, соответствующей коэффициенту распределения;
блок для вычисления для каждой области разделения массива оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины полосы пропускания;
блок для формирования данных оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации; и
блок для синтеза данных оптимального отфильтрованного разделенного изображения каждой области разделения.
26. Устройство видеообработки по п.25, дополнительно содержащее: блок для сравнения для каждой области разделения определенной оптимальной ширины полосы пропускания с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и блок для корректировки определенной оптимальной ширины полосы пропускания на основе результата сравнения.
27. Устройство видеообработки по п.25, дополнительно содержащее: блок для определения, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и блок для корректировки определенной оптимальной ширины полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение.
28. Устройство видеообработки по п.27, в котором: блок для определения, имеют ли движение данные изображения каждой области разделения, определяет, имеют ли движение данные изображения области разделения и характеризуются ли они высокочастотной составляющей; и блок для корректировки определенной оптимальной ширины полосы пропускания корректирует определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение и характеризуются высокочастотной составляющей.
29. Машиночитаемый носитель данных, который хранит программу видеообработки, с помощью которой компьютер исполняет процесс для реализации способа видеообработки по п.1.
30. Машиночитаемый носитель данных, который хранит программу видеообработки, с помощью которой компьютер исполняет процесс для реализации способа видеообработки по п.11.
Описание изобретения к патенту
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к способу видеообработки и соответствующему устройству, используемым для выполнения операции упрощенной фильтрации, которая адаптивно применяется к изображениям, образующим видеоизображение, а также относится к программе видеообработки, используемой для осуществления способа видеообработки, и к машиночитаемому носителю данных, который хранит программу.
Настоящая заявка притязает на приоритет заявки Японии № 2006-353610, поданной 28 декабря 2006 года, содержание которой включено в настоящий документ посредством ссылки.
УРОВЕНЬ ТЕХНИКИ
Известно, что предварительный фильтр, который часто используется при предварительной обработке для кодирования видеоинформации, является эффективным для уменьшения блочных искажений, искажений в виде точек по краям объектов ("mosquito noise") и т.п., сопровождаемых кодированием, и тем самым улучшает субъективное качество изображения. Ширина полосы пропускания (называемая далее "шириной полосы пропускания") используемого предварительного фильтра ограничена таким образом, чтобы уменьшать шум, содержащийся в исходном изображении, и улучшать эффективность кодирования. Однако, если ширина полосы пропускания сужена слишком сильно, качество изображения чрезвычайно ухудшается.
Фиг.23 иллюстрирует способ обработки изображения, включающий в себя ограничение полосы.
Как показано на Фиг.23, в способе обработки изображения, включающем в себя ограничение полосы, сначала данные B(1) исходного изображения вводятся и затем преобразовываются в частотную составляющую I(1) (см. этап S1000). Частотная составляющая I(1) подвергается ограничению полосы с использованием ширины полосы пропускания r1 (0<r1<1) с тем, чтобы получить частотную составляющую I(r1) (см. этап S1100). Частотная составляющая I(r1) подвергается преобразованию изображения, и тем самым формируются данные B(r1) отфильтрованного изображения (см. этап S1200).
Когда такая обработка изображения применяется ко всем кадрам видеоизображения посредством использования одной и той же ширины полосы пропускания, качество изображения каждого отфильтрованного кадра не является одинаковым, поскольку каждый кадр имеет индивидуальные частотные характеристики изображения. Поэтому изображение, имеющее большое количество низкочастотных компонентов, имеет лишь малое отличие от исходного изображения, и тем самым ухудшение субъективного и объективного качества изображения является малым. Однако в изображении, имеющем большое количество высокочастотных компонентов, края и т.п. сглаживаются и размываются, что очень сильно ухудшает субъективное и объективное качество изображения.
В качестве объективного значения оценки изображения часто используется, например, пиковое отношение сигнала к шуму (PSNR). При заданном уровне (S) сигнала и уровне (N) шума отношение PSNR определяется следующей формулой:
PSNR = 20×log10(S/N)
При фактической обработке, если яркость исходного изображения представлена с помощью 8 битов (то есть, от 0 до 255), отношение PSNR может быть вычислено с помощью следующей формулы:
где N обозначает количество пикселей исходного изображения и его отфильтрованного изображения; f(x,y) обозначает значение каждого пикселя исходного изображения; и f'(x,y) обозначает значение каждого пикселя отфильтрованного изображения. Кроме того, "255" указывает максимальную амплитуду (или значение пикселя) для пикселей обоих изображений.
Таким образом, при фактической обработке исходное изображение и его отфильтрованное изображение сравниваются друг с другом (а именно с использованием приведенной выше формулы) для вычисления отношения PSNR.
В способе решения вышеописанной задачи управление субъективным и объективным качеством изображения выполняется посредством "циклического" ограничения полосы, применяемого к каждому изображению.
Фиг.24 иллюстрирует структуру устройства 1000 формирования оптимального отфильтрованного изображения для формирования данных оптимального отфильтрованного изображения посредством выполнения "циклического" ограничения полосы.
Как показано на Фиг.24, устройство 1000 формирования оптимального отфильтрованного изображения включает в себя блок 1100 ввода данных исходного изображения, блок 1200 анализа частотной составляющей, блок 1300 ручного выбора ширины полосы пропускания, блок 1400 ограничения полосы, блок 1500 формирования данных изображения, блок 1600 вычисления отношения PSNR, блок 1700 оценки изображения и блок 1800 вывода данных изображения с оптимальным ограничением полосы.
Фиг.25 иллюстрирует способ обработки изображения для формирования данных оптимального отфильтрованного изображения посредством выполнения "циклического" ограничения полосы, причем способ выполняется в устройстве 1000 формирования оптимального отфильтрованного изображения, имеющем описанную выше структуру.
В устройстве 1000 формирования оптимального отфильтрованного изображения данные B(1) исходного изображения сначала вводятся в блок 1100 ввода данных исходного изображения и затем преобразовываются в частотную составляющую I(1) в блоке 1200 анализа частотной составляющей (см. этап S2000).
Затем в блоке 1300 ручного выбора ширины полосы пропускания вручную выбирается предварительная ширина r1 полосы (см. этап S2100). Затем в блоке 1400 ограничения полосы преобразованная частотная составляющая I(1) подвергается ограничению полосы с использованием выбранной ширины r1 полосы для получения частотной составляющей I(r1) (см. этап S2200).
Далее, в блоке 1500 формирования данных изображения частотная составляющая (r1) подвергается преобразованию изображения, и тем самым формируются данные B(r1) изображения (см. этап S2300). В блоке 1600 вычисления отношения PSNR данные B(1) исходного изображения сравниваются с данными B(r1) изображения для вычисления отношения PSNR (r1) (обозначаемого далее "P(r1)") (см. этап S2400).
В блоке 1700 оценки изображения определяется, имеет ли вычисленное отношение P(r1) желаемое качество изображения (см. этап S2500). Если оно имеет желаемое качество изображения, блок 1800 вывода данных изображения с оптимальным ограничением полосы выдает данные B(r1) в качестве данных изображения с оптимальным ограничением полосы (то есть данных оптимального отфильтрованного изображения) (см. этап S2600).
Однако редко случается, чтобы отношение P(r1), полученное на первом шаге обработки, имело желаемое качество изображения. Когда оно не имеет желаемого качества изображения, обработка возвращается к процессу (на этапе S2100), выполняемому посредством блока 1300 ручного выбора ширины полосы пропускания, и ширина (r2) полосы снова выбирается таким образом, чтобы соответствующее изображение с ограниченной полосой имело качество, более близкое к желаемому качеству изображения. Затем ограничение полосы, формирование изображения и вычисление отношения PSNR снова выполняются аналогичным образом.
Таким образом, описанная выше обработка повторяется N раз, пока не будет получено желаемое качество изображения, и ширина rN полосы, которая, наконец, получена, используется в качестве оптимальной ширины полосы пропускания для формирования данных B(rN) изображения с помощью блока 1800 вывода данных изображения с оптимальным ограничением полосы. Сформированные данные B(rN) изображения выводятся в качестве данных изображения с оптимальной ограниченной полосой (то есть данных оптимального отфильтрованного изображения) (см. этап S2600).
Однако в описанном выше способе различные видеоизображения и все кадры, формируемые из них, подвергаются фильтрации, оценивается субъективное или объективное качество изображения каждого полученного сигнала изображения, и соответствующая обработка повторяется "циклически", пока не будет получено равное качество изображения для всех кадров видеоизображений. С учетом требуемого времени и стоимости при обработке большого количества изображений описанный выше способ является нецелесообразным и не пригодным для использования.
Чтобы разрешить описанную выше проблему, в известной методике (см. патентный документ 1) обработка изображения выполняется посредством получения оптимальной ширины полосы пропускания на основе данных кодирования (видео) изображения.
Фиг.26 иллюстрирует структуру устройства 2000 формирования оптимального отфильтрованного изображения для формирования данных оптимального отфильтрованного изображения с использованием данных кодирования.
Как показано на Фиг.26, устройство 2000 формирования оптимального отфильтрованного изображения включает в себя блок 2100 ввода данных исходного изображения, блок 2200 анализа частотной составляющей, блок 2300 кодирования данных изображения, блок 2400 определения оптимальной ограниченной ширины полосы пропускания, блок 2500 ограничения полосы, блок 2600 формирования данных изображения и блок 2700 вывода данных изображения с оптимальным ограничением полосы.
Фиг.27 иллюстрирует способ обработки изображения для формирования данных оптимального отфильтрованного изображения посредством использования данных кодирования, причем способ выполняется в устройстве 2000 формирования оптимального отфильтрованного изображения, имеющем описанную выше структуру.
В устройстве 2000 формирования оптимального отфильтрованного изображения сначала данные B(1) исходного изображения вводятся в блок 2100 ввода данных исходного изображения 2100 и затем преобразовываются в частотную составляющую I(1) в блоке 220 анализа частотной составляющей (см. этап S3000).
Затем в блоке 2300 кодирования данных изображения входные данные B(1) исходного изображения кодируются (см. этап S3100). На основе информации о количестве кода, полученного с помощью соответствующего кодирования, оптимальная ширина r1 полосы определяется в блоке 2400 определения оптимальной ширины полосы пропускания (см. этап S3200).
В блоке 2500 ограничения полосы преобразованная частотная составляющая I(1) подвергается ограничению полосы с использованием определенной ширины r1 полосы для получения частотной составляющей I(r1) (см. этап S3300). В блоке 2600 формирования данных изображения частотная составляющая I(r1) подвергается преобразованию изображения, и тем самым формируются данные B(r1) изображения (см. этап S3400).
Наконец, данные B(r1) изображения выводятся в качестве данных изображения с оптимальным ограничением полосы (то есть данных оптимального отфильтрованного изображения) из блока 2700 вывода данных изображения с оптимальным ограничением полосы (см. этап S3500).
Соответственно, в традиционном устройстве 2000 формирования оптимального отфильтрованного изображения, выполненного, как показано на Фиг.26, после выполнения кодирования, определяется оптимальная ширина полосы пропускания на основе данных кодирования, полученных посредством кодирования. Поэтому данные оптимального отфильтрованного изображения получаются без выполнения повторяющейся обработки, как требуется в устройстве 1000 формирования оптимального отфильтрованного изображения, выполненном, как показано на Фиг.24.
Патентный документ 1: нерассмотренная заявка на выдачу патента Японии, первая публикация № H06-225276.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Задача, решаемая изобретением
Безусловно, в соответствии с традиционным устройством 2000 формирования оптимального отфильтрованного изображения, выполненном, как показано на Фиг.26, данные оптимального отфильтрованного изображения могут быть сформированы без выполнения повторяющейся обработки, как требуется в устройстве 1000 формирования оптимального отфильтрованного изображения, выполненном, как показано на Фиг.24.
Однако в устройстве 2000 формирования оптимального отфильтрованного изображения, показанном на Фиг.26, после выполнения кодирования оптимальная ширина полосы пропускания определяется на основе информации кодирования, полученной посредством кодирования.
В таком способе, использующем данные кодирования, процесс ограничения полосы и процесс кодирования неотделимы. Поэтому, даже если пользователь хотел бы выполнить только процесс предварительной фильтрации с использованием оптимальной ширины полосы пропускания, кодирование также является необходимым. Если кодирование также выполняется после процесса предварительной фильтрации, кодирование будет выполнено дважды. В частности, если размер изображения является большим, потребуется значительное время обработки.
С учетом описанного выше, чтобы оптимизировать ширину полосы пропускания для предварительного фильтра, предпочтительно использовать способ, который может упростить соответствующую обработку и может преднамеренно управляться с использованием стандарта для оценки субъективного или объективного качества изображения, по сравнению со способом, использующим данные кодирования (например, количество кода).
В свете изложенных выше обстоятельств задача настоящего изобретения состоит в том, чтобы обеспечить новую методику обработки изображения, посредством которой может быть реализован адаптивный процесс фильтрации для изображений, которые образуют видеоизображение, без процесса кодирования и без повторяющейся обработки и с учетом частотного распределения в кадре или между кадрами изображений, и тем самым эффективно формируется отфильтрованное изображение, имеющее заданное значение оценки качества изображения.
Средства для решения задачи
A: Первая структура
Для решения упомянутой выше задачи устройство видеообработки согласно настоящему изобретению включает в себя: (1) блок разделения для разделения целевого изображения, которое образует видеоизображение, на множество областей разделения; (2) блок определения первой ширины полосы пропускания для определения первой ширины полосы пропускания, применяемой к областям разделения, разделенным посредством блока разделения; (3) блок вычисления массива первых коэффициентов фильтрации для вычисления массива первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания, определенной посредством блока определения первой ширины полосы пропускания; (4) блок формирования данных отфильтрованного разделенного изображения для формирования данных отфильтрованного разделенного изображения для каждой области разделения (разделенной посредством блока разделения) посредством подвергания данных изображения каждой области разделения (разделенной посредством блока разделения) процессу фильтрации с использованием массива первых коэффициентов фильтрации, вычисленного посредством блока вычисления массива первых коэффициентов фильтрации; (5) блок вычисления коэффициента распределения для выведения для каждой области разделения значения информации об ошибках между данными изображения каждой области разделения и данными отфильтрованного разделенного изображения, сформированными посредством блока формирования данных отфильтрованного разделенного изображения, и вычисления коэффициента распределения, используемого для определения оптимальной ширины полосы пропускания, на основе выведенного значения; (6) блок определения оптимальной ширины полосы пропускания для определения для каждой области разделения, разделенной посредством блока разделения, оптимальной ширины полосы пропускания, соответствующей коэффициенту распределения, вычисленному посредством блока вычисления коэффициента распределения; (7) блок вычисления массива оптимальных коэффициентов фильтрации для вычисления для каждой области разделения, разделенной посредством блока разделения, массива оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания; (8) блок формирования данных оптимального отфильтрованного разделенного изображения для формирования данных оптимального отфильтрованного разделенного изображения каждой области разделения (разделенной посредством блока разделения) посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации, вычисленного посредством блока вычисления массива оптимальных коэффициентов фильтрации; и (9) блок синтеза для синтеза данных оптимального отфильтрованного разделенного изображения каждой разделенной области, которые были сформированы посредством блока формирования данных оптимального отфильтрованного разделенного изображения.
Описанная выше структура дополнительно может включать в себя:
блок сравнения для сравнения для каждой области разделения оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания, с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и
блок корректировки для корректировки оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания, на основе результата сравнения.
Описанная выше структура дополнительно может включать в себя:
блок определения для определения, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и
блок корректировки для корректировки оптимальной ширины полосы пропускания (определенной посредством блока определения оптимальной ширины полосы пропускания) каждой области разделения, для которой посредством блока определения определено, что данные изображения области разделения имеют движение.
В этом случае возможно, что:
блок определения определяет, имеют ли движение данные изображения области разделения и характеризуются ли они высокочастотной составляющей; и
блок корректировки оптимальной ширины полосы пропускания корректирует определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение и характеризуются высокочастотной составляющей.
Способ видеообработки настоящего изобретения, который реализуется, когда описанные выше блоки работают, также может быть реализован посредством компьютерной программы. Такая компьютерная программа машины может быть обеспечена посредством ее хранения на соответствующем машиночитаемом носителе данных или посредством сети и может быть установлена и работать на блоке управления, таком как центральный процессор, с тем, чтобы реализовать настоящее изобретение.
B: Вторая структура
Для решения вышеупомянутой задачи другое устройство обработки видеоданных согласно настоящему изобретению включает в себя: (1) блок определения первой ширины полосы пропускания для определения первой ширины полосы пропускания, применяемой к размеру области разделения для областей разделения, которые задаются на целевом изображении обработки, образующем видеоизображение, с тем, чтобы разделить на секции целевое изображение обработки; (2) блок вычисления массива первых коэффициентов фильтрации для вычисления массива первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания, определенной посредством блока определения первой ширины полосы пропускания; (3) блок формирования данных отфильтрованного изображения для формирования данных отфильтрованного изображения посредством подвергания данных целевого изображения обработки процессу фильтрации с использованием массива первых коэффициентов фильтрации, вычисленного посредством блока вычисления массива первых коэффициентов фильтрации; (4) блок вычисления коэффициента распределения для выведения для каждой области разделения значения информации об ошибках между данными целевого изображения обработки и данными отфильтрованного изображения, сформированными посредством блока формирования данных отфильтрованного изображения, и вычисления коэффициента распределения, используемого для определения оптимальной ширины полосы пропускания, на основе выведенного значения; (5) блок определения оптимальной ширины полосы пропускания для определения для каждой области разделения оптимальной ширины полосы пропускания, соответствующей коэффициенту распределения, вычисленному посредством блока вычисления коэффициента распределения; (6) блок вычисления массива оптимальных коэффициентов фильтрации для вычисления для каждой области разделения массива оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания; (7) блок формирования данных оптимального отфильтрованного разделенного изображения для формирования данных оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации, вычисленного посредством блока вычисления массива оптимальных коэффициентов фильтрации; и (8) блок синтеза для синтеза данных оптимального отфильтрованного разделенного изображения каждой области разделения, которые были сформированы посредством блока формирования данных оптимального отфильтрованного разделенного изображения.
Описанная выше структура дополнительно может включать в себя:
блок сравнения для сравнения для каждой области разделения оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания, с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения; и
блок корректировки для корректировки оптимальной ширины полосы пропускания, определенной посредством блока определения оптимальной ширины полосы пропускания, на основе результата сравнения.
Описанная выше структура дополнительно может включать в себя:
блок определения для определения, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области; и
блок корректировки для корректировки оптимальной ширины полосы пропускания (определенной посредством блока определения оптимальной ширины полосы пропускания) каждой области разделения, для которой посредством блока определения определено, что данные изображения области разделения имеют движение.
В этом случае возможно, что:
блок определения определяет, имеют ли движение данные изображения области разделения и характеризуются ли они высокочастотной составляющей; и
блок корректировки оптимальной ширины полосы пропускания корректирует определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что ее данные изображения имеют движение и характеризуются высокочастотной составляющей.
Способ видеообработки настоящего изобретения, который реализуется, когда описанные выше блоки работают, также может быть реализован посредством компьютерной программы. Такая компьютерная программа машины может быть обеспечена посредством ее хранения на соответствующем машиночитаемом носителе данных или посредством сети и может быть установлена и работать на блоке управления, таком как центральный процессор, с тем, чтобы реализовать настоящее изобретение.
C: Процессы настоящего изобретения
В устройстве видеообработки, имеющем первую структуру настоящего изобретения, когда вводится целевое изображение обработки, образующее видеоизображение, оно разделяется на множество областей разделения. Первая ширина полосы пропускания, применяемая к областям разделения, определяется, например, на основе размера каждой области разделения.
Затем вычисляется массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания, и формируются данные отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием вычисленного массива первых коэффициентов фильтрации.
Затем для каждой области разделения выводится значение (например, отношение PSNR) информации об ошибках между данными изображения каждой области разделения и сформированными данными отфильтрованного разделенного изображения, и коэффициент распределения, используемый для определения оптимальной ширины полосы пропускания, вычисляется на основе выведенного значения.
Например, вычисляется коэффициент распределения посредством деления значения информации об ошибках, которое получено в состоянии, очень близком к состоянию, в котором не выполняется ограничение полосы, на выведенное значение информации об ошибках.
С другой стороны, в устройстве видеообработки, имеющем вторую структуру настоящего изобретения, когда вводится целевое изображение обработки, образующее видеоизображение, может быть определена первая ширина полосы пропускания на основе размера области разделения для областей разделения, которые задаются на целевом изображении обработки, с тем, чтобы разделить на секции целевое изображение обработки, и тем самым определяется первая ширина полосы пропускания, применяемая к областям разделения.
Затем вычисляется массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины полосы пропускания, и формируются данные отфильтрованного изображения посредством подвергания данных целевого изображения обработки процессу фильтрации с использованием вычисленного массива первых коэффициентов фильтрации.
Затем для каждой области разделения выводится значение (например, отношение PSNR) информации об ошибках между данными целевого изображения обработки и сформированными данными отфильтрованного изображения, и коэффициент распределения, используемый для определения оптимальной ширины полосы пропускания, вычисляется на основе выведенного значения.
Например, вычисляется коэффициент распределения посредством деления значения информации об ошибках, которое получено в состоянии, очень близком к состоянию, в котором не выполняется ограничение полосы, на выведенное значение информации об ошибках.
После того, как вычислен коэффициент распределения для каждой области разделения, как описано выше, в первой и второй структурах выполняется одна и та же обработка.
Таким образом, затем для каждой области разделения определяется оптимальная ширина полосы пропускания, соответствующая вычисленному коэффициенту распределения, например, посредством обращения к таблице определения оптимальной ширины полосы пропускания, в которой задано отношение соответствия между коэффициентом распределения и оптимальной шириной полосы пропускания.
В случае, когда предоставлено множество таблиц определения оптимальной ширины полосы пропускания в соответствии с размером изображения и целевым значением информации об ошибках, выбирается таблица определения оптимальной ширины полосы пропускания, которая соответствует размеру области разделения и заданному целевому значению информации об ошибках, и оптимальная ширина полосы пропускания, соответствующая коэффициенту распределения, определяется посредством обращения к выбранной таблице определения оптимальной ширины полосы пропускания.
Затем для каждой области разделения вычисляется массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины полосы пропускания, и формируются данные оптимального отфильтрованного разделенного изображения каждой области разделения посредством подвергания данных изображения каждой области разделения процессу фильтрации с использованием вычисленного массива оптимальных коэффициентов фильтрации.
На последнем этапе данные оптимального отфильтрованного разделенного изображения синтезируются, и тем самым формируется отфильтрованное изображение для целевого изображения обработки.
В соответствии с описанным выше изобретением процесс фильтрации для преобразования целевого изображения обработки в изображение, имеющее заданное значение оценки качества изображения, может быть выполнен автоматически без процесса кодирования и без повторяющейся обработки.
В настоящем изобретении, имеющем описанные выше структуры, каждая область разделения подвергается процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации, вычисленного для области разделения. Поэтому конечное отфильтрованное изображение, сформированное для целевого изображения обработки, может включать в себя шумы на границах областей.
Поэтому в примере оптимальная ширина полосы пропускания, определенная для каждой области разделения, сравнивается с оптимальной шириной полосы пропускания периферийной области разделения вокруг данной области разделения, и если между ними имеется большое различие, определенная оптимальная ширина полосы пропускания корректируется, с тем, чтобы уменьшить различие.
Для оптимальной ширины полосы пропускания каждой области разделения, определенной в настоящем изобретении, когда область разделения является частью изображения, в которой наблюдается движение, даже если оптимальная ширина полосы пропускания уменьшается (что может уменьшить количество кода), данные изображения области разделения могут по-прежнему иметь такое же субъективное качество изображения по сравнению с другими областями разделения, хотя их объективное качество изображения не равно объективному качеству изображения других областей разделения.
С учетом описанного выше возможно:
определить, имеют ли движение данные изображения каждой области разделения, с использованием данных изображения кадра до или после кадра области или данных изображения кадров до и после кадра области (например, посредством оценки вариации значений пикселей для такого кадра и текущего кадра); и
скорректировать определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение, с тем, чтобы уменьшить оптимальную ширину полосы пропускания.
Также для оптимальной ширины полосы пропускания каждой области разделения, определенной в настоящем изобретении, когда область разделения является частью изображения, которая имеет движение и характеризуется высокочастотной составляющей, даже если оптимальная ширина полосы пропускания значительно уменьшается (что может значительно уменьшить количество кода), данные изображения области разделения могут по-прежнему иметь такое же субъективное качество изображения по сравнению с другими областями разделения, хотя их объективное качество изображения не равно объективному качеству изображения других областей разделения.
С учетом вышеописанного возможно:
определить, имеют ли данные изображения каждой области разделения движение и характеризуются ли они высокочастотной составляющей, с использованием данных изображения кадра до или после кадра области, или данных изображения кадров до и после кадра области (например, посредством определения, иллюстрирует ли значение, которое указывает атрибут данных изображения области разделения, что данные изображения характеризуются высокочастотной составляющей, и одновременно посредством оценки вариации количества областей разделения, которые показывают, что соответствующие данные изображения характеризуются высокочастотной составляющей, для такого кадра (используемого для определения) и текущего кадра); и
скорректировать определенную оптимальную ширину полосы пропускания каждой области разделения, для которой определено, что данные изображения области разделения имеют движение и характеризуются высокочастотной составляющей, с тем, чтобы уменьшить оптимальную ширину полосы пропускания.
В соответствии с этим, даже когда изображение, являющееся составной частью видеоизображения, имеет и часть изображения, которая включает в себя много высокочастотных составляющих, и часть изображения, которая не включает в себя много высокочастотных составляющих, данные оптимального отфильтрованного изображения для реализации целевого значения информации об ошибках (например, целевого отношения PSNR) могут быть сформированы для каждой части изображения.
Эффект изобретения
В соответствии с настоящим изобретением адаптивный процесс фильтрации для изображений, которые образуют видеоизображение, может быть реализован без процесса кодирования и без повторяющейся обработки и с учетом частотного распределения в кадре или между кадрами изображений, и тем самым эффективно формируется отфильтрованное изображение, имеющее заданное значение оценки качества изображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг.1 - схема, используемая для разъяснения результатов экспериментов для получения отношения соответствия между шириной полосы пропускания и отношением PSNR.
Фиг.2 - схема, используемая для разъяснения таблицы определения оптимальной ширины полосы пропускания.
Фиг.3 - также схема, используемая для разъяснения таблицы определения оптимальной ширины полосы пропускания.
Фиг.4 - схема, показывающая структуру устройства формирования оптимального отфильтрованного изображения в качестве первого варианта осуществления настоящего изобретения.
Фиг.5A - схема, используемая для разъяснения таблицы определения первой ширины полосы пропускания.
Фиг.5B - также схема, используемая для разъяснения таблицы определения первой ширины полосы пропускания.
Фиг.6 иллюстрирует блок-схему последовательности операций, исполняемых устройством формирования оптимального отфильтрованного изображения первого варианта осуществления.
Фиг.7 - схема, показывающая структуру устройства формирования оптимального отфильтрованного изображения в качестве второго варианта осуществления настоящего изобретения.
Фиг.8 иллюстрирует блок-схему последовательности операций, исполняемых устройством формирования оптимального отфильтрованного изображения второго варианта осуществления.
Фиг.9 - схема, показывающая структуру устройства формирования оптимального отфильтрованного изображения в качестве третьего варианта осуществления настоящего изобретения.
Фиг.10 иллюстрирует блок-схему последовательности операций, исполняемую устройством формирования оптимального отфильтрованного изображения третьего варианта осуществления.
Фиг.11 - также блок-схема последовательности операций, исполняемая устройством формирования оптимального отфильтрованного изображения третьего варианта осуществления.
Фиг.12 - схема для разъяснения процесса корректировки оптимальной ширины полосы пропускания, выполняемого блоком корректировки оптимальной ширины полосы пропускания.
Фиг.13 - также схема для разъяснения процесса корректировки оптимальной ширины полосы пропускания, выполняемого блоком корректировки оптимальной ширины полосы пропускания.
Фиг.14 - также схема для разъяснения процесса корректировки оптимальной ширины полосы пропускания, выполняемого блоком корректировки оптимальной ширины полосы пропускания.
Фиг.15 - также схема для разъяснения процесса корректировки оптимальной ширины полосы пропускания, выполняемого блоком корректировки оптимальной ширины полосы пропускания.
Фиг.16 - схема, показывающая структуру устройства формирования оптимального отфильтрованного изображения в качестве четвертого варианта осуществления настоящего изобретения.
Фиг.17 иллюстрирует блок-схему последовательности операций, исполняемых устройством формирования оптимального отфильтрованного изображения четвертого варианта осуществления.
Фиг.18 также иллюстрирует блок-схему последовательности операций, исполняемую устройством формирования оптимального отфильтрованного изображения четвертого варианта осуществления.
Фиг.19 - схема, показывающая структуру устройства формирования оптимального отфильтрованного изображения в качестве пятого варианта осуществления настоящего изобретения.
Фиг.20 иллюстрирует блок-схему последовательности операций, исполняемых устройством формирования оптимального отфильтрованного изображения пятого варианта осуществления.
Фиг.21 - схема для разъяснения изображения в кадре.
Фиг.22 - схема, показывающая результаты эксперимента, выполненного для подтверждения эффективности настоящего изобретения.
Фиг.23 - схема, используемая для разъяснения способа обработки изображения, включающего в себя ограничение полосы.
Фиг.24 иллюстрирует структуру устройства формирования оптимального отфильтрованного изображения для формирования данных оптимального отфильтрованного изображения посредством выполнения "циклического" ограничения полосы.
Фиг.25 - последовательность операций, исполняемых устройством формирования оптимального отфильтрованного изображения, для формирования данных оптимального отфильтрованного изображения посредством выполнении "циклического" ограничения полосы.
Фиг.26 иллюстрирует структуру традиционного устройства формирования оптимального отфильтрованного изображения.
Фиг.27 - последовательность операций, исполняемых традиционным устройством формирования оптимального отфильтрованного изображения.
Обозначения
| 1 | устройство формирования оптимального отфильтрованного изображения |
| 100 | блок ввода данных исходного изображения |
| 101 | блок разделения изображения |
| 102 | блок определения первой ширины полосы пропускания |
| 103 | таблица определения первой ширины полосы пропускания |
| 104 | блок вычисления массива первых коэффициентов фильтрации |
| 105 | блок формирования данных отфильтрованного изображения |
| 106 | блок вычисления коэффициента распределения |
| 107 | блок выбора таблицы определения оптимальной ширины полосы пропускания |
| 108 | таблица определения оптимальной ширины полосы пропускания |
| 109 | блок определения оптимальной ширины полосы пропускания |
| 110 | блок вычисления массива оптимальных коэффициентов фильтрации |
| 111 | блок формирования данных отфильтрованного изображения |
| 112 | блок накопления данных |
| 113 | блок синтеза данных отфильтрованного изображения |
| 200 | часть повторения |
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Чтобы разрешить описанные выше проблемы, относящиеся к традиционным методикам, авторы настоящего изобретения придумали изобретение, в котором сначала определяют предварительную ширину полосы пропускания в соответствии с размером изображения для данных целевого изображения обработки, и на основе размера изображения формируют предварительные данные отфильтрованного изображения, с тем чтобы измерить объективное значение оценки качества изображения. Затем вычисляется безразмерный параметр, такой как коэффициент распределения на основе измеренного значения оценки объективного качества изображения, и обращаются к таблице определения оптимальной ширины полосы пропускания с использованием вычисленного коэффициента распределения в качестве ключа, чтобы определить оптимальную ширину полосы пропускания для реализации целевого значения оценки объективного качества изображения, причем таблица определения оптимальной ширины полосы пропускания имеет структуру преобразования данных, в которой чем больше коэффициент распределения данных изображения, тем больше определенная оптимальная ширина полосы пропускания. На основе оптимальной ширины полосы пропускания формируют оптимальные отфильтрованные данные изображения для данных цели обработки.
В соответствии с описанным выше изобретением процесс фильтрации для преобразования исходного изображения в изображение, имеющее заданное значение оценки объективного качества изображения, может быть выполнен автоматически без процесса кодирования и без повторяющихся операций, с тем чтобы могли быть решены традиционные проблемы.
В вышеописанном изобретении одно целое изображение представляет собой цель для соответствующего процесса фильтрации.
Однако одно изображение имеет часть, которая включает в себя множество высокочастотных составляющих, и часть, которая не включает в себя множество высокочастотных составляющих. Поэтому, когда целое изображение подвергается процессу фильтрации с использованием одного массива коэффициентов фильтрации, качество изображения значительно ухудшается в части, которая включает в себя множество высокочастотных составляющих, и качество изображения не настолько ухудшается в части, которая не включает в себя множество высокочастотных составляющих.
Кроме того, описанное выше изобретение обеспечивается с учетом ограничения полосы с использованием показателя объективного качества изображения, но без учета ограничения полосы с использованием показателя субъективного качества изображения. Однако ограничение полосы с использованием не только показателя объективного качества изображения, но также и показателя субъективного качества изображения, может являться предпочтительным с учетом эффективности кодирования.
То есть для высокочастотной составляющей в области, где наблюдается движение, например для высокочастотной составляющей, относящейся к водному потоку или фейерверку, или для высокочастотной составляющей, полученной вследствие быстрого панорамирования камеры, не возникает значительного визуального ухудшения по сравнению с высокочастотной составляющей в области, где движение не наблюдается.
Поэтому, чтобы дополнительно улучшить эффективность кодирования, предпочтительно выполнять процесс фильтрации, в котором высокочастотной составляющей области, имеющей движение, и высокочастотной составляющей области, не имеющей движения, назначаются разные показатели объективного качества изображения (для отношения PSNR, относительно более низкое отношение PSNR назначается высокочастотной составляющей области, имеющей движение). Таким образом, предпочтительно определить наличие или отсутствие движения для каждой целевой высокочастотной составляющей и применить адаптивное взвешивание к высокочастотной составляющей, чтобы задать ширину полосы пропускания и выполнить соответствующий процесс фильтрации.
С учетом вышеописанных обстоятельств авторы настоящего изобретения придумали дополнительное улучшение для описанного выше изобретения.
Далее будет конкретно разъяснена причина того, чтобы процесс фильтрации для преобразования изображения цели обработки в изображение, имеющее заданное значение оценки качества изображения, мог быть автоматически выполнен без процесса кодирования и без повторяющейся операции.
Для удобства последующего разъяснения при сохранении общности разъяснения разделение изображения не рассматривается, и отношение PSNR используется в качестве информации об ошибках.
Фиг.1 иллюстрирует результаты экспериментов для получения зависимости между отношением PSNR каждого соответствующего изображения (см. "P(r)" на Фиг.1) и шириной r полосы, причем пять различных изображений 1-5 использовались в качестве изображений для экспериментов, и фильтрация была применена к данным изображений (а именно к составляющим яркости) посредством использования массива коэффициентов фильтрации для реализации частотных характеристик, соответствующих равной ширине полосы пропускания r (0,3<r<1) и в горизонтальном, и в вертикальном направлениях. При этом каждое изображение имеет размер 1920×1080 пикселей.
Как описано выше, в настоящем изобретении первая ширина r1 полосы определяется на первом этапе. Например, предполагается, что первая ширина r1 полосы задана равной 0,5.
На следующем этапе настоящего изобретения формируются данные отфильтрованного изображения с использованием первого массива коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы с использованием r1=0,5 и вычисляется отношение PSNR для данных отфильтрованного изображения. Таким образом, при обработке изображений 1-5, имеющих характеристики, показанные на Фиг.1, формируются данные отфильтрованных изображений, и затем вычисляется значение P(0,5) в качестве отношения PSNR для таких первых данных от отфильтрованных изображений.
В соответствии с описанным выше вычислением, как показано на Фиг.1, P(0,5)=34,5 для изображения 1; P(0,5)=42,3 для изображения 2; P(0,5)=40,6 для изображения 3; P(0,5)=42,7 для изображения 4 и P(0,5)=45,3 для изображения 5.
На следующем этапе настоящего изобретения может быть вычислен коэффициент X распределения посредством деления значения отношения PSNR ("51,2" на Фиг.1), которое получено в состоянии, очень близком к состоянию, в котором ограничение полосы не выполняется, на каждое вычисленное значение отношения PSNR.
В соответствии с описанным выше вычислением используется формула "X=51,2/P(r1)", и коэффициент распределения X=1,48 для изображения 1; коэффициент распределения X=1,21 для изображения 2; коэффициент распределения X=1,26 для изображения 3; коэффициент распределения X=1,20 для изображения 4; и коэффициент распределения X=1,13 для изображения 5.
На следующем этапе настоящего изобретения выполняется процесс определения оптимальной ширины полосы пропускания, соответствующей вычисленному коэффициенту распределения. Хотя процесс определения может быть осуществлен с использованием программы, а именно, функции определения программы, он может быть выполнен посредством обращения к таблице определения оптимальной ширины полосы пропускания, в которой заданы отношения соответствия между коэффициентом распределения и оптимальной шириной полосы пропускания.
Для таблицы определения оптимальной ширины полосы пропускания, к которой производится обращение, может быть подготовлено множество таблиц, связанных с размером изображения и целевым отношением PSNR (см. Фиг.2). Таблица, назначенная для размера изображения и целевого отношения PSNR (см. Фиг.3), управляет информацией значения оптимальной ширины r2 полосы (используемой для реализации целевого отношения PSNR), назначенной для каждого коэффициента X размещения в пределах диапазона его значений.
Например, отношением соответствия между диапазоном коэффициента X размещения и оптимальной шириной r2 полосы (используемой для реализации целевого отношения PSNR) управляют таким образом, что оптимальная ширина r2 полосы равна: B1 для каждого коэффициента X размещения в пределах диапазона X<A1 ; B2 для каждого коэффициента X размещения в пределах диапазона A1 X<A2; и B3 для каждого коэффициента X размещения в пределах диапазона A2
X<A3.
Значения Ai (i=1,..., n-1) имеют следующее отношение:
0<A 1<A2<A3<...<An-2 <An-1
В соответствии с тем, что чем больше коэффициент X распределения, тем больше оптимальная ширина r2 полосы, также получается следующее отношение:
0<B1<B2<B3<...<B n-2<Bn-1<Bn<1
В соответствии с этим на следующем этапе настоящего изобретения обращаются к таблице определения оптимальной ширины полосы пропускания, имеющей структуру данных, показанную на Фиг.3, с использованием вычисленного коэффициента X размещения в качестве ключа, и таким образом определяется значение Bi в качестве оптимальной ширины r2 полосы, соответствующей значению коэффициента X размещения.
Как описано выше, таблица определения оптимальной ширины полосы пропускания имеет следующие структуры таблицы:
0<A1<A2<A3 <...<An-2<An-1
0<B1<B2<B3<...<B n-2<Bn-1<Bn<1
Таким образом, большая оптимальная ширина r2 полосы назначается данным изображения, имеющим больший коэффициент X распределения, и меньшая оптимальная ширина r2 полосы назначается данным изображения, имеющим меньший коэффициент X распределения.
Таким образом, как понятно из формулы "X=51,2/P(r1)", данные изображения, имеющие больший коэффициент X распределения, имеют более малое значение P(0,5); таким образом, чтобы реализовать целевое отношение PSNR, требуется большая оптимальная ширина r2 полосы. Напротив, данные изображения, имеющие меньший коэффициент X распределения, имеют большее значение P(0,5); таким образом, чтобы реализовать целевое отношение PSNR, требуется меньшая оптимальная ширина r2 полосы.
С учетом вышеописанного, чтобы показать, что большая оптимальная ширина r2 полосы назначается данным изображения, имеющим больший коэффициент X распределения, и меньшая оптимальная ширина r2 полосы назначается данным изображения, имеющим меньший коэффициент X распределения, таблица определения оптимальной ширины полосы пропускания имеет структуру таблицы:
0<A1<A2<A3 <...<An-2<An-1
0<B1<B2<B3<...<B n-2<Bn-1<Bn<1
Оптимальная ширина r2 полосы, как она определяется выше, является шириной полосы пропускания для формирования данных оптимального отфильтрованного изображения, которые реализуют целевое отношение PSNR.
В соответствии с этим на следующем этапе настоящего изобретения вычисляется массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничениям полосы, с использованием оптимальной ширины r2 полосы, и соответствующие данные изображения подвергаются процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации, то есть процессу адаптивной фильтрации, в котором относительно широкая полоса пропускания назначается данным изображения, которые включают в себя много высокочастотных составляющих, и относительно узкая полоса пропускания назначается данным изображения, которые не включают в себя много высокочастотных составляющих, и тем самым формируются данные оптимального отфильтрованного изображения для реализации целевого отношения PSNR.
В соответствии с настоящим изобретением данные изображения должны быть подвергнуты только двум процессам фильтрации для формирования данных оптимального отфильтрованного изображения для реализации целевого отношения PSNR.
Хотя приведенное выше разъяснение не рассматривает разделение изображения, изображение цели обработки разделяется в настоящем изобретении, и каждая область разделения подвергается описанному выше процессу фильтрации, характерному для настоящего изобретения.
Ниже настоящее изобретение будет подробно разъяснено в соответствии с вариантом воплощения.
(1) Первый вариант осуществления
Фиг.4 иллюстрирует пример структуры устройства 1 формирования оптимального отфильтрованного изображения в качестве первого варианта осуществления настоящего изобретения.
Как показано на Фиг.4, устройство 1 формирования оптимального отфильтрованного изображения в качестве первого варианта осуществления настоящего изобретения имеет блок 100 ввода данных исходного изображения, блок 101 разделения изображения, блок 102 определения первой ширины полосы пропускания, таблицу 103 определения первой ширины полосы пропускания, блок 104 вычисления массива первых коэффициентов фильтрации, блок 105 формирования данных отфильтрованного изображения, блок 106 вычисления коэффициента распределения, блок 107 выбора таблицы определения оптимальной ширины полосы пропускания, таблицу 108 определения оптимальной ширины полосы пропускания, блок 109 определения оптимальной ширины полосы пропускания, блок 110 вычисления массива оптимальных коэффициентов фильтрации, блок 111 формирования данных отфильтрованного изображения, блок 112 накопления данных и блок 113 синтеза данных отфильтрованного изображения.
При этом блок 105 формирования данных отфильтрованного изображения, блок 106 вычисления коэффициента распределения, блок 109 определения оптимальной ширины полосы пропускания, блок 110 вычисления массива оптимальных коэффициентов фильтрации и блок 111 формирования данных отфильтрованного изображения обрабатывают каждые данные B(1) разделенного на элементы изображения, сформированные блоком 101 разделения изображения, и, таким образом, образуют часть 200 повторения.
Блок 100 ввода данных исходного изображения вводит в устройство данные B(1)_all исходного изображения, которые являются целью обработки и формируют видеоизображение.
На основе размера D элемента или количества E частей разделения, которые определяются заранее, блок 101 разделения изображения разделяет данные изображения, введенные с помощью блока 100 ввода данных исходного изображения, для формирования данных B(1) разделенного на элементы изображения из исходного изображения. Хотя форма каждого элемента не ограничивается, для удобства последующего объяснения подразумевается прямоугольник.
Блок 102 определения первой ширины полосы пропускания обращается к таблице 103 определения первой ширины полосы пропускания, которая имеет структуру таблицы (см. Фиг.5A и 5B) для определения соответствующих отношений между размером D элемента и первой шириной r1 полосы, с использованием размера D элемента для данных B(1) разделенного на элементы изображения (сформированных блоком 101 разделения изображения) в качестве ключа, с тем чтобы определить первую ширину r1 полосы (для первого прохода), заданную в соответствии с размером D элемента.
Блок 104 вычисления массива первых коэффициентов фильтрации вычисляет массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием первой ширины r1 полосы, определенной блоком 102 определения первой ширины полосы пропускания.
Блок 105 формирования данных отфильтрованного изображения подвергает каждые данные B(1) разделенного на элементы изображения (формированные блоком 101 разделения изображения) процессу фильтрации с использованием массива первых коэффициентов фильтрации, который вычислен блоком 104 вычисления массива первых коэффициентов фильтрации, с тем чтобы сформировать данные B(r1) первого отфильтрованного разделенного на элементы изображения.
Блок 106 вычисления коэффициента распределения сравнивает данные B(r1) первого отфильтрованного разделенного на элементы изображения с данными B(1) разделенного на элементы изображения и измеряет значение P(r1), которое является информацией об ошибках и отношением PSNR данных B(r1) первого отфильтрованного разделенного на элементы изображения. Блок 106 вычисления коэффициента распределения вычисляет коэффициент X распределения на основе значения P(r1) посредством использования следующей формулы:
X = G/P(r1)
где G - константа, которая может быть равна "51,2", как показано на Фиг.1.
Блок 107 выбора таблицы определения оптимальной ширины полосы пропускания выбирает одну из обеспечиваемых таблиц 108 определения оптимальной ширины полосы пропускания, связанных с размером D элемента и целевым отношением PSNR, причем выбранная таблица имеет структуру таблицы, показанную на Фиг.3, и соответствует размеру D элемента данных B(1) разделенного на элементы изображения (сформированные блоком 101 разделения изображения) и целевому отношению PSNR, который задается пользователем. Блок 107 выбора таблицы определения оптимальной ширины полосы пропускания выдает идентификатор, присвоенный выбранной таблице.
При этом значения Ai и Bi, заданные в таблице 108 определения оптимальной ширины полосы пропускания, имеют следующие отношения:
0<A 1<A2<A3<...<An-2 <An-1
0<B1<B 2<B3<...<Bn-2<Bn-1 <Bn<1
Блок 109 определения оптимальной ширины полосы пропускания определяет оптимальную ширину r2 полосы (для второго прохода) посредством обращения к таблице 108 определения оптимальной ширины полосы пропускания, которая выбрана блоком 107 выбора таблицы определения оптимальной ширины полосы пропускания с использованием коэффициента X размещения (вычисленного блоком 106 вычисления коэффициента распределения) в качестве ключа.
Блок 110 вычисления массива оптимальных коэффициентов фильтрации вычисляет массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием оптимальной ширины r2 полосы, которая определена с помощью блока 109 определения оптимальной ширины полосы пропускания.
Блок 111 формирования данных отфильтрованного изображения подвергает каждые данные B(1) разделенного на элементы изображения (сформированные блоком 101 разделения изображения) процессу фильтрации с использованием массива оптимальных коэффициентов фильтрации, вычисленного с помощью блока 110 вычисления массива оптимальных коэффициентов фильтрации, с тем чтобы сформировать данные B(r2) оптимального отфильтрованного разделенного на элементы изображения и сохранить их в блоке 112 накопления данных.
Когда все данные B(1) разделенного на элементы изображения, формированные блоком 101 разделения изображения, обработаны, все данные B(r2) оптимального отфильтрованного разделенного на элементы изображения сохранены в блоке 112 накопления данных. В соответствии с этим блок 113 синтеза данных отфильтрованного изображения синтезирует сохраненные данные и формирует данные B(r2)_all оптимального отфильтрованного изображения для данных исходного изображения, введенных с помощью блока 100 ввода данных исходного изображения.
Фиг.6 иллюстрирует блок-схему последовательности операций, выполняемую устройством 1 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, выполненного, как описано выше.
Процессы, выполняемые устройством 1 формирования оптимального отфильтрованного изображения, будут разъяснены подробно в соответствии с блок-схемой последовательности операций.
Как показано на блок-схеме последовательности операций на Фиг.6, когда устройство 1 формирования оптимального отфильтрованного изображения принимает запрос о формировании данных оптимального отфильтрованного изображения относительно изображения (которое является целью обработки и формирует видеоизображение), данные B(1)_all исходного изображения, для которых формируются данные оптимального отфильтрованного изображения, вводятся в устройство (см. первый этап S100).
На следующем этапе S101 на основе размера D элемента или количества E частей разделения, которые представляют собой обеспеченные заранее желаемые значения, входные данные B(1)_all исходного изображения разделяются, с тем чтобы сформировать данные B(1) разделенного на элементы изображения для исходного изображения.
На следующем этапе S102 к таблице 103 определения первой ширины полосы пропускания, которая имеет структуру таблицы (см. Фиг.5A и 5B) для определения соответствующего отношения между размером D элемента и первой шириной r1 полосы, обращаются с использованием размера D элемента для данных B(1) разделенного на элементы изображения (1) в качестве ключа, с тем чтобы определить первую ширину r1 полосы (для первого прохода), заданную в соответствии с размером D элемента.
Если размер D элемента для данных B(1) разделенного на элементы изображения, используемый в устройстве 1 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, ограничивается предопределенным размером, то таблица 103 определения первой ширины полосы пропускания не является необходимой, и определяется первая ширина r1 полосы, которая задана заранее в соответствии с фиксированным размером.
На следующем этапе S103 вычисляется массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной первой ширины r1 полосы.
На следующем этапе S104 выбираются одни данные B(1) разделенного на элементы изображения, которые еще не были обработаны, и на следующем этапе S105 выбранные данные B(1) разделенного на элементы изображения подвергаются процессу фильтрации с использованием вычисленного массива первых коэффициентов фильтрации, с тем чтобы сформировать данные B(r1) первого отфильтрованного разделенного на элементы изображения.
На следующем этапе S106 выбранные данные B(1) разделенного на элементы изображения сравниваются со сформированными данными B(r1) первого отфильтрованного разделенного на элементы изображения, и измеряется значение P(r1), которое является данными об ошибках и отношением PSNR сформированных данных B(r1) первого отфильтрованного разделенного на элементы изображения. Затем вычисляется коэффициент X распределения на основе значения P(r1) с использованием следующей формулы:
X = G/P(r1) Формула (1)
где G - константа, которая может быть равна "51,2", как показано на Фиг.1.
На следующем этапе S107 выбирается одна из обеспеченных таблиц 108 определения оптимальной ширины полосы пропускания, связанных с размером D элемента и целевым отношением PSNR, причем выбранная таблица имеет структуру таблицы, показанную на Фиг.3, и соответствует размеру D элемента данных B(1) разделенного на элементы изображения и целевому отношению PSNR, который задается пользователем.
Описанный выше выбор таблицы 108 определения оптимальной ширины полосы пропускания может быть выполнен заранее.
Кроме того, если размер D элемента для данных B(1) исходного изображения, используемый в устройстве 1 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, ограничивается предопределенным размером, то не является необходимым обеспечивать таблицы 108 определения оптимальной ширины полосы пропускания, связанные с размером D элемента и целевым отношением PSNR, и обеспечивается множество таблиц 108 определения оптимальной ширины полосы пропускания, связанных со значениями целевого отношения PSNR.
Кроме того, если размер D элемента для данных B(1) исходного изображения, используемый в устройстве 1 формирования оптимального отфильтрованного изображения, ограничивается предопределенным размером, и целевое отношение PSNR, используемое в устройстве 1 формирования оптимального отфильтрованного изображения, также ограничено предопределенным значением, то не является необходимым обеспечивать таблицы 108 определения оптимальной ширины полосы пропускания, связанные с размером D элемента и целевым отношением PSNR, и обеспечивается единственная таблица 108 определения оптимальной ширины полосы пропускания.
На следующем этапе S108 определяется оптимальная ширина r2 полосы (для второго прохода) посредством обращения к выбранной таблице 108 определения оптимальной ширины полосы пропускания с использованием вычисленного коэффициента X размещения в качестве ключа.
На следующем этапе S109 вычисляется массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины r2 полосы.
На следующем этапе S110 выбранные данные B(1) разделенного на элементы изображения снова подвергаются фильтрации с использованием вычисленного массива оптимальных коэффициентов фильтрации, с тем чтобы сформировать данные B(r2) оптимального отфильтрованного разделенного на элементы изображения и сохранить их в блоке 112 накопления данных.
На следующем этапе S111 определяется, были ли выбраны все части данных B(1) разделенного на элементы изображения. Если определено, что были выбраны еще не все части данных B(1) разделенного на элементы изображения, обработка возвращается на этап S104.
Напротив, если на этапе S111 определено, что были выбраны все части данных B(1) разделенного на элементы изображения, обработка переходит на этап S112. На этапе S112 все части данных B(r2) оптимального отфильтрованного разделенного на элементы изображения синтезируются для формирования и вывода данных B(r2)_all оптимального отфильтрованного изображения, имеющих такой же размер, как данные исходного изображения. Затем обработка завершается.
Далее будет конкретно разъяснена описанная выше обработка.
Задано, что размер исходного изображения составляет 1920×1080; размер D элемента составляет 32×18; количество E частей разделения равно 60 и в горизонтальном, и в вертикальном направлениях; значение Ptgt отношения PSNR (то есть целевое отношение PSNR) равно 36 дБ; и значение G в формуле (1) равно 51,2.
Сначала будет разъяснен процесс определения первой ширины полосы пропускания.
Размер D элемента вводится в блок 102 определения первой ширины полосы пропускания, и определяется первая ширина r1 полосы (например, 0,7) для размера D элемента с использованием таблицы 103 определения первой ширины полосы пропускания, которая заранее обеспечивается блоку 102 определения первой ширины полосы пропускания.
Затем формируются данные B(0,7) первого отфильтрованного разделенного на элементы изображения с использованием массива первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы с r1=0,7, и измеряется значение P(0,7), которое является отношением PSNR для данных B(0,7) первого отфильтрованного разделенного на элементы изображения. Затем вычисляется коэффициент X распределения с использованием формулы (1).
Далее будет разъяснен процесс определения оптимальной ширины полосы пропускания.
Значения, например, D=32×18 и Ptgt=36, вводятся в блок 107 выбора таблицы определения оптимальной ширины полосы пропускания, и выбирается одна из таблиц 108 определения оптимальной ширины полосы пропускания, которые заранее обеспечены блоку 107 выбора таблицы определения оптимальной ширины полосы пропускания, причем выбранная таблица соответствует введенным значениям и имеет структуру таблицы, показанную на Фиг.3.
Затем определяется оптимальная ширина r2 полосы, соответствующая вычисленному ранее коэффициенту X размещения, посредством обращения к выбранной таблице 108 определения оптимальной ширины полосы пропускания.
Например, если P(0,7)=45, то X=1,14 в соответствии с формулой (1). Поэтому, если An-2 1,14<An-1, то оптимальная ширина r2 полосы определяется как Bn-1. При этом Ai и B i соответственно удовлетворяют следующим условиям.
0<A1<A2<A3<...<A n-2<An-1
0<B1 <B2<B3<...<Bn-2<B n-1<Bn<1
Данные B(r2) оптимального разделенного на элементы изображения формируются с использованием массива оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы с использованием оптимальной ширины r2 полосы.
Такие процессы повторяются такое количество раз, которое соответствует количеству частей разделения, то есть применяются к (60×60=) 3600 элементам. 3600 частей данных B(r2) оптимального разделенного на элементы изображения наконец синтезируются, с тем чтобы данные оптимального отфильтрованного изображения были получены в качестве окончательных выходных данных.
Кроме того, множество таблиц 108 определения оптимальной ширины полосы пропускания, соответствующих различным значениям Ptgt, может быть подготовлено заранее, с тем чтобы выполнять процесс фильтрации для реализации управления произвольным качеством изображения с использованием настоящего изобретения.
Как описано выше, в соответствии с первым вариантом воплощения возможно получить элементы, имеющие почти равные отношения PSNR для любого изображения, и таким образом сформировать отфильтрованное изображение, у которого качество изображения однородно в каждом кадре и все области в кадре имеют почти равное качество изображения.
(2) Второй вариант осуществления
Фиг.7 иллюстрирует пример структуры устройства 11 формирования оптимального отфильтрованного изображения в качестве второго варианта осуществления настоящего изобретения.
По сравнению с устройством 1 формирования оптимального отфильтрованного изображения (см. Фиг.4) первого варианта осуществления устройство 11 формирования оптимального отфильтрованного изображение второго варианта осуществления не имеет блока 101 разделения изображения, но дополнительно включает в себя блок 120 задания элементов разделения. Кроме того, в устройстве 11 формирования оптимального отфильтрованного изображения блок 102 определения первой ширины полосы пропускания, блок 105
формирования данных отфильтрованного изображения и блок 106
вычисления коэффициента распределения соответственно выполняют процессы, отличные от тех, которые выполняют блок 102 определения первой ширины полосы пропускания, блок 105 формирования данных отфильтрованного изображения и блок 106 вычисления коэффициента распределения в устройстве 1 формирования оптимального отфильтрованного изображения первого варианта осуществления.
На основе размера D элемента или количества частей E разделения, которые задаются заранее, блок 120 задания элементов разделения задает элементы виртуального разделения на данных B(1)_all исходного изображения, введенного с помощью блока 100 ввода данных исходного изображения. Данные изображения каждого элемента виртуального разделения соответствуют каждым данным B(1) разделенного на элементы изображения для исходного изображения, которые были разъяснены в первом варианте осуществления.
Блок 102 определения первой ширины полосы пропускания обращается к таблице 103 определения первой ширины полосы пропускания, которая имеет структуру таблицы (см. Фиг.5A и 5B) для задания соответствующих отношений между размером D элемента и первой шириной r1 полосы, с использованием размера D элемента для виртуальных элементов разделения (заданных блоком 120 задания элементов разделения) в качестве ключа, с тем чтобы определить первую ширину r1 полосы (для первого прохода), заданную в соответствии с размером D элемента.
Блок 105 формирования данных отфильтрованного изображения подвергает данные B(1)_all исходного изображения (введенные блоком 100 ввода данных исходного изображения) процессу фильтрации с использованием массива первых коэффициентов фильтрации, который вычислен с помощью блока 104 вычисления первых коэффициентов фильтрации, с тем чтобы сформировать данные B(1)_all(r1) отфильтрованного изображения.
Для каждого элемента виртуального разделения, заданного блоком 120 задания элементов разделения блок 106 вычисления коэффициента распределения, сравнивают часть данных изображения, которая принадлежит данным B(1)_all(r) первого отфильтрованного изображения и размещается на соответствующем элементе разделения, с частью данных изображения, которая принадлежит данным B(1)_all исходного изображения и размещается на соответствующем элементе разделения, и измеряет значение P(r1), которое является данными об ошибках и отношением PSNR части данных изображения, которая принадлежит данным B(1)_all первого отфильтрованного изображения и размещается на соответствующем элементе разделения. Блок 106
вычисления коэффициента распределения вычисляет коэффициент X распределения на основе значения P(r1) с использованием следующей формулы:
X=G/P(r1)
Фиг.8 иллюстрирует блок-схему последовательности операций, исполняемых устройством 11 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, выполненным, как описано выше.
В соответствии с блок-схемой последовательности операций процессы, выполняемые устройством 11 формирования оптимального отфильтрованного изображения, будут разъяснены подробно.
Как показано на блок-схеме последовательности операций на Фиг.8, когда устройство 11 формирования оптимального отфильтрованного изображения принимает запрос о формировании данных оптимального отфильтрованного изображения относительно изображения (которое является целью обработки и формирует видеоизображение), данные B(1)_all исходного изображения, для которых формируются данные оптимального отфильтрованного изображения, вводятся в устройство (см. первый этап S200).
На следующем этапе S201 к таблице 103 определения первой ширины полосы пропускания, которая имеет структуру таблицы (см. Фиг.5A и 5B) для задания соответствующих отношений между размером D элемента и первой шириной r1 полосы, обращаются с использованием размера D элемента для элементов виртуального разделения в качестве ключа, с тем чтобы определить первую ширину r1 полосы (для первого прохода), заданную в соответствии с размером D элемента.
На следующем этапе S202 вычисляется массив первых коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной первой ширины r1 полосы.
На следующем этапе S203 входные данные B(1)_all исходного изображения подвергаются процессу фильтрации с использованием вычисленного массива первых коэффициентов фильтрации, с тем чтобы сформировать данные B(1)_all(r1) первого отфильтрованного изображения.
На следующем этапе S204 один элемент разделения, который еще не был обработан, выбирается из числа виртуально заданных элементов разделения.
На следующем этапе S205 часть данных изображения, которая принадлежит данным B(1)_all(r1) первого отфильтрованного изображения и размещается на выбранном элементе разделения, сравнивается с частью данных изображения, которая принадлежит данным B(1)_all исходного изображения и размещается на выбранном элементе разделения, и измеряется значение P(r1), которое является отношением PSNR упомянутой выше части данных изображения для данных B(1)_all(r1) первого отфильтрованного изображения. Затем коэффициент X распределения вычисляется на основе значения P(r1) с использовании следующей формулы:
X = G/P(r1) Формула (1)
где G - константа, которая может быть равна "51,2", как показано на Фиг.1.
На следующем этапе S206 выбирается одна из таблиц 108 определения оптимальной ширины полосы пропускания, которые обеспечены в связи с размером D элемента и целевым отношением PSNR, причем выбранная таблица имеет структуру таблицы, показанную на Фиг.3, и соответствует размеру D элемента для виртуально заданных элементов разделения и целевому отношению PSNR, которые заданы пользователем.
На следующем этапе S207 определяется оптимальная ширина r2 полосы (для второго прохода) посредством обращения к выбранной таблице 108 определения оптимальной ширины полосы пропускания с использованием вычисленного коэффициента X размещения в качестве ключа.
На следующем этапе S208 вычисляется массив оптимальных коэффициентов фильтрации для реализации частотных характеристик, соответствующих ограничению полосы, с использованием определенной оптимальной ширины r2 полосы.
На следующем этапе S209 часть данных изображения, которая принадлежит данным B(1)_all исходного изображения и размещается на выбранном элементе разделения, снова подвергается фильтрации с использованием вычисленного массива оптимальных коэффициентов фильтрации, с тем чтобы сформировать данные B(r2) оптимального разделенного на элементы изображения и сохранить их в блоке 112 накопления данных.
На следующем этапе S210 определяется, были ли выбраны все элементы разделения. Если определено, что еще не все элементы разделения были выбраны, обработка возвращается на этап S204.
Напротив, если на этапе S210 определено, что были выбраны все элементы разделения, обработка переходит на этап S211. На этапе S211 все части данных B(r2) оптимального разделенного на элементы изображения синтезируются для формирования и вывода данных B(r2)_all оптимального отфильтрованного изображения, имеющих такой же размер, как данные исходного изображения. Затем обработка завершается.
В структуре, показанной на Фиг.7, данные B(1)_all(r1) первого отфильтрованного изображения, сформированные блоком 105 формирования данных отфильтрованного изображения, виртуально разделяются на элементы. Однако такое разделение может быть выполнено фактически.
Как описано выше, аналогично первому варианту воплощения с помощью второго варианта осуществления также возможно получить элементы, имеющие почти равные отношения PSNR для любого изображения, и, таким образом, сформировать отфильтрованное изображение, у которого качество изображения однородно в каждом кадре и все области в кадре имеют почти равное качество изображения.
(3) Третий вариант осуществления
Фиг.9 иллюстрирует пример структуры устройства 12 формирования оптимального отфильтрованного изображения в качестве третьего варианта осуществления настоящего изобретения.
По сравнению с устройством 1 формирования оптимального отфильтрованного изображения (см. Фиг.4) первого варианта осуществления устройство 12 формирования оптимального отфильтрованного изображения третьего варианта осуществления дополнительно включает в себя блок 130 сравнения оптимальной ширины полосы пропускания и блок 131 корректировки оптимальной ширины полосы пропускания.
Блок 130 сравнения оптимальной ширины полосы пропускания сравнивает оптимальную ширину r2 полосы (определенную блоком 109 определения оптимальной ширины полосы пропускания) данных B(1) разделенного на элементы изображения для целевого элемента обработки с оптимальной шириной полосы пропускания данных B(1) разделенного на элементы изображения для периферийного элемента целевого элемента; вычисляет разность между сравненными значениями; и определяет, является ли разность больше предопределенного порога Sth1 или равной ему.
Если блок 130 сравнения оптимальной ширины полосы пропускания определяет, что разность больше или равна порогу Sth1, блок 131 корректировки оптимальной ширины полосы пропускания корректирует оптимальную ширину r2 полосы, определенную с помощью блока 109 определения оптимальной ширины полосы пропускания, в значение r3, и тем самым уменьшается разность. Напротив, если определено, что разность меньше порога Sth1, блок 131 корректировки оптимальной ширины полосы пропускания определяет, что оптимальная ширина r2 полосы, определенная с помощью блока 109 определения оптимальной ширины полосы пропускания, используется без изменений.
Фиг.10 и 11 показывают блок-схему последовательности операций, исполняемых устройством 12 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, выполненным, как описано выше.
Процессы, выполняемые устройством 12 формирования оптимального отфильтрованного изображения, будут разъяснены подробно в соответствии с блок-схемой последовательности операций.
При получении запроса о формировании данных оптимального отфильтрованного изображения относительно изображения (которое является целью обработки и формирует видеоизображение), устройство 12 формирования оптимального отфильтрованного изображения выполняет те же самые процессы (на этапах с S300 по S308), как на этапах с S100 по S108 блок-схемы последовательности операций, показанной на Фиг.6, с тем чтобы определить оптимальную ширину r2 полосы (для второго прохода) для выбранных данных B(1) разделенного на элементы изображения.
На следующем этапе S309 оптимальная ширина r2 полосы (определенная на этапе S308) целевого элемента обработки сравнивается с уже вычисленной оптимальной шириной полосы пропускания элемента, размещенного вокруг целевого элемента; вычисляется разность между сравненными значениями; и определяется, является ли разность больше предопределенного порога Sth1 или равна ему.
В соответствии с упомянутым выше определением, если определено, что разность между оптимальной шириной r2 полосы целевого элемента обработки и оптимальной шириной полосы пропускания сравниваемого периферийного элемента больше или равна порогу Sth1, обработка переходит на этап S310, на котором оптимальная ширина r2 полосы, определенная на этапе S308, корректируется в значение r3, посредством чего разность уменьшается.
Напротив, если определено, что разность между оптимальной шириной r2 полосы целевого элемента обработки и оптимальной шириной полосы пропускания периферийного элемента меньше порога Sth1, этап S310 не выполняется, и оптимальная ширина r2 полосы, определенная на этапе S308, используется без изменений.
На следующих этапах с S311 по S314 исполняются те же самые процессы, как на этапах с S109 по S112 блок-схемы последовательности операций, показанной на Фиг.6, с тем чтобы были сформированы и выведены данные B(r2)_all оптимального отфильтрованного изображения, имеющие такой же размер, как данные исходного изображения.
Фиг.12-15 показывают примеры процесса корректировки оптимальной ширины полосы пропускания, выполняемого блоком 131 корректировки оптимальной ширины полосы пропускания.
Если центральный элемент среди девяти элементов, которым с помощью блока 109 определения оптимальной ширины полосы пропускания была назначена оптимальная ширина полосы пропускания, является целью для корректировки, блок 131 корректировки оптимальной ширины полосы пропускания корректирует оптимальную ширину полосы пропускания (определенную с помощью блока 109 определения оптимальной ширины полосы пропускания), как показано на Фиг.12-14.
Таким образом, как показано на Фиг.12, оптимальная ширина полосы пропускания может быть скорректирована к (i) значению, равному значениям, назначенным верхнему и нижнему элементам относительно целевого элемента обработки, (ii) среднему от этих значений или (iii) значению, полученному дополнительным прибавлением значения ± (0<
<1) к скорректированному значению, показанному в приведенном выше пункте (i) или (ii).
Кроме того, как показано на Фиг.13, оптимальная ширина полосы пропускания может быть скорректирована к (i) значению, равному значениям, назначенным правому и левому элементам относительно целевого элемента обработки, (ii) среднему от этих значений или (iii) значению, полученному дополнительным прибавлением значения ± (0<
<1) к скорректированному значению, показанному в приведенном выше пункте (i) или (ii).
Кроме того, как показано на Фиг.14, оптимальная ширина полосы пропускания может быть скорректирована к (i) значению, равному значениям, назначенным элементам, размещенным по диагонали относительно целевого элемента обработки, (ii) среднему от этих значений или (iii) значению, полученному дополнительным прибавлением значения ± (0<
<1) к скорректированному значению, показанному в приведенном выше пункте (i) или (ii).
Кроме того, как показано на Фиг.15, оптимальная ширина полосы пропускания может быть скорректирована к среднему значению от восьми периферийных элементов целевого элемента обработки или к значению, полученному прибавлением значения ± (0<
<1) к среднему значению.
Любой из помянутых выше способов оказывает аналогичное влияние.
В соответствии с такой корректировкой граничные линии, получаемые вследствие процесса фильтрации, применяемого к элементам, уменьшаются, и таким образом границы могут быть невидимыми.
Если описанная выше корректировка индивидуально применяется к верхнему полю и нижнему полю при телевизионной обработке с чередованием, аналогичные эффекты могут быть получены, когда периферийный элемент, сравниваемый с целевым элементом обработки, принадлежит либо тому же самому полю, что и целевой элемент, либо полю, отличному от целевого элемента.
Такая корректировка также может быть выполнена посредством расширения диапазона коэффициента распределения в таблице 108 определения оптимальной ширины полосы пропускания, имеющей структуру таблицы, показанную на Фиг.3.
Например, на Фиг.3, если оптимальная ширина полосы пропускания 0,8 назначена для коэффициента 1,5 X<1,6, и оптимальная ширина полосы пропускания 0,9 назначена для коэффициента 1,6
X<1,7, эти условия могут быть изменены на условие, что оптимальная ширина полосы пропускания 0,85 назначена для коэффициента 1,5
X<1,7.
В соответствии с третьим вариантом воплощения ухудшение субъективного качества изображения, такое как блочное искажение, может быть уменьшено, и при этом в значительной степени сохранено первоначальное объективное качество изображения.
(4) Четвертый вариант осуществления
Фиг.16 иллюстрирует пример структуры устройства 13 формирования оптимального отфильтрованного изображения в качестве четвертого варианта осуществления настоящего изобретения.
По сравнению с устройством 12 формирования оптимального отфильтрованного изображения (см. Фиг.9) третьего варианта осуществления устройство 13 формирования оптимального отфильтрованного изображения четвертого варианта осуществления дополнительно включает в себя блок 140 определения элементов с движением и блок 141 дополнительной корректировки оптимальной ширины полосы пропускания.
Блок 140 определения элементов с движением определяет, имеет ли движение элемент, который имеет данные B(1) разделенного на элементы изображения (в качестве цели обработки) исходного изображения (то есть движение обнаруживается в элементе). Если определено, что соответствующий элемент не имеет движения, блок 140 определения элементов с движением передает результат обработки блока 131 корректировки оптимальной ширины полосы пропускания непосредственно блоку 110 вычисления массива оптимальных коэффициентов фильтрации.
Если с помощью блока 140 определения элементов с движением определено, что соответствующий элемент имеет движение, блок 141 дополнительной корректировки оптимальной ширины полосы пропускания дополнительно корректирует оптимальную ширину полосы пропускания, скорректированную блоком 131 корректировки оптимальной ширины полосы пропускания (который не может повторно скорректировать оптимальную ширину полосы пропускания).
При этом блок 105 формирования данных отфильтрованного изображения, блок 106 вычисления коэффициента распределения, блок 109 определения оптимальной ширины полосы пропускания, блок 130 сравнения оптимальной ширины полосы пропускания и блок 131 корректировки оптимальной ширины полосы пропускания образуют часть внутрикадровой обработки изображения; а блок 110 вычисления массива оптимальных коэффициентов фильтрации, блок 140 определения элементов с движением и блок 141 дополнительной корректировки оптимальной ширины полосы пропускания образуют часть межкадровой обработки изображения.
Фиг.17 и 18 показывают блок-схему последовательности операций, исполняемых устройством 13 формирования оптимального отфильтрованного изображения настоящего варианта осуществления, выполненным, как описано выше.
Процессы, выполняемые устройством 13 формирования оптимального отфильтрованного изображения, будут разъяснены подробно в соответствии с блок-схемой последовательности операций.
Как показано в блок-схеме последовательности операций на Фиг.17, при получении запроса о формировании данных оптимального отфильтрованного изображения относительно изображения (которое является целью обработки и формирует видеоизображение) устройство 13 формирования оптимального отфильтрованного изображения выполняет те же самые процессы (на этапах с S400 по S408), как на этапах с S300 по S308 блок-схемы последовательности операций, показанной на Фиг.10, с тем чтобы определить оптимальную ширину r2 полосы (для второго прохода) для выбранных данных B(1) разделенного на элементы изображения.
На следующем этапе S409 определенная оптимальная ширина r2 полосы корректируется на основе внутрикадровой обработки изображения. Этот процесс корректировки определенной оптимальной ширины r2 полосы на основе внутрикадровой обработки изображения выполняется аналогично процессу на этапах S309 и S310 блок-схемы последовательности операций, показанной на Фиг.10.
Таким образом, оптимальная ширина r2 полосы (определенная на этапе S408), назначенная данным B(1) разделенного на элементы изображения для целевого элемента обработки, сравнивается с оптимальной шириной полосы пропускания, назначенной данным B(1) разделенного на элементы изображения для элемента, размещенного вокруг целевого элемента; вычисляется разность между сравненными значениями; и определяется, является ли разность больше предопределенного порога Sth1 или равна ему. Если определено, что разность больше или равна порогу Sth1, оптимальная ширина r2 полосы, определенная на этапе S408, корректируется в значение r3, посредством чего разность уменьшается. Напротив, если определено, что разность меньше порога Sth1, то также определяется, что оптимальная ширина r2 полосы, определенная на этапе S408, используется без изменений.
На следующем этапе S410 оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, дополнительно корректируется на основе межкадровой обработки изображения, которая будет разъяснена с использованием блок-схемы последовательности операций, показанной на Фиг.18.
На следующих этапах с S411 по S414 выполняются те же самые процессы, как на этапах с S311 по S314 блок-схемы последовательности операций, показанной на Фиг.10 и 11, с тем чтобы были сформированы и выведены данные B(r2)_all оптимального отфильтрованного изображения, имеющие такой же размер, как данные исходного изображения.
Далее со ссылкой на блок-схему последовательности операций, показанную на Фиг.18, будет разъяснен процесс корректировки оптимальной ширины полосы пропускания на основе межкадровой обработки изображения, выполняемый на этапе S410.
После того, как оптимальная ширина r2 полосы, определенная на этапе S408, скорректирована на этапе S409 на основе внутрикадровой обработки изображения (см. блок-схему последовательности операций на Фиг.17), обработка переходит к блок-схеме последовательности операций на Фиг.18. На первом этапе S500 вычисляется полная сумма значений пикселей целевого элемента обработки, к которому была применена внутрикадровая обработка изображения. На следующем этапе S501 вычисляется полная сумма значений пикселей элемента, который принадлежит предыдущему кадру (то есть предшествует во времени кадру целевого элемента) и пространственно идентичен целевому элементу обработки.
В упомянутом выше процессе может быть вычислена полная сумма значений пикселей данных B(1) разделенного на элементы изображения (то есть данных исходного изображения) или может быть вычислена полная сумма значений пикселей данных B(r1) первого отфильтрованного изображения (то есть данных отфильтрованного изображения).
На следующем этапе S502 вычисляется разность между полной суммой, вычисленной на этапе S500, и полной суммой, вычисленной на этапе S501. На следующем этапе S503 определяется, является ли разность больше предопределенного порога Sth2 или равна ему.
В соответствии с упомянутым выше определением, если определено, что разность между полной суммой значений пикселей целевого элемента обработки и полной суммой значений пикселей элемента, который принадлежит предыдущему кадру и пространственно идентичен целевому элементу обработки, больше или равна порогу Sth2, то определяется, что целевой элемент обработки имеет движение, и обработка переходит на этап S504. На этапе S504 оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, дополнительно корректируется в значение r4, с тем чтобы уменьшить оптимальную ширину r3 (или r2) полосы, и обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
Например, оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, умножается на вес W, который меньше единицы (то есть 0<W<1), с тем чтобы дополнительно скорректировать значение r3 (или r2) в значение r4, и затем обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
В соответствии с описанной выше корректировкой может быть значительно ограничена высокочастотная составляющая в элементе, имеющем движение.
Напротив, если при описанном выше определении определено, что разность между полной суммой значений пикселей целевого элемента обработки и полной суммой значений пикселей элемента, который принадлежит предыдущему кадру и пространственно идентичен целевому элементу обработки, меньше порога Sth2, то процесс этапа S504 не выполняется, и определяется, что оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, используется без изменений. Затем обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
Хотя в блок-схеме последовательности операций, показанной на Фиг.18, вычисляется полная сумма значений пикселей в элементе, может быть вычислено среднее значение пикселей в элементе.
В отличие от первого, второго и третьего вариантов воплощения, в соответствии с четвертым вариантом воплощения может быть в значительной степени сохранено первоначальное субъективное качество изображения, хотя объективное качество изображения изменяется, то есть возможно предотвратить ухудшение субъективного качества изображения и улучшить соответствующую эффективность кодирования.
(5) Пятый вариант осуществления
Фиг.19 иллюстрирует пример структуры устройства 14 формирования оптимального отфильтрованного изображения в качестве пятого варианта осуществления настоящего изобретения.
По сравнению с устройством 12 формирования оптимального отфильтрованного изображения (см. Фиг.9) третьего варианта осуществления устройство 14 формирования оптимального отфильтрованного изображения пятого варианта осуществления дополнительно включает в себя блок 150 определения высокочастотных элементов, блок 151 измерения высокочастотных элементов с движением и блок 152 дополнительной корректировки оптимальной ширины полосы пропускания.
Блок 150 определения высокочастотных элементов определяет, является ли элемент, который имеет данные B(1) разделенного на элементы исходного изображения (в качестве цели обработки), элементом, характеризуемым высокочастотной составляющей. Если определено, что соответствующий элемент не является таким элементом с высокочастотной составляющей, блок 150 определения высокочастотных элементов передает результат обработки блока 131 корректировки оптимальной ширины полосы пропускания непосредственно блоку 110 вычисления массива оптимальных коэффициентов фильтрации.
Если блоком 150 определения высокочастотных элементов определено, что соответствующий элемент является элементом с высокочастотной составляющей, блок 151 измерения высокочастотных элементов с движением измеряет количество элементов с высокочастотной составляющей в кадре, которым принадлежит целевой элемент обработки, а также количество элементов с высокочастотной составляющей в предыдущем кадре (то есть предшествующих во времени кадру целевого элемента). На основе результатов измерения блок 151 измерения высокочастотных элементов с движением определяет, имеет ли целевой элемент обработки движение (то есть обнаруживается движение в элементе). Если определено, что соответствующий элемент не имеет движения, блок 151 измерения высокочастотных элементов с движением передает результат обработки блока 131 корректировки оптимальной ширины полосы пропускания непосредственно блоку 110 вычисления массива оптимальных коэффициентов фильтрации.
Если блоком 151 измерения высокочастотных элементов с движением определено, что соответствующий элемент имеет движение, то есть наконец определено, что целевой элемент обработки представляет собой элемент с высокочастотной составляющей, имеющий движение, то блок 152 дополнительной корректировки оптимальной ширины полосы пропускания дополнительно корректирует оптимальную ширину полосы пропускания, скорректированную блоком 131 корректировки оптимальной ширины полосы пропускания (который не может повторно скорректировать оптимальную ширину полосы пропускания).
При этом блок 105 формирования данных отфильтрованного изображения, блок 106 вычисления коэффициента распределения, блок 109 определения оптимальной ширины полосы пропускания, блок 130 сравнения оптимальной ширины полосы пропускания и блок 131 корректировки оптимальной ширины полосы пропускания образуют часть внутрикадровой обработки изображения; а блок 110 вычисления массива оптимальных коэффициентов фильтрации, блок определения высокочастотных элементов, блок 151 измерения высокочастотных элементов с движением и блок 152 дополнительной корректировки оптимальной ширины полосы пропускания образуют часть межкадровой обработки изображения.
Аналогично устройству 13 формирования оптимального отфильтрованного изображения четвертого варианта осуществления устройство 14 формирования оптимального отфильтрованного изображения пятого варианта осуществления, имеющее описанную выше структуру, исполняет блок-схему последовательности операций, показанную на Фиг.17. Однако в отличие от устройства 13 формирования оптимального отфильтрованного изображения, устройство 14 формирования оптимального отфильтрованного изображения исполняет процесс корректировки оптимальной ширины полосы пропускания на основе межкадровой обработки изображения (см. этап S410) в соответствии с блок-схемой последовательности операций, показанной на Фиг.20.
Далее со ссылкой на блок-схему последовательности операций, показанную на Фиг.20, будет разъяснен процесс корректировки оптимальной ширины полосы пропускания на основе межкадровой обработки изображения, выполняемый устройством 14 формирования оптимального отфильтрованного изображения настоящего варианта осуществления.
В устройстве 14 формирования оптимального отфильтрованного изображения того, как оптимальная ширина r2 полосы, определенная на этапе S408, скорректирована на этапе S409 на основе внутрикадровой обработки изображения (см. блок-схему последовательности операций на Фиг.17), обработка переходит к блок-схеме последовательности операций, показанной на Фиг.20. На первом этапе S600 извлекается коэффициент X(n,m) размещения целевого элемента обработки, к которому была применена внутрикадровая обработка изображения.
Коэффициент X(n,m) размещения был вычислен на этапе S406 блок-схемы последовательности операций, показанной на Фиг.17, где n - номер кадра, которому принадлежит целевой элемент обработки, и m - номер целевого элемента обработки.
В следующем этапе S601 определяется, больше ли извлеченный коэффициент X(n,m) размещения, чем предопределенный порог Xth. Если определено, что извлеченный коэффициент X(n,m) размещения меньше или равен порогу Xth, то далее определяется, что целевой элемент обработки не является элементом, характеризуемым высокочастотной составляющей, и что оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409 (блок-схемы последовательности операций на Фиг.17), используется без изменений и без выполнения следующих процессов. В соответствии с этим обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
Напротив, если на этапе S601 определено, что извлеченный коэффициент X(n,m) размещения больше порога Xth, то далее определяется, что целевой элемент обработки является элементом с высокочастотной составляющей, и обработка переходит на этап S602. На этапе S602 на основе коэффициента X размещения каждого элемента в кадре, к которому принадлежит целевой элемент обработки, вычисляется количество M(n) элементов с высокочастотной составляющей, принадлежащих соответствующему кадру.
На следующем этапе S603 на основе коэффициента X размещения для каждого элемента в предыдущем кадре, непосредственно предшествующем кадру, которому принадлежит целевой элемент обработки, вычисляется количество M(n-1) элементов с высокочастотной составляющей, принадлежащих предыдущему кадру.
На следующем этапе S604 вычисляется разность |M(n)-M(n-1)| между количеством M(n) элементов, вычисленным на этапе S602, и количеством M(n-1) элементов, вычисленным на этапе S603, и определяется, является ли разность больше предопределенного порога Mth. Если определено, что разность меньше или равна порогу Mth, то также определено, что кадр, которому принадлежит целевой элемент обработки, не проявляет движения, и целевой элемент обработки не является элементом, имеющим движение. Поэтому также определено, что оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409 (блок-схемы последовательности операций на Фиг.17), используется без изменений и без выполнения следующих процессов. В соответствии с этим обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
Напротив, если на этапе S604 определено, что разность |M(n)-M(n-1)| между количеством M(n) элементов, вычисленным на этапе S602, и количеством M(n-1) элементов, вычисленным на этапе S603, больше порога Mth, то также определено, что кадр, которому принадлежит целевой элемент обработки, проявляет наличие движения, и целевой элемент обработки является элементом, имеющим движение. Поэтому обработка переходит на этап S605, на котором оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, дополнительно корректируется в значение r4, с тем чтобы уменьшить значение r3 (или r2). Затем обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
Например, оптимальная ширина r3 (или r2) полосы, скорректированная на этапе S409, умножается на вес W, который меньше единицы (то есть 0<W<1), с тем чтобы дополнительно скорректировать значение r3 (или r2) в значение r4, и затем обработка переходит на этап S411 блок-схемы последовательности операций, показанной на Фиг.17.
В соответствии с описанной выше корректировкой может быть значительно ограничена высокочастотная составляющая в элементе с высокочастотной составляющей, имеющем движение.
Далее будет конкретно разъяснена вышеописанная обработка.
Предполагается, что оптимальная ширина r2 (или r3) полосы, которая была получена с помощью процесса блока 131 корректировки оптимальной ширины полосы пропускания, равна 0,9; номер n кадра, которому принадлежит целевой элемент обработки, равен 5; номер m соответствующего элемента равен 1000; вычисленный коэффициент распределения X(5,1000) больше 1,9; порог Xth (=1,9) обеспечен блоку 150 определения высокочастотных элементов; порог Mth (=15) обеспечен блоку 151 измерения высокочастотных элементов с движением; и весовой коэффициент W (=0,7) обеспечен блоку 152 дополнительной корректировки оптимальной ширины полосы пропускания.
Сначала блок 150 определения высокочастотных элементов определяет, что целевой элемент обработки является элементом с высокочастотной составляющей, поскольку коэффициент распределения X(5,1000), вычисленный с помощью блока 106 вычисления коэффициента, больше порога Xth (=1,9).
Затем блок 151 измерения высокочастотных элементов с движением вычисляет количество элементов, которые удовлетворяют условию X(5)>Xth(=1,9), среди коэффициентов X(5) размещения, вычисленных блоком 106 вычисления коэффициентов размещения, а также вычисляет для четвертого кадра, непосредственно предшествующего пятому кадру, количество элементов, которые удовлетворяют условию X(4)>Xth(=1,9), среди коэффициентов X(4) размещения. Здесь предполагается, что вычисленные значения M(5) и M(4) соответственно равны 11 и 35.
Затем блок 151 измерения высокочастотных элементов с движением вычисляет разность |M(5)-M(4)| между вычисленными значениями M(5) и M(4), то есть |11-35|=24. В этом случае 24 больше, чем Mth (=15), и поэтому наконец определяется, что целевой элемент обработки является элементом с высокочастотной составляющей, имеющим движение.
В соответствии с этим, блок 152 дополнительной подстройки ширины полосы пропускания применяет взвешивание к оптимальной ширине r2 полосы целевого элемента обработки, то есть r4=r2×W (=0,7), и оптимальная ширина r4 полосы равна 0,63. Затем выполняется процесс фильтрации с использованием этой обновленной оптимальной ширины полосы пропускания, с тем чтобы получить конечные данные оптимального отфильтрованного изображения.
Как понятно из описанной выше обработки, когда каждый из элементов, соответствующих условию M(5)=11, становится целевым элементом обработки, его оптимальная ширина r2 полосы подвергается аналогичному взвешиванию (то есть r4=r2×W (=0,7)), и выполняется процесс фильтрации с использованием этой обновленной оптимальной ширины полосы пропускания, с тем чтобы получить конечные данные оптимального отфильтрованного изображения.
В соответствии с описанной выше обработкой отношение PSNR каждого высокочастотного элемента, имеющего движение, становится равным 30 дБ, и отношение PSNR каждого высокочастотного элемента, не имеющего движения, становится равным 40 дБ, причем различие визуально незаметно.
В случае, когда M(5)=11 и M(4)=21, условие |M(5)-M(4)|>Mth не удовлетворяется, и поэтому определяется, что целевой элемент обработки является высокочастотным элементом, не имеющим движения. Поэтому корректировка в блоке 152 дополнительной корректировки оптимальной ширины полосы пропускания не нужна, и оптимальная ширина r2 полосы становится оптимальной шириной r4 полосы без изменений. Затем выполняется соответствующий процесс фильтрации, с тем чтобы получить данные оптимального отфильтрованного изображения.
Упомянутое выше значение M(n) изменяется в зависимости от порога Xth, и критерий для определения наличия или отсутствия движения задается в зависимости от порога Mth. Поэтому пороги Xth и Mth должны быть установлены с учетом размера элемента и т.п.
Что касается установки порога Mth, вместо того, чтобы обеспечить фиксированное численное значение, может быть положено Mth=E×0,1, то есть в виде отношения к количеству E частей разделения.
Если используется такое отношение Mth=E×0,1, то по сравнению с предыдущим кадром 10% от количества элементов с высокочастотной составляющей изменяются с элементов с высокочастотной составляющей на элементы с низкочастотной составляющей, в то время как соответствующее количество элементов с низкочастотной составляющей изменяется с элементов с низкочастотной составляющей на элементы с высокочастотной составляющей. Также в этом случае могут быть получены эффекты, аналогичные тем, которые получены при обеспечении фиксированного численного значения.
Кроме того, хотя при сравнении количества элементов с высокочастотной составляющей используется предыдущий кадр, непосредственно предшествующий текущему кадру, аналогичные эффекты могут быть получены при использовании другого кадра до или после текущего кадра.
В соответствии с пятым вариантом воплощения высокочастотная составляющая может быть значительно ограничена в области, имеющей движение. Поэтому в отличие от первого, второго и третьего вариантов воплощения и аналогично четвертому варианту воплощения первоначальное субъективное качество изображения может быть в значительной степени сохранено, хотя изменяется объективное качество изображения, и поэтому возможно предотвратить ухудшение субъективного качества изображения и улучшить соответствующую эффективность кодирования.
Таким образом, в соответствии с пятым вариантом воплощения может быть значительно ограничена высокочастотная составляющая, имеющая движение. Поэтому эффективность кодирования может быть улучшена с меньшим ухудшением субъективного качества изображения по сравнению с четвертым вариантом воплощения.
(6) О настоящем изобретении
Как разъяснено в первом или втором варианте осуществления, настоящее изобретение не использует способ, в котором данные B(r2)_all оптимального отфильтрованного изображения формируются с использованием общей оптимальной ширины r2 полосы для всего кадра соответствующего видеоизображения, а формирует данные B(r2) оптимального отфильтрованного изображения с использованием оптимальной ширины r2 полосы, назначенной каждому элементу, заданному посредством разделения данных изображения для кадра, и далее формирует данные B(r2)_all оптимального отфильтрованного изображения посредством синтеза каждых данных B(r2) оптимального отфильтрованного изображения.
Поэтому, только если в соответствующем кадре (см. кадр N на Фиг.21) присутствует область, характеризуемая низкочастотной составляющей, данные оптимального отфильтрованного изображения формируются с использованием силы фильтра, соответствующей низкочастотной составляющей.
Напротив, если в соответствующем кадре (см. кадр N+1 на Фиг.21) присутствуют и область, характеризуемая низкочастотной составляющей, и область, характеризуемая высокочастотной составляющей, данные оптимального отфильтрованного изображения формируются посредством раздельного применения силы фильтра, соответствующей низкочастотной составляющей, к области с низкочастотной составляющей и силы фильтра, соответствующей высокочастотной составляющей, к области с высокочастотной составляющей.
Поэтому в соответствии с настоящим изобретением (i) каждый кадр может иметь однородное качество изображения и, таким образом, иметь однородное отображение, и (ii) качество изображения в пределах каждого кадра может быть однородным, и, таким образом, отображение в пределах кадра также может быть однородным.
Также в соответствии с настоящим изобретением, имеющим описанные выше эффекты, шумы на границах областей, вызванные процессом фильтрации, применяемой к каждой области, могут быть уменьшены, как описано в третьем варианте осуществления, и тем самым уменьшается ухудшение субъективного качества изображения.
Также в соответствии с настоящим изобретением, имеющим описанные выше эффекты, высокочастотная составляющая в области, имеющей движение, может быть значительно ограничена, как описано в четвертом варианте осуществления, или высокочастотная составляющая в области с высокочастотной составляющей, имеющей движение, может быть значительно ограничена, как описано в пятом варианте осуществления, и тем самым улучшается эффективность кодирования, не вызывая ухудшение субъективного качества изображения.
Фиг.22 иллюстрирует результаты эксперимента, выполненного для проверки эффективности настоящего изобретения.
Для сравнения с настоящим изобретением в упомянутом выше эксперименте сравнительные данные оптимального отфильтрованного изображения были сформированы с использованием общей оптимальной ширины полосы пропускания для всего кадра. Кроме того, были сформированы данные оптимального отфильтрованного изображения в соответствии с третьим вариантом воплощения, субъективное качество изображения которых было в значительной степени равно субъективному качеству изображения для сравнительных данных оптимального отфильтрованного изображения. Кроме того, были сформированы данные оптимального отфильтрованного изображения в соответствии с четвертым вариантом воплощения, субъективное качество изображения которых было в значительной степени равно субъективному качеству изображения для сравнительных данных оптимального отфильтрованного изображения. Упомянутые выше три части данных оптимального отфильтрованного изображения были подвергнуты кодированию при одних и тех же условиях, и было вычислено количество кода. Затем был вычислен коэффициент уменьшения посредством сравнения каждого количества кода с количеством кода, полученного с помощью кодирования данные исходного изображения.
На Фиг.22 горизонтальная ось обозначает параметр квантования (QP), используемый для кодирования, и вертикальная ось обозначает коэффициент уменьшения количества кода.
На Фиг.22 (i) экспериментальные данные "единичного кадра" были получены посредством формирования данных оптимального отфильтрованного изображения с использованием общей оптимальной ширины полосы пропускания для всего кадра, (ii) экспериментальные данные "единичного элемента с учетом движения" были получены посредством формирования данных оптимального отфильтрованного изображения в соответствии с третьим вариантом воплощения и (iii) экспериментальные данные "единичного элемента без учета движения" были получены посредством формирования данных оптимального отфильтрованного изображения в соответствии с четвертым вариантом воплощения.
Что касается экспериментальных данных, можно подтвердить, что количество сформированного кода может быть значительно уменьшено с использованием настоящего изобретения и при этом может быть в значительной степени сохранено первоначальное субъективное качество изображения. Поэтому эффективность настоящего изобретения могла быть подтверждена.
Хотя настоящее изобретение было разъяснено в соответствии с вариантами воплощения со ссылкой на чертежи, настоящее изобретение не ограничивается вариантами воплощения.
Например, хотя предполагается, что отношение PSNR используется в качестве примера информации об ошибках в разъясненных выше вариантах воплощения, аналогичные эффекты могут быть получены при использовании среднеквадратичной ошибки, дисперсии и т.п., включающих в себя информацию об ошибках для соответствующих пикселей.
Кроме того, разъясненные выше варианты воплощения предполагают пример, в котором размер исходного изображения составляет 1920×1080 и размер элемента составляет 32×18. Однако таблица 103 определения первой ширины полосы пропускания, которая задает первую ширину r1 полосы, соответствующую различным размерам данных исходного изображения и размерам элемента, может быть подготовлена заранее и предоставлена блоку 102 определения ширины полосы пропускания, с тем чтобы применить настоящее изобретение к изображениям, имеющим любой желаемый размер.
Кроме того, разъясненные выше варианты воплощения предполагают, что каждый элемент имеет прямоугольную форму. Однако форма каждого элемента также не ограничивается, и аналогичные эффекты могут быть получены при использовании формы, отличающейся от прямоугольника (например, крест, треугольник или круг).
Разъясненные выше варианты воплощения также предполагают, что количество частей разделения изображения является одним и тем же в горизонтальном, и в вертикальном направлениях. Однако аналогичные эффекты могут быть получены, даже когда разные количества частей разделения (например, E1 и E 5) соответственно назначаются для горизонтального и вертикального направлений.
Кроме того, четвертый и пятый варианты воплощения предполагают, что коэффициент взвешивания имеет одно и то же значение и в горизонтальном, и в вертикальном направлениях. Однако аналогичные эффекты могут быть получены, даже когда используются разные значения.
Разъясненные выше варианты воплощения также предполагают, что первая ширина полосы пропускания и оптимальная ширина полосы пропускания, каждая, являются одной и той же и в горизонтальном, и в вертикальном направлениях. Однако аналогичные эффекты могут быть получены, даже когда разные значения (например, B1 и B5 (для ограничения полосы)) соответственно назначаются для горизонтального и вертикального направлений, с тем чтобы положительно использовать следующее явление: в видеоизображении, показывающем дальний план пейзажа или большой грузовик, происходит больше изменений яркости в вертикальном направлении по сравнению с горизонтальным направлением, поскольку имеется притяжение в вертикальном направлении.
Хотя описанные выше варианты воплощения не предоставили разъяснения о том, какой фильтр используется, может использоваться цифровой фильтр с 7 отводами, и аналогичные эффекты могут быть получены с использованием другого количества отводов.
Кроме того, не налагаются какие-либо специальные ограничения на способ проектирования цифрового фильтра для реализации заданного ограничения полосы. Например, желаемый вид частотной характеристики может быть подвергнут обратному Z-преобразованию, с тем чтобы получить и спроектировать массив коэффициентов фильтрации цифрового фильтра, имеющего соответствующие частотные характеристики.
Также в описанных выше вариантах воплощения значение 51,2 используется в качестве значения G в формуле, используемой для вычисления коэффициента X размещения. Однако значение G зависит от характеристик используемого цифрового фильтра и должно быть соответствующим образом модифицировано, когда используется другой цифровой фильтр.
Хотя описанные выше варианты воплощения не предоставили специального разъяснения, обработка полосы может быть применена не только к составляющей яркости, но также и к составляющей цветовой разности. В таком случае эффективность кодирования может быть дополнительно улучшена.
Кроме того, в вариантах воплощения используется только порог для нижнего предела, например X(n,m)>Xth. Однако аналогичные эффекты могут быть получены при установлении порога для верхнего предела.
Кроме того, каждый из разъясненных выше четвертого и пятого вариантов воплощения выполняет внутрикадровую обработку изображения и межкадровую обработку изображения. Однако аналогичные эффекты могут быть получены при выполнении любой обработки из внутрикадровой обработки изображения и межкадровой обработки изображения.
Хотя не было предоставлено разъяснение комбинации между описанными выше вариантами воплощения, любая комбинация между вариантами воплощения является возможной, и аналогичные эффекты могут быть получены, даже когда изменяется порядок выполнения соответствующих процессов.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
В соответствии с настоящим изобретением адаптивный процесс фильтрации для изображений, которые образуют видеоизображение, может быть реализован без процесса кодирования и без повторяющейся обработки и с учетом частотного распределения в кадре или между кадрами изображений, и тем самым эффективно формируется отфильтрованное изображение, имеющее заданное значение оценки качества изображения.
Класс H04N7/26 с использованием уменьшения ширины полосы частот
Класс G06K9/40 фильтрация помех
Класс H03H7/12 полосовые или режекторные фильтры с регулируемой шириной полосы пропускания и фиксированной средней частотой
