способ имитации зерна пленки на битовом уровне

Формула изобретения

1. Способ имитации зерна пленки в части изображения, содержащий этапы: определяют среднее для значений пикселей, входящих в упомянутую часть изображения; случайно выбирают блок зерна пленки из группы ранее созданных блоков, содержащих зерно пленки, как функцию от упомянутого среднего значения для значений пикселей части изображения.

2. Способ по п.1, дополнительно содержащий этап, на котором смешивают каждый пиксель в выбранном блоке зерна пленки с соответствующим пикселем в части изображения.

3. Способ по п.1, в котором этап случайного выбора блока зерна пленки дополнительно содержит этап, на котором обращаются к справочной таблице, содержащей случайные числа, чтобы получить случайное число.

4. Способ по п.2, дополнительно содержащий этап, на котором перед имитацией зерна пленки заполняют упомянутую справочную таблицу случайными числами, сгенерированными генератором случайных чисел.

5. Способ создания блоков пикселей, содержащих зерно пленки, для случайного выбора как функции от упомянутого среднего значения части изображения, причем этот способ содержит этапы: принимают информацию о зерне пленки, которая включает в себя, по меньшей мере, один параметр, указывающий характеристику зерна пленки, представляемого в упомянутых блоках; создают блоки случайных значений, выбранных из ранее созданного списка, содержащего случайные числа с Гауссовским распределением; получают преобразованный блок случайных чисел; фильтруют коэффициенты для преобразованных блоков с использованием, по меньшей мере, одного параметра, содержащегося в принятой информации о зерне пленки; выполняют преобразование отфильтрованного набора коэффициентов для блоков; масштабируют все значения пикселей для каждого из упомянутых блоков, как указано одним из параметров, содержащихся в принятой информации о зерне пленки; и сохраняют каждый из блоков зерна пленки в группе блоков зерна пленки для выбора как функции от упомянутого среднего значения части изображения и случайного числа.

6. Способ по п.5, дополнительно содержащий этап, на котором выполняют целочисленное аппроксимирование Дискретного косинусного преобразования и Обратного дискретного косинусного преобразования, чтобы снизить уровень сложности.

7. Способ по п.5, дополнительно содержащий этап, на котором масштабируют верхнюю и нижнюю границы каждого из блоков зерна пленки, чтобы сделать незаметными эти границы.

8. Способ по п.5, в котором на упомянутом этапе приема информации о зерне пленки дополнительно декодируют сообщение SEI (Дополнительная вспомогательная информация), содержащее упомянутый, по меньшей мере, один параметр.

9. Устройство для имитации зерна пленки в части изображения, содержащее средство вычисления среднего для значений пикселей, входящих в упомянутую часть изображения; средство случайного выбора блока зерна пленки из группы ранее созданных блоков, содержащих зерно пленки как функции от упомянутого среднего значения части изображения; и средство смешивания каждого пикселя в выбранном блоке зерна пленки с соответствующим пикселем в упомянутой части изображения.

10. Устройство по п.9, в котором средство случайного выбора блока зерна пленки использует справочную таблицу, содержащую случайные числа.

11. Устройство по п.9, в котором перед имитацией зерна пленки заполняют упомянутую справочную таблицу случайными числами, сгенерированными генератором случайных чисел.

12. Устройство для создания блока пикселей, содержащего зерно пленки для случайного выбора как функции от упомянутого среднего значения части изображения и случайного числа, причем это устройство содержит средство приема информации о зерне пленки, которая включает в себя, по меньшей мере, один параметр, указывающий характеристику зерна пленки, представляемого в упомянутой части изображения; средство создания блока случайных значений, выбранных из ранее созданного списка, содержащего случайные числа с Гауссовским распределением; средство вычисления Дискретного косинусного преобразования для блока случайных чисел; средство фильтрации коэффициентов, полученных в результате упомянутого Дискретного косинусного преобразования, с использованием, по меньшей мере, одного параметра, содержащегося в принятой информации о зерне пленки; средство вычисления Обратного дискретного косинусного преобразования для отфильтрованного набора коэффициентов; средство масштабирования всех значений пикселей для упомянутого блока, как указано одним из параметров, содержащихся в принятой информации о зерне пленки; и средство хранения созданного блока зерна пленки в группе блоков зерна пленки для выбора как функции от упомянутого среднего значения для части изображения и случайного числа.

13. Устройство по п.12, дополнительно содержащее средство выполнения целочисленного аппроксимирования Дискретного косинусного преобразования и Обратного дискретного косинусного преобразования для снижения уровня сложности.

14. Устройство по п.12, дополнительно содержащее средство масштабирования верхней и нижней границ созданного блока зерна пленки, чтобы сделать незаметными эти границы.

15. Устройство по п.11, в котором упомянутое средство приема информации о зерне пленки дополнительно содержит средство декодирования сообщения SEI (Дополнительная вспомогательная информация), содержащего упомянутый, по меньшей мере, один параметр.

Описание изобретения к патенту

Перекрестная ссылка на родственные заявки

Согласно статье 119(е) Раздела 35 Кодекса законов США (USC, United States Code), эта заявка испрашивает приоритет предварительной заявки на патент США № 60/511,026, зарегистрированной 14 октября 2003 года, которая этим упоминанием включена в текст данного описания.

Область техники, к которой относится изобретение

Данное изобретение относится к технологии имитации зерна пленки в изображении.

Предшествующий уровень техники

Кинопленки содержат кристаллы галоида серебра, распределенные в эмульсии, которая несколькими тонкими слоями нанесена на основу пленки. Облучение и обработка этих кристаллов позволяют получить фотографическое изображение, состоящее из дискретных крошечных частиц серебра. На цветных негативах в местах, где после удаления серебра химическим путем во время обработки пленочного носителя образуются кристаллы серебра, возникают крошечные капли краски. Эти маленькие частички краски на цветной пленке обычно называют "зерном". Возникают зерна, распределенные в полученном изображении случайным образом из-за неупорядоченного характера образования кристаллов серебра в исходной эмульсии. В области равномерного облучения после такого облучения некоторые кристаллы возникают, а некоторые - нет.

Зерно изменяется по размеру и форме. Чем чувствительнее пленка, тем больше образующиеся скопления серебра и возникающие капли краски и тем больше их тенденция к группировке в структуры случайного характера. В типичном случае термин "зернистость" относится к структуре зерна. Невооруженным глазом невозможно различить отдельные зерна, размер которых изменяется в диапазоне от 0,0002 мм до приблизительно 0,002 мм. Вместо этого глазом воспринимаются группы зерен, называемых каплями. Наблюдатель идентифицирует эти группы капель как зерно пленки. По мере увеличения разрешения изображения восприятие зерна пленки улучшается. Зерно пленки становится четко заметным в кинематографических изображениях и изображениях высокого разрешения (HD), в то время как зерно пленки постепенно теряет значительность при стандартном разрешении (SD) и становится невоспринимаемым в меньших форматах.

Кинофильм в типичном случае содержит зависящий от изображения шум, являющийся результатом либо физического процесса облучения и обработки фотографической пленки, либо последующего редактирования изображения. Фотографическая пленка обладает характерной квазислучайной структурой или текстурой, возникающей из-за физической зернистости фотографической эмульсии. В качестве альтернативы в созданных компьютером изображениях может иметь место имитация подобной структуры с целью стирания различий между ними и фотографической пленкой. В обоих случаях этот зависящий от изображения шум обозначают термином "зерно пленки". Достаточно часто умеренная текстура зерна представляет собой желаемое свойство в кинокартинах. В некоторых случаях зерно пленки создает визуальные эффекты, способствующие правильному восприятию двумерных картин. Зерно пленки часто меняется в пределах одного фильма, чтобы обеспечить различные эффекты, относящиеся к указанию времени, точке наблюдения и т.д. Для управления текстурой зерна в кинематографической индустрии существует множество других технических и художественных соображений. Таким образом, сохранение зернистого вида изображений в процессе их обработки и передачи стало одним из неотъемлемых требований в кинематографической индустрии.

На рынке предлагается несколько продуктов, позволяющих имитировать зерно пленки, часто с целью введения созданных компьютером объектов в естественную сцену. Продукт Cineon® компании Eastman Kodak Co, Рочестер, штат Нью-Йорк, одно из первых приложений для цифрового видео, предназначенное для имитации зерна, обеспечивает очень реалистичные результаты для многих типов зерен. Однако приложение Cineon® не обеспечивает хороших характеристик при работе со множеством высокочувствительных пленок из-за заметных диагональных полос, которые это приложение создает при задании больших размеров зерна. Кроме того, при использовании приложения Cineon® не удается имитировать зерно с достаточной точностью, если изображения подвергают предварительной обработке, например, копированию или цифровой обработке.

Другим предлагаемым на рынке продуктом, который имитирует зерно пленки, является Grain Surgery от компании Visual Infinity Inc., который используется в качестве подключаемого модуля (плагина) в Adobe® After Effects®. Продукт Grain Surgery создает искусственное зерно путем фильтрации набора случайных чисел. Недостатком такого подхода является высокая сложность вычислений.

Следовательно, существует потребность в эффективной технологии имитации зерна пленки, которая снижает требования к емкости памяти и вычислительной мощности, таким образом, позволяя реализовать имитацию зерна пленки в чувствительных к цене устройствах массового производства, например телевизионных приставках.

Сущность изобретения

Если говорить кратко, согласно предпочтительному варианту реализации настоящего изобретения, предлагается способ имитации зерна пленки в блоке изображения размером М х N пикселей, где М и N - целые числа больше нуля. Выполнение способа начинается с вычисления среднего для значений пикселей, входящих в упомянутый блок М х N пикселей. Затем выбирают блок зерна пленки размером М х N пикселей из группы ранее созданных блоков, содержащих зерно пленки, как функцию от упомянутого среднего значения для блока изображения и случайного числа. Каждый пиксель в выбранном блоке зерна пленки смешивают с соответствующим пикселем в упомянутом блоке изображения.

Краткое описание чертежей

На фиг.1 изображена структурная схема устройства для генерации предварительно создаваемых блоков зерна пленки с целью их использования при последующей имитации зерна пленки; и

на фиг.2 изображена структурная схема устройства, соответствующего настоящему изобретению, для имитации зерна пленки на попиксельной основе с использованием предварительно созданных блоков зерна пленки, сгенерированных устройством, показанным на фиг.1.

Подробное описание изобретения

Введение

Способ, предлагаемый настоящим изобретением, имитирует зерно пленки в соответствии с информацией о зерне пленки, передаваемой вместе с изображением, в которое вводится имитированное зерно. На практике передаваемое изображение перед его передачей в типичном случае подвергается сжатию (кодированию) при помощи одного из множества хорошо известных алгоритмов сжатия, например, Н.264. При сжатии передаваемого изображения с использованием алгоритма сжатия Н.264 передача информации о зерне пленки в типичном случае осуществляется при помощи сообщения SEI (Supplemental Enhancement Information - Дополнительная вспомогательная информация). Согласно дополнениям, принятым в последнее время организацией по стандартизации, ответственной за распространение стандарта Н.264, сообщение SEI может теперь включать разные параметры, задающие различные характеристики зерна пленки.

Ограничения, касающиеся параметров зерна пленки, в сообщении SEI

Способ, соответствующий настоящему изобретению, накладывает некоторые ограничения, касающиеся количества параметров и диапазона их возможных значений, допускаемых рекомендациями Н.264. В Таблице 1 приведен список таких параметров, включая описание их семантики и упомянутые ограничения, накладываемые настоящим изобретением.

Таблица 1

Параметр зерна пленки	Описание и ограничения
model_id	Этот параметр задает модель имитации. Он должен быть равен 0, что указывает модель имитации зерна пленки в виде частотной фильтрации.
separate_colour_description_ present_flag	Этот параметр указывает, отличается ли цветовое пространство, в котором определены параметры, от цветового пространства, в котором закодирована видеопоследовательность (в которую вставлено сообщение SEI о зерне пленки). Он должен быть равен 0, что указывает, что цветовое пространство для зерна пленки идентично цветовому пространству кодированной последовательности.
blending_mode_id	Этот параметр указывает режим смешивания, используемый для смешивания имитированного зерна пленки с декодированными изображениями. Он должен быть равен 0, что соответствует режиму примешивания дополнительного компонента.
log2_scale_factor	Этот параметр указывает логарифмический масштабный коэффициент, используемый для представления параметров зерна пленки в сообщении SEI. Он должен находиться в диапазоне [0,4], чтобы обеспечить выполнение имитации зерна пленки с использованием 16-битовой арифметики.
comp_model_present_flag[1]	Этот параметр позволяет передавать параметры зерна пленки для компонента цвета Cb в цветовом пространстве YCbCr. Он должен быть равен 0, так как имитация зерна пленки в цветности не поддерживается.
comp_model_present_flag[2]	Этот параметр позволяет передавать параметры зерна пленки для компонента цвета Cr в цветовом пространстве YCbCr. Он должен быть равен 0, так как имитация зерна пленки в цветности не поддерживается.
no_intensity_intervals_minus1[0]	Этот параметр определяет количество интервалов интенсивности, для которых определен конкретный набор параметров. Он должен находиться в диапазоне [0,7].
intensity_interval_lower_bound[0][i+1] intensity_interval_upper_bound[0][i]	Эти параметры определяют границы интервалов интенсивности яркости, для которых определены различные параметры зерна пленки. Нижняя граница интервала i+1 должна быть выше верхней границы интервала i, так как не допускается создание зерна пленки в несколько этапов.
num_model_values_minus1[0]	Этот параметр задает количество значений модели, имеющихся для каждого интервала интенсивности, в котором смоделировано зерно пленки. Оно должно находиться в диапазоне [0,4], так как корреляция цвета не допускается.
Comp_model_value[0][i][0]	Этот параметр представляет интенсивность зерна пленки для каждого интервала интенсивности яркости, в котором смоделировано зерно пленки. Он должен находиться в диапазоне [0,255], чтобы обеспечить выполнение имитации зерна пленки с использованием 16-битовой арифметики.

В дополнение к приведенным выше ограничениям настоящим изобретением предполагается, что сообщения SEI о зерне пленки предшествуют I-кадрам, и только одно сообщение SEI о зерне пленки может предшествовать конкретному I-кадру. (На наличие в битовом потоке I-кадра указывает slice_type, равный 7, или nal_ref_idc, равный 5).

Все другие параметры сообщения SEI о зерне пленки не имеют ограничений по сравнению со стандартной спецификацией.

Реализация имитации зерна пленки на битовом уровне

Имитация зерна пленки в соответствии с настоящим изобретением происходит в два этапа. Сначала во время инициализации происходит генерация группы блоков зерна пленки, как описано более подробно применительно к Фиг.1. После этого выбранные участки зерна пленки добавляются к каждому пикселю яркости каждого декодированного кадра, как описано применительно к фиг.2.

На фиг.1 изображено устройство 10, соответствующее рассматриваемому варианту реализации настоящего изобретения и предназначенное для генерации группы блоков зерна пленки, используемых при имитации зерна. В типичном случае устройство 10 генерирует группу из 128 блоков зерна пленки для каждого из 8 различных интервалов интенсивности яркости. В поле сообщения SEI num_intensity_intervals_minus1[0] указывается значение на единицу меньше количества интервалов интенсивности яркости.

Устройство 10 выполняет инициализацию шума, соответствующего зерну пленки, используя генератор 12 равномерно распределенных псевдослучайных чисел на основе конкретного многочлена и используя конкретный список из 2048 8-битовых случайных чисел с Гауссовским распределением, хранящийся в справочной таблице 14. Справочная таблица 14 хранит случайные числа, имеющие форму двоичного дополнительного кода, в диапазоне [-63,63]. Список случайных чисел с Гауссовским распределением приведен в Приложении.

В соответствии с выполнением процесса на битовом уровне, которое является характеристикой настоящего изобретения, генерация блоков зерна пленки начинается с нижнего интервала интенсивности яркости. Генератор 12 равномерно распределенных случайных чисел генерирует индекс для списка случайных чисел с Гауссовским распределением, хранящегося в справочной таблице 14, с использованием оператора на основе примитивного многочлена по модулю 2, х ¹⁸ + х⁵ + х ² + х¹ + 1. Чтобы облегчить понимание, элемент х(i,s) будет обозначать i-тый символ последовательности х, начинающейся с начального числа s. Начальное число последовательности случайных чисел устанавливается в 1 при приеме каждого сообщения SEI о зерне пленки.

Для создания отдельного блока 8х8 для зерна пленки генератор 16 случайных блоков считывает 8 строк, заполненных 8 случайными числами, из справочной таблицы 14 случайных чисел с Гауссовским распределением. Для обращения к каждой строке из 8 случайных чисел служит случайное смещение, поступающее из генератора 12 случайных чисел. Каждая строка блока, создаваемого генератором 16 случайных блоков, генерируется следующим образом:

index = x(i,1)

for n = 0...7, B[i%8][n] = Gaussian_list[(index + n)%2048]

где i увеличивается на 1 для каждой строки блока 8х1.

Блок 8 х 8 из случайных значений, считанных генератором 16, подвергается преобразованию, в типичном случае целочисленному дискретному косинусному преобразованию (DCT), выполняемому блоком 18 целочисленного DCT-преобразования. После DCT-преобразования 8х8 случайных значений подвергаются частотной фильтрации в частотном фильтре 20 в соответствии с частотами среза, указанными в сообщении SEI. После частотной фильтрации 8х8 случайных значений подвергаются обратному DCT-преобразованию с использованием блока 22 обратного целочисленного DCT-преобразования. Первый блок 24 масштабирования масштабирует пиксели в верхней и нижней строках блока следующим образом:

for n = 0...7, B'[0][n] = (B[0][n] + 1)>>1

for n = 0...7, B'[7][n] = (B[7][n] + 1)>>1

Этот процесс продолжается до тех пор, пока не будет сгенерирован набор из 128 блоков зерна пленки для каждого интервала интенсивности яркости. После выполнения последующего масштабирования с использованием второго блока 26 масштабирования блоки зерна пленки сохраняются в накопителе 28 для зерен пленки.

Операции с блоками и пикселями для имитации зерна пленки

На фиг.2 изображено устройство 200, соответствующее рассматриваемому варианту реализации настоящего изобретения и предназначенное для имитации зерна пленки на попиксельной основе с использованием значений, сохраненных в накопителе 28 для зерен пленки. Устройство 200 содержит блок 202 обработки, создающий среднее для каждого блока 8х8 из значений пикселей яркости для сравнения с параметрами intensity_interval_lower_bound[0][i] и intensity_interval_upper_bound[0][i], содержащимися в сообщении SEI о зерне пленки, с целью определения корректного интервала интенсивности яркости для текущего блока.

В блоке 204 выбора выполняется выбор k-того блока зерна пленки из накопителя 28 с использованием случайного числа, сгенерированного генератором 16 равномерно распределенных случайных чисел на основе многочлена по модулю 128, в качестве индекса блока. Таким образом, генератор 16 шума, который генерирует равномерно распределенные случайные числа с использованием многочлена для процесса инициализации, описанного применительно к Фиг.1, используется в устройстве 200, показанном на Фиг.2 для выбора блоков зерна пленки, при этом начальное число для последовательности псевдослучайных чисел после создания группы устанавливается в 1. Если результирующий индекс блока идентичен предыдущему, происходит переключение последнего бита этого индекса. Такую операцию можно выполнять, используя побитовое сравнение и оператор XOR (^), следующим образом:

previous_index = index

index = x(k,1)%128

index ^= (index == previous_index)

После выбора блока фильтр 206 деблокирования деблокирует пиксели в крайнем правом столбце ранее выбранного блока и в крайнем левом столбце текущего блока. Сумматор 208 добавляет деблокированный блок зерна пленки к декодированным пикселям яркости. (Так как для выполнения деблокирования требуются два смежных по горизонтали блока, то существует задержка размером в 1 блок между блоком, выбранным в блоке 204 выбора, и блоком, добавленным в сумматоре 208). Блок 210 отсечения ограничивает результат диапазоном [0,255] для отображения. Отметим, что добавление шума, состоящего из зерна пленки, выполняется только для пикселей яркости.

Масштабирование частот среза

Приведенные в Таблице 1 параметры сообщения SEI о зерне пленки предполагают использование DCT-преобразования 16х16 в процессе имитации. В частности, горизонтальная и вертикальная верхние частоты среза, задаваемые comp_model_value[0][i][1] и comp_model_value[0][i][2], а также горизонтальная и вертикальная нижние частоты среза, задаваемые comp_model_value[0][i][3] и comp_model_value[0][i][4], служат для фильтрации коэффициентов преобразования для блока из 16х16 значений.

В рассматриваемом варианте реализации настоящего изобретения использование блоков 8х8 будет снижать уровень сложности. Осуществление преобразования блока 8х8 с использованием параметров частоты среза на основе преобразования 16х16 предполагает, что все частоты среза необходимо масштабировать перед генерацией зерна.

Масштабирование частот среза происходит следующим образом:

comp_model_value'[0][i][j] = (comp_model_value[0][i][j]+1)>>1,

где j находится в диапазоне [1,4]. Отметим, что масштабирование представляет собой эквивалент целочисленного деления с округлением до ближайшего целого числа.

Целочисленное преобразование и масштабирование отклонения

Преобразование, используемое для частотной фильтрации, соответствует 8х8 целочисленному аппроксимированию к DCT-преобразованию с применением следующей матрицы преобразования:

Может быть использована 16-битная арифметика. Прямое целочисленное преобразование заданного блока случайного шума определено как

при этом для используется 11 бит.

Обратное целочисленное преобразование определено как:

при этом для B используется 8 бит.

После выполнения обратного преобразования блок В подвергается масштабированию следующим образом, предполагая, что он находится в k-том интервале интенсивности яркости.

val = B(i,j)*comp_model_value[0][k][0]

B'(i,j)=(((val-(val>>4)+2^{log2_scale_factor-1} )>>log2_scale_factor)+16)>>5,

где операция (val-(val>>4)) корректирует масштабирование целочисленного преобразования; log_2_scale_factor, передаваемый в сообщении SEI, масштабирует comp_model_value[0][k][0]; и 5 масштабирует числа с Гауссовским распределением, приведенные в Приложении.

Фильтр 206 деблокирования

Как показано на фиг.2, устройство имитации зерна пленки содержит фильтр 206 деблокирования, предназначенный для сглаживания искажений от создания блоков, возникающих из-за небольшого размера преобразования. В рассматриваемом варианте реализации настоящего изобретения фильтр 206 деблокирования представляет собой трехкомпонентный фильтр, применяемый для всех пикселей, расположенных у левой и правой границ блока 8х8. Если строка пикселей относится к двум смежным блокам 8х8, причем переход между этими блоками расположен между пикселями b и с,

a

b

c

d

Блок А Блок В,

то деблокирование происходит следующим образом:

b' = (a + (b << 1) + c)>>2

c' = (b + (c << 1) + d)>>2,

где b' и c' соответственно заменяют значения исходных пикселей b и с. Деблокирование левой и правой границ блока осуществляется для каждого блока зерна пленки перед добавлением к декодированному изображению.

Выше была описана технология имитации зерна пленки в изображении. Приложение

Список 2048 случайных чисел с Гауссовским распределением: