способ и система генерации анимированных художественных эффектов на статичных изображениях

Формула изобретения

1. Способ генерации анимированных художественных эффектов на статичных изображениях, основанный на анализе признаков изображения и звукового сопровождения, работа которого предусматривает выполнение следующих операций: регистрируют исходное статичное изображение; детектируют на изображении области интереса и вычисляют их признаки; создают визуальные объекты художественного эффекта в соответствии с признаками детектированных ранее областей интереса; детектируют признаки звукового сопровождения; модифицируют параметры визуальных объектов в соответствии с признаками звукового сопровождения; генерируют кадр анимации, состоящий из исходного статичного изображения с наложенными визуальными объектами художественного эффекта.

2. Способ по п.1, отличающийся тем, в процессе детектирования на изображении областей интереса выполняют предварительную обработку исходного статичного изображения, включающую, по меньшей мере, одну из следующего списка операций: регулировка яркости, регулировка контраста, гамма-коррекция, настройка баланса белого цвета, преобразование цветовой системы изображения.

3. Способ по п.1, отличающийся тем, что для звукового сопровождения вычисляют любое подмножество из следующего набора признаков: громкость, спектр, скорость, такт, темп, ритм.

4. Способ по п.1, отличающийся тем, что в процессе генерации кадра анимации перед комбинированием с визуальными объектами пикселы исходного статичного изображения обрабатывают фильтром.

5. Способ по п.1, отличающийся тем, что при генерации кадра анимации визуальные объекты выбираются для отображения из множества доступных визуальных объектов случайным образом.

6. Способ по п.1, отличающийся тем, что при генерации кадра анимации визуальные объекты выбираются для отображения из множества доступных визуальных объектов на основе вероятности, которая зависит от признаков визуальных объектов.

7. Система генерации анимированных художественных эффектов на статичных изображениях, включающая в себя модуль детектирования областей интереса, выполненный с возможностью проведения анализа данных изображения и определения положения областей интереса, при этом на вход модуля поступает исходное изображение; модуль автоматически определяет положение областей интереса в соответствии с семантикой работы эффекта, используя методы и средства обработки и сегментации изображений; на выходе модуля формируется список обнаруженных областей интереса, который далее передается в модуль детектирования признаков областей интереса; модуль детектирования признаков областей интереса, выполненный с возможностью вычисления признаков областей интереса, при этом на вход модуля поступает список областей интереса, обнаруженных модулем детектирования областей интереса, и исходное изображение; модуль вычисляет набор признаков в соответствии с семантикой работы эффекта для каждой области интереса из входного списка; на выходе модуля формируется список признаков областей интереса, который далее передается в модуль генерации визуальных объектов; модуль генерации визуальных объектов, выполненный с возможностью создания визуальных объектов эффекта, при этом на вход модуля поступает список признаков областей интереса; модуль создает набор визуальных объектов, таких как фигуры, траектории, наборы вершин, текстуры, стили, а также составные объекты в соответствии с семантикой работы эффекта; на выходе модуля формируется список визуальных объектов, который далее передается в модуль генерации анимационных кадров; модуль детектирования признаков звукового сопровождения, выполненный с возможностью вычисления параметров звукового сопровождения, при этом на вход модуля поступает фрагмент аудиосигнала звукового сопровождения; модуль анализирует аудиоданные и определяет признаки в соответствии с семантикой работы эффекта; на выходе модуля по запросам модуля генерации анимационных кадров формируется список признаков звукового сопровождения для текущего момента времени; модуль генерации анимационных кадров, выполненный с возможностью формирования кадров анимации эффекта, комбинируя исходное статичное изображение и визуальные объекты, модифицированные на основе текущих признаков звукового сопровождения в соответствии с семантикой работы эффекта, при этом на вход модуля поступают исходное изображение, список визуальных объектов эффекта и список признаков звукового сопровождения; модуль формирует изображение кадра анимации, состоящее из исходного изображения с наложенными визуальными объектами, параметры которых модифицируются на основе признаков звукового сопровождения в соответствии с семантикой эффекта; на выходе модуля формируется изображение кадра анимации, которое далее передается на устройство отображения; устройство отображения, выполненное с возможностью представления пользователю кадров анимации, полученных от модуля генерации анимационных кадров.

8. Система по п.7, отличающаяся тем, что модуль детектирования признаков звукового сопровождения содержит блок экстраполяции значений признаков, что позволяет модулю работать асинхронно с модулем генерации анимационных кадров, т.е. модуль детектирования признаков звукового сопровождения обрабатывает новые фрагменты аудиоданных по мере того, как они становятся доступны, и предоставляет признаки звукового сопровождения в ответ на запросы модуля генерации анимационных кадров, при необходимости выполняя экстраполяцию значений признаков.

9. Система по п.7, отличающаяся тем, что модуль детектирования признаков звукового сопровождения содержит блок интерполяции значений признаков, что позволяет модулю работать асинхронно с модулем генерации анимационных кадров, т.е. модуль детектирования признаков звукового сопровождения обрабатывает новые фрагменты аудиоданных по мере того, как они становятся доступны, и предоставляет признаки звукового сопровождения в ответ на запросы модуля генерации анимационных кадров, при необходимости выполняя интерполяцию значений признаков.

Описание изобретения к патенту

Изобретение относится к области обработки изображений, более конкретно оно относится к созданию художественных анимированных эффектов при просмотре статичных изображений, причем внешний вид эффектов зависит от содержимого изображения и параметров звукового сопровождения.

Из уровня техники известны различные подходы к решению проблем, связанных с созданием художественных (art or artistic) эффектов для статичных изображений. Одним из примеров являются широко распространенные программы для создания художественных эффектов для статичных изображений и/или видеопоследовательностей, в частности, Adobe Photoshop, Adobe Premier и Ulead Video Studio (cm. http://ru.wikipedia.org/wiki/Adobe_Systems) [1]. Обычно пользователь вручную выбирает желаемый эффект и настраивает его параметры.

Другой подход основан на анализе содержимого изображения. Например, патент США 7933454 [2] заявляет систему улучшения качества изображений, основанную на предварительной классификации. Содержимое изображения анализируется, и на основе этого анализа осуществляют классификация изображений в один из предопределенных классов. Далее способ улучшения изображения выбирается в зависимости от результатов классификации.

Ряд патентов и заявок на патенты заявляют способы создания художественных эффектов. Например, заявка на патент США 20090154762 [3] содержит описание способа и системы для преобразования статичного изображения с добавлением различных художественных эффектов, таких как рисунок масляными красками, карандашная графика, акварельный рисунок и тому подобное.

В патенте США 7593023 [4] заявлены способ и устройство для создания художественного эффекта, причем ряд параметров эффекта устанавливаются случайным образом, что обеспечивает генерацию уникального итогового изображения с художественным эффектом или декоративными элементами, такими как цвет и толщина рамки.

Патент США 7904798 [5] предлагает способ и систему мультимедиа презентации или слайд-шоу, в которых скорость смены слайдов зависит от характеристик фонового звукового сопровождения. Данный патент можно рассматривать в качестве прототипа заявляемого изобретения.

К основным недостаткам известных средств по созданию динамических/анимированных художественных эффектов для статичных изображений следует отнести тот факт, что они позволяют добавить эффект и настроить его параметры только вручную, что требует от пользователя определенных знаний и занимает много времени. Получившаяся в результате анимация сохраняется в файл как видеопоследовательность и занимает достаточно много памяти. В ходе проигрывания повторяются одни и те же кадры видеопоследовательности, что достаточно быстро утомляет наблюдателя. Отмечается отсутствие известных способов, которые позволяют динамически изменять внешний вид анимационного эффекта в зависимости от признаков (параметров) изображения и параметров фонового звукового сопровождения.

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке средств, обеспечивающих автоматическое, т.е. без участия пользователя, создание для статичного изображения анимированного художественного эффекта с улучшенными эстетическими характеристиками, в частности, за счет адаптации параметров эффекта для каждого конкретного изображения и изменение параметров эффекта в зависимости от параметров звукового сопровождения. Предлагаемый подход обеспечивает практически полное отсутствие повторов генерируемых кадров анимации во времени и эффект изменения кадров в соответствии с фоновым звуковым сопровождением.

Технический результат достигается в заявляемом изобретении за счет разработки системы и способа генерации анимированных художественных эффектов на статичных изображениях, основанного на анализе признаков изображения и звукового сопровождения, при этом заявляемый способ предусматривает выполнение следующих операций:

- регистрируют исходное статичное изображение;

- детектируют на изображении области интереса и вычисляют их признаки;

- создают визуальные объекты художественного эффекта в соответствии с признаками детектированных ранее областей интереса;

- детектируют признаки звукового сопровождения;

- модифицируют параметры визуальных объектов в соответствии с признаками звукового сопровождения;

- генерируют кадр анимации, состоящий из исходного статичного изображения с наложенными визуальными объектами художественного эффекта.

В качестве одного из характерных признаков заявляемого изобретения следует отметить, что в процессе детектирования на изображении областей интереса выполняют предварительную обработку исходного статичного изображения, включающую, по меньшей мере, одну из следующего списка операций: регулировка яркости, регулировка контраста, гамма-коррекция, настройка баланса белого цвета, преобразование цветовой системы изображения.

Кроме того, следует иметь в виду, что заявляемый способ предусматривает вычисление для звукового сопровождения любого подмножества из следующего набора признаков: громкость, спектр, скорость, такт, темп, ритм, а в процессе генерации кадра анимации предлагается перед комбинированием с визуальными объектами пикселы исходного статичного изображения обрабатывать фильтром.

Данный способ реализуется с помощью заявляемой системы генерации анимированных художественных эффектов на статичных изображениях, включающей в себя:

- модуль детектирования областей интереса, выполненный с возможностью проведения анализа данных изображения и определения положения областей интереса; при этом на вход модуля поступает исходное изображение; модуль автоматически определяет положение областей интереса в соответствии с семантикой работы эффекта, используя методы и средства обработки и сегментации изображений; на выходе модуля формируется список обнаруженных областей интереса, который далее передается в модуль детектирования признаков областей интереса;

- модуль детектирования признаков областей интереса, выполненный с возможностью вычисления признаков областей интереса; при этом на вход модуля поступает список областей интереса, обнаруженных модулем детектирования областей интереса, и исходное изображение; модуль вычисляет набор признаков в соответствии с семантикой работы эффекта для каждой областей интереса из входного списка; на выходе модуля формируется список признаков областей интереса, который далее передается в модуль генерации визуальных объектов;

- модуль генерации визуальных объектов, выполненный с возможностью создания визуальных объектов эффекта; при этом на вход модуля поступает список признаков областей интереса; модуль создает набор визуальных объектов, таких как фигуры, траектории, наборы вершин, текстуры, стили, а также составные объекты, в соответствии с семантикой работы эффекта; на выходе модуля формируется список визуальных объектов, который далее передается в модуль генерации анимационных кадров;

- модуль детектирования признаков звукового сопровождения, выполненный с возможностью вычисления параметров звукового сопровождения; при этом на вход модуля поступает фрагмент аудиосигнала звукового сопровождения; модуль анализирует аудиоданные и определяет признаки в соответствии с семантикой работы эффекта; на выходе модуля по запросам модуля генерации анимационных кадров формируется список признаков звукового сопровождения для текущего момента времени;

- модуль генерации анимационных кадров, выполненный с возможностью формирования кадров анимации эффекта, комбинируя исходное статичное изображение и визуальные объекты, модифицированные на основе текущих признаков звукового сопровождения в соответствии с семантикой работы эффекта; при этом на вход модуля поступают исходное изображение, список визуальных объектов эффекта и список признаков звукового сопровождения; модуль формирует изображение кадра анимации, состоящее из исходного изображения с наложенными визуальными объектами, параметры которых модифицируются на основе признаков звукового сопровождения в соответствии с семантикой эффекта; на выходе модуля формируется изображение кадра анимации, которое далее передается на устройство отображения;

- устройство отображения, выполненное с возможностью представления пользователю кадров анимации, полученных от модуля генерации анимационных кадров.

Следует отметить, что многие современные электронные устройства обладают мультимедийными возможностями и могут демонстрировать статичные изображения, такие как фотографии, в виде слайд-шоу. Такие слайд-шоу часто сопровождаются фоновым звуковым сопровождением - проигрыванием музыки. При показе к статичным изображениям могут быть применены различные анимированные художественные эффекты, которые привлекают внимание пользователя. Такие эффекты обычно связаны с движением по изображению неких визуальных объектов или локальным изменением фрагментов изображения. В заявляемом изобретении ряд исходных параметров визуальных объектов зависит от содержимого изображения и, соответственно, внешний вид анимации меняется от изображения к изображению. Ряд параметров эффектов зависит от параметров фонового звукового сопровождения, таких как громкость, распределение частот в спектре звука, ритм, темп, и внешний вид визуальных объектов меняется от кадра к кадру.

Далее существо заявляемого изобретения поясняется более подробно с привлечением графических материалов.

Фиг.1 - пример кадров анимации эффекта "Мерцающий огонек" (Flashing Light).

Фиг.2 - блок-схема, поясняющая работу заявляемого способа.

Фиг.3 - блок-схема заявляемой системы.

Фиг.4 - блок-схема процедуры детектирования областей интереса для эффекта "Мерцающий огонек".

Фиг.5 - блок-схема процедуры детектирования параметров фонового звукового сопровождения для эффекта "Мерцающий огонек".

Фиг.6 - блок-схема процедуры генерации кадров анимации для эффекта "Мерцающий огонек ".

Фиг.7 блок-схема процедуры генерации кадров анимации для эффекта "Световое пятно" (Sunlight Spot).

На Фиг.1 в качестве примера показаны несколько кадров анимации художественного эффекта "Мерцающий огонек" (Flashing Light), выполненных согласно заявляемому изобретению. В данном эффекте позиция, размер и цвет мерцающих звезд зависят от позиции, размера и цвета наиболее ярких участков исходного статичного изображения. Частота мерцания звезд зависит от параметров фонового звукового сопровождения, таких как спектр (распределение частот), темп, ритм и громкость.

Блок-схема этапов заявляемого способа приведена на Фиг.2. На первом этапе 201 регистрируют/вводят исходное статичное изображение. Далее, в зависимости от семантики эффекта, детектируют на изображении области интереса (этап 202) и вычисляют их признаки (этап 203). На этапе 204 создают визуальные объекты художественного эффекта в соответствии с признаками детектированных ранее областей интереса. Следующие этапы повторяются для генерации каждого последующего кадра анимации:

- получают фрагмент звукового сопровождения (этап 205) и детектируют признаки звукового сопровождения (этап 206);

- модифицируют параметры визуальных объектов в соответствии с признаками звукового сопровождения (этап 207);

- генерируют кадр анимации, состоящий из исходного статичного изображения с наложенными визуальными объектами художественного эффекта (этап 208);

- визуализируют кадр анимации на устройстве отображения (этап 209).

Перечисленные этапы выполняются до тех пор, пока не истечет отведенное для эффекта время или не поступит команда на прекращение работы эффекта от пользователя (этап 210).

На Фиг.3 показана система генерации анимированных художественных эффектов на статичных изображениях. Модуль 301 детектирования областей интереса получает исходное статичное изображение. Этот модуль выполнен с возможностью осуществления операций предварительной обработки изображения, таких как регулировка яркости и контраста, гамма-коррекция, регулировка цветового баланса, преобразование между цветовыми системами и тому подобное. Модуль автоматически определяет положение областей интереса в соответствии с семантикой работы эффекта, используя методы сегментации изображений и морфологической фильтрации. Используются различные способы сегментации и параметрической фильтрации на основе яркостных, цветовых, текстурных и морфологических признаков. На выходе модуля формируется список обнаруженных областей интереса, который далее передается в модуль 302 детектирования признаков областей интереса.

Модуль 302 детектирования признаков областей интереса получает на вход исходное статичное изображение и список областей интереса. Для каждой области интереса данный модуль вычисляет набор признаков в соответствии с семантикой художественного эффекта. Используются яркостные, цветовые, текстурные и морфологические признаки областей интереса. Список признаков областей интереса далее передается в модуль 303 генерации визуальных объектов.

Модуль 303 генерации визуальных объектов создает набор визуальных объектов, таких как фигуры, траектории, наборы вершин, текстуры, стили, а также составные объекты, в соответствии с семантикой работы эффекта и признаками областей интереса. На выходе модуля формируется список визуальных объектов, который затем передается в модуль 305 генерации анимационных кадров.

Модуль 304 детектирования признаков звукового сопровождения получает на вход фрагмент аудиосигнала звукового сопровождения и согласно семантике эффекта вычисляет параметры звукового сопровождения, такие как громкость, спектр распределения частот, такт, темп, ритм и тому подобное. Модуль 304 выполнен с возможностью функционирования как в синхронном, так и в асинхронном режиме. В синхронном режиме данный модуль запрашивает фрагмент звукового сопровождения и вычисляет его признаки для каждого кадра анимации. В асинхронном режиме данный модуль обрабатывает фрагмент звукового сопровождения в тот момент, когда он поступает в систему, и запоминает данные, необходимые для вычисления признаков звукового сопровождения в каждый момент времени. Модуль 304 детектирования признаков звукового сопровождения содержит блок экстраполяции или интерполяции значений признаков, что позволяет модулю работать асинхронно с модулем 305 генерации анимационных кадров, т.е. модуль 304 детектирования признаков звукового сопровождения обрабатывает новые фрагменты аудиоданных по мере того, как они становятся доступны, и предоставляет признаки звукового сопровождения в ответ на запросы модуля 305 генерации анимационных кадров, при необходимости выполняя экстраполяцию или интерполяцию значений признаков. На выходе модуля 304 детектирования признаков звукового сопровождения по запросам модуля 305 генерации анимационных кадров формируется список признаков звукового сопровождения для текущего момента времени.

Модуль 305 генерации анимационных кадров получает на вход исходное статичное изображение, визуальные объекты и параметры звукового сопровождения. Данный модуль формирует кадры анимации эффекта, комбинируя исходное статичное изображение и визуальные объекты, модифицированные на основе текущих признаков звукового сопровождения в соответствии с семантикой работы эффекта. На выходе модуля 305 формируется изображение кадра анимации, которое далее передается на устройство 306 отображения.

Устройство 306 отображения представляет пользователю кадры анимации, полученные от модуля 305 генерации анимационных кадров.

Все перечисленные модули могут быть выполнены в виде систем на кристалле (SoC), программируемых логических матриц (FPGA) или в виде специализированных интегральных схем (ASIC). Функционирование модулей понятно из их описания и описания соответствующего способа, в частности, на примере реализации анимационного художественного эффекта "Мерцающий огонек" (Flashing Light). Данный эффект демонстрирует мерцание и вращение белых или цветных звезд, расположенных в небольших по площади ярких фрагментах изображения.

Модуль детектирования областей интереса выполняет следующие действия для того, чтобы обнаружить яркие области на изображении (см. Фиг.4):

1. Вычисляет гистограммы яркостей исходного изображения (этап 401).

2. По гистограмме вычисляет порог для сегментации (этап 402).

3. Сегментирует изображение пороговым отсечением (этап 403).

4. Размечает связные области (этап 404).

Модуль детектирования признаков областей интереса выполняет следующие действия:

1. Для каждой области интереса вычисляет набор признаков, который включает, по меньшей мере, следующие признаки:

а. Средние значения цветовых компонентов в пределе области.

b. Координаты центра масс.

с. Отношение площади области интереса к площади изображения.

d. Коэффициент округлости - отношение диаметра круга с площадью, равной площади области интереса к наибольшему из линейных размеров области интереса.

е. Показатель похожести на маленький источник света - интегральный параметр, вычисляемый как взвешенная сумма максимальной яркости области интереса, средней яркости, коэффициента округлости и относительной площади области интереса.

2. Отбирает из всех областей интереса те, признаки которых удовлетворяют предварительно заданным критериям.

Модуль генерации визуальных объектов создает список визуальных объектов - мерцающих и вращающихся звезд, определяя позицию, размеры и цвет каждой звезды в соответствии с признаками областей интереса.

Модуль детектирования признаков звукового сопровождения получает фрагмент звукового сопровождения и детектирует скачкообразные изменения звука. Этапы детектирования таких скачкообразных изменений показаны на Фиг.5. На этапе 501 быстрое преобразование Фурье (БПФ) выполняется для фрагмента аудиоданных и получается спектр частот звукового сопровождения. Спектр разделяется на несколько частотных полос. Скачкообразное изменение детектируется, когда в, по меньшей мере, одной из частотных полос происходит резкое изменение за относительно небольшой промежуток времени (этап 503).

Модуль генерации анимационных кадров выполняет следующие действия для каждого кадра (см. Фиг.6):

1. Генерирует запрос на параметры звукового сопровождения и посылает его в модуль детектирования признаков звукового сопровождения (этап 601);

2. Модифицирует внешний вид визуальных объектов - звездочек согласно текущему состоянию и параметрам звукового сопровождения (этап 602);

3. Копирует исходное изображения в буфер генерируемого кадра (этап 603);

4. Выполняет рендеринг визуальных объектов - звездочек на генерируемом кадре (этап 604).

В результате работы модуля на анимированной последовательности кадров звездочки мерцают в такт звуковому сопровождению.

Другим примером заявляемого изобретения является анимированный художественный эффект "Световое пятно" (Sunlight Spot). В данном эффекте пятно света перемещается по изображению. Траектория движения пятна зависит от зон внимания в соответствии с моделью мгновенного зрения человека (pre-attentive visual model). Скорость движения пятна зависит от темпа звукового сопровождения. Форма, цвет и текстура пятна зависит от спектра фрагмента звукового сопровождения.

Модуль детектирования областей интереса по исходному изображению генерирует карту важности (importance) или выпуклости (saliency), выбирает в качестве областей интереса области, привлекающие внимание. Способ быстрого построения карты выпуклости описан в статье "Efficient Construction of Saliency Map", Wen-Fu Lee, Tai-Hsiang Huang, Yi-Hsin Huang, Mei-Lan Chu, and Homer H. Chen (SPIE-IS&T / Vol.7240, 2009) [6]. Модуль детектирования признаков областей интереса вычисляет для каждой области координаты центра масс. Модуль генерации визуальных объектов создает узлы перемещения светового пятна между областями интереса. Модуль детектирования признаков звукового сопровождения вычисляет спектр фрагмента звукового сопровождения и определяет темп звукового сопровождения. Для этого используется подход, описанный в статье "Evaluation of Audio Beat Tracking and Music Tempo Extraction Algorithms", Martin F.Mckinney, D.Moelants, Matthew E.P.Davies, A.Klapuriby, (Journal of New Music Research, 2007) [7].

Модуль генерации анимационных кадров выполняет следующие действия (см. Фиг.7):

1. Запрашивает темп фрагмента звукового сопровождения у модуля детектирования признаков звукового сопровождения (этап 701).

2. Модифицирует скорость перемещения светового пятна в соответствии с темпом (этап 702).

3. Рассчитывает перемещения светового пятна вдоль фрагмента траектории (этап 703).

4. Если фрагмент траектории пройден (этап 704), то модуль вычисляет узлы для нового фрагмента траектории (этап 705), а затем сам фрагмент траектории (этап 706). Отрезок прямой линии, сплайны или кривые Безье могут использоваться в качестве фрагментов траектории.

5. Модифицирует позицию светового пятна вдоль текущего фрагмента траектории в соответствии с рассчитанным на этапе 703 перемещением.

6. Запрашивает спектр звука у модуля детектирования признаков звукового сопровождения (этап 708).

7. Модифицирует форму, цвет и текстуру светового пятна в зависимости от спектра звукового сопровождения (этап 709).

8. Копирует затемненное исходное изображение в буфер генерируемого кадра (этап 710).

9. Выполняет рендеринг светового пятна на генерируемом кадре анимации (этап 711).

Дальнейшие аспекты изобретения могут быть понятны из рассмотрения чертежей и описания предпочтительных модификаций. Специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие за рамки объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения. Например, все описание построено на примере слайд-шоу статичных изображений, сопровождаемых фоновым звуковым/музыкальным сопровождением. Однако воспроизведение музыки в мультимедиа-проигрывателе также может сопровождаться фоновым показом фотографии или слайд-шоу из фотографий. Анимированный художественный эффект согласно заявляемому изобретению может быть применен к фоновым фотографиям, демонстрируемым в мультимедиа-проигрывателе.

Заявляемый способ может найти применение в любых устройствах с мультимедийными возможностями, в частности при организации просмотра фотографий в виде слайд-шоу в современных цифровых телевизорах, мобильных телефонах, планшетах, фоторамках, а также в программном обеспечении персональных компьютеров.