способ и устройство для уменьшения шумов в видеоизображении

Формула изобретения

1. Способ для обработки видеопоследовательности, содержащий:

принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности;

выравнивают изображения из входной видеопоследовательности;

уменьшают шумы в выровненных изображениях; и

получают выходную видеопоследовательность из изображений с уменьшенными шумами, в котором выходная видеопоследовательность имеет то же разрешение, что и разрешение входной видеопоследовательности.

2. Способ по п.1, в котором выравнивание изображений из входной видеопоследовательности дополнительно содержит:

выполняют оценку оптического потока входной видеопоследовательности перед выравниванием изображений из входной видеопоследовательности.

3. Способ по п.2, в котором входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра.

4. Способ по п.1, в котором уменьшение шумов в выровненных изображениях включает в себя:

выполняют итеративное прямое и обратное перераспределение выровненных изображений в соответствии с минимизацией сопряженных градиентов.

5. Способ по п.4, в котором уменьшение шумов выровненных изображений, включает в себя:

выполняет итеративную линейную минимизацию.

6. Способ по п.1, в котором уменьшение шумов в выровненных изображениях включает в себя:

выполняют деформирование изображения для выровненных изображений.

7. Способ по п.6, в котором уменьшение шумов в выровненных изображениях включает в себя:

выполняют двустороннюю фильтрацию по времени и пространству для выровненных деформированных изображений.

8. Устройство обработки видеоизображения, содержащее:

первый модуль, предназначенный для приема входной видеопоследовательности, имеющей разрешение входной видеопоследовательности;

второй модуль, соединенный с первым модулем для выравнивания изображений из входной видеопоследовательности;

третий модуль, соединенный со вторым модулем для уменьшения шумов во входной видеопоследовательности на основе выровненных изображений; и

четвертый модуль, соединенный с третьим модулем для получения выходной видеопоследовательности на основе входной видеопоследовательности с уменьшенными шумами, в котором выходная видеопоследовательность не имеет большее разрешение, чем разрешение входной видеопоследовательности.

9. Устройство обработки видеоизображений по п.8, в котором второй модуль включает в себя модуль для оценки оптического потока входной последовательности.

10. Устройство обработки видеоизображения по п.9, в котором входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр, и, по меньшей мере, один последующий кадр, относительно опорного кадра.

11. Устройство обработки видеоизображения по п.8, в котором третий модуль включает в себя модуль для выполнения итеративного прямого и обратного перераспределения выровненных изображений, соответствующих минимизации сопряженного градиента.

12. Устройство обработки видеоизображения по п.11, в котором третий модуль дополнительно включает в себя модуль для выполнения итеративной линейной минимизации.

13. Устройство обработки видеоизображения по п.8, в котором третий модуль включает в себя модуль для выполнения деформирования изображения выровненных изображений.

14. Устройство обработки видеоизображения по п.13, в котором третий модуль дополнительно включает в себя модуль для выполнения двусторонней фильтрации по отношению выровненных, деформированных изображений.

15. Устройство обработки видеоизображения на основе процессора, содержащее:

процессор;

запоминающее устройство, соединенное с процессором, причем это запоминающее устройство имеет инструкции, которые при выполнении их процессором,

принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности;

выравнивают изображения из входной видеопоследовательности;

уменьшают шумы во входной видеопоследовательности на основе выровненных изображений; и

формируют выходную видеопоследовательность на основе входной видеопоследовательности с уменьшенными шумами, в которой выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности.

16. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые при их выполнении с помощью процессора получают оценку оптического потока входной видеопоследовательности.

17. Устройство обработки видеоизображения по п.16, в которой входная видеопоследовательность включает в себя опорный кадр и, по меньшей мере, один предшествующий кадр, и, по меньшей мере, один последующий кадр, относительно опорного кадра.

18. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют итеративное прямое и обратное перераспределение выровненных изображений, соответствующих минимизации сопряженного градиента.

19. Устройство обработки видеоизображения по п.18, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют итеративную линейную минимизацию.

20. Устройство обработки видеоизображения по п.15, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют деформирование изображения для выровненных изображений.

21. Устройство обработки видеоизображения по п.20, причем запоминающее устройство имеет дополнительные инструкции, которые, при их выполнении с помощью процессора, выполняют двустороннюю фильтрацию для выровненных, деформированных изображений.

Описание изобретения к патенту

Изобретение относится к обработке видеоизображения. Более конкретно, некоторые варианты осуществления изобретения относятся к уменьшению шумов в видеоизображении.

Уровень техники

В патенте США № 7,447,382 описан расчет изображения с более высоким разрешением из множества изображений с более низким разрешением, используя надежную байесову оценку, на основе модели. Получаемое в результате изображение сцены с высоким разрешением (HR), полученное на основе заданного множества, наблюдаемых изображений более низкого разрешения (LR) сцены, рассчитывают, используя методику реконструирования изображения на основе байесовой оценки. Методология позволяет получить в результате изображение HR на основе функции вероятности правдоподобия, которая воплощает модель для формирования LR изображений в присутствии шумов. Такие шумы моделируют с помощью вероятностной не-Гауссовой устойчивой функции.

Краткое описание чертежей

Различные свойства изобретения будут понятны из следующего описания предпочтительных вариантов осуществления, как они представлены на приложенных чертежах, на которых одинаковые номера ссылочных позиций, в общем, относятся к одинаковым частям на всех чертежах. Чертежи не обязательно выполнены в масштабе, при этом выделение может быть представлено для иллюстрации принципа изобретения.

На фиг.1 показана блок-схема последовательности операции в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.2 показана другая блок-схема последовательности операций в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.3 показана еще одна блок-схема последовательности операции в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.4 показана блок-схема устройства обработки видеоизображения в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.5 показана блок-схема другого устройства обработки видеоизображения в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.6 показана блок-схема модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.7 показана блок-схема другого модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.8. показана блок-схема электронной системы на основе процессоров в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.9 показана блок-схема модуля оценки оптического потока в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.10 показана блок-схема другого модуля устранения шумов в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.11 показано опорное цифровое изображение.

На фиг.12 показано обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.13 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.14 показано другое опорное цифровое изображение.

На фиг.15 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.16 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.17 показано другое опорное цифровое изображение.

На фиг.18 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

На фиг.19 показано другое обработанное цифровое изображение в соответствии с некоторыми вариантами осуществления изобретения.

Подробное описание изобретения

В следующем описании с целью пояснения, а не для ограничения представлены конкретные детали, такие как, например, структуры, архитектура, интерфейсы, технологии и т.д., для обеспечения полного понимания различных аспектов изобретения. Однако для специалистов в данной области техники будет понятно на основе настоящего раскрытия, что различные аспекты изобретения могут быть выполнены на практике в других примерах, которые отходят от этих конкретных деталей. В некоторых случаях описание хорошо известных устройств, цепей и способов исключено, чтобы оно не усложняло описание настоящего изобретения ненужными деталями.

Как показано на фиг.1, способ обработки видеопоследовательности в соответствии с некоторыми вариантами осуществления изобретения может включать в себя: принимают видеопоследовательность, имеющую разрешение входной видеопоследовательности (например, в блоке 10), выравнивают изображения из входной видеопоследовательности (например, в блоке 11), уменьшают шумы в выровненных изображениях (например, в блоке 12) и получают выходную видеопоследовательность из изображений с уменьшенными шумами, в котором выходная видеопоследовательность имеет то же разрешение, что и разрешение входной видеопоследовательности (например, в блоке 13). Например, до выравнивания изображений из входной видеопоследовательности может дополнительно потребоваться оценка оптического потока входной видеопоследовательности перед выравниванием изображений из входной видеопоследовательности (например, в блоке 14). Например, входная видеопоследовательность может включать в себя опорный кадр и, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра (например, в блоке 15).

Как показано на фиг.2, в некоторых вариантах осуществления изобретения, уменьшение шумов в выровненных изображениях, может включать в себя выполнение итеративного прямого и обратного перераспределения выровненных изображений в соответствии с минимизацией сопряженных градиентов (например, в блоке 20). В некоторых вариантах осуществления изобретения уменьшение шумов в выровненных изображениях может включать в себя, выполнение итеративной линейной минимизации (например, в блоке 21).

Со ссылкой на фиг.3, в некоторых вариантах осуществления изобретения, уменьшение шумов в выровненных изображениях, может включать в себя, выполнение деформирования изображения для выровненных изображений. В некоторых вариантах осуществления изобретения уменьшение шумов в выровненных изображениях может включать в себя, выполнение двусторонней фильтрации по времени и пространству для выровненных деформированных изображений.

Как показано на фиг.4, устройство 40 обработки видеоизображения, в соответствии с некоторыми вариантами осуществления изобретения может включать в себя первый модуль 41, предназначенный для приема входной видеопоследовательности, имеющей разрешение входной видеопоследовательности, второй модуль 42, соединенный с первым модулем 41 для выравнивания изображений из входной видеопоследовательности, третий модуль 43 соединенный со вторым модулем 42 для уменьшения шумов во входной видеопоследовательности на основе выровненных изображений, и четвертый модуль 44, соединенный с третьим модулем 43 для получения выходной видеопоследовательности на основе входной видеопоследовательности с уменьшенными шумами, в котором выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности.

Как показано на фиг.5, модуль 52 выравнивания изображения (например, второй модуль 42 по фиг.4) может дополнительно включать в себя модуль 55 для оценки оптического потока входной видеопоследовательности. Например, входная видеопоследовательность может включать в себя опорный кадр R, по меньшей мере, один предшествующий кадр F и, по меньшей мере, один последующий кадр В относительно опорного кадра R.

Как показано на фиг.6, модуль 63 уменьшения шумов (например, третий модуль 43 по фиг.4) может включать в себя модуль 65 для выполнения итеративного прямого и обратного перераспределения выровненных изображений, соответствующих минимизации сопряженного градиента. Модуль 63 устранения шумов может дополнительно включать в себя модуль 66 для выполнения итеративной линейной минимизации.

Как показано на фиг.7, альтернативный модуль 73 устранения шумов (например, третий модуль 43 по фиг.4) может включать в себя модуль 75 для выполнения деформирования изображения выровненных изображений. Альтернативный модуль 73 устранения шумов может дополнительно включать в себя модуль 76 для выполнения двусторонней фильтрации в пространстве и времени для выровненных искаженных изображений.

Как показано на фиг.8, электронная система 80 на основе процессора может включать в себя процессор 81 и запоминающее устройство 82, соединенное с процессором 81. Например, запоминающее устройство 82 может иметь инструкции, которые при выполнении их с помощью процессора принимают входную видеопоследовательность, имеющую разрешение входной видеопоследовательности, выравнивают изображения из входной видеопоследовательности, уменьшают шумы во входной видеопоследовательности на основе выровненных изображений и формируют выходную видеопоследовательность на основе входной видеопоследовательности с уменьшенными шумами, в которой выходная видеопоследовательность имеет не большее разрешение, чем разрешение входной видеопоследовательности. Например, запоминающее устройство 82 может иметь дополнительные инструкции, которые при их выполнении с помощью процессора получают оценку оптического потока входной видеопоследовательности. Например, входная видеопоследовательность может включать в себя опорный кадр, по меньшей мере, один предшествующий кадр и, по меньшей мере, один последующий кадр относительно опорного кадра.

Например, запоминающее устройство 82 может иметь дополнительные инструкции, которые при выполнении их с помощью процессора выполняют итеративное прямое и обратное перераспределение выровненных изображений, соответствующих минимизации сопряженного градиента. Запоминающее устройство 82 может иметь дополнительные инструкции которые, при их выполнении с помощью процессора выполняют итеративную линейную минимизацию. В качестве альтернативы запоминающее устройство 82 может иметь дополнительные инструкции, которые при их выполнении с помощью процессора выполняют деформирование изображения для выровненных изображений выполняют двустороннюю фильтрацию по времени и пространству выровненных деформированных изображений.

Кроме того, процессор 81 и запоминающее устройство 82 могут быть расположены в корпусе 83. Например, корпус может соответствовать любому из настольного компьютера, переносного компьютера, телевизионной приставки, портативного устройства помимо множества других возможностей для системы 80 на основе процессора. Например, система 80 может дополнительно включать в себя устройство 84 дисплея, соединенное с процессором 81, и запоминающее устройство 82. Выходная видеопоследовательность может быть отображена в устройстве 84 дисплея. Например, система 80 может дополнительно включать в себя входное устройство 85 для предоставления входных команд пользователя в процессор 81 и 82. Например, входное устройство 85 может представлять собой беспроводное устройство - пульт дистанционного управления.

Предпочтительно некоторые варианты осуществления изобретения позволяют уменьшить шум в видеопоследовательностях и/или последовательностях изображений. Без ограничений, связанных с теорией операции, некоторые варианты осуществления изобретения могут обеспечивать устойчивое уменьшение шумов для множества кадров оптического потока для видеоизображения. Например, некоторые варианты осуществления изобретения могут применяться для видеоизображения и/или последовательностей изображений из множества различных источников, в способах обеспечения качества и приобретения, включающих в себя видеоизображения потребительского уровня, полученные с помощью недорогостоящих устройств (таких как вездесущие камеры в мобильном телефоне, веб-камеры и т.д.), видеоизображений профессионального уровня, полученных в неоптимальных условиях (низкая освещенность), в последовательностях медицинских изображений из различных источников (рентгеновских, ультразвуковых и т.д.) помимо множества других источников видеопоследовательностей.

Без ограничений, связанных с теорией операции, в некоторых вариантах осуществления изобретения может использоваться высокая степень избыточности, обычно присутствующая в видеоизображениях и последовательностях изображений. Например, в случае шумной видеопоследовательности статической сцены и камеры множество выборок кадров с определенной интенсивностью шумов в каждом пикселе можно использовать для получения статистической оценки, полученной на основе постоянной интенсивности этого пикселя (например, получая среднее значение всех доступных выборок).

Во многих видеопоследовательностях, однако, сцены обычно не являются статическими из-за движения камеры или объекта. Предпочтительно некоторые варианты осуществления изобретения могут получать оценку оптического потока видеопоследовательности. Например, оптический поток может соответствовать видимому движению с уровнями интенсивности от одного изображения до следующего в последовательности благодаря движению камеры или объектов на сцене. Например, оценка оптического потока может быть получена из окна кадров, вокруг опорного кадра (например, номинального центрального кадра), используя, например, два кадра перед ним и два кадра позади него для использования в сумме пяти кадров, и выравнивая каждый кадр по опорному кадру.

Например, выравнивание изображения может быть оценено, используя разные модели движения, в диапазоне от моделей с низким параметром движения (например, чистое перемещение, вращение, аффинное, проекционное и т.д.), которые имеют ограниченную применимость в обычных видеоизображениях, до плотных непараметрических моделей (например, оптического потока), в которых вектор смещения оценивают для каждого пикселя, также с возможностью промежуточных решений (одна модель движения низкого параметра, плюс отдельный оптический поток для точек, рассматриваемых как изолированные для этой модели). Например, в публикации № 2008-0112630 патента США, под названием DIGITAL VIDEO STABILIZATION BASED ON ROBUST DOMINANT MOTION ESTIMATION описано, что устройство может принимать последовательность входных изображений и оценивать доминантные движения между соседними изображениями в последовательности изображения. Устройство может использовать устойчивый модуль оценки для автоматического детектирования и отбрасывания изолированных участков, соответствующих независимо движущимся объектам.

В некоторых вариантах осуществления изобретения может использоваться оценка оптического потока с малым разрешением на основе градиента с теоретической точностью до уровня подпикселя. Однако потенциально могут быть применимы другие способы оценки плотного движения. Например, может быть применима технология оценки движения, применяемая для преобразования частоты кадров.

Со ссылкой на фиг.9 некоторые варианты осуществления изобретения могут включать в себя оценку оптического потока, основанную на градиенте, оценку от грубой к тонкой. Например, после того как будет получена пирамида для множества разрешений, оценка оптического потока может быть получена на каждом уровне разрешений, используя дополнительный вход потока, оцениваемого по предыдущему уровню, если он доступен. На каждом уровне оценку оптического потока выполняют итеративно с первым перераспределением входных изображений в соответствии с текущей оценкой оптического потока и с последующим вычислением градиента второго порядка и получением решения для вектора потока в каждом пикселе, используя ограничения градиента от окружения до самого пикселя.

В соответствии с некоторыми вариантами осуществления изобретения устойчивое устранение шума в кадре может применяться для выровненных изображений в видеопоследовательности. Например, после того как будет получена оценка выравнивания интенсивность шумов, поступающих из разных кадров, которые соответствуют одному и тому же месту на сцене, может быть скомбинирована для получения версии с удаленными шумами центрального опорного кадра. В соответствии с некоторыми вариантами осуществления изобретения диапазон устойчивости можно применять при устранении шумов в кадре. Например, в некоторых вариантах осуществления изобретения для устойчивого устранения шумов в кадре могут потребоваться относительно большие вычислительные затраты и может обеспечиваться очень эффективное устранение шумов (например, используя байесов метод). Например, в некоторых вариантах осуществления изобретения для устойчивого устранения шумов в кадре могут потребоваться относительно малые вычислительные затраты, которые, однако, обеспечивают менее эффективное устранение шумов (например, на основе предварительного деформирования).

Один важный параметр в устойчивых способах (таких как предложен здесь) состоит в том, что известен параметр масштабирования, который связан с тем, какие магнитуды ошибки рассматриваются как шум и какие магнитуды рассматриваются как изолированные. Автоматическую оценку этого важного параметра получают из входных изображений, используя надежную оценку шумов изображения (на основе MAD (медиана абсолютных разностей) разности вертикальных и горизонтальных пикселей). Это позволяет с помощью предложенных способов работать в полностью автоматическом режиме без взаимодействия с пользователем, независимого от уровня шумов в последовательности входных изображений.

Как показано на фиг.10, пример байесова метода может быть основан на использовании модели прямого формирования изображения из изображения, не содержащего шумов, для соответствующего измеряемого кадра, который включает в себя деформирование, необходимое для выравнивания изображений и аддитивных шумов. Он также может включать в себя предыдущую модель по несодержащему шумов изображению, которое представляет собой компактное вероятностное описание того, что мы ожидаем увидеть на естественных изображениях. Например, в способе может использоваться нелинейный сопряженный градиент для минимизации функций стоимости, заданной байесовой моделью. На основе текущей оценки не содержащего шумов изображения g два обновления рассчитывают, используя модель формирования изображения (включающую в себя обратное перераспределение, расчет ошибки, применение нелинейной функции, и прямое перераспределение), и предшествующую модель. После того как обновления будут рассчитаны, получают оценку оптимального коэффициента взвешивания, используя линейную минимизацию, и обновление умножают на этот вес и суммируют с оценкой изображения g, не содержащего шумов, для получения новой текущей оценки g. Процедура может быть затем итерирована до получения схождения.

Предпочтительно по сравнению с обработкой изображения со сверхразрешением, описанной в упомянутом выше патенте США № 7,447,382, в некоторых вариантах осуществления изобретения могут использоваться относительно малые вычислительные затраты, которые все еще обеспечивают хорошие характеристики устранения шумов. Например, поскольку некоторые варианты осуществления настоящего изобретения не повышают разрешение изображения, в модели формирования изображения может быть исключена обработка выборки с повышением/понижением частоты. Некоторые варианты осуществления изобретения могут быть итеративными, и в них может множество раз использоваться применение прямой и обратной моделей формирования изображения (в принципе, прямое и обратное перераспределение), а также линейная минимизация при каждой итерации, в результате чего возникают высокие вычислительные затраты. Предпочтительно результаты такого способа на основе итеративной модели обычно представляют собой очень высокое качество с высокой степенью устранения шумов, и при этом практически не вводится дополнительная нерезкость в получаемом в результате изображении. В некоторых вариантах осуществления изобретения можно использовать возможности устранения нерезкости.

В соответствии с некоторыми вариантами осуществления изобретения способ вычислений с малыми вычислительными затратами может быть основан на предварительном деформировании изображений с последующим комбинированием результатов. Например, после оценки выравнивания становится возможным комбинировать интенсивности шумов, поступающих из разных кадров, которые статистически соответствуют одному и тому же месту положения на сцене для получения версии центрального кадра без шумов. Например, деформирование может быть выполнено для каждого изображения в окне изображения вокруг центрального кадра, используя оценку оптического потока. Деформирование может быть выполнено с использованием обратной интерполяции (например, с использованием двулинейной интерполяции).

После того как окружающие изображения будут выровнены по центральному кадру и деформированы, результат представляет собой подборку кадров, пиксели которых были выровнены, предоставляя для каждого кадра, по меньшей мере, одну выборку шумов для лежащей в основе интенсивности, не содержащей шумов. Например, в каждом положении пикселя имеется множество выборок интенсивности шумов в диапазоне от 1 (единица соответствует центральному кадру) до количества изображений в зависимости от видимости этого пикселя в разных изображениях. В соответствии с некоторыми вариантами осуществления изобретения все доступные выборки могут быть затем скомбинированы, используя подход, аналогичный двусторонней фильтрации.

Например, взвешенное среднее каждого положения пикселя может быть определено, где веса каждой выборки представляют собой функцию разности интенсивностей между выборкой и центральным кадром (например, используя Гауссову функцию). Предпочтительно в некоторых вариантах осуществления изобретения могут предпочтительно использоваться интенсивности, которые расположены близко к значению интенсивности центрального кадра, что может исключить комбинирование неправильных интенсивностей, поступающих в результате неправильного выравнивания. Предпочтительно вычислительные затраты этого способа являются относительно низкими и не требует итераций, и обработку выполняют локально на основе от пикселя к пикселю.

Предпочтительно некоторые варианты осуществления изобретения могут обеспечивать способ устранения шумов по множеству кадров для видеоизображения, которое является относительно простым (например, по сравнению с байесовым методом), без увеличения разрешения и неся относительно низкие вычислительные затраты. После того как кадры, которые должны быть скомбинированы, будут выровнены, в некоторых вариантах осуществления изобретения может использоваться очень малая дополнительная полоса пропускания и мало операций. Предпочтительно в некоторых вариантах осуществления изобретения может использоваться движение, оценка которого уже была получена с помощью других модулей (например, используемых для преобразования частоты кадров) для выполнения выравнивания изображения, в результате чего получают дополнительную экономию вычислительных средств (например, и потенциально экономию количества микросхем и количества больших схем при воплощении в виде аппаратных средств).

Некоторые варианты осуществления изобретения могут включать в себя устойчивое устранение шумов, используя двустороннюю фильтрацию. После выравнивания изображения значения интенсивности могут быть скомбинированы на основе от пикселя к пикселю для оценки значения интенсивности, не содержащей шумов, которая основана на измерениях шумов, используя соответствующий статистический способ. Например, непосредственный способ результата измерения может использоваться для получения простой статистической оценки, такой как среднее значение или медиана. Однако эти оценки могут быть недостаточно устойчивыми к ошибкам при выравнивании. Грубые ошибки при выравнивании могут возникать даже при использовании современных технологий оценки движения. Предпочтительно некоторые варианты осуществления изобретения могут комбинировать результаты измерения шумов на основе двусторонней фильтрации, которая может улучшить результаты, даже когда возникают ошибки при выравнивании.

Двусторонняя фильтрация может быть полезной для пространственного устранения шумов на основе получения в каждом пикселе взвешенного среднего значения интенсивности пикселей в окружающем окне (например, аналогично линейной фильтрации), где вес в заданном пикселе представляет собой функцию разности между интенсивностью в этом пикселе и интенсивностью в центральном кадре (например, Гауссову, которая может придать больше веса интенсивностям, расположенным ближе к центральному пикселю).

Некоторые варианты осуществления изобретения могут комбинировать интенсивности, поступающие из разных кадров, в результате чего получают следующее решение для заданного изображения (отдельные местоположения пикселей исключены из уравнения для ясности):

где N представляет собой количество кадров, которые комбинируют, С представляет собой индекс, соответствующий центральному (опорному) кадру, и где изображения I_k уже деформированы в соответствии с оценкой выравнивания центрального кадра.

В некоторых вариантах осуществления изобретения может комбинироваться как временная, так и пространственная информация для получения значения одного заданного пикселя, информация может быть скомбинирована из одного и того же места во множестве предварительно выровненных кадрах вместе с соседними пикселями в окне, окружающем заданный пиксель, в центральном кадре.

Без ограничения со стороны теории операций, двусторонний фильтр может быть интерпретирован как одна итерация способа модуля оценки итеративно повторно взвешенных наименьших квадратов с решением, инициализированным по интенсивности центрального пикселя. Предпочтительно некоторые варианты осуществления изобретения могут быть неитеративными, устойчивыми к выбросам и могут получать значения пикселя без шумов, которое близко к оригинальному значению центрального пикселя. Это может быть особенно предпочтительным, когда значительная ошибка выравнивания могла бы, в противном случае, сместить оценку интенсивности к значениям, очень далеким от исходного значения, даже при использовании устойчивых способов оценки, когда достигается точка отказа устойчивого модуля оценки, в результате чего формируются искусственно полученные значения.

В итеративном RWLS эта процедура может быть итерирована, пока не будет получено схождение. В соответствии с некоторыми вариантами выполнения изобретения двусторонняя фильтрация по уравнению 1 обеспечивает результат, который представляет собой обоснованную оценку способа RWLS. Например, одно конкретное измерение шумов может быть определено как центральное значение, используемое как исходная оценка g, и затем результат может быть вычислен только по одной итерации. Поэтому в некоторых вариантах осуществления изобретения двусторонняя фильтрация может быть интерпретирована как использующая одну итерацию итеративного RWLS с определенной исходной точкой.

При стандартной двусторонней фильтрации наиболее частый выбор для взвешивающей функции представляет собой Гауссову взвешивающую функцию, которая соответствует лежащей в основе устойчивой функции, известной как функция Уэлша в литературе устойчивой статистики. Другие выборы устойчивых функций могут представлять собой соответствующие альтернативы для двустороннего фильтра. Например, функция Коши может быть соответствующей для устранения шумов из видеоизображений, поскольку она может обеспечить результаты высокого качества для сверхразрешения. Функция Хубера также может обеспечить хорошие результаты. И напротив, функция Таки, с формой, аналогичной функции Уэлша, может быть пригодна, но не дает таких хороших результатов.

Как показано на фиг.11-19, результаты такого устранения шумов показаны на нескольких испытательных изображениях. На фиг.11 показан участок (например, подобласть) последовательности профессионального качества HD с умеренным уровнем шумов. На фиг.12 также показано представительное цифровое изображение после байесова устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.13 показано представительное цифровое изображение после временного двустороннего устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.14 показано цифровое изображение домашнего видео, снятого при низком уровне освещения с высоким уровнем шумов. На фиг.15 показано представительное цифровое изображение после байесова устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. На фиг.16 показано представительное цифровое изображение после временного двустороннего устранения шумов в соответствии с некоторыми вариантами осуществления изобретения. Фиг.17-19 соответствуют фиг.14-16, увеличенным для представления деталей.

Результаты, показанные на фиг.13, 16 и 19, были получены с использованием только временной комбинации (Уравнение 1) из 5 кадров, используя Гауссову взвешивающую функцию, где оценку среднеквадратического отклонения Гаусса получили как в 2,5 раза большую, чем устойчивая оценка шумов изображения (на основе MAD (медиана абсолютных разностей) для разностей вертикальных и горизонтальных пикселей). Во время предварительной оценки результаты, полученные таким способом, выглядят как имеющее более низкое качество (несколько зашумленные и с худшей резкостью), чем полученные при использовании итеративного байесова метода, требующего более значительных вычислительных затрат. Однако предпочтительно оба способа наблюдали для получения изображения с очевидным меньшим уровнем шумом, чем в оригинале. Требующая значительных затрат на расчеты байесова реконструкция наблюдалась как лучше сохраняющая резкость, чем подход с использованием двусторонней фильтрации.

Предпочтительно в некоторых вариантах осуществления изобретения комбинируют оценку движения с устойчивыми статистическими способами (такими как двусторонняя фильтрация или байесова реконструкция с надежными функциями), для достижения высокого качества устранения шумов, которые, по существу, не содержат искусственных образований и которые не вводят существенную пространственную нерезкость. Кроме того, способ может быть выполнен полностью автоматически и может применяться для последовательностей с разными уровнями шумов от не содержащих шумов до очень зашумленных без ввода заметных искусственных образований и ухудшения визуального качества в последовательностях, не содержащих шумов.

Например, некоторые варианты осуществления изобретения могут быть полезными для конвейеров обработки видеоизображения, которые могут быть встроены в дисплеи и/или в телевизионные приставки, которые могут обеспечить преимущество модуля устранения шумов, который очищал бы потенциально зашумленное содержание. Например, некоторые варианты осуществления изобретения могут быть воплощены как аппаратное средство с фиксированной функцией. Например, некоторые варианты осуществления изобретения могут быть осуществлены как программное решение, работающее на специализированных процессорах или процессорах общего назначения. Хотя данное описание было представлено в связи с модулями, для специалистов в данной области техники будет понятно, что такие модули не обязательно представляют собой отдельные части с фиксированными компонентами. Скорее, такие модули могут быть воплощены с использованием различных комбинаций аппаратных и/или программных средств, распределенных в архитектуре системы на основе процессора.

Для специалистов в данной области техники будет понятно, что схема последовательности операций, показанная на фиг.1-3, и блок-схемы, показанные на фиг.4-10, могут быть воплощены в любом количестве компоновок аппаратных средств, программных средств и/или встроенного программного обеспечения. Например, схемы могут быть полностью воплощены с использованием аппаратных средств специального назначения. В качестве альтернативы схемы могут быть полностью воплощены с использованием программных средств, работающих в процессоре общего назначения. В качестве альтернативы схемы могут быть избирательно разделены между аппаратными и программными средствами специального назначения, работающими в процессоре общего назначения.

Представленные выше другие аспекты изобретения достигаются индивидуально и в комбинации. Изобретение не следует рассматривать как требующее двух или больше таких аспектов, если только это не будет определенно требоваться в конкретном пункте формулы изобретения. Однако в то время как изобретение было описано в связи с тем, что в настоящее время рассматривается как предпочтительные примеры, следует понимать, что изобретение не ограничивается раскрытыми примерами, но наоборот, предназначено для охвата различных модификаций и эквивалентных компоновок, включенных в пределы сущности и объема изобретения.